WO2020241125A1 - 立柱検出装置及び立柱検出方法 - Google Patents

立柱検出装置及び立柱検出方法 Download PDF

Info

Publication number
WO2020241125A1
WO2020241125A1 PCT/JP2020/017275 JP2020017275W WO2020241125A1 WO 2020241125 A1 WO2020241125 A1 WO 2020241125A1 JP 2020017275 W JP2020017275 W JP 2020017275W WO 2020241125 A1 WO2020241125 A1 WO 2020241125A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vertical
vertical edge
cylindrical surface
surface image
Prior art date
Application number
PCT/JP2020/017275
Other languages
English (en)
French (fr)
Inventor
志鵬 姚
福田　大輔
栄篤 李
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to EP20814952.6A priority Critical patent/EP3978870A4/en
Publication of WO2020241125A1 publication Critical patent/WO2020241125A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a vertical column detecting device and a vertical column detecting method.
  • the feature points are, for example, a corner point of a white broken line that divides a traveling lane drawn on a traveling road, a corner point of a white line of a parking frame, and the like (see, for example, Patent Document 1).
  • the present invention has been made in view of the above circumstances, and provides a standing pillar detecting device and a standing pillar detecting method capable of specifying a positional relationship with a vehicle even if the standing pillar cannot detect a corner portion.
  • the purpose is to specify a positional relationship with a vehicle even if the standing pillar cannot detect a corner portion.
  • the vertical pillars in the problem to be solved by the present invention include not only pillars but also vertical walls extending in the vertical direction.
  • the first of the present invention is a cylinder obtained on the assumption that an image taken by a vehicle position acquisition unit that acquires the position of the vehicle and a camera provided on the vehicle is projected onto a cylindrical surface extending in the vertical direction.
  • a cylindrical distortion correction unit that converts to a surface image
  • a vertical edge detection unit that detects a vertical edge extending in the vertical direction based on the cylindrical surface image, and a vertical edge detected by the vertical edge detection unit in the vertical direction.
  • a tracking point setting unit that sets a plurality of tracking points arranged along the line, and a tracking point setting unit in the cylindrical surface image of one of two images taken by the camera at different time points in time series.
  • a corresponding point detection unit that detects a corresponding point in the cylindrical surface image of the other image corresponding to each of the set plurality of the tracking points, and the corresponding point detected by the corresponding point detection unit are arranged in the vertical direction.
  • the vertical edge specifying portion that specifies the vertical edge in the other cylindrical surface image, the vertical edge detected in the one cylindrical surface image, the vertical edge specified in the other cylindrical surface image, and the two images. It is a vertical column detection device including a vertical column position detecting unit for obtaining a ground contact position of a vertical column having the vertical edge based on each position of the vehicle when each image is taken.
  • the second aspect of the present invention is to acquire the position of the vehicle and convert the image taken by the camera provided in the vehicle into a cylindrical surface image obtained on the assumption that the image is projected onto a cylindrical surface extending in the vertical direction.
  • a vertical edge extending in the vertical direction is detected based on the cylindrical surface image, a plurality of tracking points arranged along the vertical direction are set on the vertical edge, and images are taken at different points in time series by the camera.
  • the corresponding points in the cylindrical surface image of the other image corresponding to the plurality of tracking points set in the cylindrical surface image of one of the two images are detected, and the corresponding points are in the vertical direction.
  • the standing pillar detecting device and the standing pillar detecting method according to the present invention even if the standing pillar cannot detect the corner portion, the positional relationship with the vehicle can be specified.
  • FIG. 1 It is a block diagram which shows the vertical pillar detection system including the camera ECU (Electronic Control Unit) which is an example of this invention.
  • This is an example (cylindrical surface image p1) of the cylindrical surface image p obtained by correcting the image pa by the cylindrical strain correction unit.
  • This is an example of the target image P1 of the rectangular range R up to a predetermined length up and down including the center in the vertical direction in the cylindrical surface image p1.
  • FIG. 8 It is a figure which shows the state which set the tracking point at equal intervals along the vertical direction with respect to the extracted vertical edge.
  • FIG. 1 is a block diagram showing a vertical column detection system including a camera ECU (Electronic Control Unit) 100 which is an example of the present invention.
  • a camera ECU Electronic Control Unit
  • the camera ECU 100 shown in FIG. 1 is an embodiment of a vertical pillar detecting device according to the present invention, and the operation of the camera ECU 100 is an embodiment of a vertical pillar detecting method according to the present invention.
  • the image pa processed by the camera ECU 100 is an image taken by the camera 200 provided in the vehicle.
  • the camera 200 is provided at a predetermined height position H of the vehicle.
  • the camera 200 includes, for example, a wide-angle lens having an angle of view of about 180 [°]. Therefore, the image pa obtained by taking a picture with the camera 200 is an image in which the peripheral portion is particularly distorted.
  • the camera 200 is set so that the optical axis faces the horizontal direction. Therefore, among the image pas taken by the camera 200, an image of a subject existing at the same height position H as the optical axis of the camera 200 is captured on the horizontal line passing through the center of the image pa (corresponding to the optical axis). ..
  • the camera ECU 100 includes an image storage unit 31, a cylindrical distortion correction unit 32, a processing range setting unit 33, a vertical edge detection unit 34, a tracking point setting unit 35, a corresponding point detection unit 36, and a vertical edge identification unit 37.
  • a vehicle position acquisition unit 38 and a storage unit 39 are provided.
  • the image storage unit 31 stores image pas taken by the camera 200 at predetermined time intervals.
  • the cylindrical distortion correction unit 32 reads out the image pa taken by the camera 200 and stored in the image storage unit 31, and produces a cylindrical surface image p obtained on the assumption that the image pa is projected onto a cylindrical surface extending in the vertical direction in the real space. Convert.
  • the cylindrical distortion correction unit 32 stores parameters for converting the image pa into the cylindrical surface image p. This parameter is obtained in advance based on the optical data of the lens or the like provided in the camera 200 described above.
  • the image pa is a distorted image particularly in a portion away from the center, but the cylindrical distortion correction unit 32 is an image (cylindrical surface) extending in the vertical direction (vertical direction) for a subject extending in the vertical direction in the real space.
  • the distorted image pa is converted so as to be the image p).
  • the vertical pillar which is a subject extending in the vertical direction in the real space, becomes an image extending linearly in the vertical direction in the cylindrical surface image p.
  • FIG. 2 is an example (cylindrical surface image p1) of the cylindrical surface image p obtained by correcting the image pa by the cylindrical strain correction unit 32. As shown in FIG. 2, the cylindrical strain correction unit 32 converts the image pa into a cylindrical surface image p1.
  • the processing range setting unit 33 sets a part of a predetermined range in the vertical direction as the target image P to be processed in the cylindrical surface image p obtained by correction by the cylindrical strain correction unit 32. Specifically, in the cylindrical surface image p, a rectangular range up to a predetermined vertical length including the center in the vertical direction is set as the target image P.
  • FIG. 3 is an example of the target image P1 of the rectangular range R up to a predetermined length up and down including the center in the vertical direction in the cylindrical surface image p1.
  • the processing range setting unit 33 converts the target image P1 of the rectangular range R up to a predetermined length in the vertical direction including the center in the vertical direction into the target image P1 in the cylindrical surface image p1.
  • FIG. 4 is a diagram showing vertical edges 11, 12, ..., 18 detected in the target image P1.
  • the vertical edge detection unit 34 detects vertical edges 11, 12, ..., 18 in the target image P1 extending in the vertical direction in the real space based on the target image P1.
  • the vertical edges 11, 12, ..., 18 mainly correspond to the side edges of the vertical columns 61, 62, 63, 64 extending in the vertical direction.
  • the target image P1 is mainly scanned in the x direction, which is the horizontal direction of FIG. 4, and sub-scanned in the y direction, which is the vertical direction.
  • This is a known process for detecting a portion where a sudden change in the signal value of the pixels constituting the above occurs as an edge.
  • the vertical edge detection unit 34 includes a vertical edge portion that actually exists in the target image P1 shown in FIG. 4 and an extension line (vertical edge portion as an image) that extends the vertical edge portion to the upper and lower ends of the target image P1.
  • the vertical edge is 11 or the like, including (not).
  • the vertical edge detection unit 34 detects eight vertical edges 11, 12, ..., 18 (including extension lines) as shown in FIG. 4, for example, but the length in the vertical direction is longer as in the vertical edge 11, for example.
  • the short vertical edge portion may be an edge that appears small in the image because it is far away from the vehicle in the target image P1, and is detected as a vertical pillar close to the vehicle. You don't have to.
  • the vertical edge detection unit 34 is detected in order to target only the vertical edges having a certain length in the vertical direction among the detected vertical edges 11, 12, ..., 18 for the subsequent processing.
  • the signal values of the pixels on each of the vertical edges 11, 12, ..., 18 are accumulated for each vertical edge 11, 12, ..., 18, and only the vertical edges whose accumulated values exceed a preset threshold value. , Extract as if there is actually a long vertical edge part, and do not extract vertical edges that do not exceed the threshold.
  • FIG. 5 is a graph showing the cumulative value I of the signal values of the pixels along the y direction (vertical direction) for each of the vertical edges 11, 12, ..., 18 for the detected vertical edges 11, 12, ..., 18. is there.
  • the vertical edge detection unit 34 as shown in FIG. 5, store a threshold value I 0 which is set in advance, the seven vertical edge 12 of the accumulated value I exceeds the threshold value I 0, ..., 18 is extracted as a vertical edge, and the vertical edge 11 whose cumulative value I does not exceed the threshold value I 0 is not extracted as a vertical edge.
  • the threshold value I 0 is a value set to reduce the number of vertical edges that are the targets of the subsequent processing, but all the detected vertical edges may be the targets of the subsequent processing. Therefore, the vertical edge detection unit 34 does not have to extract the detected vertical edge by comparing the magnitude with the threshold value I 0 .
  • FIG. 6 is a diagram showing a state in which tracking points 12a, 12b, ..., 12g are set at equal intervals along the vertical direction with respect to the extracted vertical edges 12 to 18.
  • the tracking point setting unit 35 sets tracking points 12a, 12b, ..., 12g on the extracted vertical edges 12 at equal intervals along the vertical direction.
  • the tracking point setting unit 35 sets seven tracking points 13a and the like for the other vertical edges 13 to 18 at the same equal intervals as in the vertical edge 12.
  • the plurality of tracking points set by the tracking point setting unit 35 do not have to be at equal intervals, and may be a plurality of tracking points arranged in the vertical direction.
  • FIG. 7 shows another target image P2 (for example, target image P1) taken by the camera 200 at a time series different from that of the target image P1 in which the tracking point 12a or the like is set by the tracking point setting unit 35 described above.
  • P2 for example, target image P1
  • FIG. 8 is a diagram in which two target images P1 and P2 are superimposed, the broken line shows the target image P1, and the solid line shows the target image P2.
  • the corresponding point detection unit 36 is in the target image P2 (see FIG. 7), which is a current image that is newer in time series than the target image P1 in which the tracking point 12a and the like are set by the tracking point setting unit 35 described above by the camera 200. , The corresponding points 12a'and the like corresponding to the tracking points 12a and the like set by the tracking point setting unit 35 for the target image P1 are detected.
  • the target image P1 and the target image P2 are different images from each other.
  • the detection of the corresponding point 12d'in the target image P2 corresponding to the tracking point 12d in the target image P1 by the corresponding point detecting unit 36 is centered on the tracking point 12d in the target image P1.
  • a rectangular small area (block) of 81 pixels consisting of 9 pixels vertically and 9 pixels horizontally is set, and the signal value pattern of the pixels of this small area is used as a template, and the signal value pattern of the small area is used in the target image P2.
  • a corresponding region having the same or similar signal value pattern is detected. Then, the pixel at the center of the corresponding region is detected as the corresponding point 12d'.
  • the size of the image of the subject captured in the target image P1 and the target image P2 may be different, and the signal value pattern of the small area set in the target image P1 is the target image P2. Because of its small size, it may happen that an appropriate corresponding area cannot be detected.
  • the small area set in the target image P1 is searched in the target image P2
  • the small area is enlarged or reduced.
  • a plurality of templates having different sizes may be set, searched by the plurality of templates having different sizes in the target image P2, the corresponding area may be appropriately detected, and the corresponding points may be detected.
  • the corresponding point detection unit 36 also uses the corresponding points 12a', 12b in the target image P2 for the other tracking points 12a, 12b, 12c, 12e, 12f, 12g set on the vertical edge 12 as well as the tracking points 12d. ′, 12c ′, 12e ′, 12f ′, 12g ′ are obtained.
  • the corresponding points 12a'to 12g' of the tracking points 12a to 12g arranged in a straight line on the vertical edge 12 are also arranged on the same line.
  • the target image P1 and the target image P2 are different images, there may be no corresponding point in the target image P2.
  • relatively similar correspondence points are detected at positions different from the original correspondence points, and the corresponding correspondence points detected in this way are often not lined up on the same line.
  • the corresponding point detection unit 36 calculates the average value of the coordinate values in the x direction of the corresponding points 12a'to 12g' detected in the target image P2, and the coordinate value in the x direction is calculated with respect to the average value.
  • Corresponding points 12a'to 12g'with a difference larger than the preset threshold value are determined to be not properly detected corresponding points and deleted. As a result, only the corresponding points whose coordinate values in the x direction are close to the average value remain, and these corresponding points can be arranged on a line extending in a straight line in the vertical direction.
  • the corresponding point detection unit 36 also detects the corresponding points 18d'and the like for the other tracking points 18d and the like set on the other vertical edges 13, ..., 18 and is on a line extending in a straight line in the vertical direction. Detect the corresponding points that can be arranged in.
  • the vertical edge specifying unit 37 identifies the vertical edge in the target image P2 in which the corresponding points detected by the corresponding point detecting unit 36 are arranged in the vertical direction. That is, as shown in FIG. 8, the vertical edge specifying portion 37 has the corresponding points 12c', 12d', and 12e'arranged in a straight line, and the straight line corresponds to the vertical edge 12 of the target image P1. Identify as.
  • the vertical edge specifying unit 37 specifies the vertical edges 13'to 18'in the target image P2, which correspond to the other vertical edges 13 to 18 of the target image P1, in the same manner as the vertical edges 12'.
  • the vehicle position acquisition unit 38 acquires the position of the vehicle in the real space from the GPS 300 when the target images P1 and P2 are captured respectively.
  • the storage unit 39 stores the height position H of the optical axis of the camera 200 provided in the vehicle in the real space.
  • FIG. 9 shows intersections 12x, 12x', of each vertical edge 12, 12', 13, 13', ..., 18, 18'in the target images P1 and P2 shown in FIG. 8 with the height position H of the camera 200. It is a schematic diagram which shows 18x, 18x'.
  • the vertical column position detection unit 40 has the vertical edges 12, 12', 13, 13', ..., 18, 18'and the cameras stored in the storage unit 39 in the target images P1 and P2.
  • the coordinate positions of the intersections 12x, 12x', ..., 18x, 18x'with the line indicated by the alternate long and short dash line at the height position H of 200 are obtained in the respective target images P1 and P2.
  • intersection point 12x is a subject that is the intersection point with the height position H of the camera 200 on the vertical edge 12 captured in the target image P1 at the position of the vehicle when the target image P1 is taken.
  • intersection point 12x' is a subject that is the intersection point with the height position H of the camera 200 on the vertical edge 12'imaged in the target image P2 at the position of the vehicle when the target image P2 is taken.
  • the intersection points 12x and 12x' are images corresponding to the side edges of the vertical pillar 61, which is the same subject.
  • the vertical column position detection unit 40 has the coordinate position of the intersection 12x, which is an image of a specific subject in the target image P1 taken at a known past position of the vehicle, and the target image P2 taken at the known current position of the vehicle. Based on the coordinate position of the intersection point 12x', which is an image of the same subject in, and the known past position and known current position of the vehicle in those real spaces, the subject (intersection point) in the real space is based on the principle of triangulation. Find the coordinate position of 12x, 12x').
  • the vertical column position detection unit 40 obtains the coordinate position obtained by projecting the obtained coordinate position of the subject in the real space on the road surface in the vertical direction.
  • the coordinate position projected on the road surface of the subject thus obtained is a position corresponding to the vertical edge of the vertical pillar 61 which is the subject in the real space.
  • the vertical column position detection unit 40 also obtains the coordinate positions of the vertical columns 62 to 63 corresponding to the vertical edges 13'to 18'corresponding to the other vertical edges 13 to 18.
  • FIG. 10 is a flowchart illustrating a processing flow of the camera ECU 100. The operation of the camera ECU 100 configured as described above will be described with reference to the flowchart shown in FIG.
  • the camera 200 provided in the vehicle captures an image at a cycle of 60 frames (60 [fps]) per second, and the image storage unit 31 acquires the image captured by the camera 200 (FIG. 10). S1) and memorize (S2).
  • the cylindrical strain correction unit 32 is based on the stored parameters.
  • the images stored in the image storage unit are sequentially converted into a cylindrical surface image p in which the cylindrical distortion is corrected (S3).
  • the processing range setting unit 33 sets a part of the cylindrical surface image p as the target image P to be the target of the subsequent processing range (S4).
  • the vertical edge detection unit 34 detects vertical edges 12, ..., 18 in the target image P1 extending in the vertical direction in the real space based on the target image P1 which is a past image (S5).
  • the tracking point setting unit 35 sets tracking points 12a to 18g for each vertical edge 12 to 18 (S6).
  • the corresponding point detection unit 36 corresponds to each tracking point 12a or the like set by the tracking point setting unit 35 on the target image P2 which is the current image taken at a timing different from the target image P1 which is the past image.
  • the corresponding point 12a'and the like are detected (S7).
  • the vertical edge specifying unit 37 identifies the vertical edge 12 ′ and the like corresponding to the vertical edge 12 and the like based on the corresponding point 12a ′ and the like detected by the corresponding point detecting unit 36 (S8).
  • the vertical edge specifying unit 37 specifies the vertical edges 13'to 18'in the target image P2, which correspond to the other vertical edges 13 to 18 of the target image P1, in the same manner as the vertical edges 12'.
  • the vertical column position detection unit 40 is the same subject between the target images P1 and P2 at the vertical edges 12, 12', 13, 13', ..., 18, 18'in the target images P1 and P2.
  • the coordinate positions of the intersections 12x, 12x', ..., 18x, 18x' with the height position H are specified (S9).
  • the vertical column position detection unit 40 determines the coordinate positions of the vertical columns 61 to 64 in the real space based on the coordinate positions of the intersections 12x, 12x', ..., 18x, 18x' and the coordinate positions of the vehicle in the real space. It detects and detects the ground contact position where each of the vertical columns 61 to 64 intersects the road surface (S10).
  • the camera ECU 100 of the present embodiment even if the vertical columns 61 to 64 cannot detect the corner portion, the coordinate position of the ground contact position in contact with the road surface of the vertical columns 61 to 64 in the real space is specified. It is possible to specify the positional relationship with the vehicle.
  • the camera ECU 100 of the present embodiment it is possible to accurately detect the distance between the two standing columns, determine whether or not the vehicle can pass between the two standing columns, and the vehicle can use 2 It is possible to determine whether or not it is possible to park between two pillars.
  • the vertical columns that can be detected by the camera ECU 100 of the present embodiment can detect not only the elongated columnar vertical columns 62 to 64 but also the side ends of the vertical wall having vertical edges at the side edges as the vertical columns 61.
  • the vertical edge specifying portion 37 specifies the vertical edge 12 and the like
  • the camera ECU 100 is specified by three corresponding points 12c', 12d', and 12e', but the vertical edge 12 is based on a plurality of corresponding points.
  • the vertical edge is specified by the corresponding points (4 or more) which is the majority of the number of tracking points 12a etc. (7 in this embodiment) set on the corresponding vertical edge 12. It is preferable to improve the reliability.
  • the vertical edge may be specified based on the corresponding points of less than half of the set number of tracking points.
  • the camera ECU 100 of the present invention uses a part of the cylindrical surface image as the target image in order to reduce the processing load by reducing the processing range, but the vertical column detecting device according to the present invention uses the cylindrical surface image. It may be used as it is as a processing target. Therefore, the vertical column detecting device according to the present invention does not have to include the processing range setting unit 33.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両との位置関係を特定することができる立柱検出装置及び立柱検出方法を提供するため、カメラＥＣＵ（３０）（立柱検出装置）は、時系列的に異なるタイミングで撮影された一方の対象画像（Ｐ１）における縦エッジ（１２）を検出する縦エッジ検出部（３４）と、縦エッジ（１２）に、鉛直方向に沿って並ぶ複数の追跡点（１２ａ）を設定する追跡点設定部（３５）と、追跡点（１２ａ）等に対応する対応点（１２ａ'）を他方の対象画像（Ｐ２）において検出する対応点検出部（３６）と、対象画像（Ｐ２）において、対応点（１２ａ）が鉛直方向に並んだ縦エッジを特定する縦エッジ特定部（３７）と、対象画像（Ｐ１），（Ｐ２）において対応する交点（１２ｄ），（１２ｄ'）の各座標位置と各対象画像（Ｐ１），（Ｐ２）が撮影されたときの車両の位置とに基づいて、縦エッジ（１２）の立柱（６１）の位置を検出する立柱位置検出部（４０）と、を備える。

Description

立柱検出装置及び立柱検出方法
　本発明は、立柱検出装置及び立柱検出方法に関する。
　車両に、車両の周囲を撮影するカメラを設置し、カメラで撮影された画像に基づいて、車両の運転支援や駐車支援を行うことが提案されている。この場合、画像に存在する特定の特徴点を画像処理により検出する必要がある。特徴点は、例えば、走行する道路に描かれた走行車線を仕切る白い破線のコーナ点や、駐車枠の白線のコーナ点などである（例えば、特許文献１参照）。
特開２０１８－０３２２５３号公報
　しかし、ビル内の駐車場や屋根のついたガレージなどに設けられている、床面から鉛直方向に延びて形成された立柱は、上述したコーナ点が無いため、特徴点として検出されないという問題がある。
　仮に、遠方から撮影した画像の場合は、例えば、立柱と床面との交点や、立柱と天井との交点をコーナ点として検出することができる場合もあると考えられる。しかし、車両がその立柱に近い状況においては、床面や天井がカメラの撮影範囲外となるため、特徴点の検出ができなくなる。
　本発明は上記事情に鑑みなされたものであり、コーナ部を検出することができない立柱であっても、車両との位置関係を特定することができる立柱検出装置及び立柱検出方法を提供することを目的とする。
　なお、本発明が解決しようする課題における立柱には、柱だけでなく鉛直方向に延びた縦壁も含む。
　本発明の第１は、車両の位置を取得する車両位置取得部と、前記車両に設けられたカメラにより撮影された画像を、鉛直方向に延びた円筒面に投影したと仮定して得られる円筒面画像に変換する円筒歪補正部と、前記円筒面画像に基づいて、鉛直方向に延びた縦エッジを検出する縦エッジ検出部と、前記縦エッジ検出部により検出された縦エッジに、鉛直方向に沿って並ぶ複数の追跡点を設定する追跡点設定部と、前記カメラにより時系列的に異なる時点で撮影された２つの画像のうち一方の画像の前記円筒面画像において前記追跡点設定部により設定された複数の前記追跡点にそれぞれ対応する、他方の画像の前記円筒面画像における対応点を検出する対応点検出部と、前記対応点検出部より検出された前記対応点が鉛直方向に並んだ、前記他方の円筒面画像における縦エッジを特定する縦エッジ特定部と、前記一方の円筒面画像において検出された縦エッジと前記他方の円筒面画像において特定された縦エッジと前記２つの画像をそれぞれ撮影したときの前記車両の各位置とに基づいて前記縦エッジを有する立柱の接地位置を求める立柱位置検出部と、を備えた立柱検出装置である。
　本発明の第２は、車両の位置を取得し、前記車両に設けられたカメラにより撮影された画像を、鉛直方向に延びた円筒面に投影したと仮定して得られる円筒面画像に変換し、前記円筒面画像に基づいて、鉛直方向に延びた縦エッジを検出し、前記縦エッジに、鉛直方向に沿って並ぶ複数の追跡点を設定し、前記カメラにより時系列的に異なる時点で撮影された２つの画像のうち一方の画像の前記円筒面画像において設定された複数の前記追跡点にそれぞれ対応する、他方の画像の前記円筒面画像における対応点を検出し、前記対応点が鉛直方向に並んだ、前記他方の円筒面画像における縦エッジを特定し、前記一方の円筒面画像において検出された縦エッジと前記他方の円筒面画像において特定された縦エッジと前記２つの画像をそれぞれ撮影したときの前記車両の各位置とに基づいて前記縦エッジを有する立柱の接地位置を求める立柱検出方法である。
　本発明に係る立柱検出装置及び立柱検出方法によれば、コーナ部を検出することができない立柱であっても、車両との位置関係を特定することができる。
本発明の一例であるカメラＥＣＵ（Electronic Control Unit）を含む立柱検出システムを示すブロック図である。 画像ｐａを円筒歪補正部により補正して得られた円筒面画像ｐの一例（円筒面画像ｐ１）である。 円筒面画像ｐ１のうち、縦方向の中心を含む上下所定の長さまでの矩形の範囲Ｒの対象画像Ｐ１の一例である。 対象画像Ｐ１において検出された縦エッジを示す図である。 検出された縦エッジについて、縦エッジごとの、ｙ方向（縦方向）に沿った画素の信号値の累積値Ｉを示すグラフである。 抽出された縦エッジに対して、縦方向に沿った等間隔で追跡点を設定した状態を示す図である。 カメラによって、上述した追跡点設定部により追跡点等が設定された対象画像とは時系列的に異なる時点で撮影された別の対象画像（例えば、対象画像を過去画像としたとき、対象画像よりも時系列的に新しい現在画像）を示す模式図である。 ２つの対象画像Ｐ１，Ｐ２を重ね合わせた図であり、破線は対象画像Ｐ１を、実線は対象画像Ｐ２を、それぞれ示す。 図８に示した対象画像Ｐ１，Ｐ２における各縦エッジとカメラの高さ位置Ｈとの交点を示す模式図である。 カメラＥＣＵの処理の流れを説明するフローチャートである。
　以下、本発明に係る立柱検出装置及び立柱検出方法の具体的な実施の形態について、図面を参照して説明する。
（構成）
　図１は本発明の一例であるカメラＥＣＵ（Electronic Control Unit）１００を含む立柱検出システムを示すブロック図である。
　図１に示したカメラＥＣＵ１００は、本発明に係る立柱検出装置の一実施形態であり、カメラＥＣＵ１００の動作は、本発明に係る立柱検出方法の一実施形態である。
　ここで、カメラＥＣＵ１００により処理される画像ｐａは、車両に設けられたカメラ２００により撮影された画像である。カメラ２００は、車両の所定の高さ位置Ｈに設けられている。カメラ２００は、例えば画角が１８０［°］程度という広角のレンズを備えている。したがって、カメラ２００により撮影して得られた画像ｐａは、特に周囲部分が歪んだ画像となる。
　一方、カメラ２００は、光軸が水平方向を向くように設定されている。したがって、カメラ２００が撮影した画像ｐａのうち、画像ｐａの中心（光軸に対応）を通る水平線上には、カメラ２００の光軸と同じ高さ位置Ｈに存在する被写体の画像が撮像される。
　カメラＥＣＵ１００は、画像記憶部３１と、円筒歪補正部３２と、処理範囲設定部３３と、縦エッジ検出部３４と、追跡点設定部３５と、対応点検出部３６と、縦エッジ特定部３７と、車両位置取得部３８と、記憶部３９と、を備えている。
　画像記憶部３１は、カメラ２００によって所定の時間間隔で撮影された画像ｐａを記憶する。円筒歪補正部３２は、カメラ２００により撮影され画像記憶部３１に記憶された画像ｐａを読み出して、実空間において鉛直方向に延びた円筒面に投影したと仮定して得られる円筒面画像ｐに変換する。
　円筒歪補正部３２には、画像ｐａを円筒面画像ｐに変換するためのパラメータが記憶されている。このパラメータは、上述したカメラ２００に設けられたレンズ等の光学的なデータに基づいて予め求められている。
　画像ｐａは、特に中心から離れた部分において歪んだ画像であるが、円筒歪補正部３２は、実空間において鉛直方向に延びた被写体については、鉛直方向（縦方向）に延びた画像（円筒面画像ｐ）となるように、歪んだ画像ｐａを変換する。これにより、実空間において鉛直方向に延びた被写体である立柱は、円筒面画像ｐにおいて縦方向に直線状に延びた像となる。
　図２は画像ｐａを円筒歪補正部３２により補正して得られた円筒面画像ｐの一例（円筒面画像ｐ１）である。円筒歪補正部３２は、図２に示すように、画像ｐａを円筒面画像ｐ１に変換する。
　処理範囲設定部３３は、円筒歪補正部３２により補正して得られた円筒面画像ｐのうち、鉛直方向の所定の範囲の一部分を処理の対象とする対象画像Ｐとして設定する。具体的には、円筒面画像ｐのうち、縦方向の中心を含む上下所定の長さまでの矩形の範囲を対象画像Ｐとして設定する。
　図３は円筒面画像ｐ１のうち、縦方向の中心を含む上下所定の長さまでの矩形の範囲Ｒの対象画像Ｐ１の一例である。処理範囲設定部３３は、図３に示すように、円筒面画像ｐ１のうち、縦方向の中心を含む上下所定の長さまでの矩形の範囲Ｒの対象画像Ｐ１を対象画像Ｐ１に変換する。
　処理範囲設定部３３が、円筒面画像ｐ１を対象画像Ｐ１に狭めたことにより、カメラＥＣＵ１００が画像に対して行う後述の処理の対象を少なくすることができ、処理の負荷を抑制することができる。
　なお、図３における円筒面画像ｐ１の縦方向の中心には、カメラ２００の高さ位置Ｈに存在する被写体の像が存在する。
　図４は対象画像Ｐ１において検出された縦エッジ１１，１２，…，１８を示す図である。縦エッジ検出部３４は、図４に示すように、対象画像Ｐ１に基づいて、実空間において鉛直方向に延びた、対象画像Ｐ１における縦エッジ１１，１２，…，１８を検出する。縦エッジ１１，１２，…，１８は、主に、縦方向に延びた立柱６１，６２，６３，６４の側縁に対応している。
　縦エッジ検出部３４による縦エッジ１１等の検出処理は、対象画像Ｐ１を、図４の横方向であるｘ方向に主走査しつつ、縦方向であるｙ方向に副走査して、対象画像Ｐ１を構成する画素の信号値の急激な変化が生じる部分をエッジとして検出する公知の処理である。
　なお、縦エッジ検出部３４は、図４に示した対象画像Ｐ１に実際に存在する縦エッジ部分と、その縦エッジ部分を対象画像Ｐ１の上下端まで延長した延長線（画像としての縦エッジ部分ではない）も含めて、縦エッジ１１等としている。
　縦エッジ検出部３４は、例えば図４に示すように８本の縦エッジ１１，１２，…，１８（延長線を含む）を検出するが、例えば縦エッジ１１のように縦方向の長さが短い縦エッジ部分（画像として実際に存在する縦エッジ）は、対象画像Ｐ１において、車両から遠く離れているために、画像としては小さく映ったエッジである可能性があり、車両に近い立柱として検出する必要がない。
　そこで、縦エッジ検出部３４は、検出された縦エッジ１１，１２，…，１８のうち、縦方向にある程度の長さがある縦エッジだけを、後の処理の対象とするために、検出された各縦エッジ１１，１２，…，１８上の画素の信号値を、縦エッジ１１，１２，…，１８ごとに累積し、その累積した値が予め設定された閾値を超えた縦エッジだけを、実際に長い縦エッジ部分が存在するものとして抽出し、閾値を超えない縦エッジを抽出しない。
　図５は検出された縦エッジ１１，１２，…，１８について、縦エッジ１１，１２，…，１８ごとの、ｙ方向（縦方向）に沿った画素の信号値の累積値Ｉを示すグラフである。具体的には、縦エッジ検出部３４は、図５に示すように、予め設定された閾値Ｉ０を記憶していて、累積値Ｉが閾値Ｉ０を超えた７つの縦エッジ１２，…，１８を縦エッジとして抽出し、累積値Ｉが閾値Ｉ０を超えない縦エッジ１１を縦エッジとして抽出しない。
　閾値Ｉ０は、後の処理の対象である縦エッジの数を少なくするために設定された値であるが、検出された縦エッジの全てを後の処理の対象としてもよい。したがって、縦エッジ検出部３４は、検出された縦エッジに対して、閾値Ｉ０との大小比較による抽出を行わなくてもよい。
　図６は抽出された縦エッジ１２～１８に対して、縦方向に沿った等間隔で追跡点１２ａ，１２ｂ，…，１２ｇを設定した状態を示す図である。追跡点設定部３５は、図６に示すように、抽出された縦エッジ１２に、縦方向に沿った等間隔で追跡点１２ａ，１２ｂ，…，１２ｇを設定する。追跡点設定部３５は、他の縦エッジ１３～１８に対しても、縦エッジ１２と同様に、同一の等間隔で７つずつの追跡点１３ａ等を設定する。なお、追跡点設定部３５が設定する複数の追跡点は等間隔でなくてもよく、縦方向に沿って並んだ複数の追跡点であればよい。
　図７は、カメラ２００によって、上述した追跡点設定部３５により追跡点１２ａ等が設定された対象画像Ｐ１とは時系列的に異なる時点で撮影された別の対象画像Ｐ２（例えば、対象画像Ｐ１を過去画像としたとき、対象画像Ｐ１よりも時系列的に新しい現在画像）を示す模式図である。
　図８は、２つの対象画像Ｐ１，Ｐ２を重ね合わせた図であり、破線は対象画像Ｐ１を、実線は対象画像Ｐ２を、それぞれ示す。
　対応点検出部３６は、カメラ２００によって、上述した追跡点設定部３５により追跡点１２ａ等が設定された対象画像Ｐ１よりも時系列的に新しい現在画像である対象画像Ｐ２（図７参照）における、対象画像Ｐ１に対して追跡点設定部３５により設定された追跡点１２ａ等にそれぞれ対応する対応点１２ａ′等を検出する。
　なお、対象画像Ｐ１から対象画像Ｐ２が取得されるまでの間に、車両は移動しているため、対象画像Ｐ１と対象画像Ｐ２は、互いに異なった画像となっている。
　例えば、図８に示すように、対応点検出部３６による対象画像Ｐ１における追跡点１２ｄに対応する対象画像Ｐ２における対応点１２ｄ′の検出は、対象画像Ｐ１において、追跡点１２ｄを中心とした、例えば、縦９画素×横９画素からなる８１画素の矩形の小領域（ブロック）を設定し、この小領域の画素の信号値パターンをテンプレートとして、対象画像Ｐ２において、小領域の信号値パターンと同一又は類似する信号値パターンを有する対応領域を検出する。そして、その対応領域の中心となる画素を、対応点１２ｄ′として検出する。
　なお、本実施形態のように、対象画像Ｐ１と対象画像Ｐ２とに写った被写体の像のサイズが異なることもあり、一方の対象画像Ｐ１で設定した小領域の信号値パターンが、対象画像Ｐ２においてはサイズが小さいため、適切な対応領域が検出できない場合も起こりうる。
　この場合、対象画像Ｐ１，Ｐ２に写った被写体の像のサイズの違いに対応するために、対象画像Ｐ１において設定した小領域を対象画像Ｐ２において探索する際に、小領域を拡大又は縮小した、サイズの異なる複数のテンプレートを設定して、対象画像Ｐ２において、そのサイズの異なる複数のテンプレートで探索し、適切に対応領域を検出して対応点を検出すればよい。
　対応点検出部３６は、縦エッジ１２上に設定された他の追跡点１２ａ，１２ｂ，１２ｃ，１２ｅ，１２ｆ，１２ｇについても、追跡点１２ｄと同様に、対象画像Ｐ２における対応点１２ａ′，１２ｂ′，１２ｃ′，１２ｅ′，１２ｆ′，１２ｇ′を求める。
　なお、図８に示すように、対応点が正常に検出された場合は、縦エッジ１２上に一直線上に並んだ追跡点１２ａ～１２ｇの対応点１２ａ′～１２ｇ′も同一線上に並ぶが、実際には、対象画像Ｐ１と対象画像Ｐ２とは異なる像であるため、対象画像Ｐ２に、対応点が存在しない場合もある。この場合、本来の対応点とは異なる位置に、比較的類似する対応点が検出されることになり、そのように検出された対応点は、同一線上には並ばない場合が多い。
　そこで、対応点検出部３６は、対象画像Ｐ２において検出された対応点１２ａ′～１２ｇ′のｘ方向の座標値の平均値を算出し、この平均値に対して、ｘ方向の座標値が、予め設定された閾値よりも差の大きい対応点１２ａ′～１２ｇ′については、適切に検出された対応点ではないものと判定して削除する。これにより、ｘ方向の座標値が平均値に近い対応点だけが残り、これらの対応点は、鉛直方向に一直線上に延びた線上に並び得る。
　対応点検出部３６は、他の縦エッジ１３，…，１８上に設定された他の追跡点１８ｄ等についても、同様に対応点１８ｄ′等を検出し、鉛直方向に一直線上に延びた線上に並び得る対応点を検出する。
　縦エッジ特定部３７は、対応点検出部３６により検出された対応点が鉛直方向に並んだ、対象画像Ｐ２における縦エッジを特定する。すなわち、縦エッジ特定部３７は、図８に示すように対応点１２ｃ′、１２ｄ′，１２ｅ′が一直線上に並んだ、その直線を、対象画像Ｐ１の縦エッジ１２に対応する縦エッジ１２′として特定する。
　縦エッジ特定部３７は、対象画像Ｐ１の他の縦エッジ１３～１８に対応する、対象画像Ｐ２における縦エッジ１３′～１８′についても、縦エッジ１２′と同様に特定する。
　車両位置取得部３８は、対象画像Ｐ１，Ｐ２がそれぞれ撮影されたときの、実空間における車両の位置をＧＰＳ３００から取得している。記憶部３９は、車両に設けられたカメラ２００の光軸の実空間における高さ位置Ｈを記憶している。
　図９は、図８に示した対象画像Ｐ１，Ｐ２における各縦エッジ１２，１２′，１３，１３′，…，１８，１８′とカメラ２００の高さ位置Ｈとの交点１２ｘ，１２ｘ′，…，１８ｘ，１８ｘ′を示す模式図である。
　立柱位置検出部４０は、図９に示すように、対象画像Ｐ１，Ｐ２において、各縦エッジ１２，１２′，１３，１３′，…，１８，１８′と、記憶部３９に記憶されたカメラ２００の高さ位置Ｈの一点鎖線で示す線との交点１２ｘ，１２ｘ′，…，１８ｘ，１８ｘ′の、各対象画像Ｐ１，Ｐ２における座標位置を求める。
　ここで、例えば交点１２ｘは、対象画像Ｐ１が撮影されたときの車両の位置において、対象画像Ｐ１に写った縦エッジ１２上のカメラ２００の高さ位置Ｈとの交点という被写体である。同様に、交点１２ｘ′は、対象画像Ｐ２が撮影されたときの車両の位置において、対象画像Ｐ２に写った縦エッジ１２′上のカメラ２００の高さ位置Ｈとの交点という被写体である。そして、両交点１２ｘ，１２ｘ′は、同一の被写体である立柱６１の側縁に対応した像である。
　立柱位置検出部４０は、車両の既知の過去の位置において撮影された対象画像Ｐ１における特定の被写体の像である交点１２ｘの座標位置と、車両の既知の現在の位置において撮影された対象画像Ｐ２における同一被写体の像である交点１２ｘ′の座標位置と、車両のそれらの実空間における既知の過去の位置及び既知の現在の位置とに基づいて、三角測量の原理により、実空間おける被写体（交点１２ｘ，１２ｘ′）の座標位置を求める。
　さらに、立柱位置検出部４０は、求められた被写体の実空間における座標位置を路面上に鉛直方向に投影した座標位置を求める。このように求められた被写体の路面上に投影された座標位置は、実空間における被写体である立柱６１の縦エッジに対応した位置となる。
　立柱位置検出部４０は、他の縦エッジ１３～１８に対応する縦エッジ１３′～１８′に対応する立柱６２～６３の座標位置も求める。
（作用）
　図１０は、カメラＥＣＵ１００の処理の流れを説明するフローチャートである。上述のように構成されたカメラＥＣＵ１００の動作について、図１０に示したフローチャートを参照して説明する。
　車両に設けられたカメラ２００は、例えば、１秒間に６０フレーム（６０［ｆｐｓ］）の周期で画像を撮影し、画像記憶部３１は、カメラ２００により撮影された画像を取得し(図)１０におけるＳ１）、記憶する（Ｓ２）。
　次いで、円筒歪補正部３２は、記憶されているパラメータに基づいて。画像記憶部に記憶された画像を順次、円筒歪を補正した円筒面画像ｐに変換する（Ｓ３）。
　処理範囲設定部３３は、円筒面画像ｐの一部を、後の処理の範囲の対象とする対象画像Ｐに設定する（Ｓ４）。
　次いで、縦エッジ検出部３４は、過去画像である対象画像Ｐ１に基づいて、実空間において鉛直方向に延びた、対象画像Ｐ１における縦エッジ１２，…，１８を検出する（Ｓ５）。
　追跡点設定部３５は、各縦エッジ１２～１８に対して、追跡点１２ａ～１８ｇを設定する（Ｓ６）。
　次いで、対応点検出部３６は、過去画像である対象画像Ｐ１とは異なるタイミングで撮影された現在画像である対象画像Ｐ２に、追跡点設定部３５により設定された各追跡点１２ａ等に対応する対応点１２ａ′等を検出する（Ｓ７）。
　縦エッジ特定部３７は、対応点検出部３６により検出された対応点１２ａ′等に基づいて、縦エッジ１２等に対応する縦エッジ１２′等を特定する（Ｓ８）。
　縦エッジ特定部３７は、対象画像Ｐ１の他の縦エッジ１３～１８に対応する、対象画像Ｐ２における縦エッジ１３′～１８′についても、縦エッジ１２′と同様に特定する。
　立柱位置検出部４０は、対象画像Ｐ１，Ｐ２において、各縦エッジ１２，１２′，１３，１３′，…，１８，１８′に、対象画像Ｐ１，Ｐ２間で同一被写体となる、カメラ２００の高さ位置Ｈとの交点１２ｘ，１２ｘ′，…，１８ｘ，１８ｘ′の座標位置を特定する（Ｓ９）。
　そして、立柱位置検出部４０は、各交点１２ｘ，１２ｘ′，…，１８ｘ，１８ｘ′の座標位置と車両の実空間での座標位置とに基づいて、実空間における立柱６１～６４の座標位置を検出し、各立柱６１～６４が路面と交わる接地位置を検出する（Ｓ１０）。
　以上の通り、本実施形態のカメラＥＣＵ１００によれば、コーナ部を検出することができない立柱６１～６４であっても、実空間における立柱６１～６４の路面に接した接地位置の座標位置を特定することができ、車両との位置関係を特定することができる。
　これにより、本実施形態のカメラＥＣＵ１００によれば、２つの立柱の間の距離を精度よく検出することができ、車両が２つの立柱の間を通過できるか否かを判定したり、車両が２つの立柱の間に駐車することができるか否かを判定したりすることができる。
　なお、本実施形態のカメラＥＣＵ１００により検出することができる立柱は、細長い柱状の立柱６２～６４だけでなく、側縁において縦エッジを有する立壁の側端部も立柱６１として検出することができる。
　本実施形態のカメラＥＣＵ１００は、縦エッジ特定部３７が縦エッジ１２等を特定するに際して、３つの対応点１２ｃ′，１２ｄ′，１２ｅ′により特定したが、複数の対応点に基づいて縦エッジ１２′等を特定するに際しては、対応する縦エッジ１２上に設定された追跡点１２ａ等の数（本実施形態では７つ）の過半数の数（４つ以上）の対応点で縦エッジを特定することが、信頼性を向上させる上で好ましい。なお、本発明に係る立柱検出装置は、本実施形態のように、設定された追跡点の数の過半数未満の対応点に基づいて縦エッジを特定してもよい。
　本実施形態のカメラＥＣＵ１００は、処理範囲を小さくすることにより処理の負荷を低減するために、円筒面画像の一部を対象画像としたが、本発明に係る立柱検出装置は、円筒面画像をそのまま処理の対象として用いてもよい。したがって、本発明に係る立柱検出装置は、処理範囲設定部３３を備えなくてもよい。
関連出願の相互参照
　本出願は、２０１９年５月３１日に日本国特許庁に出願された特願２０１９－１０２５８１に基づいて優先権を主張し、その全ての開示は完全に本明細書で参照により組み込まれる。

Claims (5)

  1. 　車両の位置を取得する車両位置取得部と、
    　前記車両に設けられたカメラにより撮影された画像を、鉛直方向に延びた円筒面に投影したと仮定して得られる円筒面画像に変換する円筒歪補正部と、
    　前記円筒面画像に基づいて、鉛直方向に延びた縦エッジを検出する縦エッジ検出部と、
    　前記縦エッジ検出部により検出された縦エッジに、鉛直方向に沿って並ぶ複数の追跡点を設定する追跡点設定部と、
    　前記カメラにより時系列的に異なる時点で撮影された２つの画像のうち一方の画像の前記円筒面画像において前記追跡点設定部により設定された複数の前記追跡点にそれぞれ対応する、他方の画像の前記円筒面画像における対応点を検出する対応点検出部と、
    　前記対応点検出部より検出された前記対応点が鉛直方向に並んだ、前記他方の画像の円筒面画像における縦エッジを特定する縦エッジ特定部と、
    　前記一方の画像の円筒面画像において検出された縦エッジと、前記他方の画像の円筒面画像において特定された縦エッジと、前記２つの画像をそれぞれ撮影したときの前記車両の各位置とに基づいて、前記縦エッジを有する立柱の接地位置を求める立柱位置検出部と、を備えた立柱検出装置。
  2. 　前記立柱位置検出部は、
    　前記一方の画像の円筒面画像において検出された縦エッジにおける、前記カメラの光軸の高さ位置に対応した第１の座標位置と、前記他方の画像の円筒面画像において特定された縦エッジにおける、前記カメラの光軸の高さ位置に対応した第２の座標位置と、前記２つの画像をそれぞれ撮影したときの前記車両の各位置とに基づいて、前記一方の画像の円筒面画像における第１の座標位置及び前記他方の画像の円筒面画像における前記第２の座標位置にそれぞれ表された共通の被写体の位置を検出し、前記被写体の位置に基づいて、前記被写体が存在する前記立柱の接地位置を求める、請求項１に記載の立柱検出装置。
  3. 　前記円筒歪補正部により補正して得られた前記円筒面画像のうち、鉛直方向の所定の範囲部分を処理の対象とする対象画像として設定する処理範囲設定部を備え、
    　前記縦エッジ検出部及び前記縦エッジ特定部は、前記円筒面画像に代えて前記対象画像に対して、前記縦エッジの検出又は前記縦エッジの特定を行う、請求項１又は２に記載の立柱検出装置。
  4. 　前記縦エッジ特定部は、前記対応点が鉛直方向に並んだ、前記他方の画像の円筒面画像における前記縦エッジを特定するに際して、前記縦エッジ検出部により検出された前記縦エッジに対して前記追跡点設定部により設定された複数の前記追跡点の数の過半数の前記対応点に基づいて前記縦エッジを特定する請求項１から３のうちいずれか１項に記載の立柱検出装置。
  5. 　車両の位置を取得し、
    　前記車両に設けられたカメラにより撮影された画像を、鉛直方向に延びた円筒面に投影したと仮定して得られる円筒面画像に変換し、
    　前記円筒面画像に基づいて、鉛直方向に延びた縦エッジを検出し、
    　前記縦エッジに、鉛直方向に沿って並ぶ複数の追跡点を設定し、
    　前記カメラにより時系列的に異なる時点で撮影された２つの画像のうち一方の画像の前記円筒面画像において設定された複数の前記追跡点にそれぞれ対応する、他方の画像の前記円筒面画像における対応点を検出し、
    　前記対応点が鉛直方向に並んだ、前記他方の画像の円筒面画像における縦エッジを特定し、
    　前記一方の画像の円筒面画像において検出された縦エッジと、前記他方の画像の円筒面画像において特定された縦エッジと、前記２つの画像をそれぞれ撮影したときの前記車両の各位置とに基づいて、前記縦エッジを有する立柱の接地位置を求める立柱検出方法。 
PCT/JP2020/017275 2019-05-31 2020-04-22 立柱検出装置及び立柱検出方法 WO2020241125A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP20814952.6A EP3978870A4 (en) 2019-05-31 2020-04-22 COLUMN DETECTION DEVICE AND COLUMN DETECTION METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-102581 2019-05-31
JP2019102581A JP7323339B2 (ja) 2019-05-31 2019-05-31 立柱検出装置及び立柱検出方法

Publications (1)

Publication Number Publication Date
WO2020241125A1 true WO2020241125A1 (ja) 2020-12-03

Family

ID=73553985

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/017275 WO2020241125A1 (ja) 2019-05-31 2020-04-22 立柱検出装置及び立柱検出方法

Country Status (3)

Country Link
EP (1) EP3978870A4 (ja)
JP (1) JP7323339B2 (ja)
WO (1) WO2020241125A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007153087A (ja) * 2005-12-02 2007-06-21 Sumitomo Electric Ind Ltd 障害物衝突判定システム、障害物衝突判定方法及びコンピュータプログラム
JP2007271386A (ja) * 2006-03-30 2007-10-18 Toyota Central Res & Dev Lab Inc 位置計測装置、方法及びプログラム、並びに移動量検出装置、方法及びプログラム
JP2015222558A (ja) * 2014-05-22 2015-12-10 ニューソフト コーポレーションＮｅｕｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ 車両死角内の目標対象の検出方法及びその装置
JP2018032253A (ja) 2016-08-25 2018-03-01 クラリオン株式会社 キャリブレーション装置、キャリブレーション方法、キャリブレーションプログラム
JP2019102581A (ja) 2017-11-30 2019-06-24 ルネサスエレクトロニクス株式会社 光半導体集積装置、光半導体集積装置の製造方法および光通信システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101470230B1 (ko) * 2013-10-30 2014-12-08 현대자동차주식회사 주차 영역 추적 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007153087A (ja) * 2005-12-02 2007-06-21 Sumitomo Electric Ind Ltd 障害物衝突判定システム、障害物衝突判定方法及びコンピュータプログラム
JP2007271386A (ja) * 2006-03-30 2007-10-18 Toyota Central Res & Dev Lab Inc 位置計測装置、方法及びプログラム、並びに移動量検出装置、方法及びプログラム
JP2015222558A (ja) * 2014-05-22 2015-12-10 ニューソフト コーポレーションＮｅｕｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ 車両死角内の目標対象の検出方法及びその装置
JP2018032253A (ja) 2016-08-25 2018-03-01 クラリオン株式会社 キャリブレーション装置、キャリブレーション方法、キャリブレーションプログラム
JP2019102581A (ja) 2017-11-30 2019-06-24 ルネサスエレクトロニクス株式会社 光半導体集積装置、光半導体集積装置の製造方法および光通信システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3978870A4

Also Published As

Publication number Publication date
JP2020197826A (ja) 2020-12-10
EP3978870A1 (en) 2022-04-06
EP3978870A4 (en) 2023-06-21
JP7323339B2 (ja) 2023-08-08

Similar Documents

Publication Publication Date Title
JP3820342B2 (ja) 車載撮像装置
JP5375958B2 (ja) 画像処理装置および画像処理方法
US8526681B2 (en) On-vehicle image processing device for vehicular control
JP5880703B2 (ja) 車線区分標示検出装置、運転支援システム
JP5054612B2 (ja) 接近物検出装置および接近物検出方法
JP6032034B2 (ja) 物体検知装置
JP2008102620A (ja) 画像処理装置
EP2770478A2 (en) Image processing unit, imaging device, and vehicle control system and program
RU2700646C2 (ru) Устройство обнаружения светофора и способ обнаружения светофора
US20200074660A1 (en) Image processing device, driving assistance system, image processing method, and program
KR20190132984A (ko) 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법
JP5141599B2 (ja) 車線認識装置及び方法
JP2003304561A (ja) ステレオ画像処理装置
JP2014106739A (ja) 車載画像処理装置
JP6960827B2 (ja) 路面領域検出装置
JP6407596B2 (ja) 画像処理装置、及び、運転支援システム
JP2001076128A (ja) 障害物検出装置及び方法
US20190259179A1 (en) Image processing device and image processing method
WO2020241125A1 (ja) 立柱検出装置及び立柱検出方法
JP2007018451A (ja) 道路区画線検出装置
JP2008286648A (ja) 距離計測装置、距離計測システム、距離計測方法
JP6032141B2 (ja) 走行路面標示検知装置および走行路面標示検知方法
KR101822429B1 (ko) 객체 정보 획득 장치 및 그 방법
JP2006012013A (ja) 移動物体追跡装置
JP2006040165A (ja) 障害物検出装置及び障害物検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20814952

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020814952

Country of ref document: EP

Effective date: 20220103