WO2007111241A1 - 道路画像解析装置及び道路画像解析方法 - Google Patents

道路画像解析装置及び道路画像解析方法 Download PDF

Info

Publication number
WO2007111241A1
WO2007111241A1 PCT/JP2007/055986 JP2007055986W WO2007111241A1 WO 2007111241 A1 WO2007111241 A1 WO 2007111241A1 JP 2007055986 W JP2007055986 W JP 2007055986W WO 2007111241 A1 WO2007111241 A1 WO 2007111241A1
Authority
WO
WIPO (PCT)
Prior art keywords
continuous component
component
road
continuous
image analysis
Prior art date
Application number
PCT/JP2007/055986
Other languages
English (en)
French (fr)
Inventor
Tadashi Sasakawa
Lin Zhu
Original Assignee
Pasco Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pasco Corporation filed Critical Pasco Corporation
Priority to CN2007800111981A priority Critical patent/CN101410872B/zh
Priority to US12/225,583 priority patent/US8126209B2/en
Priority to EP07739427.8A priority patent/EP2000979A4/en
Publication of WO2007111241A1 publication Critical patent/WO2007111241A1/ja

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/076—Slope angle of the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to a road image analysis apparatus and a road image analysis method for analyzing road images and extracting road markings such as a road center line, a road boundary line, and a road outer line, guardrails, and the like.
  • Japanese Patent Laid-Open No. 6-266828 discloses a technique for detecting side walls such as card rails by calculating three-dimensional position data from a stereo image acquired by a stereo camera.
  • both the road marking and the guardrail are linear images, and thus it is difficult to distinguish them. was there.
  • the present invention has been made in view of the above-described conventional problems, and its purpose is to provide road marking and guidance. It is an object of the present invention to provide a road image analysis apparatus and a road image analysis method capable of clearly and rapidly distinguishing from a single rail and acquiring accurate position information.
  • the present invention provides a road image analysis apparatus, two imaging means for photographing the same position from different directions, and image data acquired by one of the imaging means.
  • a continuous component extracting means for extracting a continuous component from the above, a three-dimensional position calculating means for calculating three-dimensional position information of the continuous component by combining the continuous component and image data acquired by the other of the imaging means, and the 3 Identification means for identifying the continuous component based on the three-dimensional position information calculated by the three-dimensional position calculation means.
  • the continuous component extracting means extracts a linear component from the image data acquired by one of the imaging means, and based on the position, inclination, and relationship between the linear components, the continuous component is described above. It is characterized by extracting components.
  • the three-dimensional position calculation means calculates the three-dimensional position information by performing a matching process between the end points of the continuous components and the image data acquired by the other of the imaging means.
  • the identifying means identifies the continuous component based on the height information of the continuous component included in the three-dimensional position information.
  • the continuous component extracting means, the three-dimensional position calculating means, and the identifying means are characterized in that a sub-area set in a direction orthogonal to the traveling direction of the road is used as a processing unit.
  • the present invention is a road image analysis method, the step of capturing the same position from two different directions, the step of extracting a continuous component from the captured one image data, and the continuous component Combining the other captured image data, calculating three-dimensional position information of the continuous component, and identifying the continuous component based on the calculated three-dimensional position information. To do.
  • the step of extracting the continuous component a linear component is extracted from the one of the captured image data, and the continuous component is calculated based on the position, inclination, and relationship between the linear components. It is characterized by extracting.
  • the step of calculating the three-dimensional position information of the continuous component includes calculating the three-dimensional position information by performing matching processing between the end point of the continuous component and the other image data that has been captured.
  • the step of identifying the continuous component is characterized in that the continuous component is identified based on height information of the continuous component included in the three-dimensional position information.
  • the step of extracting the continuous component, the step of calculating the three-dimensional position information of the continuous component, and the step of identifying the continuous component are subareas set in a direction orthogonal to the road traveling direction. Is executed as a processing unit.
  • FIG. 1 is a block diagram of a configuration example of a road image analysis device according to the present invention.
  • FIG. 2 is a functional block diagram showing each function of the road image analysis device according to the present invention.
  • FIG. 3 is an explanatory diagram of a shooting area by an imaging unit.
  • FIG. 4 is a flowchart of an operation example of the road image analysis device according to the present invention.
  • FIG. 5 is a diagram showing an example of a main image in which a sub area is set.
  • FIG. 6 is an explanatory diagram of edge extraction processing.
  • FIG. 7 is a diagram showing an example of extracted linear components.
  • FIG. 8 is a diagram showing an example of a result of continuous component extraction processing.
  • FIG. 9 is an explanatory diagram of matching processing.
  • FIG. 10 is a diagram showing a display example of a road image analysis result.
  • FIG. 1 shows a block diagram of a configuration example of a road image analysis apparatus according to the present invention.
  • This road image analysis apparatus can be realized by, for example, a personal computer.
  • the road image analysis apparatus includes a first camera 10, a second camera 12, interfaces 14 and 16, a processor 18, a storage unit 20, a display unit 22, and an operation unit 24.
  • the first camera 10 is a stereo camera provided as a set of two to obtain a stereo image.
  • the second camera 12 is the other of the stereo cameras, for example, a right camera.
  • the first camera 10 and the second camera 12 take a color image or a monochrome image from the same position in different directions, and constitute an imaging means of the present invention.
  • the interfaces 14 and 16 receive the image data acquired by the first camera 10 and the second camera 12, respectively, and transfer them to the processor 18 and the like.
  • the processor 18 is constituted by a CPU (Central Processing Unit) and the like, and controls these operations while exchanging data with the interfaces 14 and 16, the storage unit 20, the display unit 22, and the operation unit 24.
  • CPU Central Processing Unit
  • the storage unit 20 includes a working RAM (random access memory) for the processor 18, a ROM (read-only memory) in which a program executed by the processor 18 is stored, a flash memory as a nonvolatile memory, and a magnetic storage.
  • a computer-readable storage medium composed of a medium or the like.
  • road markings and guardrail position information which are analysis results by the present apparatus, may be stored.
  • the display unit 22 is configured by a liquid crystal display (LCD), for example, and displays an analysis result of the road image analysis device, a user interface for a user to input an operation instruction to the road image analysis device, and the like.
  • LCD liquid crystal display
  • the operation unit 24 includes a pointing device such as a mouse and an input device such as a keyboard, and is used for inputting data by the user.
  • FIG. 2 is a functional block diagram showing the functions of the road image analysis device.
  • the road image analysis apparatus includes an imaging unit 26, a preprocessing unit 28, an edge extraction unit 30, a straight line extraction unit 32, a straight line component analysis unit 34, a matching processing unit 36, a map coordinate information calculation unit 38, and an identification unit 40. And a position information acquisition unit 42.
  • the imaging unit 26 is realized by the first camera 10, the second camera 12, and the interfaces 14 and 16, and the image data acquired by the second camera 12 using the image data acquired by the first camera 10 as main image data. Are output as auxiliary image data.
  • the pre-processing unit 28 is realized by the processor 18, facilitates edge extraction processing by image enhancement processing or the like on the main image data, and also in a plurality of sub-areas that are basic units of image analysis. A process of dividing the image is executed.
  • the sub-area is road driving Set to be orthogonal to the direction.
  • the edge extraction unit 30 is realized by the processor 18, and performs extraction of edge components of bright and dark patterns and dark and bright patterns in each subarea.
  • the edge component is an outline of a columnar structure such as a road marking, a guardrail, a utility pole, etc. included in the main image data.
  • a first-order horizontal differential filter can be used for the edge extraction.
  • the straight line extraction unit 32 is realized by the processor 18, and extracts a straight line component from the edge component extracted by the edge extraction unit 30. This linear component extraction is performed using, for example, Hough transform.
  • the straight line component analysis unit 34 is realized by the processor 18 and extracts continuous components in the main image data based on the position and inclination of the straight line components extracted by the straight line extraction unit 32, the relationship between the straight line components, and the like.
  • the continuous component is a linear component that repeatedly exists in a certain direction in the image or is continuous in a certain direction.
  • the former is a road boundary line drawn repeatedly at a predetermined length on a road or a utility pole provided at a predetermined length at the end of the road.
  • the road outer line or guardrail drawn as a continuous line on the road is an example of the former. Etc. is an example of the latter.
  • the continuity of such linear components is determined by the linear component analysis unit 34 based on the positional relationship of the linear components within each subarea and between each subarea.
  • linear components of pole-like structures such as utility poles can be removed by their inclination and excluded from the target of linear analysis.
  • the relationship between the straight line components is, for example, a distance between the straight line components, and is used to extract a road marking drawn on the road. That is, since the width between the road markings and the width between the road markings is preliminarily divided, it is possible to determine that the combination of straight line components that are clearly larger or smaller than the above width and that make up the distance is not a straight line component of the road markings. it can.
  • edge extraction unit 30, the line extraction unit 32, and the line component analysis unit 34 described above constitute the continuous component extraction unit of the present invention.
  • the matching processing unit 36 is realized by the processor 18, and performs matching processing between the vertices of the continuous components of the main image data and the auxiliary image data! ⁇ Based on information such as parallax between corresponding points and camera position Triangulation calculates relative 3D position information for each continuous line segment Put out.
  • the map coordinate information calculation unit 38 is realized by the processor 18, and is based on the coordinate information acquired by the position information acquisition unit 42 and the relative three-dimensional position information obtained by the matching processing unit 36. Coordinate information is calculated.
  • the matching processing unit 36 constitutes a three-dimensional position calculation unit of the present invention.
  • the identification unit 40 is realized by the processor 18, and identifies whether the continuous component is a force guard rail that is a road marking based on the height information of each continuous component included in the three-dimensional position information.
  • the position information acquisition unit 42 is realized by a GPS (Global Positioning System), a gyro, or the like, obtains an imaging position and orientation by the imaging unit 26, determines coordinates of corresponding image data, and serves as coordinate information. Output to the map coordinate information calculation unit 38.
  • GPS Global Positioning System
  • gyro gyro
  • FIG. 3 is an explanatory diagram of a shooting area by the imaging unit 26 mounted on the vehicle.
  • the arrangement direction of the first camera 10 and the second camera 12 of the imaging unit 26 is represented by X
  • the photographing direction (the traveling direction of the vehicle) is represented by Z.
  • the shooting area by the left camera as the first camera 10 is indicated by ⁇
  • the shooting area by the right camera as the second camera is indicated by / 3. It is also possible to attach the camera in the direction opposite to the traveling direction of the vehicle.
  • the image data in the shooting area a is main image data
  • the image data in the shooting area ⁇ is auxiliary image data.
  • the matching processing by the matching processing unit 36 is performed on the image data of the object existing in the overlapping area ⁇ where the imaging area ex and the imaging area ⁇ overlap.
  • FIG. 4 shows a flow of an example of the operation of the road image analysis apparatus that is useful for the present embodiment described in FIGS. 1 and 2.
  • the preprocessing unit 28 acquires main image data from the imaging unit 26 (Sl).
  • the image data captured by the first camera 10 is the main image data.
  • the image data captured by the second camera 12 may be the main image data.
  • the pre-processing unit 28 performs the above-described initialization process on the acquired main image data, and sets a plurality of sub-areas (S2).
  • FIG. 5 shows a main image in which a sub area is set.
  • a plurality of sub-areas 44 are set in the main image; each is shown by being separated by a
  • the edge extraction unit 30 extracts edge components for each of the subareas 44 (S3).
  • This edge extraction processing is performed by recognizing brightness and color light and dark patterns and dark and light light patterns using a primary horizontal differential filter in each sub-area of the initialized main image data. Since the pillar structure such as road markings, guardrails, and utility poles in the main image shown in Fig. 5 has high brightness against the background of roads, the boundary between light and dark can be recognized as an edge. .
  • FIG. 6 is an explanatory diagram of edge extraction processing.
  • each edge component extracted by the edge extraction unit 30 is indicated by a one-dot chain line.
  • the straight line extraction unit 32 analyzes the extracted edge component and extracts a straight line component.
  • FIG. 7 an example of the extracted straight line component is indicated by a solid line.
  • the extracted linear components are road markings, guardrails, utility poles, or other columnar structures.
  • the linear component analysis unit 34 extracts a continuous component to be analyzed based on the position and inclination of the linear component, the relationship between the straight lines, and the like (S5).
  • this continuous component it is preferable to exclude columnar structures such as utility poles depending on the slope of the linear component and the position on the road. As a result, subsequent processing can be narrowed down to road markings and guardrails, and processing can be simplified.
  • FIG. 8 shows an example of the result of the continuous component extraction process.
  • a linear component that is repeatedly present in a certain direction or continuously in a certain direction in the image is extracted.
  • the matching processing unit 36 performs matching processing between the vertices of the continuous component and the auxiliary image data (S6).
  • FIGS. 9A and 9B are explanatory diagrams of the matching process.
  • FIG. 9 (a) shows the continuous components extracted by the linear component analysis unit 34
  • FIG. 9 (b) shows the matching result with the auxiliary image.
  • the matching processing unit 36 performs matching between the end points of the continuous components shown in FIG. 9 (a) and the auxiliary image data by, for example, the area correlation method, and based on information such as the parallax between the corresponding points, the camera position, and the posture. Calculate relative 3D position information of each continuous component by triangulation To do.
  • Fig. 9 (a) 12 examples of end points (al to al2) are shown. The number of end points is not limited to the above 12 points, and may be larger.
  • the corresponding point search is performed only at the end points instead of all the points of the continuous component, so that the matching processing can be performed with high accuracy and high speed.
  • the map coordinate information calculation unit 38 calculates coordinate information on the map based on the coordinate information acquired by the position information acquisition unit 42 and the relative three-dimensional position information obtained by the matching processing unit 36. Further, the identification unit 40 identifies whether the continuous component is a force guard rail that is a road marking based on the height information of each continuous component included in the coordinate information on the map (S7). This process can be executed by setting a predetermined threshold value for the height information, using a continuous component having a height higher than the threshold value as a guardrail and using a low continuous component as a road marking. Note that the identification processing may be performed based on relative coordinate information, and thereafter the coordinate information force acquired by the position information acquisition unit 42 may also calculate the coordinate information on the map.
  • FIG. 10 shows an example of this display.
  • the coordinate values of X, ⁇ , and ⁇ are shown for each attribute of the road marking and guardrail.
  • the coordinate information may be stored in the storage unit 20 as a database.
  • the linear component analysis unit 34 narrows down the analysis target to the road marking and guard rail, and the matching processing unit 36 and the identification unit 40 identify the road marking and the guard rail. .
  • road markings and guardrails can be clearly distinguished by a combination of simple processes, and accurate position information can be acquired.
  • road markings and guardrails can be clearly and quickly distinguished, and accurate position information can be acquired.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　道路標示とガードレールとを明確かつ高速に区別することができ、正確な位置情報を取得できる道路画像解析装置であって、撮像部（２６）が取得した主画像データに対して前処理部（２８）がサブエリアを設定し、エッジ抽出部（３０）がサブエリア毎にエッジ成分を抽出する。直線抽出部（３２）は、上記抽出されたエッジ成分を解析して直線成分を抽出し、この直線成分を使用して直線成分解析部（３４）が直線成分の中から連続成分を抽出する。マッチング処理部（３６）は、上記連続成分の頂点と補助画像データとのマッチング処理を行い、各連続成分の３次元位置情報を取得する。識別部（４０）は、３次元位置情報に含まれる各連続成分の高さ情報に基づき、連続成分が道路標示かガードレールかを識別する。

Description

明 細 書
道路画像解析装置及び道路画像解析方法
技術分野
[0001] 本発明は、道路画像を解析して車道中央線や車道境界線、車道外側線等の道路 標示、ガードレール等を抽出する道路画像解析装置及び道路画像解析方法に関す る。
背景技術
[0002] 従来より、高精度の道路地図を作成するため、道路標示やガードレール等に関す る正確な位置情報を取得する必要があった。この目的のため、例えば車載された単 眼視力メラにより取得された 2次元画像を用い、その輝度情報に基づいて解析を行う 方法が知られている。このような技術の例が、特開平 1— 242916号公報に開示され ている。
[0003] また、特開平 6— 266828号公報には、ステレオカメラにより取得したステレオ画像 から 3次元位置データを算出してカードレール等の側壁を検出する技術が開示され ている。
発明の開示
発明が解決しょうとする課題
[0004] しかし、上記従来の技術においては、単眼視力メラが取得する 2次元画像を使用す る場合、道路標示とガードレールとは共に直線状の画像となるので、その区別が困難 であるという問題があった。
[0005] また、ステレオカメラが取得するステレオ画像を使用する場合、画像全体に対して マッチング処理を行う必要があるため処理が重ぐまた画像を小領域に分割しマッチ ング処理を高速化した場合であっても、小領域内に距離の異なる複数の物体が混在 することになるため十分な距離測定精度が得られないという問題があった。更に、得 られた 3次元位置情報だけでは道路標示とガードレールとの区別が困難であるという 問題があった。
[0006] 本発明は、上記従来の課題に鑑みなされたものであり、その目的は、道路標示とガ 一ドレールとを明確かつ高速に区別することができ、正確な位置情報を取得できる道 路画像解析装置及び道路画像解析方法を提供することにある。
課題を解決するための手段
[0007] 上記目的を達成するために、本発明は、道路画像解析装置であって、同一位置を 異なる方向から撮影する 2台の撮像手段と、前記撮像手段の一方が取得した画像デ ータから連続成分を抽出する連続成分抽出手段と、前記連続成分と前記撮像手段 の他方が取得した画像データとを組合せ、前記連続成分の 3次元位置情報を算出 する 3次元位置算出手段と、前記 3次元位置算出手段が算出した 3次元位置情報に 基づ!ヽて前記連続成分を識別する識別手段と、を備えることを特徴とする。
[0008] ここで、上記連続成分抽出手段は、前記撮像手段の一方が取得した画像データか ら直線成分を抽出し、この直線成分の位置、傾き及び直線間の関連性に基づいて前 記連続成分を抽出することを特徴とする。
[0009] また、上記 3次元位置算出手段は、前記連続成分の端点と前記撮像手段の他方が 取得した画像データとをマッチング処理することにより 3次元位置情報を算出すること を特徴とする。
[0010] また、上記識別手段は、前記 3次元位置情報に含まれる前記連続成分の高さ情報 に基づ!/ヽて前記連続成分を識別することを特徴とする。
[0011] また、上記連続成分抽出手段、 3次元位置算出手段及び識別手段は、道路の走行 方向に対して直交する方向に設定されたサブエリアを処理単位とすることを特徴とす る。
[0012] また、本発明は、道路画像解析方法であって、同一位置を異なる 2方向から撮影す るステップと、前記撮影した一方の画像データから連続成分を抽出するステップと、 前記連続成分と前記撮影した他方の画像データとを組合せ、前記連続成分の 3次元 位置情報を算出するステップと、前記算出した 3次元位置情報に基づいて前記連続 成分を識別するステップと、を備えることを特徴とする。
[0013] ここで、上記連続成分を抽出するステップは、前記撮影した一方の画像データから 直線成分を抽出し、この直線成分の位置、傾き及び直線間の関連性に基づいて前 記連続成分を抽出することを特徴とする。 [0014] また、上記連続成分の 3次元位置情報を算出するステップは、前記連続成分の端 点と前記撮影した他方の画像データとをマッチング処理することにより 3次元位置情 報を算出することを特徴とする。
[0015] また、上記連続成分を識別するステップは、前記 3次元位置情報に含まれる前記連 続成分の高さ情報に基づいて前記連続成分を識別することを特徴とする。
[0016] また、上記連続成分を抽出するステップ、連続成分の 3次元位置情報を算出するス テツプ及び連続成分を識別するステップは、道路の走行方向に対して直交する方向 に設定されたサブエリアを処理単位として実行されることを特徴とする。
図面の簡単な説明
[0017] [図 1]本発明にかかる道路画像解析装置の構成例のブロック図である。
[図 2]本発明にかかる道路画像解析装置の各機能を表す機能ブロック図である。
[図 3]撮像部による撮影エリアの説明図である。
[図 4]本発明にかかる道路画像解析装置の動作例のフロー図である。
[図 5]サブエリアが設定された主画像の例を示す図である。
[図 6]エッジ抽出処理の説明図である。
[図 7]抽出された直線成分の例を示す図である。
[図 8]連続成分の抽出処理の結果の例を示す図である。
[図 9]マッチング処理の説明図である。
[図 10]道路画像の解析結果の表示例を示す図である。
発明を実施するための最良の形態
[0018] 以下、本発明を実施するための最良の形態 (以下、実施形態という）を、図面に従 つて説明する。
[0019] 図 1には、本発明にかかる道路画像解析装置の構成例のブロック図が示される。こ の道路画像解析装置は、例えばパーソナルコンピュータ等で実現することができる。 図 1において、道路画像解析装置は、第 1カメラ 10、第 2カメラ 12、インターフェース 1 4、 16、プロセッサ 18、記憶部 20、表示部 22及び操作部 24を含んで構成されている
[0020] 第 1カメラ 10は、ステレオ画像を取得するために 2台 1組で設けられるステレオカメラ の一方、例えば左カメラである。また、第 2カメラ 12は、上記ステレオカメラの他方、例 えば右カメラである。これらの第 1カメラ 10及び第 2カメラ 12は、同一位置を異なる方 向からカラー画像またはモノクロ画像を撮影し、本発明の撮像手段を構成する。
[0021] インターフェース 14、 16は、それぞれ上記第 1カメラ 10、第 2カメラ 12が取得した画 像データを受け取り、プロセッサ 18等に転送する。
[0022] プロセッサ 18は、 CPU (中央処理装置）等により構成され、インターフェース 14、 1 6、記憶部 20、表示部 22及び操作部 24とデータのやり取りを行いながらこれらの動 作を制御する。
[0023] 記憶部 20は、プロセッサ 18の作業用の RAM (ランダムアクセスメモリ）、プロセッサ 18が実行するプログラム等が格納された ROM (リードオンリーメモリ）、不揮発性メモ リとしてのフラッシュメモリ、磁気記憶媒体等で構成されたコンピュータ読み取り可能 な記憶媒体である。また、本装置による解析結果である道路標示やガードレールの 位置情報を記憶してもよい。
[0024] 表示部 22は、例えば液晶ディスプレイ (LCD)等で構成され、道路画像解析装置 の解析結果、ユーザが道路画像解析装置への動作指示等を入力するためのユーザ インターフェース等を表示する。
[0025] 操作部 24は、マウス等のポインティングデバイス、キーボード等の入力装置を含み 、ユーザによるデータの入力等に使用する。
[0026] 図 2には、上記道路画像解析装置の各機能を表す機能ブロック図が示される。図 2 において、道路画像解析装置は、撮像部 26、前処理部 28、エッジ抽出部 30、直線 抽出部 32、直線成分解析部 34、マッチング処理部 36、地図座標情報算出部 38、 識別部 40及び位置情報取得部 42を含んで構成されている。
[0027] 撮像部 26は、第 1カメラ 10、第 2カメラ 12、インターフェース 14、 16により実現され 、第 1カメラ 10で取得した画像データを主画像データとして、第 2カメラ 12で取得した 画像データを補助画像データとしてそれぞれ出力する。
[0028] 前処理部 28は、プロセッサ 18により実現され、上記主画像データに対して画像強 調処理等によりエッジ抽出処理を容易にするとともに、画像解析の基本単位である複 数のサブエリアに画像を分割する処理を実行する。なお、サブエリアは道路の走行 方向に直交するよう設定する。
[0029] エッジ抽出部 30は、プロセッサ 18により実現され、上記各サブエリアにおいて、輝 度や色が明ー喑パターン及び暗一明パターンのエッジ成分の抽出を行う。ここで、ェ ッジ成分とは、上記主画像データに含まれる、道路標示、ガードレール、電柱等の柱 状構造物等の輪郭である。また、上記エッジ抽出には、例えば 1次水平微分フィルタ を使用することができる。
[0030] 直線抽出部 32は、プロセッサ 18により実現され、上記エッジ抽出部 30が抽出した エッジ成分から直線成分を抽出する。この直線成分の抽出は、例えばハフ変換等を 使用して行う。
[0031] 直線成分解析部 34は、プロセッサ 18により実現され、上記直線抽出部 32が抽出し た直線成分の位置や傾き、直線成分間の関連性等に基づき主画像データ中の連続 成分を抽出する。ここで、連続成分とは、画像中で一定方向に繰り返し存在し、また は一定方向に連続している直線成分である。例えば、道路上に所定長さで繰り返し 描かれる車道境界線や道路端部に所定長さ毎に設けられる電柱等が前者の例であ り、道路上に連続線として描かれる車道外側線やガードレール等が後者の例である 。このような直線成分の連続性は、各サブエリア内及び各サブエリア相互における上 記直線成分の位置関係により直線成分解析部 34が判定する。また、電柱等の柱状 構造物の直線成分は、その傾きにより除去し、直線解析の対象から除外することがで きる。さらに、上記直線成分間の関連性は、例えば直線成分相互の間の距離であり、 道路上に描かれる道路標示を抽出するために使用される。すなわち、道路標示及び 道路標示間の幅は予め分力つて 、るので、上記幅より明らかに大き 、または小さ 、 距離をなす直線成分の組合わせは道路標示の直線成分ではないと判定することが できる。
[0032] なお、上述したエッジ抽出部 30、直線抽出部 32及び直線成分解析部 34により、本 発明の連続成分抽出手段が構成される。
[0033] マッチング処理部 36は、プロセッサ 18により実現され、上記主画像データの連続 成分の頂点と補助画像データとのマッチング処理を行! \対応点との視差及びカメラ 位置などの情報を基に三角測量により各連続線分の相対的な 3次元位置情報を算 出する。
[0034] 地図座標情報算出部 38は、プロセッサ 18により実現され、位置情報取得部 42が 取得した座標情報とマッチング処理部 36が求めた相対的な 3次元位置情報とに基 づき、地図上の座標情報を算出する。
[0035] 上記マッチング処理部 36により、本発明の 3次元位置算出手段が構成される。
[0036] 識別部 40は、プロセッサ 18により実現され、上記 3次元位置情報に含まれる各連 続成分の高さ情報に基づき、連続成分が道路標示である力ガードレールであるかを 識別する。
[0037] 位置情報取得部 42は、 GPS (全地球測位システム）、ジャイロ等により実現され、撮 像部 26による撮像位置及び姿勢を求めて、対応する画像データの座標を決定し、 座標情報として地図座標情報算出部 38に出力する。
[0038] 図 3には、車載された撮像部 26による撮影エリアの説明図が示される。なお、図 3で は、撮像部 26の第 1カメラ 10及び第 2カメラ 12の並び方向が Xで表され、撮影方向（ 車両の進行方向）が Zで表されている。また、第 1カメラ 10としての左カメラによる撮影 エリアが αで示され、第 2カメラとしての右カメラによる撮影エリアが /3で示されている 。なお、カメラを車両の進行方向と逆向きに取り付けることも可能である。
[0039] 図 3において、撮影エリア aの画像データが主画像データであり、撮影エリア βの 画像データが補助画像データである。上記マッチング処理部 36によるマッチング処 理は、撮影エリア exと撮影エリア βとが重複する重複エリア γに存在する対象物の画 像データにつ 、て行われる。
[0040] 図 4には、図 1及び図 2で説明した本実施形態に力かる道路画像解析装置の動作 例のフローが示される。図 4において、前処理部 28が撮像部 26から主画像データを 取得する（Sl)。ここで、図 2では、第 1カメラ 10が撮像した画像データを主画像デー タとしている力 第 2カメラ 12が撮像した画像データを主画像データとしてもよい。
[0041] 前処理部 28は、上記取得した主画像データに対して上述した初期化処理を実行し 、複数のサブエリアを設定する（S2)。
[0042] 図 5には、サブエリアが設定された主画像が示される。図 5において、主画像には複 数のサブエリア 44が設定されており、それぞ; |τ¾線で区切られて示されて!ヽる。 [0043] 次に、エッジ抽出部 30が上記サブエリア 44毎にエッジ成分を抽出する（S3)。この エッジ抽出処理は、初期化処理された主画像データの各サブエリアにおいて 1次水 平微分フィルタを使用して輝度や色の明 暗パターン及び暗一明パターンを認識す ることにより行われる。図 5に示された主画像中の道路標示やガードレール、電柱等 の柱状構造物は道路等の背景に対して輝度が高いので、明と暗との境界をエッジと して認識することができる。
[0044] 図 6には、エッジ抽出処理の説明図が示される。図 6において、エッジ抽出部 30が 抽出した各エッジ成分が一点鎖線で示されて 、る。
[0045] 次に、直線抽出部 32が上記抽出されたエッジ成分を解析し、直線成分を抽出する
(S4)。
[0046] 図 7には、抽出された直線成分の例が実線で示される。この段階では、抽出された 直線成分が、道路標示、ガードレール、電柱等の柱状構造物のいずれであるかは区 別されていない。
[0047] そこで、直線成分解析部 34は、上記直線成分の位置や傾き、直線間の関連性等 に基づいて解析対象となる連続成分を抽出する（S5)。この連続成分を抽出する際 には、直線成分の傾きや道路上の位置により電柱等の柱状構造物を除外するのが 好適である。これにより、以後の処理を道路標示とガードレールに絞ることができ、処 理を簡略ィ匕することができる。
[0048] 図 8には、連続成分の抽出処理の結果の例が示される。図 8において、画像中で一 定方向に繰り返し存在し、または一定方向に連続して 、る直線成分が抽出されて 、 る。
[0049] 次に、マッチング処理部 36は、上記連続成分の頂点と補助画像データとのマッチ ング処理を行う（S6)。
[0050] 図 9 (a)、 (b)には、マッチング処理の説明図が示される。ここで、図 9 (a)が直線成 分解析部 34が抽出した連続成分を示し、図 9 (b)が補助画像とのマッチング結果を 示す。マッチング処理部 36は、例えば面積相関法により図 9 (a)に示される連続成分 の端点と補助画像データとのマッチングを行い、対応点との視差、カメラ位置及び姿 勢などの情報を基に三角測量により各連続成分の相対的な 3次元位置情報を算出 する。図 9 (a)では、端点の例が 12点（al〜al2)示されている。なお、端点の数は上 記 12点に限定されず、さらに多くてもよい。以上の処理により、連続成分の全ての点 ではなく端点のみで対応点探索を行うので、マッチング処理を高精度かつ高速に行 うことができる。
[0051] 地図座標情報算出部 38は、位置情報取得部 42が取得した座標情報とマッチング 処理部 36が求めた相対的な 3次元位置情報とに基づき、地図上の座標情報を算出 する。また、識別部 40は、上記地図上の座標情報に含まれる各連続成分の高さ情報 に基づき、連続成分が道路標示である力ガードレールであるかを識別する（S7)。こ の処理は、上記高さ情報に所定の閾値を設定し、この閾値より高さが高い連続成分 をガードレールとし、低い連続成分を道路標示とすることにより実行することができる 。なお、上記識別処理を相対的な座標情報に基づいて行い、その後、位置情報取得 部 42が取得した座標情報力も地図上の座標情報を算出してもよい。
[0052] 上述の解析動作により求められた道路標示及びガードレールの地図上の座標情報 は、表示部 22に表示される（S8)。図 10には、この表示例が示される。図 10では、道 路標示及びガードレールの属性毎に X、 Υ、 Ζの各座標値が示されている。なお、上 記座標情報をデータベースとして記憶部 20に記憶してもよい。
[0053] 以上の各工程によれば、直線成分解析部 34により、解析対象を道路標示とガード レールに絞った上でマッチング処理部 36及び識別部 40により道路標示とガードレー ルを識別している。これにより、道路標示とガードレールとを簡易な処理の組合せで 明確に区別することができ、正確な位置情報を取得することもできる。
産業上の利用可能性
[0054] 本発明によれば、道路標示とガードレールとを明確かつ高速に区別することができ 、正確な位置情報を取得できる。

Claims

請求の範囲
[1] 同一位置を異なる方向から撮影する 2台の撮像手段と、
前記撮像手段の一方が取得した画像データから連続成分を抽出する連続成分抽 出手段と、
前記連続成分と前記撮像手段の他方が取得した画像データとを組合せ、前記連続 成分の 3次元位置情報を算出する 3次元位置算出手段と、
前記 3次元位置算出手段が算出した 3次元位置情報に基づいて前記連続成分を 識別する識別手段と、
を備えることを特徴とする道路画像解析装置。
[2] 請求の範囲第 1項記載の道路画像解析装置において、前記連続成分抽出手段は 、前記撮像手段の一方が取得した画像データから直線成分を抽出し、この直線成分 の位置、傾き及び直線間の関連性に基づ ヽて前記連続成分を抽出することを特徴と する道路画像解析装置。
[3] 請求の範囲第 1項記載の道路画像解析装置において、前記 3次元位置算出手段 は、前記連続成分の端点と前記撮像手段の他方が取得した画像データとをマツチン グ処理することにより 3次元位置情報を算出することを特徴とする道路画像解析装置
[4] 請求の範囲第 1項記載の道路画像解析装置において、前記識別手段は、前記 3次 元位置情報に含まれる前記連続成分の高さ情報に基づいて前記連続成分を識別す ることを特徴とする道路画像解析装置。
[5] 請求の範囲第 1項記載の道路画像解析装置において、前記連続成分抽出手段、 前記 3次元位置算出手段及び前記識別手段は、道路の走行方向に対して直交する 方向に設定されたサブエリアを処理単位とすることを特徴とする道路画像解析装置。
[6] 同一位置を異なる 2方向から撮影するステップと、
前記撮影した一方の画像データから連続成分を抽出するステップと、
前記連続成分と前記撮影した他方の画像データとを組合せ、前記連続成分の 3次 元位置情報を算出するステップと、
前記算出した 3次元位置情報に基づいて前記連続成分を識別するステップと、 を備えることを特徴とする道路画像解析方法。
[7] 請求の範囲第 6項記載の道路画像解析方法にお 、て、前記連続成分を抽出する ステップは、前記撮影した一方の画像データから直線成分を抽出し、この直線成分 の位置、傾き及び直線間の関連性に基づ ヽて前記連続成分を抽出することを特徴と する道路画像解析方法。
[8] 請求の範囲第 6項記載の道路画像解析方法にお 、て、前記連続成分の 3次元位 置情報を算出するステップは、前記連続成分の端点と前記撮影した他方の画像デ 一タとをマッチング処理することにより 3次元位置情報を算出することを特徴とする道 路画像解析方法。
[9] 請求の範囲第 6項記載の道路画像解析方法にお 、て、前記連続成分を識別する ステップは、前記 3次元位置情報に含まれる前記連続成分の高さ情報に基づ ヽて前 記連続成分を識別することを特徴とする道路画像解析方法。
[10] 請求の範囲第 6項記載の道路画像解析方法において、前記連続成分を抽出する ステップ、前記連続成分の 3次元位置情報を算出するステップ及び前記連続成分を 識別するステップは、道路の走行方向に対して直交する方向に設定されたサブエリ ァを処理単位として実行されることを特徴とする道路画像解析方法。
PCT/JP2007/055986 2006-03-28 2007-03-23 道路画像解析装置及び道路画像解析方法 WO2007111241A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2007800111981A CN101410872B (zh) 2006-03-28 2007-03-23 道路图像解析装置及道路图像解析方法
US12/225,583 US8126209B2 (en) 2006-03-28 2007-03-23 Road image analyzing apparatus and road image analyzing method
EP07739427.8A EP2000979A4 (en) 2006-03-28 2007-03-23 DEVICE AND METHOD FOR VIDEO ROAD IMAGE ANALYSIS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-089496 2006-03-28
JP2006089496A JP4632987B2 (ja) 2006-03-28 2006-03-28 道路画像解析装置及び道路画像解析方法

Publications (1)

Publication Number Publication Date
WO2007111241A1 true WO2007111241A1 (ja) 2007-10-04

Family

ID=38541159

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/055986 WO2007111241A1 (ja) 2006-03-28 2007-03-23 道路画像解析装置及び道路画像解析方法

Country Status (5)

Country Link
US (1) US8126209B2 (ja)
EP (1) EP2000979A4 (ja)
JP (1) JP4632987B2 (ja)
CN (1) CN101410872B (ja)
WO (1) WO2007111241A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901343A (zh) * 2010-07-20 2010-12-01 同济大学 基于立体约束的遥感影像道路提取方法
CN104021693A (zh) * 2014-06-25 2014-09-03 耿直 基于雷达探测的车行道标示方法及车行道标示系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110205365A1 (en) * 2008-10-28 2011-08-25 Pasco Corporation Road measurement device and method for measuring road
JP5298991B2 (ja) * 2009-03-18 2013-09-25 富士通株式会社 車両認識装置及びプログラム
WO2012014627A1 (ja) 2010-07-29 2012-02-02 本田技研工業株式会社 車両周辺監視装置
US9058247B2 (en) * 2010-09-08 2015-06-16 Toyota Jidosha Kabushiki Kaisha Risk potential calculation apparatus
JP5746996B2 (ja) * 2012-03-21 2015-07-08 日立オートモティブシステムズ株式会社 道路環境認識装置
US8897543B1 (en) 2012-05-18 2014-11-25 Google Inc. Bundle adjustment based on image capture intervals
US8965107B1 (en) 2012-05-18 2015-02-24 Google Inc. Feature reduction based on local densities for bundle adjustment of images
JP6168794B2 (ja) * 2012-05-31 2017-07-26 キヤノン株式会社 情報処理方法および装置、プログラム。
WO2014096398A1 (en) 2012-12-21 2014-06-26 Institute Of Technology Blanchardstown System and method for multiline retroreflection measurement of road markings
DE102013224791A1 (de) * 2013-12-03 2015-06-03 Continental Teves Ag & Co. Ohg Verfahren zur Erkennung von wenigstens einer Fahrspurmarkierung einer einem Fahrzeug vorausliegenden Fahrspur
JP6936098B2 (ja) * 2017-09-29 2021-09-15 トヨタ自動車株式会社 対象物推定装置
WO2021159397A1 (zh) * 2020-02-13 2021-08-19 华为技术有限公司 车辆可行驶区域的检测方法以及检测装置
WO2021241482A1 (ja) * 2020-05-25 2021-12-02 国立大学法人静岡大学 経路検出装置
KR102520189B1 (ko) * 2021-03-02 2023-04-10 네이버랩스 주식회사 무인 비행체 또는 항공기에 의해 촬영된 항공 영상에 기반하여 hd 맵을 생성하는 방법 및 시스템
CN114046749B (zh) * 2021-10-26 2022-07-08 刘红霞 预制混凝土构件点状凹坑结合面粗糙度检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01242916A (ja) 1988-03-24 1989-09-27 Aisin Seiki Co Ltd 車上距離検出装置
JPH04253286A (ja) * 1991-01-29 1992-09-09 Nissan Motor Co Ltd 路面パラメータの推定方法および推定装置
JPH06266828A (ja) 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH0778234A (ja) * 1993-06-30 1995-03-20 Nissan Motor Co Ltd 走行路検出装置
JP2003281552A (ja) * 2002-03-25 2003-10-03 Toshiba Corp 画像処理装置及びその方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JP3437671B2 (ja) * 1995-03-17 2003-08-18 株式会社東芝 ランドマーク認識装置およびランドマーク認識方法
JP3337197B2 (ja) * 1997-04-04 2002-10-21 富士重工業株式会社 車外監視装置
JP3516856B2 (ja) * 1998-01-30 2004-04-05 富士重工業株式会社 車外監視装置
KR100302724B1 (ko) * 1999-03-12 2001-09-22 이계안 차선이탈 경보장치의 도로 모델링 방법
US6963661B1 (en) * 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
JP3352655B2 (ja) * 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
JP2001101415A (ja) * 1999-09-29 2001-04-13 Fujitsu Ten Ltd 画像認識装置および画像処理装置
EP1504276B1 (en) * 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
JP4377665B2 (ja) * 2003-12-01 2009-12-02 本田技研工業株式会社 位置検出用マーク、並びに、マーク検出装置、その方法及びそのプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01242916A (ja) 1988-03-24 1989-09-27 Aisin Seiki Co Ltd 車上距離検出装置
JPH04253286A (ja) * 1991-01-29 1992-09-09 Nissan Motor Co Ltd 路面パラメータの推定方法および推定装置
JPH06266828A (ja) 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH0778234A (ja) * 1993-06-30 1995-03-20 Nissan Motor Co Ltd 走行路検出装置
JP2003281552A (ja) * 2002-03-25 2003-10-03 Toshiba Corp 画像処理装置及びその方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2000979A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901343A (zh) * 2010-07-20 2010-12-01 同济大学 基于立体约束的遥感影像道路提取方法
CN104021693A (zh) * 2014-06-25 2014-09-03 耿直 基于雷达探测的车行道标示方法及车行道标示系统

Also Published As

Publication number Publication date
EP2000979A2 (en) 2008-12-10
JP2007265038A (ja) 2007-10-11
US20090274362A1 (en) 2009-11-05
US8126209B2 (en) 2012-02-28
CN101410872B (zh) 2012-06-20
CN101410872A (zh) 2009-04-15
JP4632987B2 (ja) 2011-02-16
EP2000979A9 (en) 2009-03-04
EP2000979A4 (en) 2013-10-09

Similar Documents

Publication Publication Date Title
WO2007111241A1 (ja) 道路画像解析装置及び道路画像解析方法
US11320833B2 (en) Data processing method, apparatus and terminal
CN105512646B (zh) 一种数据处理方法、装置及终端
US9415723B2 (en) Image integration unit and image integration method
US11049376B2 (en) Setting assistance device, setting assistance method, and program recording medium
JP2012220489A (ja) 道案内情報のウィンドシールド表示装置及びその方法
JP6239186B2 (ja) 表示制御装置及び表示制御方法及び表示制御プログラム
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
JP2003329411A (ja) カメラ校正装置
JP2003123197A (ja) 道路標示等認識装置
US20180247139A1 (en) Landmark Recognition Device and Landmark Recognition Method
JP2008299458A (ja) 車両監視装置および車両監視方法
JP2011170599A (ja) 屋外構造物計測装置及び屋外構造物計測方法
CN112798811A (zh) 速度测量方法、装置和设备
Ghilardi et al. A new approach for automatic detection of tactile paving surfaces in sidewalks
KR20130089068A (ko) 카메라를 이용한 차량 위치 보정 장치 및 방법
JP4762026B2 (ja) 道路標識データベース構築装置
TWI682361B (zh) 路面影像重建與載具定位之方法與系統
JP2007127478A (ja) 追跡対象物速度検出装置および追跡対象物速度検出方法
JP5120627B2 (ja) 画像処理装置および画像処理プログラム
JP3994954B2 (ja) 物体検出装置及び物体検出方法
CN111860084A (zh) 图像特征的匹配、定位方法及装置、定位系统
Fusco et al. Self-localization at street intersections
JP6218514B2 (ja) 歩行者検出装置及び交通制御システム
US20210027481A1 (en) System, method, and computer-readable medium for managing position of target

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07739427

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12225583

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 200780011198.1

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2007739427

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2007739427

Country of ref document: EP