JP4892224B2 - Road marking automatic measurement system, apparatus and method - Google Patents
Road marking automatic measurement system, apparatus and method Download PDFInfo
- Publication number
- JP4892224B2 JP4892224B2 JP2005308271A JP2005308271A JP4892224B2 JP 4892224 B2 JP4892224 B2 JP 4892224B2 JP 2005308271 A JP2005308271 A JP 2005308271A JP 2005308271 A JP2005308271 A JP 2005308271A JP 4892224 B2 JP4892224 B2 JP 4892224B2
- Authority
- JP
- Japan
- Prior art keywords
- white line
- image
- coordinates
- road marking
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims description 45
- 238000000034 method Methods 0.000 title claims description 34
- 238000006073 displacement reaction Methods 0.000 claims description 59
- 238000012937 correction Methods 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000013500 data storage Methods 0.000 claims description 8
- 230000002596 correlated effect Effects 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 4
- 238000000691 measurement method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000010426 asphalt Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、自己の位置と姿勢を計測可能な車輌に設置したカメラで撮影したステレオ画像から、道路標示や路面上のマンホールなどの道路施設を自動的に認識し、その絶対座標を算出する路面標示自動計測システム、装置及び方法に関する。 The present invention automatically recognizes road facilities such as road markings and manholes on a road surface from a stereo image taken by a camera installed in a vehicle capable of measuring its own position and orientation, and calculates its absolute coordinates. The present invention relates to a marking automatic measurement system, apparatus, and method.
近年、写真測量の分野において、電荷結合素子（ＣＣＤ）カメラにより撮影されるデジタル画像から、被写体の形状に関する詳細な情報を取得する技術が利用されてきて、地理情報システム（ＧＩＳ）の基となる地図データや環境データを得るためには欠かせない技術となっている。道路地図に関しては、自動車に搭載されたナビゲーションシステムで広く利用されている。 In recent years, in the field of photogrammetry, a technique for acquiring detailed information on the shape of a subject from a digital image taken by a charge coupled device (CCD) camera has been used, and becomes the basis of a geographic information system (GIS). This technology is indispensable for obtaining map data and environmental data. Road maps are widely used in navigation systems installed in automobiles.
また、車輌制御を目的として、走行中の車線に対する車輌の相対位置を把握するために、車輌に搭載したカメラで撮影されるデジタル画像から路面上の白線を認識する方法が開発されている（例えば、特許文献１参照）。さらに、グローバルポジショニングシステム（ＧＰＳ）を車輌に搭載し、道路施設の位置を計測する方法もある（例えば、特許文献２参照）。
現在の道路写真測量においては、撮影した画像から路面標示の絶対座標を取得するためには、工数がかかり広範囲の情報を短時間で効率よく測量できないという問題点があった。 In current road photogrammetry, there is a problem in that it is difficult to efficiently survey a wide range of information in a short time because it takes man-hours to acquire the absolute coordinates of a road marking from a photographed image.
そこで、撮影した画像から自動的に高精度な緯度、経度、標高の絶対座標を算出する路面標示自動計測システム、装置及び方法を提供することを目的とする。 Accordingly, an object of the present invention is to provide a road marking automatic measurement system, apparatus, and method for automatically calculating high-precision absolute coordinates of latitude, longitude, and altitude from a captured image.
本発明の路面標示自動計測システムは、車輌に搭載され、路面のステレオ画像を撮影するステレオカメラと、車輌に搭載され、ステレオカメラと車輌の位置情報を収集する位置情報収集手段と、ステレオカメラと位置情報収集手段に接続され、ステレオカメラによる撮影と位置情報収集手段による位置情報収集の同期をとる同期装置と、同期装置に接続され、ステレオカメラにより撮影されたステレオ画像を記録する画像記録装置と、同期装置に接続され、位置情報収集手段により収集された位置情報を記録する車輌位置記録装置と、画像記録装置のステレオ画像と、車輌位置記録装置の位置情報を読み込むデータ読み込み部と、ステレオ画像の左右いずれかの第１の原画像を正射影変換し、正射影変換画像を作成する正射影画像作成部と、正射影変換画像の車輌の進行方向と直交する１列毎に含まれる各ピクセルの輝度値の変化量により、路面標示が撮影されたピクセルを白線候補点として抽出し、白線候補点を連結して正射影変換画像上の路面標示を認識する路面標示認識部と、路面標示認識部により認識された正射影変換画像上の路面標示の白線候補点のピクセル座標を逆射影変換して、第１の原画像上の白線中心ピクセル座標を求め、ステレオカメラの位置情報を用いて、第１の原画像上の白線中心ピクセル座標から推定白線相対座標を求め、推定白線相対座標から、第１の原画像と反対側の第２の原画像上の推定白線ピクセル座標を求め、第１の原画像と第２の原画像から縦方向のズレを除去し、それぞれ第１及び第２の偏位修正画像を作成し、第１の原画像上の白線中心ピクセル座標から、第１の偏位修正画像上の白線中心ピクセル座標を求め、第２の原画像上の推定白線ピクセル座標から、第２の偏位修正画像上の白線概略ピクセル座標を求め、第１の偏位修正画像上の白線中心ピクセル座標により、第１の偏位修正画像中から基本テンプレートを作成し、第２の偏位修正画像上の白線概略ピクセル座標により、第２の偏位修正画像中から検索用テンプレートを作成し、基本テンプレートと検索用テンプレートから、相関のある位置を検索して、第２の偏位修正画像上の白線中心ピクセル座標を求め、第２の偏位修正画像上の白線中心ピクセル座標を逆射影変換して、第２の原画像上の白線中心ピクセル座標を求め、第１及び第２の原画像上の白線中心ピクセル座標から、高さを含む白線相対座標を求める相対座標算出部、及び相対座標算出部により算出された白線相対座標を、車輌の位置情報を用いた回転行列により変換して、路面標示の絶対座標を算出する絶対座標算出部を含む路面標示自動計測装置と、路面標示自動計測装置に接続され、結果を記録する計測結果記録装置とを具備することを要旨とする。 A road marking automatic measurement system according to the present invention is mounted on a vehicle, and includes a stereo camera that captures a stereo image of a road surface , a position information collection unit that is mounted on a vehicle and collects position information of the stereo camera and the vehicle, a stereo camera, A synchronization device connected to the position information collecting means for synchronizing the photographing by the stereo camera and the position information collecting by the position information collecting means, and an image recording device connected to the synchronizing device for recording a stereo image photographed by the stereo camera; , is connected to the synchronizer, the vehicle position recording device for recording the position information collected by the position information acquisition means, and a stereo image of the image recording apparatus, and reading the position information of the vehicle position recording device write free data reading unit, An orthographic image creation unit that orthographically transforms the first original image on either side of the stereo image to create an orthographically transformed image; Based on the amount of change in the luminance value of each pixel included in each row orthogonal to the traveling direction of the vehicle in the projective transformation image, the pixel on which the road marking is photographed is extracted as a white line candidate point, and the white line candidate point is connected and corrected. A road marking recognition unit for recognizing a road marking on the projective transformation image and a pixel coordinate of a white line candidate point of the road marking on the orthographic transformation image recognized by the road marking recognition unit are subjected to a reverse projection transformation to obtain a first original. The white line center pixel coordinates on the image are obtained, the estimated white line relative coordinates are obtained from the white line center pixel coordinates on the first original image using the position information of the stereo camera, and the first original image and the white line center pixel coordinates are obtained from the estimated white line relative coordinates. Obtain the estimated white line pixel coordinates on the second original image on the opposite side, remove the vertical deviation from the first original image and the second original image, and create the first and second displacement corrected images respectively. In the white line on the first original image From the pixel coordinates, white line center pixel coordinates on the first deviation corrected image are obtained, and from the estimated white line pixel coordinates on the second original image, white line approximate pixel coordinates on the second deviation corrected image are obtained, A basic template is created from the first displacement corrected image based on the white line center pixel coordinates on the first displacement corrected image, and the second displacement corrected based on the white line approximate pixel coordinates on the second displacement corrected image. A search template is created from the image, a correlated position is searched from the basic template and the search template, the white line center pixel coordinates on the second displacement correction image are obtained, and the second displacement correction image is obtained. The white line center pixel coordinates on the second original image are obtained by subjecting the above white line center pixel coordinates to inverse projection transformation, and the white line relative coordinates including the height are obtained from the white line center pixel coordinates on the first and second original images. Phase to seek Automatic road marking including an absolute coordinate calculation unit that calculates absolute coordinates of road markings by converting the white line relative coordinates calculated by the paired coordinate calculation unit and the relative coordinate calculation unit by a rotation matrix using vehicle position information The gist is to include a measurement device and a measurement result recording device that is connected to the road marking automatic measurement device and records the result.
さらに、本発明の路面標示自動計測装置は、車輌に搭載されたステレオカメラにより撮影された路面のステレオ画像と、該車輌と該ステレオカメラの位置情報を読み込むデータ読み込み部と、ステレオ画像の左右いずれかの第１の原画像を正射影変換し、正射影変換画像を作成する正射影画像作成部と、正射影変換画像の車輌の進行方向と直交する１列毎に含まれる各ピクセルの輝度値の変化量により、路面標示が撮影されたピクセルを白線候補点として抽出し、白線候補点を連結して正射影変換画像上の路面標示を認識する路面標示認識部と、路面標示認識部により認識された正射影変換画像上の路面標示の白線候補点のピクセル座標を逆射影変換して、第１の原画像上の白線中心ピクセル座標を求め、ステレオカメラの位置情報を用いて、第１の原画像上の白線中心ピクセル座標から推定白線相対座標を求め、推定白線相対座標から、第１の原画像と反対側の第２の原画像上の推定白線ピクセル座標を求め、第１の原画像と第２の原画像から縦方向のズレを除去し、それぞれ第１及び第２の偏位修正画像を作成し、第１の原画像上の白線中心ピクセル座標から、第１の偏位修正画像上の白線中心ピクセル座標を求め、第２の原画像上の推定白線ピクセル座標から、第２の偏位修正画像上の白線概略ピクセル座標を求め、第１の偏位修正画像上の白線中心ピクセル座標により、第１の偏位修正画像中から基本テンプレートを作成し、第２の偏位修正画像上の白線概略ピクセル座標により、第２の偏位修正画像中から検索用テンプレートを作成し、基本テンプレートと検索用テンプレートから、相関のある位置を検索して、第２の偏位修正画像上の白線中心ピクセル座標を求め、第２の偏位修正画像上の白線中心ピクセル座標を逆射影変換して、第２の原画像上の白線中心ピクセル座標を求め、第１及び第２の原画像上の白線中心ピクセル座標から、高さを含む白線相対座標を求める相対座標算出部と、相対座標算出部により算出された白線相対座標を、車輌の位置情報を用いた回転行列により変換して、路面標示の絶対座標を算出する絶対座標算出部と、路面標示の絶対座標を記録装置に保存するデータ保存部とを具備することを要旨とする。 Furthermore, road marking automatic measuring apparatus of the present invention includes a stereo image of the road taken by the on-board stereo camera in a vehicle, a data reading part for reading the positional information of the vehicle and the stereo camera, both left and right stereo images An orthographic image creation unit for orthographically transforming the first original image to create an orthographically transformed image , and a luminance value of each pixel included in each column orthogonal to the traveling direction of the vehicle of the orthographically transformed image the amount of change recognition pixels road marking is captured and extracted as a white line candidate points, and recognizes the road marking road sign recognition unit on the orthogonal projection transformation image by connecting the white line candidate point, the road sign recognition unit The pixel coordinates of the white line candidate points of the road marking on the orthographic projected image thus obtained are back-projected to obtain the white line center pixel coordinates on the first original image, and the position information of the stereo camera is used. The estimated white line relative coordinates are obtained from the white line center pixel coordinates on the first original image, the estimated white line pixel coordinates on the second original image on the opposite side of the first original image are obtained from the estimated white line relative coordinates, and the first The vertical deviation is removed from the original image and the second original image, the first and second deviation corrected images are respectively created, and the first deviation is determined from the white line center pixel coordinates on the first original image. The white line center pixel coordinates on the position correction image are obtained, the white line outline pixel coordinates on the second displacement correction image are obtained from the estimated white line pixel coordinates on the second original image, and the coordinates on the first displacement correction image are obtained. A basic template is created from the first displacement correction image based on the white line center pixel coordinates, and a search template is created from the second displacement correction image based on the white line approximate pixel coordinates on the second displacement correction image. Basic templates and search templates A correlated position is searched from the image, the white line center pixel coordinates on the second displacement corrected image are obtained, and the white line center pixel coordinates on the second displacement corrected image are inversely projected, The white line center pixel coordinates on the second original image are obtained, and the white line relative pixel coordinates including the height are obtained from the white line center pixel coordinates on the first and second original images. An absolute coordinate calculation unit that calculates the absolute coordinates of the road marking by converting the white line relative coordinates obtained by the rotation matrix using the vehicle position information, and a data storage unit that stores the absolute coordinates of the road marking in the recording device; It is a summary to comprise.
また、本発明の路面標示自動計測方法は、車輌に搭載されたステレオカメラにより撮影された路面のステレオ画像と、該車輌と該ステレオカメラの位置情報を読み込むデータ読み込み工程と、ステレオ画像の左右いずれかの第１の原画像を正射影変換し、正射影変換画像を作成する正射影画像作成工程と、正射影変換画像の車輌の進行方向と直交する１列毎に含まれる各ピクセルの輝度値の変化量により、路面標示が撮影されたピクセルを白線候補点として抽出し、白線候補点を連結して正射影変換画像上の路面標示を認識する路面標示認識工程と、路面標示認識工程により認識された正射影変換画像上の路面標示の白線候補点のピクセル座標を逆射影変換して、第１の原画像上の白線中心ピクセル座標を求めるステップと、ステレオカメラの位置情報を用いて、第１の原画像上の白線中心ピクセル座標から推定白線相対座標を求めるステップと、推定白線相対座標から、第１の原画像と反対側の第２の原画像上の推定白線ピクセル座標を求めるステップと、第１の原画像と第２の原画像から縦方向のズレを除去し、それぞれ第１及び第２の偏位修正画像を作成するステップと、第１の原画像上の白線中心ピクセル座標から、第１の偏位修正画像上の白線中心ピクセル座標を求めるステップと、第２の原画像上の推定白線ピクセル座標から、第２の偏位修正画像上の白線概略ピクセル座標を求めるステップと、第１の偏位修正画像上の白線中心ピクセル座標により、第１の偏位修正画像中から基本テンプレートを作成するステップと、第２の偏位修正画像上の白線概略ピクセル座標により、第２の偏位修正画像中から検索用テンプレートを作成するステップと、基本テンプレートと検索用テンプレートから、相関のある位置を検索して、第２の偏位修正画像上の白線中心ピクセル座標を求めるステップと、第２の偏位修正画像上の白線中心ピクセル座標を逆射影変換して、第２の原画像上の白線中心ピクセル座標を求めるステップと、第１及び第２の原画像上の白線中心ピクセル座標から、高さを含む白線相対座標を求めるステップとを含む相対座標算出工程と、相対座標算出工程により算出された白線相対座標を、車輌の位置情報を用いた回転行列により変換して、路面標示の絶対座標を算出する絶対座標算出工程と、路面標示の絶対座標を記録装置に保存するデータ保存工程とを含むことを要旨とする。 Furthermore, road marking automatic measurement method of the present invention includes a stereo image of the road taken by the on-board stereo camera in a vehicle, a data reading step of reading the position information of the vehicle and the stereo camera, both left and right stereo images An orthographic image conversion step of orthographically transforming the first original image to create an orthographically converted image , and a luminance value of each pixel included in each column orthogonal to the traveling direction of the vehicle of the orthographically converted image the amount of change recognition pixels road marking is captured and extracted as a white line candidate points, the road sign recognition step of recognizing the road marking on the positive projection transformation image by connecting the white line candidate point, the road sign recognition process Back-projecting the pixel coordinates of a white line candidate point of the road marking on the orthographic projected image obtained to obtain a white line center pixel coordinate on the first original image; and stereo camera A step of obtaining an estimated white line relative coordinate from the white line center pixel coordinate on the first original image using the position information, and an estimation on the second original image on the opposite side of the first original image from the estimated white line relative coordinate. A step of obtaining white line pixel coordinates, a step of removing vertical misalignment from the first original image and the second original image, and creating first and second displacement correction images, respectively, and a first original image A step of obtaining a white line center pixel coordinate on the first displacement corrected image from the white line center pixel coordinate on the upper side, and a white line outline on the second displacement corrected image from the estimated white line pixel coordinate on the second original image A step of obtaining pixel coordinates, a step of creating a basic template from the first displacement correction image based on white line center pixel coordinates on the first displacement correction image, and a white line outline on the second displacement correction image Pixel coordinates Thus, a step of creating a search template from the second displacement correction image, a correlated position is searched from the basic template and the search template, and the white line center pixel coordinates on the second displacement correction image Obtaining a white line center pixel coordinate on the second original image by performing a projective transformation on the white line center pixel coordinate on the second displacement corrected image, and on the first and second original images A relative coordinate calculation step including a step of obtaining a white line relative coordinate including a height from a white line center pixel coordinate of the white line, and a white line relative coordinate calculated by the relative coordinate calculation step is converted by a rotation matrix using vehicle position information. Then , the gist is to include an absolute coordinate calculating step of calculating the absolute coordinates of the road marking and a data storage step of saving the absolute coordinates of the road marking in the recording device.
本発明によれば、測量する道路を本路面標示自動計測システムを搭載した車輌で走行して画像及び位置情報を記録し、撮影した画像から路面標示の高精度な絶対座標を自動的に算出することができる。 According to the present invention, the road to be measured is traveled by a vehicle equipped with the automatic road marking measurement system, the image and the position information are recorded, and the highly accurate absolute coordinates of the road marking are automatically calculated from the captured image. be able to.
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。 Next, embodiments of the present invention will be described with reference to the drawings. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals. However, it should be noted that the drawings are schematic.
本発明の実施の形態による路面標示自動計測システムは、図１に示すように、車輌に搭載され、路面画像を撮影するステレオカメラ１１と車輌の位置情報を収集する位置情報収集手段１０と、ステレオカメラ１１と位置情報収集手段１０に接続され、ステレオカメラ１１による撮影と位置情報収集手段１０による位置情報収集の同期をとる同期装置１２と、同期装置１２に接続され、ステレオカメラ１１により撮影された路面画像を記録する画像記録装置１４と、同期装置に接続され、位置情報収集手段により収集された位置情報を記録する車輌位置記録装置１３と、画像記録装置１４の路面画像と車輌位置記録装置１３の位置情報を読み込んで、路面標示の絶対座標を計測する路面標示自動計測装置１５と、路面標示自動計測装置１５に接続され、結果を記録する計測結果記録装置１６を備える。 As shown in FIG. 1, a road marking automatic measurement system according to an embodiment of the present invention is mounted on a vehicle, and includes a stereo camera 11 that captures a road surface image, a position information collection unit 10 that collects vehicle position information, and a stereo. A synchronization device 12 connected to the camera 11 and the position information collecting means 10 to synchronize shooting by the stereo camera 11 and position information collection by the position information collecting means 10, and connected to the synchronization device 12 and shot by the stereo camera 11. An image recording device 14 that records the road surface image, a vehicle position recording device 13 that is connected to the synchronization device and records the position information collected by the position information collecting means, and a road surface image of the image recording device 14 and the vehicle position recording device 13 The position information is read, and the road marking automatic measurement device 15 that measures the absolute coordinates of the road marking and the road marking automatic measurement device 15 are connected. Is provided with a measurement result recording unit 16 for recording the results.
ここで、車輌の位置情報を収集する位置情報収集手段１０は、車輌の姿勢情報を得るためのジャイロ姿勢出力装置１０１と、車輌の絶対位置座標を得るためのＧＰＳ受信機１０２と、車輌の走行速度を得るための車輌速度出力装置１０３と、車輌の路面からの高さを得るための車高出力装置１０４を備える。 Here, the position information collecting means 10 for collecting vehicle position information includes a gyro attitude output device 101 for obtaining vehicle attitude information, a GPS receiver 102 for obtaining absolute position coordinates of the vehicle, and traveling of the vehicle. A vehicle speed output device 103 for obtaining the speed and a vehicle height output device 104 for obtaining the height from the road surface of the vehicle are provided.
なお、位置情報収集手段１０に用いている装置は、目的の路面標示の絶対座標を求めるための車輌絶対座標、カメラ相対座標等の情報を収集するための最良の例であって、これらに限定するものではない。また、ジャイロ姿勢出力装置１０１に実装されるジャイロは、コリオリの力を利用する機械式と流体式、またサニャック効果を利用する光学式のいずれの方式のものであってもよい。 The apparatus used for the position information collecting means 10 is the best example for collecting information such as vehicle absolute coordinates and camera relative coordinates for obtaining the absolute coordinates of the target road marking, and is not limited to these. Not what you want. Further, the gyro mounted on the gyro posture output device 101 may be either a mechanical type using a Coriolis force or a fluid type, or an optical type using a Sagnac effect.
次に、路面標示自動計測システムを構成する路面標示自動計測装置１５は、図２に示すように、画像記録装置１４の路面画像と車輌位置記録装置１３の位置情報を読み込むデータ読み込み部１５１と、読み込んだ路面画像から正射影変換画像を作成する正射影画像作成部１５２と、作成された正射影変換画像を分析して、路面上の白線や黄線の標示を認識する路面標示認識部１５３と、正射影変換画像と位置情報から該当路面標示の相対座標を求める相対座標算出部１５４と、さらに相対座標とＧＰＳで得た情報から絶対座標を求める絶対座標算出部１５５と、最終的に得られた結果を計測結果記録装置１６に保存するデータ保存部１５６を備える。 Next, as shown in FIG. 2, the road marking automatic measurement device 15 constituting the road marking automatic measurement system includes a data reading unit 151 that reads a road surface image of the image recording device 14 and position information of the vehicle position recording device 13, An orthographic projection image creating unit 152 that creates an orthographic projection conversion image from the read road surface image, a road marking recognition unit 153 that analyzes the generated orthographic projection conversion image and recognizes a white line or a yellow line marking on the road surface; Finally, a relative coordinate calculation unit 154 for obtaining the relative coordinates of the road marking from the orthogonal projection conversion image and the position information, and an absolute coordinate calculation unit 155 for obtaining the absolute coordinates from the relative coordinates and the information obtained by the GPS are finally obtained. A data storage unit 156 that stores the measurement results in the measurement result recording device 16 is provided.
なお、図２に示されてはいないが、路面標示自動計測装置１５には、各部がデータの処理を行うための中央処理回路（ＣＰＵ）と一時記憶メモリーが実装されていることは言うまでもなく、各部固有の一時記憶メモリーを実装してもよいし、共有一時記憶メモリーを実装してもよい。さらに、表示装置や入出力装置を接続することも可能である。 Although not shown in FIG. 2, it goes without saying that the road marking automatic measuring device 15 is equipped with a central processing circuit (CPU) and a temporary storage memory for each unit to process data. A temporary storage memory unique to each unit may be mounted, or a shared temporary storage memory may be mounted. Further, a display device or an input / output device can be connected.
また、この路面標示自動計測装置１５と計測結果記録装置１６は、ともに車輌に搭載されてもよいし、車輌以外の場所に設置されていてもよい。画像記録装置１４の路面画像と車輌位置記録装置１３の位置情報を読み込む際には、物理的に通信ケーブル等で路面標示自動計測装置１５を接続してもよいし、ハードディスクやフレキシブルディスク等の外部記憶媒体を介して路面標示自動計測装置１５に読み込ませても構わない。 Further, both the road marking automatic measuring device 15 and the measurement result recording device 16 may be mounted on a vehicle, or may be installed at a place other than the vehicle. When reading the road surface image of the image recording device 14 and the position information of the vehicle position recording device 13, the road marking automatic measuring device 15 may be physically connected by a communication cable or the like, or an external device such as a hard disk or a flexible disk. It may be read by the road marking automatic measuring device 15 via a storage medium.
つづいて、前述した路面標示自動計測システム及び装置による路面標示自動計測方法について、工程をおって説明する。 Subsequently, the road marking automatic measurement method by the road marking automatic measurement system and apparatus described above will be described through steps.
（イ） 画像撮影及び位置情報収集
路面標示自動計測システムを搭載した車輌によって、測定対象の道路を走行し、図３に示すように、同期装置１２からの一定間隔（ｔ１、ｔ２、ｔ３、…）の収集命令により、車輌に搭載されたステレオカメラ１１は、路面の左右画像を撮影する。同時に位置情報収集手段１０も、同期装置１２からの一定間隔（ｔ１、ｔ２、ｔ３、…）の収集命令により、図４に示すように、ＧＰＳ受信機１０２によって車輌位置の絶対座標（緯度、経度、標高）を収集し、ジャイロ姿勢出力装置１０１によって車輌の姿勢情報（車輌ロール、車輌ピッチ、車輌ヨー）を収集する。そして、画像と位置情報はそれぞれ収集時刻とともに画像記録装置１４と車輌位置記録装置１３に記録される。
(A) Image capturing and position information collection A vehicle equipped with a road marking automatic measurement system travels on a road to be measured, and as shown in FIG. 3, a fixed interval (t1, t2, t3,... ), The stereo camera 11 mounted on the vehicle captures left and right images of the road surface. At the same time, the position information collecting means 10 also receives the absolute coordinates (latitude, longitude) of the vehicle position by the GPS receiver 102 in response to a collection command from the synchronization device 12 at regular intervals (t1, t2, t3,...) As shown in FIG. ), And the gyro attitude output device 101 collects vehicle attitude information (vehicle roll, vehicle pitch, vehicle yaw). The image and position information are recorded in the image recording device 14 and the vehicle position recording device 13 together with the collection time.
このように、従来の無限遠（消失点）を求めて車輌姿勢を推定する方法とは異なり、必要な車輌位置姿勢情報が測定対象の道路を走行するだけで自動的に記録されるので、工数は走行時間のみであり、広範囲のエリアの測量が容易に行える点が、本発明の効果の１つである。 Thus, unlike the conventional method of estimating the vehicle attitude by obtaining the infinity (vanishing point), the necessary vehicle position and orientation information is automatically recorded just by traveling on the road to be measured. Is only the travel time, and one of the effects of the present invention is that a wide area can be easily surveyed.
（ロ） 路面標示自動計測
次に、（イ）で収集した情報を用いて、路面標示自動計測装置１５による具体的な路面標示自動計測処理を行う。
(B) Automatic road marking measurement Next, specific road marking automatic measurement processing by the road marking automatic measurement device 15 is performed using the information collected in (a).
（１） データ読み込み工程：
データ読み込み部１５１が、画像記録装置１４と車輌位置記録装置１３に記録されたデータを路面標示自動計測装置１５に読み込む工程である。
(1) Data reading process:
The data reading unit 151 is a step of reading the data recorded in the image recording device 14 and the vehicle position recording device 13 into the road marking automatic measuring device 15.
まず、図５に示すように、画像記録装置１４から画像データを読み込む（Ｓ１０）。さらに車輌位置記録装置１３から位置情報データを読み込む（Ｓ１１）。そして、それらのデータの収集時刻が一致するか比較する（Ｓ１２）。一致すれば次の処理に移るが、不一致の場合、画像記録装置１４と車輌位置記録装置１３から次のデータを読み込み、対となるデータが存在する画像データと位置情報データを得る。 First, as shown in FIG. 5, image data is read from the image recording device 14 (S10). Further, position information data is read from the vehicle position recording device 13 (S11). Then, it is compared whether or not the data collection times match (S12). If they match, the process proceeds to the next process. If they do not match, the next data is read from the image recording device 14 and the vehicle position recording device 13 to obtain image data and position information data in which paired data exists.
データを読み込んだあと、データ処理部２００の道路標示自動計測処理に移るが、この路面標示自動計測処理（Ｓ１３）は、図６と図７に示すフローチャートのように、さらに細分化された工程から成り立っている。 After the data is read, the process proceeds to automatic road marking measurement processing of the data processing unit 200. This road marking automatic measurement processing (S13) is performed from a further subdivided process as shown in the flowcharts of FIGS. It is made up.
（２） 正射影画像作成工程：
正射影画像作成部１５２が、撮影された路面画像の、カメラ位置とカメラ姿勢情報から道路面を推定し、事前に計測したカメラの取り付け位置とレンズの歪みに関する係数を用いて変換した路面の正射影変換画像を、ステレオ画像（第１及び第２の原画像）のうちの第１の原画像について作成する工程である。以下では、便宜的に第１の原画像を左原画像として説明していく。
(2) Orthographic image creation process:
The orthographic projection image creation unit 152 estimates the road surface from the camera position and camera posture information of the photographed road surface image, and converts the road surface to the correct image using the pre-measured coefficient of camera attachment and lens distortion. This is a step of creating a projective transformation image for a first original image of stereo images (first and second original images). Hereinafter, for convenience, the first original image will be described as the left original image.
まず、図８に示すように事前に計測しておいた、車輌の絶対位置姿勢の計測基準点（ＧＰＳ受信機１０２の測位中心点）を原点とし、ジャイロ姿勢出力装置１０１の姿勢検出軸を座標軸とした座標空間での、左右のステレオカメラレンズ中心の原点と座標軸からの相対位置（Ｘ０，Ｙ０，Ｚ０）と傾き（ψ，ω，κ）を設定する（Ｓ１００）。 First, as shown in FIG. 8, the measurement reference point of the absolute position and orientation of the vehicle (positioning center point of the GPS receiver 102) measured in advance is used as the origin, and the orientation detection axis of the gyro orientation output device 101 is the coordinate axis. A relative position (X 0 , Y 0 , Z 0 ) and inclination (ψ, ω, κ) from the origin and coordinate axes of the left and right stereo camera lens centers in the coordinate space are set (S100).
さらに、計測しておいたレンズの歪み関する係数（レンズディストーション）を設定する（Ｓ１０１）。 Further, a coefficient (lens distortion) relating to the measured lens distortion is set (S101).
次に、ＧＰＳ受信機１０２の測位中心点を原点とし、ジャイロの姿勢検出軸を座標軸とした空間での、道路面の相対座標（Ｘ，Ｙ，Ｚ）を設定する（Ｓ１０２）。 Next, relative coordinates (X, Y, Z) of the road surface in a space with the positioning center point of the GPS receiver 102 as the origin and the gyro attitude detection axis as the coordinate axis are set (S102).
以上の設定条件から、以下に示す変換式１）〜３）を用いて、ＣＣＤ上の実際の位置であるデバイス座標（ｘ，ｙ）を計算し、この値からピクセル座標を求め射影変換を行う（Ｓ１０３）。なお、図９に基準の相対座標系とカメラ座標系の関連を示す。 From the above setting conditions, device coordinates (x, y) that are actual positions on the CCD are calculated using the following conversion equations 1) to 3), and pixel coordinates are obtained from these values to perform projective conversion. (S103). FIG. 9 shows the relationship between the reference relative coordinate system and the camera coordinate system.
カメラ座標系（ｘｐ，ｙｐ，ｚｐ）の算出
回転行列Ｒの算出
デバイス座標（ｘ，ｙ）の算出
正射影変換により、図１０に示す左原画像から、図１１に示す左正射影変換画像が作成される。 By the orthographic transformation, the left orthographic transformation image shown in FIG. 11 is created from the left original image shown in FIG.
（３） 路面標示認識工程：
路面標示認識部１５３が、正射影画像作成部１５２で作成された路面の正射影変換画像から、白線や黄線等の路面標示を認識し抽出する工程である。以下において、路面標示は白線がほとんどであるため、限定していない場合は、路面標示を白線と表現する。
(3) Road marking recognition process:
The road marking recognition unit 153 is a step of recognizing and extracting road markings such as white lines and yellow lines from the orthogonal projection conversion image of the road surface created by the orthogonal projection image creation unit 152. In the following, since road markings are mostly white lines, road markings are expressed as white lines when not limited.
まず、得られた路面の正射影変換画像について、図１１に示すように、車輌の進行方向と直角に交わる左右方向のラインを、例えば１０画素間隔で設定し、そのライン上の輝度値の変化量から白線候補を選択する（Ｓ１０４）。 First, as shown in FIG. 11, with respect to the obtained orthographic transformation image of the road surface, lines in the left-right direction intersecting at right angles to the traveling direction of the vehicle are set at intervals of 10 pixels, for example, and the luminance value change on the line is changed. A white line candidate is selected from the amount (S104).
次に、各ラインについて輝度値の平滑化を行う（Ｓ１０５）。平滑化では、対象とする画素から前後３ピクセル分の輝度値の平均値を計算している。具体的に平滑化した場合の元の輝度値と平滑化輝度値のグラフは図１２のようになる。 Next, the luminance value is smoothed for each line (S105). In smoothing, an average value of luminance values for three pixels before and after the target pixel is calculated. FIG. 12 shows a graph of the original luminance value and the smoothed luminance value when specifically smoothed.
この平滑化は、後述の処理で、白線端のエッジを検出する際に、微細な輝度値変化によるエッジの検出を抑制するためである。この平滑化により、より正確に白線を識別することができる。 This smoothing is to suppress detection of an edge due to a minute change in luminance value when detecting an edge of a white line end in a process described later. By this smoothing, the white line can be identified more accurately.
つづいて、輝度値変化点（エッジ）を以下に説明する手順で求める（Ｓ１０６）：
（３．１） Ｓ１０５の処理によって平滑化された輝度値から、対象とする画素とその次の画素の輝度値の差の２乗を求め、これを輝度値変化強度とする。図１３に図１２の平滑化輝度値から得られた輝度値変化強度の状況を示す。
Subsequently, the luminance value change point (edge) is obtained by the procedure described below (S106):
(3.1) From the luminance value smoothed by the processing of S105, the square of the difference between the luminance value of the target pixel and the next pixel is obtained, and this is set as the luminance value change intensity. FIG. 13 shows the situation of the luminance value change intensity obtained from the smoothed luminance value of FIG.
（３．２） （３．１）で求めた輝度値変化強度の値について、対象とする画素の前後３ピクセルの平均値を求め、その平均値が、同じく前後３ピクセル間で最大値である場合を、最終的なエッジとする。 (3.2) For the luminance value change intensity value obtained in (3.1), the average value of the three pixels before and after the target pixel is obtained, and the average value is also the maximum value between the three pixels before and after. Let the case be the final edge.
（３．３） さらに、路面は、アスファルト面はアスファルト面で、白線は白線同士で、それぞれ同じ輝度値であると仮定して、求めたエッジ間も輝度値を一定にする処理を行う。この処理を行った結果を図１４に示す。 (3.3) Further, assuming that the road surface is an asphalt surface, the white lines are white lines, and have the same luminance value, the luminance value is made constant between the obtained edges. The result of this processing is shown in FIG.
（３．４） 次に、求めたエッジのピクセル座標と、各エッジ間の平均輝度値を区間情報として取得する。区間情報に詳細には以下のものが含まれる。
処理を行ったラインの進行方向のピクセル座標
区間の開始位置ピクセル座標（開始点のエッジ）
区間の終了位置ピクセル座標（終了点のエッジ）
区間の平均輝度値
区間長（実際の長さの推定値）
ここで、区間長は、射影変換画像作成の際に１ピクセル当りの左右方向と進行方向の解像度を決定しているので、次のように算出できる。ただし、射影変換画像は推定された道路面上の画像であるので、この値は実際の長さの真値ではない。
区間長＝（終了位置ピクセル座標）−（開始位置ピクセル座標）×左右方向スケール
(3.4) Next, the obtained pixel coordinates of the edge and the average luminance value between the edges are acquired as section information. The section information includes the following details.
Start position pixel coordinate (edge of start point) of the pixel coordinate section in the direction of travel of the processed line
End position pixel coordinates of the section (edge of the end point)
Average brightness value of section Interval length (estimated actual length)
Here, the section length can be calculated as follows since the resolution in the left-right direction and the traveling direction per pixel is determined when the projective transformation image is created. However, since the projective transformation image is an image on the estimated road surface, this value is not a true value of the actual length.
Section length = (end position pixel coordinates)-(start position pixel coordinates) x horizontal scale
さらに、Ｓ１０６の処理で取得した情報から白線候補点を推定する（Ｓ１０７）：
（３．５） Ｓ１０６の（３．４）で取得した区間情報の区間長と平均輝度値から、白線の形状特徴をもとにした閾値（例えば、白線は概ね幅が２０ｃｍで、輝度値がライン上の平均値より明るい）を用いて、白線候補点を抽出する。図１５に抽出された白線候補点を示しているが、白線以外の路面標示や、アスファルト面の照り返し等のノイズが含まれている。また、個々の区間情報は独立しており、連結した白線としては認識されていない。
Further, white line candidate points are estimated from the information acquired in the process of S106 (S107):
(3.5) Based on the section length and the average luminance value of the section information acquired in (3.4) of S106, a threshold based on the shape characteristic of the white line (for example, the white line is approximately 20 cm in width and the luminance value is White line candidate points are extracted using (brighter than the average value on the line). The extracted white line candidate points are shown in FIG. 15, but include noise such as road markings other than the white lines and reflections on the asphalt surface. Further, each piece of section information is independent and is not recognized as a connected white line.
（３．６） そこで、（３．５）で抽出した白線候補点について、各候補点間の距離から同一の白線であると推定される点を連結（グループ化）する。グループ化は、同一の白線上の白線候補点であっても、ひび割れや欠落により分割されて抽出されることが多いため、図１６に示すように、例えば左右方向では、基準白線候補点から１０ｃｍ以内にある白線候補点は同一白線であると判定する。また進行方向では、基準白線候補点から３ライン（例えば、１ライン１０ピクセル間隔で、３×１０ピクセル＝３０ピクセル＝３０×０．１５［ｍ／ピクセル］＝４５ｃｍ）以内にある白線候補点は同一白線と判定する。ここで、進行方向の判定範囲が広いのは、基本的に計測車輌の進行方向と同じ向きに白線が設置されていることがほとんどあるため、左右方向よりも進行方向に対して強力にグループ化させるためである。
（３．７） 図１７に示すように、（３．６）の距離によるグループ化の際に、基準白線候補点からの判定対象の白線候補点の方向角を求める。求めた方向角から、同一グループ内で対象の白線候補点よりも計測車輌寄りに存在する３点の白線候補点の方向角の平均値との差を求め、これを方向角変位量θとする。そしてこの方向角変位量θにより、白線候補点のグループ毎に方向角変位量θの標準偏差を求める。これにより、直線と同一の変化量でカーブする白線は標準偏差が極小となり、途中で曲率の変化する白線についても閾値を調整することで抽出可能である。
(3.6) Therefore, for the white line candidate points extracted in (3.5), the points estimated to be the same white line from the distance between the candidate points are connected (grouped). In the grouping, even if white line candidate points on the same white line are often extracted by being cracked or missing, as shown in FIG. 16, for example, 10 cm from the reference white line candidate point in the left-right direction. White line candidate points within are determined to be the same white line. In the advancing direction, white line candidate points within 3 lines from the reference white line candidate point (for example, 3 × 10 pixels = 30 pixels = 30 × 0.15 [m / pixel] = 45 cm at an interval of 10 pixels per line) Judge as the same white line. Here, the range of determination of the direction of travel is wide, because white lines are basically installed in the same direction as the direction of travel of the measurement vehicle, so the grouping is stronger in the direction of travel than in the left-right direction. This is to make it happen.
(3.7) As shown in FIG. 17, in the grouping by the distance of (3.6), the direction angle of the white line candidate point to be determined from the reference white line candidate point is obtained. From the obtained direction angle, the difference between the average value of the direction angles of the three white line candidate points existing closer to the measurement vehicle than the target white line candidate point in the same group is obtained, and this is set as the direction angle displacement amount θ. . Based on this direction angle displacement amount θ, the standard deviation of the direction angle displacement amount θ is obtained for each group of white line candidate points. As a result, the white line that curves with the same amount of change as the straight line has a minimum standard deviation, and the white line whose curvature changes halfway can be extracted by adjusting the threshold value.
この（３．６）、（３．７）の処理によって、図１５に示した白線候補点から最終的に抽出された白線は、図１８に示したものとなる。実際に抽出した白線の位置と画像を重ね合わせた例が図１９（ａ）及び（ｂ）であり、複数車線やカーブの白線が正確に抽出されている。 The white lines finally extracted from the white line candidate points shown in FIG. 15 by the processes of (3.6) and (3.7) are as shown in FIG. FIGS. 19A and 19B show examples in which the position of the actually extracted white line and the image are superimposed, and a plurality of lanes and white lines of curves are accurately extracted.
このあと、路面標示と認識された基準白線候補点の色情報を画像情報から取得して、光の三原色（ＲＧＢ）と減法混色の三原色（ＣＭＹ）の各表色系のフィルターを用いて黄線と白線の判断を行う。具体的には、ＲＧＢ構成比が±３％にあるものは白線であり、それ以外でＣＭＹ構成比のＹ（Ｙｅｌｌｏｗ＝Ｒ＋Ｇ）がＣ（Ｃｙａｎ＝Ｇ＋Ｂ）とＭ（Ｍａｇｅｎｔａ＝Ｒ＋Ｂ）の平均よりも１０％以上高い場合は黄線であると判断する。 After that, the color information of the reference white line candidate point recognized as the road marking is obtained from the image information, and the yellow line using the color system filters of the three primary colors of light (RGB) and the subtractive three primary colors (CMY). And white line judgment. Specifically, an RGB component ratio of ± 3% is a white line, and other than that, the CMY component ratio Y (Yellow = R + G) is an average of C (Cyan = G + B) and M (Magenta = R + B). If it is higher than 10%, it is judged as a yellow line.
この工程により、白線について実線だけでなく、破線や曲線などの線種や路面標示を走行位置に関係なく認識できる。 With this process, not only the solid line but also the line type such as a broken line and a curve, and road markings can be recognized regardless of the travel position.
（４） 相対座標算出工程：
相対座標算出部１５４が、路面標示認識部１５３によって白線と認識された部分について、画像から白線の相対座標を求める工程である。
(4) Relative coordinate calculation process:
This is a process in which the relative coordinate calculation unit 154 obtains the relative coordinates of the white line from the image for the portion recognized as the white line by the road marking recognition unit 153.
まず、抽出された白線候補点のエッジから白線の中央線を推定し、その中央線の左正射影変換画像上のピクセル座標を原画像→正射影画像変換の逆（逆射影変換）を行って、左原画像上の白線中心ピクセル座標を求める（Ｓ１０８）。 First, the center line of the white line is estimated from the edges of the extracted white line candidate points, and the pixel coordinates of the center line on the left orthographic transformation image are reversed from the original image to the orthographic image transformation (reverse projection transformation). The white line center pixel coordinates on the left original image are obtained (S108).
次に、Ｓ１００のステップにおいてカメラ相対位置が設定されているので、その値を使って左正射影変換画像上のピクセル座標から、推定白線相対座標を求める（Ｓ１０９）。 Next, since the camera relative position is set in step S100, the estimated white line relative coordinates are obtained from the pixel coordinates on the left orthographic transformation image using the value (S109).
さらに、推定白線相対座標から、右原画像上の推定白線ピクセル座標を求める（Ｓ１１０）。 Further, estimated white line pixel coordinates on the right original image are obtained from the estimated white line relative coordinates (S110).
つづいて、原画像→偏位修正画像の射影変換式を用いて、撮影されたステレオ画像の縦方向のズレを除去し、図２０（ａ）と（ｂ）に示す画像（左右偏位修正画像）を作成する（Ｓ１１１）。 Subsequently, the vertical shift of the captured stereo image is removed using the projection conversion formula of the original image → the displacement corrected image, and the images shown in FIGS. 20A and 20B (left and right displacement corrected images) are obtained. ) Is created (S111).
また、左原画像上の白線中心ピクセル座標を、偏位修正画像作成のための射影変換式に代入して、左偏位修正画像上の白線中心ピクセル座標を求める（Ｓ１１２）。 Further, the white line center pixel coordinates on the left original image are substituted into the projective transformation formula for creating the displacement correction image to obtain the white line center pixel coordinates on the left displacement correction image (S112).
同様に、右原画像上の推定白線ピクセル座標を、偏位修正画像作成のための射影変換式に代入して、右偏位修正画像上の白線概略ピクセル座標を求める（Ｓ１１３）。 Similarly, the estimated white line pixel coordinates on the right original image are substituted into the projective transformation formula for creating the displacement corrected image to obtain the white line approximate pixel coordinates on the right displacement corrected image (S113).
次に、左偏位修正画像上の白線中心ピクセル座標と区間情報から、幅を調整した図２０（ｃ）に示す基本テンプレートＴＬを作成する（Ｓ１１４）。 Next, a basic template TL shown in FIG. 20C with the adjusted width is created from the white line center pixel coordinates on the left-deviation corrected image and the section information (S114).
また、右偏位修正画像上の白線概略ピクセル座標と区間情報から、図２０（ｄ）に示す検索用テンプレートＴＲを作成する（Ｓ１１５）。 Further, a search template TR shown in FIG. 20D is created from the white line outline pixel coordinates on the right deviation corrected image and the section information (S115).
例えば、左の基本テンプレートＴＬは横１２８ピクセル×縦４ピクセルの大きさとし、右の検索用テンプレートＴＲは横２５６ピクセル×縦４ピクセルの大きさとする。この大きさは次のテンプレートマッチングを効率よく行うために任意に変更できる。 For example, the left basic template TL has a size of horizontal 128 pixels × vertical 4 pixels, and the right search template TR has a size of horizontal 256 pixels × vertical 4 pixels. This size can be arbitrarily changed in order to efficiently perform the next template matching.
そして、図２０（ｅ）に示すように、得られた検索用テンプレートＴＲ上を、基本テンプレートＴＬを横方向に移動させて、重なっている範囲の輝度値の相関係数を比較する。最も相関係数が高い位置をマッチングポイントとし、右偏位修正画像上の中心白線ピクセル座標の横座標（Ｘ座標）を求める（Ｓ１１６）。 Then, as shown in FIG. 20E, the basic template TL is moved in the horizontal direction on the obtained search template TR, and the correlation coefficients of the luminance values in the overlapping range are compared. Using the position with the highest correlation coefficient as a matching point, the abscissa (X coordinate) of the center white line pixel coordinate on the right deviation corrected image is obtained (S116).
ここで、相関係数は以下のように求める：
（ｉ）基本テンプレートＴＬと検索用テンプレートＴＲの重なっている部分について、輝度値の平均と標準偏差を算出
（ｉｉ）各画素の平均偏差（各画素の輝度値−平均値）を算出
（ｉｉｉ）重なっている画素のお互いの平均偏差を掛け合わせた偏差積を算出
（ｉｖ）偏差積を画素数で除算し偏差積平均を算出
（ｖ）相関係数＝偏差積平均／（右標準偏差×左標準偏差）を算出。
Here, the correlation coefficient is obtained as follows:
(I) Calculate the average and standard deviation of the luminance values for the overlapping portion of the basic template TL and the search template TR (ii) Calculate the average deviation of each pixel (luminance value-average value of each pixel) (iii) Calculate the deviation product by multiplying the average deviations of the overlapping pixels. (Iv) Divide the deviation product by the number of pixels to calculate the deviation product average. (V) Correlation coefficient = deviation product average / (right standard deviation × left Standard deviation) is calculated.
なお、各テンプレートは縦視差を除去した偏位修正画像から得られたものなので、縦方向の座標（Ｙ座標）は同じであるため、縦方向への検索が不要であり、効率的かつ正確に検索できるようになっている。 Since each template is obtained from a displacement-corrected image from which vertical parallax is removed, the vertical coordinate (Y coordinate) is the same, and therefore no vertical search is required, which is efficient and accurate. It can be searched.
つづいて、求められた右偏位修正画像上の中心白線ピクセル座標から、原画像→偏位修正画像の変換の逆を行って、右原画像上の中心白線ピクセル座標を得る。 Subsequently, the center white line pixel coordinates on the right original image are obtained by reversing the conversion of the original image → the displacement corrected image from the obtained center white line pixel coordinates on the right deviation corrected image.
取得した左右原画像上の白線中心ピクセル座標について、Ｓ１００とＳ１０１のステップで設定した、ＧＰＳ受信機１０２からのステレオカメラ１１の相対位置、焦点距離及びレンズ歪みを用いて、白線相対座標を求める（Ｓ１１７）。なお、ここで相対座標の高さ座標値が、推定される道路面から著しくかけ離れている場合は、ミスマッチングとして白線相対座標からは除外する。 With respect to the white line center pixel coordinates on the acquired left and right original images, the white line relative coordinates are obtained using the relative position, focal length, and lens distortion of the stereo camera 11 from the GPS receiver 102 set in steps S100 and S101 ( S117). Here, if the height coordinate value of the relative coordinate is significantly different from the estimated road surface, it is excluded from the white line relative coordinate as mismatching.
この工程により、高速で精度の高い３次元相対座標を算出でき、誤認識された地物を得られた３次元相対座標をもとに路面上ではない地物として排除できる。 By this step, high-precision and high-precision three-dimensional relative coordinates can be calculated, and misrecognized features can be excluded as features that are not on the road surface based on the obtained three-dimensional relative coordinates.
（５） 絶対座標算出工程：
絶対座標算出部１５５が、相対座標算出部１５４によって算出した路面標示の３次元相対座標から、その絶対座標を算出する工程である。
(5) Absolute coordinate calculation process:
In this step, the absolute coordinate calculation unit 155 calculates the absolute coordinates from the three-dimensional relative coordinates of the road marking calculated by the relative coordinate calculation unit 154.
まず、ジャイロ姿勢出力装置１０１により計測された車輌の絶対姿勢と、ＧＰＳ受信機１０２によって受信された車輌の絶対座標を設定する（Ｓ１１８）。 First, the absolute attitude of the vehicle measured by the gyro attitude output device 101 and the absolute coordinates of the vehicle received by the GPS receiver 102 are set (S118).
そして、前工程で得られた白線相対座標を、Ｓ１１８のステップで設定した車輌絶対位置姿勢の情報に従って回転させて、絶対座標空間での白線絶対座標を求める（Ｓ１１９）。 Then, the white line relative coordinates obtained in the previous process are rotated according to the vehicle absolute position and orientation information set in step S118 to obtain the white line absolute coordinates in the absolute coordinate space (S119).
ここで、前工程で得られた白線相対座標から、白線絶対座標を算出する計算式について、以下に具体例を示して説明する。なお、緯度経度から平面直角座標への変換、及び平面直角座標から緯度経度への逆変換に用いる変換には、国土地理院にて規定された一般的式、また公共測量作業規定に記載された変換式を用いている。 Here, the calculation formula for calculating the white line absolute coordinates from the white line relative coordinates obtained in the previous step will be described below with a specific example. Note that the conversion from latitude / longitude to plane rectangular coordinates and the conversion used for the reverse conversion from plane rectangular coordinates to latitude / longitude are described in the general formula prescribed by the Geospatial Information Authority of Japan and public survey work regulations. A conversion formula is used.
前工程で白線と認識された位置の相対座標を（Ｘ，Ｙ，Ｚ）とする。また、例えば図３に示した、設定撮影間隔ｔ１の時点で、位置情報収集手段１０のＧＰＳ受信機１０２によって取得され、車輌位置記録装置１３に記録された車輌位置の絶対座標を（Ｘｇｐｓ，Ｙｇｐｓ，Ｚｇｐｓ）とする。さらに、同時刻に位置情報収集手段１０ののジャイロ姿勢出力装置１０１によって取得され、車輌位置記録装置１３に記録された車輌の姿勢情報を（車輌ロール、車輌ピッチ、車輌ヨー）とする。 Assume that the relative coordinates of the position recognized as a white line in the previous process are (X, Y, Z). Further, for example, as shown in FIG. 3, the absolute coordinates of the vehicle position acquired by the GPS receiver 102 of the position information collecting means 10 and recorded in the vehicle position recording device 13 at the time of the set photographing interval t1 are (X gps , Y gps , Z gps ). Further, vehicle attitude information acquired by the gyro attitude output device 101 of the position information collecting means 10 and recorded in the vehicle position recording device 13 at the same time is defined as (vehicle roll, vehicle pitch, vehicle yaw).
姿勢情報（車輌ロール、車輌ピッチ、車輌ヨー）は、単位が“度”であるので、これを単位が“ラジアン”の傾き（ψ，ω，κ）に、変換式４）により変換する。 Since the unit of attitude information (vehicle roll, vehicle pitch, vehicle yaw) is “degree”, the unit is converted into a gradient (φ, ω, κ) of “radian” by conversion equation 4).
〔数４〕
ψ＝（車輌ロール）× π／１８０
ω＝（車輌ピッチ）× π／１８０ ・・４）
κ＝（車輌ヨー）× π／１８０
そして、車輌姿勢の回転行列Ｒは、前述した変換式２）と同じ下記の変換式５）で算出する。
ψ = (vehicle roll) × π / 180
ω = (vehicle pitch) × π / 180 4)
κ = (vehicle yaw) × π / 180
Then, the rotation matrix R of the vehicle attitude is calculated by the following conversion equation 5) which is the same as the conversion equation 2) described above.
ここで、白線相対座標（Ｘ，Ｙ，Ｚ）の絶対座標を（Ｘｇｒｄ，Ｙｇｒｄ，Ｚｇｒｄ）とすると、絶対座標（Ｘｇｒｄ，Ｙｇｒｄ，Ｚｇｒｄ）は、車輌姿勢の回転行列Ｒと車輌位置の絶対座標（Ｘｇｐｓ，Ｙｇｐｓ，Ｚｇｐｓ）から、次の変換式６）によって算出される。
ここで、変換式５）により変換式７）となり、その展開式をそれぞれ示す。
例えば、実際に得られた値が以下の数値だとする。 For example, assume that the actual values obtained are as follows:
白線相対座標（Ｘ，Ｙ，Ｚ）＝（１，５，２）ｍ
車輌位置の絶対座標（Ｘｇｐｓ，Ｙｇｐｓ，Ｚｇｐｓ）＝（５０００，６０００，１００）ｍ
車輌の姿勢情報（車輌ロール、車輌ピッチ、車輌ヨー）＝（１．５，−２．０，６０）度
よって、傾き（ψ，ω，κ）は、
〔数８〕
ψ＝（車輌ロール）× π／１８０＝0.02618 ラジアン
ω＝（車輌ピッチ）× π／１８０＝-0.03491 ラジアン
κ＝（車輌ヨー）× π／１８０＝1.047198 ラジアン
これを変換式５）に代入して、車輌姿勢の回転行列Ｒの各項は、
Absolute coordinates of vehicle position (X gps , Y gps , Z gps ) = (5000, 6000, 100) m
Vehicle attitude information (vehicle roll, vehicle pitch, vehicle yaw) = (1.5, −2.0, 60) degrees Therefore, the inclination (ψ, ω, κ) is
[Equation 8]
ψ = (vehicle roll) × π / 180 = 0.02618 radians ω = (vehicle pitch) × π / 180 = −0.03491 radians κ = (vehicle yaw) × π / 180 = 1.047198 radians Each term of the rotation matrix R of the vehicle posture is
求めた車輌姿勢の回転行列Ｒと、白線相対座標（Ｘ，Ｙ，Ｚ）及び車輌位置の絶対座標（Ｘｇｐｓ，Ｙｇｐｓ，Ｚｇｐｓ）の数値を変換式７）に代入すると、
したがって、得られた白線の絶対座標は、（Ｘｇｒｄ，Ｙｇｒｄ，Ｚｇｒｄ）＝（4996.224，6003.437，101.9808）となる。 Therefore, the absolute coordinates of the obtained white line are (X grd , Y grd , Z grd ) = (4996.224, 6003.437 , 101.9808 ).
このように、この工程により、白線の相対位置と、車輌の絶対座標及び姿勢情報によって、白線の絶対座標を得ることができる。得られた３次元絶対座標を測量成果として用いることができ、地図作成に応用できる。 Thus, by this process, the absolute coordinates of the white line can be obtained from the relative position of the white line and the absolute coordinates and attitude information of the vehicle. The obtained three-dimensional absolute coordinates can be used as survey results, and can be applied to map creation.
（６） データ保存工程：
図５に示すように、データ保存部１５６が、前工程で求めた白線絶対座標を計測結果記録装置１６に保存する工程である。
(6) Data storage process:
As shown in FIG. 5, the data storage unit 156 stores the white line absolute coordinates obtained in the previous process in the measurement result recording device 16.
まず、求められた計測結果を一時記憶メモリーに保存する（Ｓ１４）。 First, the obtained measurement result is stored in a temporary storage memory (S14).
つづいて、次に処理すべき画像及び車輌位置姿勢データがあるか判定して、ある場合は、データ読み出し工程に戻り、新たなデータを読み出し、処理を繰り返す（Ｓ１５）。 Subsequently, it is determined whether there is an image and vehicle position / posture data to be processed next. If there is, the process returns to the data reading process, new data is read, and the process is repeated (S15).
一方、最後のデータまで処理が完了した場合は、一時記憶メモリーに保存していた全結果を計測結果記録装置１６に保存する（Ｓ１６）。図２１は、走行中に撮影した連続画像から自動抽出し、計測結果記録装置１６に保存された白線の絶対座標をプロットしたものである。 On the other hand, when the processing is completed up to the last data, all the results stored in the temporary storage memory are stored in the measurement result recording device 16 (S16). FIG. 21 is a plot of the absolute coordinates of the white lines that are automatically extracted from the continuous images taken during traveling and stored in the measurement result recording device 16.
以上の説明のように、本発明により、対象とする道路を計測車輌で走行し、路面画像と位置情報を連続的に記録し、そのデータから道路上の標示の絶対座標を自動的に算出できる。 As described above, according to the present invention, the target road can be traveled with the measurement vehicle, the road surface image and the position information can be continuously recorded, and the absolute coordinates of the sign on the road can be automatically calculated from the data. .
なお、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。 Of course, the present invention includes various embodiments not described herein. The technical scope of the present invention is determined only by the invention specifying matters according to the scope of claims reasonable from the above description.
本発明は、ＧＩＳに利用される道路のデジタル地図情報のためのデジタル測量分野において、効率かつ正確な情報作成に利用できる。 The present invention can be used for efficient and accurate information creation in the field of digital surveying for road digital map information used for GIS.
１０ 位置情報取得手段
１１ ステレオカメラ
１２ 同期装置
１３ 車輌位置記録装置
１４ 画像記録装置
１５ 路面標示自動測定装置
１６ 計測結果記録装置
１０１ ジャイロ姿勢出力装置
１０２ ＧＰＳ受信機
１０３ 車輌速度出力装置
１０４ 車高出力装置
１５１ データ読み込み部
１５２ 正射影画像作成部
１５３ 路面標示認識部
１５４ 相対座標算出部
１５５ 絶対座標算出部
１５６ データ保存部
２００ データ処理部
DESCRIPTION OF SYMBOLS 10 Position information acquisition means 11 Stereo camera 12 Synchronizer 13 Vehicle position recording device 14 Image recording device 15 Road marking automatic measuring device 16 Measurement result recording device 101 Gyro attitude output device 102 GPS receiver 103 Vehicle speed output device 104 Vehicle height output device 151 Data reading unit 152 Orthographic image creation unit 153 Road marking recognition unit 154 Relative coordinate calculation unit 155 Absolute coordinate calculation unit 156 Data storage unit 200 Data processing unit
Claims (9)
前記車輌に搭載され、前記ステレオカメラと前記車輌の位置情報を収集する位置情報収集手段と、
前記ステレオカメラと前記位置情報収集手段に接続され、前記ステレオカメラによる撮影と前記位置情報収集手段による位置情報収集の同期をとる同期装置と、
前記同期装置に接続され、前記ステレオカメラにより撮影された前記ステレオ画像を記録する画像記録装置と、
前記同期装置に接続され、前記位置情報収集手段により収集された前記位置情報を記録する車輌位置記録装置と、
前記画像記録装置の前記ステレオ画像と、前記車輌位置記録装置の前記位置情報を読み込むデータ読み込み部と、
前記ステレオ画像の左右いずれかの第１の原画像を正射影変換し、正射影変換画像を作成する正射影画像作成部と、
前記正射影変換画像の前記車輌の進行方向と直交する１列毎に含まれる各ピクセルの輝度値の変化量により、路面標示が撮影されたピクセルを白線候補点として抽出し、前記白線候補点を連結して前記正射影変換画像上の前記路面標示を認識する路面標示認識部と、
前記路面標示認識部により認識された前記正射影変換画像上の前記路面標示の前記白線候補点のピクセル座標を逆射影変換して、前記第１の原画像上の白線中心ピクセル座標を求め、
前記ステレオカメラの位置情報を用いて、前記第１の原画像上の白線中心ピクセル座標から推定白線相対座標を求め、
前記推定白線相対座標から、前記第１の原画像と反対側の第２の原画像上の推定白線ピクセル座標を求め、
前記第１の原画像と前記第２の原画像から縦方向のズレを除去し、それぞれ第１及び第２の偏位修正画像を作成し、
前記第１の原画像上の白線中心ピクセル座標から、前記第１の偏位修正画像上の白線中心ピクセル座標を求め、
前記第２の原画像上の推定白線ピクセル座標から、前記第２の偏位修正画像上の白線概略ピクセル座標を求め、
前記第１の偏位修正画像上の白線中心ピクセル座標により、前記第１の偏位修正画像中から基本テンプレートを作成し、
前記第２の偏位修正画像上の白線概略ピクセル座標により、前記第２の偏位修正画像中から検索用テンプレートを作成し、
前記基本テンプレートと前記検索用テンプレートから、相関のある位置を検索して、前記第２の偏位修正画像上の白線中心ピクセル座標を求め、
前記第２の偏位修正画像上の白線中心ピクセル座標を逆射影変換して、前記第２の原画像上の白線中心ピクセル座標を求め、
前記第１及び第２の原画像上の白線中心ピクセル座標から、高さを含む白線相対座標を求める相対座標算出部、及び
前記相対座標算出部により算出された前記白線相対座標を、前記車輌の位置情報を用いた回転行列により変換して、前記路面標示の絶対座標を算出する絶対座標算出部を含む路面標示自動計測装置と、
前記路面標示自動計測装置に接続され、結果を記録する計測結果記録装置
とを具備することを特徴とする路面標示自動計測システム。 It is mounted on a vehicle, and a stereo camera for photographing a stereo image of the road surface,
Position information collecting means mounted on the vehicle for collecting position information of the stereo camera and the vehicle;
A synchronization device connected to the stereo camera and the position information collecting means, and synchronizing the shooting by the stereo camera and the position information collection by the position information collecting means;
An image recording device connected to the synchronization device and for recording the stereo image taken by the stereo camera;
A vehicle position recording device that is connected to the synchronization device and records the position information collected by the position information collecting means;
Said stereo image in said image recording apparatus, and said read the position information of the vehicle position recording device write free data reading unit,
An orthographic image creation unit that orthorectifies the first original image on either the left or right side of the stereo image, and creates an orthographic conversion image;
Based on the amount of change in the luminance value of each pixel included in each row orthogonal to the traveling direction of the vehicle in the orthogonal projection conversion image, the pixel on which the road marking is photographed is extracted as a white line candidate point, and the white line candidate point is A road marking recognition unit that connects and recognizes the road marking on the orthographic transformation image;
The pixel coordinates of the white line candidate point of the road marking on the orthographic transformation image recognized by the road marking recognition unit are back-projected to obtain a white line center pixel coordinate on the first original image,
Using the position information of the stereo camera, obtain the estimated white line relative coordinates from the white line center pixel coordinates on the first original image,
From the estimated white line relative coordinates, an estimated white line pixel coordinate on the second original image opposite to the first original image is obtained,
Removing vertical misalignment from the first original image and the second original image, and creating first and second displacement correction images, respectively;
From the white line center pixel coordinates on the first original image, obtain the white line center pixel coordinates on the first displacement corrected image;
From the estimated white line pixel coordinates on the second original image, white line approximate pixel coordinates on the second displacement corrected image are obtained,
A basic template is created from the first displacement correction image by white line center pixel coordinates on the first displacement correction image,
A search template is created from the second displacement correction image based on the white line outline pixel coordinates on the second displacement correction image,
From the basic template and the search template, a correlated position is searched to obtain a white line center pixel coordinate on the second displacement correction image,
A white line center pixel coordinate on the second original image is reverse-projected to obtain a white line center pixel coordinate on the second original image;
A relative coordinate calculation unit for obtaining a white line relative coordinate including a height from a white line center pixel coordinate on the first and second original images; and
A road marking automatic measuring device including an absolute coordinate calculating section that converts the white line relative coordinates calculated by the relative coordinate calculating section by a rotation matrix using position information of the vehicle and calculates absolute coordinates of the road marking. When,
A road marking automatic measurement system, comprising: a measurement result recording device that is connected to the road marking automatic measurement device and records a result.
前記ステレオ画像の左右いずれかの第１の原画像を正射影変換し、正射影変換画像を作成する正射影画像作成部と、
前記正射影変換画像の前記車輌の進行方向と直交する１列毎に含まれる各ピクセルの輝度値の変化量により、路面標示が撮影されたピクセルを白線候補点として抽出し、前記白線候補点を連結して前記正射影変換画像上の前記路面標示を認識する路面標示認識部と、
前記路面標示認識部により認識された前記正射影変換画像上の前記路面標示の前記白線候補点のピクセル座標を逆射影変換して、前記第１の原画像上の白線中心ピクセル座標を求め、
前記ステレオカメラの位置情報を用いて、前記第１の原画像上の白線中心ピクセル座標から推定白線相対座標を求め、
前記推定白線相対座標から、前記第１の原画像と反対側の第２の原画像上の推定白線ピクセル座標を求め、
前記第１の原画像と前記第２の原画像から縦方向のズレを除去し、それぞれ第１及び第２の偏位修正画像を作成し、
前記第１の原画像上の白線中心ピクセル座標から、前記第１の偏位修正画像上の白線中心ピクセル座標を求め、
前記第２の原画像上の推定白線ピクセル座標から、前記第２の偏位修正画像上の白線概略ピクセル座標を求め、
前記第１の偏位修正画像上の白線中心ピクセル座標により、前記第１の偏位修正画像中から基本テンプレートを作成し、
前記第２の偏位修正画像上の白線概略ピクセル座標により、前記第２の偏位修正画像中から検索用テンプレートを作成し、
前記基本テンプレートと前記検索用テンプレートから、相関のある位置を検索して、前記第２の偏位修正画像上の白線中心ピクセル座標を求め、
前記第２の偏位修正画像上の白線中心ピクセル座標を逆射影変換して、前記第２の原画像上の白線中心ピクセル座標を求め、
前記第１及び第２の原画像上の白線中心ピクセル座標から、高さを含む白線相対座標を求める相対座標算出部と、
前記相対座標算出部により算出された前記白線相対座標を、前記車輌の位置情報を用いた回転行列により変換して、前記路面標示の絶対座標を算出する絶対座標算出部と、
前記路面標示の前記絶対座標を記録装置に保存するデータ保存部
とを具備することを特徴とする路面標示自動計測装置。 Stereo image of the road taken by the on-board stereo camera in a vehicle, a data reading part for reading the positional information of the vehicle and the stereo camera,
An orthographic image creation unit that orthorectifies the first original image on either the left or right side of the stereo image, and creates an orthographic conversion image;
Based on the amount of change in the luminance value of each pixel included in each row orthogonal to the traveling direction of the vehicle in the orthogonal projection conversion image , the pixel on which the road marking is photographed is extracted as a white line candidate point, and the white line candidate point is A road marking recognition unit that connects and recognizes the road marking on the orthographic transformation image;
The pixel coordinates of the white line candidate point of the road marking on the orthographic transformation image recognized by the road marking recognition unit are back-projected to obtain a white line center pixel coordinate on the first original image,
Using the position information of the stereo camera, obtain the estimated white line relative coordinates from the white line center pixel coordinates on the first original image,
From the estimated white line relative coordinates, an estimated white line pixel coordinate on the second original image opposite to the first original image is obtained,
Removing vertical misalignment from the first original image and the second original image, and creating first and second displacement correction images, respectively;
From the white line center pixel coordinates on the first original image, obtain the white line center pixel coordinates on the first displacement corrected image;
From the estimated white line pixel coordinates on the second original image, white line approximate pixel coordinates on the second displacement corrected image are obtained,
A basic template is created from the first displacement correction image by white line center pixel coordinates on the first displacement correction image,
A search template is created from the second displacement correction image based on the white line outline pixel coordinates on the second displacement correction image,
From the basic template and the search template, a correlated position is searched to obtain a white line center pixel coordinate on the second displacement correction image,
A white line center pixel coordinate on the second original image is reverse-projected to obtain a white line center pixel coordinate on the second original image;
A relative coordinate calculation unit for obtaining white line relative coordinates including height from the white line center pixel coordinates on the first and second original images;
An absolute coordinate calculation unit that converts the white line relative coordinates calculated by the relative coordinate calculation unit by a rotation matrix using position information of the vehicle, and calculates absolute coordinates of the road marking;
A road marking automatic measuring device comprising: a data storage unit for storing the absolute coordinates of the road marking in a recording device.
前記ステレオ画像の左右いずれかの第１の原画像を正射影変換し、正射影変換画像を作成する正射影画像作成工程と、
前記正射影変換画像の前記車輌の進行方向と直交する１列毎に含まれる各ピクセルの輝度値の変化量により、路面標示が撮影されたピクセルを白線候補点として抽出し、前記白線候補点を連結して前記正射影変換画像上の前記路面標示を認識する路面標示認識工程と、
前記路面標示認識工程により認識された前記正射影変換画像上の前記路面標示の前記白線候補点のピクセル座標を逆射影変換して、前記第１の原画像上の白線中心ピクセル座標を求めるステップと、
前記ステレオカメラの位置情報を用いて、前記第１の原画像上の白線中心ピクセル座標から推定白線相対座標を求めるステップと、
前記推定白線相対座標から、前記第１の原画像と反対側の第２の原画像上の推定白線ピクセル座標を求めるステップと、
前記第１の原画像と前記第２の原画像から縦方向のズレを除去し、それぞれ第１及び第２の偏位修正画像を作成するステップと、
前記第１の原画像上の白線中心ピクセル座標から、前記第１の偏位修正画像上の白線中心ピクセル座標を求めるステップと、
前記第２の原画像上の推定白線ピクセル座標から、前記第２の偏位修正画像上の白線概略ピクセル座標を求めるステップと、
前記第１の偏位修正画像上の白線中心ピクセル座標により、前記第１の偏位修正画像中から基本テンプレートを作成するステップと、
前記第２の偏位修正画像上の白線概略ピクセル座標により、前記第２の偏位修正画像中から検索用テンプレートを作成するステップと、
前記基本テンプレートと前記検索用テンプレートから、相関のある位置を検索して、前記第２の偏位修正画像上の白線中心ピクセル座標を求めるステップと、
前記第２の偏位修正画像上の白線中心ピクセル座標を逆射影変換して、前記第２の原画像上の白線中心ピクセル座標を求めるステップと、
前記第１及び第２の原画像上の白線中心ピクセル座標から、高さを含む白線相対座標を求めるステップとを含む相対座標算出工程と、
前記相対座標算出工程により算出された前記白線相対座標を、前記車輌の位置情報を用いた回転行列により変換して、前記路面標示の絶対座標を算出する絶対座標算出工程と、
前記路面標示の前記絶対座標を記録装置に保存するデータ保存工程
とを含むことを特徴とする路面標示自動計測方法。 Stereo image of the road taken by the on-board stereo camera in a vehicle, a data reading step of reading the position information of the vehicle and the stereo camera,
An orthogonal projection image creating step of orthogonally transforming the first original image on either the left or right side of the stereo image to create an orthogonal projection transformed image;
Based on the amount of change in the luminance value of each pixel included in each row orthogonal to the traveling direction of the vehicle in the orthogonal projection conversion image , the pixel on which the road marking is photographed is extracted as a white line candidate point, and the white line candidate point is A road marking recognition step for connecting and recognizing the road marking on the orthographic transformation image;
Back-projecting the pixel coordinates of the white line candidate points of the road marking on the orthographic transformation image recognized by the road marking recognition step to obtain white line center pixel coordinates on the first original image; ,
Obtaining estimated white line relative coordinates from white line center pixel coordinates on the first original image using position information of the stereo camera;
Obtaining estimated white line pixel coordinates on a second original image opposite to the first original image from the estimated white line relative coordinates;
Removing vertical misalignment from the first original image and the second original image to create first and second displacement correction images, respectively;
Obtaining white line center pixel coordinates on the first displacement corrected image from white line center pixel coordinates on the first original image;
Obtaining white line approximate pixel coordinates on the second displacement corrected image from estimated white line pixel coordinates on the second original image;
Creating a basic template from the first displacement corrected image according to white line center pixel coordinates on the first displacement corrected image;
Creating a search template from the second displacement correction image by white line approximate pixel coordinates on the second displacement correction image;
Searching for a correlated position from the basic template and the search template to obtain white line center pixel coordinates on the second displacement correction image;
Back-projecting a white line center pixel coordinate on the second displacement corrected image to obtain a white line center pixel coordinate on the second original image;
Obtaining a white line relative coordinate including a height from a white line center pixel coordinate on the first and second original images;
An absolute coordinate calculation step of converting the white line relative coordinate calculated by the relative coordinate calculation step by a rotation matrix using the position information of the vehicle, and calculating an absolute coordinate of the road marking;
And a data storage step of storing the absolute coordinates of the road marking in a recording device.
前記輝度値の平滑化を行うステップと、
前記平滑化された輝度値から、輝度値変化点を求めるステップと、
前記輝度値変化点間の平均輝度値を含む区間情報を求めるステップと、
前記区間情報から白線候補点を推定するステップと、
前記白線候補点を連結して前記路面標示を認識するステップ
とを含むことを特徴とする請求項７記載の路面標示自動計測方法。 The road marking recognition process includes
Smoothing the luminance value;
Obtaining a luminance value change point from the smoothed luminance value;
Obtaining section information including an average luminance value between the luminance value change points;
Estimating white line candidate points from the section information;
The road marking automatic measurement method according to claim 7, further comprising a step of recognizing the road marking by connecting the white line candidate points.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005308271A JP4892224B2 (en) | 2005-10-24 | 2005-10-24 | Road marking automatic measurement system, apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005308271A JP4892224B2 (en) | 2005-10-24 | 2005-10-24 | Road marking automatic measurement system, apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007114142A JP2007114142A (en) | 2007-05-10 |
| JP4892224B2 true JP4892224B2 (en) | 2012-03-07 |
Family
ID=38096461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005308271A Active JP4892224B2 (en) | 2005-10-24 | 2005-10-24 | Road marking automatic measurement system, apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4892224B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103106674B (en) * | 2013-01-18 | 2016-02-10 | 昆山市智汽电子科技有限公司 | A kind of method of panoramic picture synthesis and display and device |
| EP2952024A2 (en) * | 2013-02-04 | 2015-12-09 | Dnv Gl Se | Inspection camera unit, method for inspecting interiors, and sensor unit |
| CN107036582A (en) * | 2017-06-14 | 2017-08-11 | 上海市政养护管理有限公司 | A kind of system and method for detecting road foundation sedimentation |
| KR102316243B1 (en) * | 2019-12-26 | 2021-10-22 | 주식회사 로탈 | Object Positioning System Using Stereo Camera |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH099197A (en) * | 1995-06-21 | 1997-01-10 | Asia Kosoku Kk | Recording device for consecutive stereo image data |
| JP3725982B2 (en) * | 1998-12-03 | 2005-12-14 | アジア航測株式会社 | Position acquisition device |
| JP2002081941A (en) * | 2000-09-11 | 2002-03-22 | Zenrin Co Ltd | System and method of measuring three-dimensional shape of road |
| JP3781281B2 (en) * | 2001-10-30 | 2006-05-31 | 三井住友建設株式会社 | Method and apparatus for measuring route facilities |
| JP4436632B2 (en) * | 2003-08-19 | 2010-03-24 | コマツエンジニアリング株式会社 | Survey system with position error correction function |
| JP2005157733A (en) * | 2003-11-26 | 2005-06-16 | Nissan Motor Co Ltd | Traffic lane recognition device and traffic lane recognition method |
-
2005
- 2005-10-24 JP JP2005308271A patent/JP4892224B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007114142A (en) | 2007-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3631494B1 (en) | Integrated sensor calibration in natural scenes | |
| CN111436216B (en) | Method and system for color point cloud generation | |
| JP6760114B2 (en) | Information processing equipment, data management equipment, data management systems, methods, and programs | |
| US10909395B2 (en) | Object detection apparatus | |
| US8239131B2 (en) | Navigation device, navigation method, and navigation program | |
| EP0740163B1 (en) | Local positioning apparatus for detecting a local position of an automobile on a road | |
| CN108335337B (en) | method and device for generating orthoimage picture | |
| US10872246B2 (en) | Vehicle lane detection system | |
| JP2012127896A (en) | Mobile object position measurement device | |
| JP5184830B2 (en) | Position measuring apparatus and position measuring method | |
| JP2009014628A (en) | Position measuring apparatus and position measuring method | |
| WO2009122316A2 (en) | Methods for transferring points of interest between images with non-parallel viewing directions | |
| KR101255461B1 (en) | Position Measuring Method for street facility | |
| JP5544595B2 (en) | Map image processing apparatus, map image processing method, and computer program | |
| JP6135972B2 (en) | Orientation method, orientation program, and orientation device | |
| JP4892224B2 (en) | Road marking automatic measurement system, apparatus and method | |
| CN113838129B (en) | Method, device and system for obtaining pose information | |
| JP4116116B2 (en) | Ranging origin recognition device for moving objects | |
| US11620832B2 (en) | Image based locationing | |
| CN105424059A (en) | Wide baseline infrared camera pose estimation method | |
| US10859377B2 (en) | Method for improving position information associated with a collection of images | |
| WO2019091381A1 (en) | Method and device for identifying stereoscopic object, and vehicle and storage medium | |
| JP3910844B2 (en) | Orientation method and modified mapping method using old and new photographic images | |
| JP2009121945A (en) | Feature position measurement method | |
| JPH09325026A (en) | Method for detecting gradient and gradient angle of forward road |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081003 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111018 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111206 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111219 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4892224 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141222 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |