JP6060682B2 - Road surface image generation system, shadow removal apparatus, method and program - Google Patents
Road surface image generation system, shadow removal apparatus, method and program Download PDFInfo
- Publication number
- JP6060682B2 JP6060682B2 JP2012286479A JP2012286479A JP6060682B2 JP 6060682 B2 JP6060682 B2 JP 6060682B2 JP 2012286479 A JP2012286479 A JP 2012286479A JP 2012286479 A JP2012286479 A JP 2012286479A JP 6060682 B2 JP6060682 B2 JP 6060682B2
- Authority
- JP
- Japan
- Prior art keywords
- shadow
- road surface
- image data
- data
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 31
- 238000012937 correction Methods 0.000 claims description 38
- 230000005855 radiation Effects 0.000 claims description 18
- 230000010365 information processing Effects 0.000 claims description 16
- 230000002093 peripheral effect Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 description 20
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical group [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004441 surface measurement Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、日射により生ずる影を消去した路面画像を生成する路面画像生成システム、並びに路面画像から日射により生ずる影を除去する影除去装置、方法及びプログラムに関する。 The present invention relates to a road surface image generation system that generates a road surface image in which shadows caused by solar radiation are eliminated, and a shadow removal apparatus, method, and program that remove shadows caused by solar radiation from a road surface image.
地面、特に道路面の実写画像が、カーナビゲーションシステムや種々の地図で必要とされている。このような路面画像は、車両にビデオカメラを搭載し、道路等の路面を撮影しつつ走行し、得られた画像を道路方向に合成することで得られる。様々な地理空間情報との重ね合わせが可能になるように、垂直上空から見た画像になるように正射影変換されたオルソ画像として提供される。道路走行車両以外に、軽飛行機又は無人飛行機による空中撮影を利用することもある。 Real images of the ground, especially road surfaces, are required for car navigation systems and various maps. Such a road surface image is obtained by mounting a video camera on a vehicle, traveling while photographing a road surface such as a road, and synthesizing the obtained images in the road direction. In order to enable superimposition with various geospatial information, it is provided as an ortho image obtained by orthogonal projection transformation so that the image is viewed from above. In addition to road vehicles, aerial photography using a light or unmanned airplane may be used.
特許文献1には、ビデオカメラで路面を含む対象を撮影しつつ、レーザスキャナで対象を三次元計測し、レーザスキャナの計測値で特定される範囲(例えば、路面から50cm以下の範囲)についてビデオカメラの撮影映像を合成表示することで、道路が樹木やトンネルなどの遮蔽物により遮蔽されておらず、白線や道路境界などがはっきりと認識できる路面画像を生成する技術が記載されている。 Japanese Patent Laid-Open No. 2004-133867 video-shoots a range (for example, a range of 50 cm or less from the road surface) specified by the measurement value of the laser scanner by three-dimensionally measuring the target with a laser scanner while shooting the target including the road surface with a video camera. A technique for generating a road surface image in which a white line, a road boundary, and the like can be clearly recognized by synthesizing and displaying captured images of a camera so that a road is not blocked by a shield such as a tree or a tunnel is described.
特許文献2には、車両にGPS受信機及びIMU(慣性ユニット)を搭載して車両位置を計測し、同時に、デジタルカメラで路面及びその周囲を撮影しつつ、レーザスキャナで3次元計測し、カメラ画像に含まれる特徴物及び車両位置データを参考に、レーザスキャナによる点群データから3Dモデルを形成する技術が記載されている。 In Patent Document 2, a GPS receiver and an IMU (inertial unit) are mounted on a vehicle to measure the position of the vehicle, and at the same time, while photographing a road surface and its surroundings with a digital camera, three-dimensional measurement is performed with a laser scanner. A technique for forming a 3D model from point cloud data obtained by a laser scanner is described with reference to a feature and vehicle position data included in an image.
特許文献1に記載の方法では、ビデオカメラの撮影映像に日射による影が入り込んでいる場合、その影を除去した路面オルソ画像を生成することができない。
In the method described in
特許文献2に記載の技術では、路面をカメラ撮影するものの、対象形状を主としてレーザスキャナの3次元計測値により決定し、カメラ画像を補完的に使用するものであり、カメラによる撮影画像のリアル感を活かすことができない。 In the technique described in Patent Document 2, although the road surface is photographed with a camera, the target shape is mainly determined by a three-dimensional measurement value of a laser scanner, and the camera image is used in a complementary manner. I can't make use of it.
本発明は、日射による影を除去し、実写に即した路面画像を生成可能な路面画像生成システム並びに影除去装置、方法及びプログラムを提示することを目的とする。 It is an object of the present invention to provide a road surface image generation system, a shadow removal device, a method, and a program that can remove a shadow caused by solar radiation and generate a road surface image that conforms to a real image.
本発明に係る路面画像生成システムは、日射による影の付いた状態で路面を撮影する撮像装置と、当該撮像装置により得られる複数の画像データから路面オルソ画像データを生成する路面オルソ画像生成手段と、同じ当該路面に対してレーザ光を走査し、反射点の反射強度を計測するレーザスキャナと、当該レーザスキャナで得られる当該反射点の反射強度データから路面反射強度画像データを当該路面オルソ画像データとの対比用の参照画像データとして規定の反射強度レンジで生成する参照画像生成手段と、当該参照画像データを参照して、当該路面オルソ画像データの影領域を認識する影部分認識手段と、当該影部分認識手段により認識される当該各影領域を当該路面オルソ画像データの、当該影領域の周辺部分の色情報で補正する影部分補正手段とを具備することを特徴とする。 A road surface image generation system according to the present invention includes an imaging device that images a road surface in a shaded state due to solar radiation, and a road surface ortho image generation unit that generates road surface ortho image data from a plurality of image data obtained by the imaging device. A laser scanner that scans the same road surface with laser light and measures the reflection intensity of the reflection point; and the road surface orthoimage data from the reflection intensity data of the reflection point obtained by the laser scanner. A reference image generating means for generating a reference image data for comparison with a prescribed reflection intensity range, a shadow part recognizing means for referring to the reference image data and recognizing a shadow area of the road surface ortho image data, and A shadow that is corrected by the color information of the peripheral portion of the shadow area of the road surface orthoimage data for each shadow area recognized by the shadow part recognition means. Characterized by comprising the divided correction means.
本発明に係る影除去装置は、日射による影の付いた状態で路面を撮影した画像データから当該影を除去する影除去装置であって、当該路面を撮影した当該画像データから路面オルソ画像データを生成する路面オルソ画像生成手段と、同じ当該路面に対してレーザスキャナでレーザ光を走査して計測される反射強度データから路面反射強度画像データを当該路面オルソ画像データとの対比用の参照画像データとして規定の反射強度レンジで生成する参照画像生成手段と、当該参照画像データを参照して、当該路面オルソ画像データの影領域を認識する影部分認識手段と、当該影部分認識手段により認識される当該各影領域を当該路面オルソ画像データの、当該影領域の周辺部分の色情報で補正する影部分補正手段とを具備することを特徴とする。 A shadow removal apparatus according to the present invention is a shadow removal apparatus that removes the shadow from image data obtained by photographing a road surface in a shaded state due to solar radiation, and obtains road surface ortho image data from the image data obtained by photographing the road surface. Reference image data for comparing road surface reflection intensity image data with the road surface ortho image data based on the road surface ortho image generation means and the reflection intensity data measured by scanning the same road surface with laser light with a laser scanner As a reference image generating means for generating a predetermined reflection intensity range, a shadow part recognizing means for recognizing a shadow area of the road surface ortho image data with reference to the reference image data, and the shadow part recognizing means. Shadow portion correction means for correcting each shadow region with the color information of the peripheral portion of the shadow region of the road surface orthoimage data is provided.
本発明に係る影除去方法は、日射による影の付いた状態で路面を撮影した画像データから当該影を除去する影除去方法であって、当該路面をビデオカメラで撮影した路面映像データを記録媒体から再生して情報処理装置に取り込むステップと、当該情報処理装置の路面オルソ画像生成手段が、当該路面映像データから路面オルソ画像データを生成する路面オルソ画像データ生成ステップと、当該情報処理装置の参照画像生成手段が、同じ当該路面に対してレーザスキャナでレーザ光を走査して計測される反射強度データから路面反射強度画像データを当該路面オルソ画像データとの対比用の参照画像データとして規定の反射強度レンジで生成する参照画像生成ステップと、当該情報処理装置の影部分認識手段が、当該参照画像データを参照して、当該路面オルソ画像データの影領域を認識する影部分認識ステップと、当該情報処理装置の影部分補正手段が、当該影部分認識手段により認識される当該各影領域を当該路面オルソ画像データの、当該影領域の周辺部分の色情報で補正する影部分補正ステップとを具備することを特徴とする。 A shadow removal method according to the present invention is a shadow removal method for removing a shadow from image data obtained by photographing a road surface in the state of being shaded by solar radiation, and recording road surface video data obtained by photographing the road surface with a video camera. From the information processing apparatus, the road surface ortho image generation means of the information processing apparatus generates road surface ortho image data from the road surface image data, and the information processing apparatus reference The image generation means uses the reflection intensity data measured by scanning the same road surface with a laser scanner to scan the road surface reflection intensity image data as reference image data for comparison with the road surface ortho image data. The reference image generation step for generating in the intensity range and the shadow part recognition means of the information processing apparatus refer to the reference image data. A shadow part recognition step for recognizing a shadow area of the road surface ortho image data, and a shadow part correction unit of the information processing apparatus, for each shadow area recognized by the shadow part recognition unit, of the road surface ortho image data, And a shadow part correction step for correcting with the color information of the peripheral part of the shadow region.
本発明に係る影除去プログラムは、日射による影の付いた状態で路面を撮影した画像データから当該影を除去するために、情報処理装置を、当該路面を撮影した当該画像データから路面オルソ画像データを生成する路面オルソ画像生成手段と、同じ当該路面に対してレーザスキャナでレーザ光を走査して計測される反射強度データから路面反射強度画像データを当該路面オルソ画像データとの対比用の参照画像データとして規定の反射強度レンジで生成する参照画像生成手段と、当該参照画像データを参照して、当該路面オルソ画像データの影領域を認識する影部分認識手段と、当該影部分認識手段により認識される当該各影領域を当該路面オルソ画像データの、当該影領域の周辺部分の色情報で補正する影部分補正手段として機能させるためのものである。 In order to remove the shadow from image data obtained by photographing a road surface in the state of being shaded by solar radiation, the shadow removal program according to the present invention is configured to change the information processing device from the image data obtained by photographing the road surface to road surface ortho-image data. The road surface orthoimage generating means for generating the same and the reference image for comparing the road surface reflection intensity image data with the road surface orthoimage data from the reflection intensity data measured by scanning a laser beam with the laser scanner on the same road surface Reference image generation means for generating data within a prescribed reflection intensity range, shadow part recognition means for recognizing the shadow area of the road surface ortho image data with reference to the reference image data, and the shadow part recognition means. Each of the shadow areas is functioned as a shadow part correction unit that corrects the color information of the peripheral part of the shadow area of the road surface ortho image data. It is those of.
本発明により、撮像装置で撮影した路面画像から影部分を、影の無かった色調に変換できるので、路面の撮影時に影の映り込みを意図的に回避する必要がなくなる。 According to the present invention, since a shadow portion can be converted into a shade without a shadow from a road surface image photographed by an imaging device, it is not necessary to intentionally avoid the reflection of a shadow when photographing a road surface.
以下、図面を参照して、本発明の実施例を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の一実施例の概略構成ブロック図を示す。 FIG. 1 shows a schematic block diagram of an embodiment of the present invention.
自動車にビデオカメラ10、1次元走査能力のレーザスキャナ12、GPS(Global Positioning System)受信機14、方位計16、ビデオ記録再生装置18及びデータ記録再生装置20を搭載する。この自動車で予定の道路を走行する間に、ビデオカメラ10は車両前方(後方でもよい)の路面を撮影し、レーザスキャナ12は、道路の幅方向にレーザ光を走査して、路面からの反射光強度と反射点までの距離を計測する。このようなレーザスキャナ12としては、レーザ測距装置として市販されているものを利用できる。方位計16には例えばジャイロ装置を利用できる。ジャイロ装置を使用すると、GPS受信機14の受信間隔を補間できる。
A
GPS受信機14は、地上座標系での車両位置を継続的に計測し、方位計12は北を計測する。方位計16の出力により、車両の向いた方向、即ちビデオカメラ10の撮影方向及びレーザスキャナ12のレーザ照射方向を知ることが出来る。GPS受信機14で計測される地上座標値と、方位計16で計測される方位とから、ビデオカメラ10の撮影視野内の各画素の路面上相当の地上座標を決定できる。同様に、レーザスキャナ12のレーザ光反射点の地上座標も決定できる。
The
ビデオ記録再生装置18は、ビデオカメラ10の出力ビデオ信号にGPS受信機14からの3次元位置座標データ及び方位計16からの方位データを付加して記録媒体に記録する。また、データ記録再生装置20は、レーザスキャナ12から出力される反射点までの距離、レーザ照射方向及び反射光強度からなる反射データを、GPS受信機14からの3次元位置座標データ及び方位計16により計測される方位データと対応付けて記録媒体に記録する。レーザスキャナ12により得られる反射データはいわば、レーザスキャナ12から見た反射点の相対座標値と反射光強度を示す。
The video recording /
詳細は後述するが、本実施例では、車両に搭載したビデオカメラ10で路面を継続的に撮影し、そのビデオ画像の特定水平走査線上の線画像をモザイク合成し、最終的に路面全体に対する長尺で垂直上方向から観察した路面オルソ画像を生成する。他方、車両に搭載したレーザスキャナ12が、出力するレーザ光を路面に対して横方向(道路の幅方向)に走査してその反射光強度を計測する。計測された反射光強度から、道路に沿って長尺の、道路路面の反射強度画像を生成する。反射点までの距離を加味することで、路面の凹凸も計測できることはいうまでもない。この反射強度画像を、路面オルソ画像から日射による影部分を除去するための参照画像として使用する。
Although details will be described later, in this embodiment, the road surface is continuously photographed by the
生成したオルソ画像と反射光強度画像を路面上の同じ位置で対比することになるので、オルソ画像(従って、その前提となるモザイク画像)を生成するために用いる線画像は、レーザスキャナ12の走査線とほぼ対応する水平走査線上のものであるのが好ましい。図2は、ビデオカメラ10による撮影範囲とレーザスキャナ12によるレーザ走査軌跡の、路面上での位置関係を示す。レーザスキャナ12のレーザ走査がビデオカメラ10の撮影視野内に入るようにビデオカメラ10の撮影範囲とレーザスキャナ12のレーザ走査線方向を事前に調整する。このとき、レーザスキャナ12による路面上でのレーザ走査軌跡と、ビデオカメラ10によるビデオ画像からモザイク画像生成用に線画像を抽出する水平走査線とを対応させておくのが好ましい。
Since the generated ortho image and the reflected light intensity image are compared at the same position on the road surface, the line image used to generate the ortho image (and hence the mosaic image that is the prerequisite) is scanned by the
ビデオ記録再生装置18及びデータ記録再生装置20で記録したデータを再生し、影除去装置30に投入する。影除去装置30は実際には、コンピュータを含む情報処理装置上で動作する影除去プログラムにより実現され、影除去装置30を構成する、記憶手段以外の手段の一部又は全部は、コンピュータプログラムにより実現されうる。
Data recorded by the video recording / reproducing
オルソ画像生成装置32は、ビデオ記録再生装置18からビデオ画像とGPS受信機14による3次元位置座標及び方位計16による方位データを再生して読み込む。オルソ画像生成装置32は、ビデオ記録再生装置18からビデオ画像の1又は複数の特定水平走査線上の線画像を合成及び再構成し、垂直上方から見た路面オルソ画像を生成する。オルソ画像生成装置32は、GPS受信機14による3次元位置座標及び方位計16による方位データを参照することで、ビデオ記録再生装置18からビデオ画像の各水平走査線上の線画像の、路面上での地上座標を決定できる。生成された路面オルソ画像は、例えば、1画素が2.5cm程度の密度からなる。オルソ画像生成装置32は、生成した路面オルソ画像データ34を記憶装置に格納する。
The ortho
オルソ画像生成装置32はまた、生成した路面オルソ画像データがカバーする地上座標範囲を示す座標データを座標ファイル38として出力する。レーザスキャナ12が、路面を含む比較的広い範囲を3次元計測しており、座標ファイル38を使って、レーザスキャナ12で測定した反射点の内、路面画像からの影除去に有用なもの以外を除外するためである。これにより、以後のデータ処理を軽くすることができる。
The ortho
座標変換装置36は、データ記録再生装置20からレーザスキャナ12による反射データと、GPS受信機14により計測された3次元位置座標と、方位計16により計測された方位データを読み出す。レーザスキャナ12の路面に対する照射角度、幅方向の走査角度、及び方位計16の方位から、レーザスキャナ12から見た反射点の相対的な位置座標を決定できる。この相対的な位置座標をGPS受信機14により計測される3次元位置座標に加算する事で、反射点の地上座標系での位置を決定できる。座標変換装置36は、座標ファイル38を参照して、路面上とその周囲の反射点データのみを抽出する。座標変換装置36の出力データは、地上座標系ではばらついた位置にある点群データになっている。
The coordinate
メッシュ化装置40が、路面オルソ画像データ34のピクセル座標を参照し、座標変換装置36から出力される点群データを、地上座標系で路面オルソ画像データ34の画素と同じ位置になる規定間隔のメッシュ又は格子上の点群データに変換する。その際、反射光強度と高さは、当該メッシュ又は格子上の数値に調整される。ここで得られるメッシュの解像度は、2.5〜10cm程度であるのに対し、路面オルソ画像データ34の解像度は2.5cm程度である。そこで、メッシュ補間装置42が、メッシュ化装置40で生成されるメッシュ間に、路面オルソ画像データ34と同じ画素密度と配置になるようにピクセルの反射強度・高さを補間する。この補間により、路面オルソ画像データ34と地上座標系上で容易に対比できる反射光強度の点群データが生成される。メッシュ化装置40によるメッシュ化と、メッシュ補間装置42による補間を同時に実行しても良いことは明らかである。
The meshing
路面エリア抽出装置44は、メッシュ補間装置42から出力される点群データから路面エリアを抽出する。具体的には、路面エリア抽出装置44は、数値地形モデルで利用されるTIN(Triangulated Irregular Network)法を用いて、隣接する3つのメッシュ点で形成される各三角形について法線ベクトルを計算し、その傾きにより路面かどうかを判定する。
The road surface
図3に示す例で、P(n−1,m−1)とP(n,m−1)が注目点P(n,m)に対して三角形を構成する2点とした場合、この三角形の法線ベクトルが次のようにして計算される。図4に示すように、P(n,m)を注目点P1とし、そのx座標値をx1、y座標値をy1、z座標値をz1とする。P(n−1,m−1)をP2として、そのx座標値をx2、y座標値をy2、z座標値をz2とする。P(n,m−1)をP3として、そのx座標値をx3、y座標値をy3、z座標値をz3とする。このとき、法線ベクトルのx成分,y成分及びz成分をそれぞれNx,Ny,Nzとすると、
Nx=(y2−y1)×(z3−z2)−(z2−z1)×(y3−y2)
Ny=(z2−z1)×(x3−x2)−(x2−x1)×(z3−z2)
Nz=(x2−x1)×(y3−y2)−(y2−y1)×(z3−z2)
となる。
In the example shown in FIG. 3, when P (n−1, m−1) and P (n, m−1) are two points constituting a triangle with respect to the attention point P (n, m), this triangle Is calculated as follows. As shown in FIG. 4, let P (n, m) be the point of interest P1, its x coordinate value be x1, y coordinate value be y1, and z coordinate value be z1. Let P (n-1, m-1) be P2, the x coordinate value is x2, the y coordinate value is y2, and the z coordinate value is z2. Let P (n, m-1) be P3, its x coordinate value is x3, y coordinate value is y3, and z coordinate value is z3. At this time, if the x component, y component, and z component of the normal vector are Nx, Ny, and Nz, respectively,
Nx = (y2-y1) * (z3-z2)-(z2-z1) * (y3-y2)
Ny = (z2-z1) * (x3-x2)-(x2-x1) * (z3-z2)
Nz = (x2-x1) * (y3-y2)-(y2-y1) * (z3-z2)
It becomes.
図5は、隣接する3つのメッシュ点で形成される各三角形について法線ベクトルを計算する動作のフローチャートを示す。x方向のメッシュ番号をnで、y方向のメッシュ番号をmで示している。メッシュは、x方向にN+2個あり、変数nには0からN+1が付番されているとする。また、y方向にはM+2個あり、変数mには0からM+1が付番されているものとする。 FIG. 5 shows a flowchart of an operation for calculating a normal vector for each triangle formed by three adjacent mesh points. The mesh number in the x direction is indicated by n, and the mesh number in the y direction is indicated by m. Assume that there are N + 2 meshes in the x direction, and the variable n is numbered from 0 to N + 1. Further, it is assumed that there are M + 2 in the y direction, and the variable m is numbered from 0 to M + 1.
まず、最外周のメッシュの内側を指定するために、注目するメッシュを指定する変数n,mとして、変数nを1で初期化し(S1)、変数mを1で初期化する(S2)。図3に示すように、注目するメッシュの周囲には8個のTINが形成できるので、その8個のTINについて、例えば、図3に示す斜線を付したTINから順に時計回りに法線ベクトルを計算する(S3〜S6)。すなわち、計算対象のTINを指定する変数iに1を代入し(S3)、変数iが示すTINの法線ベクトルV(n,m,i)を計算する(S4)。変数iをインクリメントし(S5)、変数iが8を越えるまで(S6)、ステップS4,S5を繰り返す。これにより、注目点P(n.m)を囲む8個のTINについての法線ベクトルV(n,m,i)が算出される。 First, in order to designate the inside of the outermost mesh, the variable n is initialized with 1 as variables n and m for designating the mesh of interest (S1), and the variable m is initialized with 1 (S2). As shown in FIG. 3, since eight TINs can be formed around the mesh of interest, normal vectors are sequentially clockwise from the eight TINs, for example, in order from the hatched TIN shown in FIG. Calculate (S3 to S6). That is, 1 is substituted into a variable i designating a calculation target TIN (S3), and a normal vector V (n, m, i) of TIN indicated by the variable i is calculated (S4). The variable i is incremented (S5), and steps S4 and S5 are repeated until the variable i exceeds 8 (S6). As a result, the normal vectors V (n, m, i) for the eight TINs surrounding the attention point P (n.m) are calculated.
変数mをインクリメントし(S7)、変数mがMに等しくなるまで(S8)、ステップS3〜S7の処理を繰り返す。更には、変数nをインクリメントし(S9)、nがNに等しくなるまで(S10)、ステップS2〜S9を繰り返す。 The variable m is incremented (S7), and the processes of steps S3 to S7 are repeated until the variable m becomes equal to M (S8). Further, the variable n is incremented (S9), and steps S2 to S9 are repeated until n becomes equal to N (S10).
図5に示すフローにより、最外周のメッシュ点を除く全メッシュ点について、周囲の8個のTINの法線ベクトルが計算される。図5に示すフローでは、水平垂直に隣接する4つのメッシュ点で形成される面について、TINによる法線ベクトル計算が、重複して実行される。これは例えば、n,mの増分を2とすることで回避できるが、その場合、計算される法線ベクトルデータを、注目点として指定されなかったメッシュ点にも対応付ける必要がある。 According to the flow shown in FIG. 5, the normal vectors of eight surrounding TINs are calculated for all mesh points except the outermost mesh point. In the flow shown in FIG. 5, normal vector calculation by TIN is performed in duplicate on a plane formed by four mesh points adjacent in the horizontal and vertical directions. For example, this can be avoided by setting the increments of n and m to 2. In this case, it is necessary to associate the calculated normal vector data with the mesh points that are not designated as the attention points.
図6は、図5に示すフローで計算された法線ベクトルを使用して、路面か否かを判定する路面判定のフローチャートを示す。 FIG. 6 shows a road surface determination flowchart for determining whether or not the road surface using the normal vector calculated in the flow shown in FIG.
路面では、法線ベクトルの傾きは原則として小さい。仮に傾斜があるとしても、その傾斜は小さく、しかも隣接する三角形で一定方向に傾く。逆に、路面以外では、法線ベクトルの傾きが大きい。また、隣接する三角形で法線ベクトルの向きが一定でない場合、そもそも平面を構成していないことになるので、路面ではない。路面エリア抽出装置44は、このような基準の下で、注目するメッシュ点に対して周囲の8点との間で形成される8個の三角形について、路面と判定した場合に路面フラグ=1を割り当て、そうでない場合に路面フラグ=0を割り当てる。
On the road surface, the slope of the normal vector is small in principle. Even if there is an inclination, the inclination is small, and the adjacent triangle is inclined in a certain direction. Conversely, the slope of the normal vector is large except on the road surface. If the direction of the normal vector is not constant between adjacent triangles, it is not a road surface because it does not constitute a plane in the first place. The road surface
まず、最外周のメッシュの内側を指定するために、注目するメッシュを指定する変数n,mとして、変数nを1で初期化し(S21)、変数mを1で初期化する(S22)。図3に示すように、注目するメッシュの周囲にある8個のTINの1つを指定する変数iに1を代入する(S23)。 First, in order to designate the inside of the outermost mesh, the variable n is initialized with 1 as variables n and m for designating the mesh of interest (S21), and the variable m is initialized with 1 (S22). As shown in FIG. 3, 1 is substituted into a variable i that designates one of eight TINs around the target mesh (S23).
法線ベクトルV(n,m,i)の角度が垂直に対して15度未満か否かを判定し(S24)、15度未満である場合、路面フラグ(n,m,i)に1を代入する(S25)。法線ベクトルV(n,m,i)の角度が垂直に対して15度以上の場合(S24)、法線ベクトルV(n,m,i)と、隣接する2つのTINの法線ベクトルN(n,m,i−1),V(n,m,i+1)との間の角度差が20度未満か否かを判定する(S26)。何れか一方との角度差が20度未満である場合(S26)、条件達成と判定し、路面フラグ(n,m,i)に1を代入する(S25)。いずれの法線ベクトルN(n,m,i−1),V(n,m,i+1)との角度差も20度以上の場合(S26)、路面フラグ(n,m,i)に0を代入する(S27)。 It is determined whether or not the angle of the normal vector V (n, m, i) is less than 15 degrees with respect to the vertical (S24). If it is less than 15 degrees, 1 is set to the road surface flag (n, m, i). Substitute (S25). When the angle of the normal vector V (n, m, i) is 15 degrees or more with respect to the vertical (S24), the normal vector V (n, m, i) and the normal vector N of two adjacent TINs It is determined whether or not the angle difference between (n, m, i-1) and V (n, m, i + 1) is less than 20 degrees (S26). If the angle difference with either one is less than 20 degrees (S26), it is determined that the condition is achieved, and 1 is substituted into the road surface flag (n, m, i) (S25). When the angle difference from any normal vector N (n, m, i-1), V (n, m, i + 1) is 20 degrees or more (S26), the road surface flag (n, m, i) is set to 0. Substitute (S27).
変数iをインクリメントし(S28)、変数iが8を越えるまで(S29)、ステップS24〜S28を繰り返す。これにより、注目点P(n.m)を囲む8個のTINについて路面か否かを仮に判定できる。 The variable i is incremented (S28), and steps S24 to S28 are repeated until the variable i exceeds 8 (S29). Thereby, it can be temporarily determined whether or not the eight TINs surrounding the attention point P (nm) are road surfaces.
変数mをインクリメントし(S30)、変数mがMに等しくなるまで(S31)、ステップS23〜S29の処理を繰り返す。更には、変数nをインクリメントし(S32)、nがNに等しくなるまで(S33)、ステップS2〜S32を繰り返す。 The variable m is incremented (S30), and the processes of steps S23 to S29 are repeated until the variable m becomes equal to M (S31). Further, the variable n is incremented (S32), and steps S2 to S32 are repeated until n becomes equal to N (S33).
路面エリア抽出装置44は、図6に示すフローで得られた路面フラグを参照して、路面フラグ=1が連続するTINをクラスター化又はグループ化する。この主のクラスター化の方法は周知であるので、これ以上の説明は省略する。路面と判定されたエリアの中に、非路面が存在する場合、その面積が所定値未満のときには、判定エラーとして路面に含める。
The road surface
路面反射画像生成装置46は、路面エリア抽出装置44で抽出された路面エリアとその周囲の一定範囲に対し、反射光強度を輝度値とする8ビットスケールの反射強度画像を生成する。極端に低い反射光強度と極端に高い反射光強度は無視する。そのための平滑化処理を画像化の前処理として加えてもよい。路面反射画像生成装置46は、生成した路面反射強度画像データ48を記憶装置に格納する。
The road surface reflection
一般的には、路面反射強度画像の反射強度平均値は、路面オルソ画像データ34との輝度平均値と対比可能なレベルであるのが好ましい。そこで、路面反射画像生成装置46は、路面エリア抽出装置44により抽出された路面相当部分に対応するRGB輝度データを路面オルソ画像データ34から読み出して平均輝度値を算出し、所定範囲の反射強度データをその平均値が路面オルソ画像データ34の平均輝度値と対応するように路面オルソ画像データ34と同じスケール(例えば、8ビット)に割り当てる。
In general, it is preferable that the average reflection intensity value of the road surface reflection intensity image is a level that can be compared with the average luminance value with the road surface
例えば、路面オルソ画像データの輝度値が8ビットの場合で0−255であるのに対し、レーザ反射光強度は、その値が0−1000超というように非常にレンジが広いが、そのレンジ内でも95%以上は200−600の間に収まる。勿論、レーザスキャナ12の性能や反射面の性質等によっても異なる。
For example, while the brightness value of road surface ortho image data is 8 bits and 0-255, the laser reflected light intensity is very wide such that the value exceeds 0-1000. But 95% or more falls between 200-600. Of course, it varies depending on the performance of the
一例として、路面オルソ画像データ34の輝度平均値が120であり、反射強度の統計量が最大になる値(平均値を利用すると大きなノイズ値に影響されるので最大数を使用する)が400、0から累計して総数の1%に達する値が200であるとする。この場合、反射強度値400を値120に変換し、反射強度200を値1に変換し、反射強度値200以下を値0とする。そして、
(反射強度最大数の値−反射強度下限値)/(オルソ輝度平均)=比率 (1)
反射強度最大数の値+(255−輝度平均))×比率=反射強度上限値 (2)
とする。式(1)により、
(400−200)/120=1.66
式(2)により、
400+(255−120)×1.66=624
となる。
As an example, the brightness average value of the road
(Maximum number of reflection intensities−lower limit of reflection intensity) / (average ortho luminance) = ratio (1)
Value of reflection intensity maximum number + (255−luminance average)) × ratio = reflection intensity upper limit (2)
And From equation (1)
(400−200) /120=1.66
From equation (2)
400+ (255-120) × 1.66 = 624
It becomes.
式(2)で得られる反射強度上限値(この数値例では624)以上に対して値255とする。但し、明らかな異常値、例えば反射強度1000以上等は、値0とする。 The value 255 is set for the reflection intensity upper limit (624 in this numerical example) obtained by the equation (2) or more. However, an obvious abnormal value, for example, a reflection intensity of 1000 or more is set to 0.
このように生成した路面反射強度画像データ48は、路面上の日射による影の影響を受けないので、路面オルソ画像上の影部分を分離抽出する参照データとして利用できる。但し、路面にはマンホール及び走行レーンを区分する白線や各種走行指示の着色表示があり、マンホールの反射強度は、路面自体のそれよりも小さく、白線等の着色表示の反射強度は路面自体のそれよりも高い。
Since the road surface reflection
影部分認識装置50は、同じ地上座標系の画素単位で路面オルソ画像データ34と路面反射強度画像データ48とを対比し、路面オルソ画像上にある影部分を認識し、影部分補正装置52は、認識された影部分の色を周囲に同化するように補正する。図7は、影部分認識装置50による影部分認識処理と影部分補正装置52による補正処理の動作フローチャートを示す。
The shadow
路面反射強度画像データ48は影部分を含まず、且つ、路面範囲を規定するのに対し、路面オルソ画像データ34は、路面以外に、日射による影、路肩及び周囲の地上物を含む。従って、路面反射強度画像データ48により路面と判定される部分を路面オルソ画像データ34から分離抽出し、その分離抽出した路面部分で、大きく暗くなっている部分を影部分として分離抽出すればよい。
The road surface reflection
影部分認識装置50は、先ず、路面オルソ画像データ34を読み込み、画像全体の色調を取得して、カラーバランスを補正する(S41)。具体的には、路面オルソ画像データ34の画像全体で、R,G,Bの各色を4段階の強度レベルに区分し、路面の色に近い中央2つの段階に対してその平均値を算出する。例えば、R(赤)の平均輝度をCR,G(緑)の平均輝度をCB、B(青)の平均輝度をCBとすると、平均輝度AVRGBは、
AVRGB=(CR+CG+CB)/3
となる。
The shadow
AV RGB = (C R + C G + C B) / 3
It becomes.
Rに対する補正係数をHR、Gに対する補正係数をHG、Bに対する補正係数をHBとすると、
HR=CR/AVRGB
HG=CG/AVRGB
HB=CB/AVRGB
となる。この補正係数HR,HG,HBを使って、路面オルソ画像データ34のカラーバランスを補正する。すなわち、路面オルソ画像データ34のR値に補正係数HR乗算し、G値に補正係数HG,を乗算し、B値に補正係数HBを乗算する。このカラーバランス調整後の路面オルソ画像データ34を、便宜上、色調整済み路面オルソ画像データと呼ぶ。
The correction coefficient for R is H R , the correction coefficient for G is H G , and the correction coefficient for B is H B.
H R = C R / AV RGB
H G = C G / AV RGB
H B = C B / AV RGB
It becomes. The color balance of the road
路面には、マンホールや、走行レーンを区分する白線等の各種の白色やオレンジの着色表示がある。マンホールは平均的な路面よりも反射強度が弱く、着色表示は逆に反射強度が高い。これらを含めたまま、路面反射強度画像データ48と色調整済み路面オルソ画像データと対比すると、本来の路面とその影部分を誤認する恐れがある。そこで、本実施例では、マンホールを比較対象から除外するための下限閾値p1と、着色表示を比較対象から除外するための上限閾値p2を反射強度画像データ48から影部分認識装置50に設定すると共に、色調整済み路面オルソ画像データとの比較用の差閾値p3を影部分認識装置50に設定する(S42)。差閾値p3は、試行の上で設定される。但し、後述するように、マンホールを比較対象として除外する必要が無い場合、又は、そもそもマンホールが存在しないような道路の場合には、下限閾値p1をゼロとすればよい。同様に、着色表示を除外する必要が無い場合、又は、そもそも着色表示が存在しないような道路の場合には、上限閾値p2を反射強度の理論最大値(8ビットの場合の255)にする。
On the road surface, there are various white and orange colored displays such as manholes and white lines that divide the driving lane. Manholes have a lower reflection intensity than the average road surface, and colored displays have a higher reflection intensity. If the road surface reflection
なお、路面反射強度画像データ48の反射強度を所定の強度範囲で階層化すると、路面と地物(マンホールと、路面に印刷された道路標識や白線、オレンジ線等)とを識別しやすくなる。この階層化により路面自体と地物を識別し、除外したい地物に対して下限閾値p1及び上限閾値p2を選択又は設定する。これにより、下限閾値p1及び上限閾値p2を適切に設定できる。
When the reflection intensity of the road surface reflection
例えば、8ビットの場合で反射強度値20程度の強度範囲で階層化するとした場合、路面反射強度画像データ48の反射強度が、225/20により13段階程度に階層化又はグループ化される。反射強度平均値前後の階層に属するエリアが路面自体を示し、残りのエリアの内、低反射強度の階層にマンホールが存在し、高反射強度の階層に白線、オレンジ線及び路面に印刷された道路標識等が存在することになる。一例では、路面自体の反射強度は134程度、マンホールのそれが97程度、白い停止線のそれが226程度、黄色の道路標識が181程度であった。この場合、マンホールを比較対象から除外したい場合には、下限閾値p1を97と134の中間値、例えば、110程度に設定すればよいことになる。また、黄色の道路標識を比較対象から除外したい場合には、上限閾値p2を134と181の中間値、例えば、160程度に設定すれば良いことになる。
For example, in the case of 8 bits, when layering in an intensity range having a reflection intensity value of about 20, the reflection intensity of the road surface reflection
影部分認識装置50は、設定された閾値p1,p2,p3を使用し、路面反射強度画像データ48の反射強度と色調整済み路面オルソ画像データとでRGB輝度とを比較して、影部分をピクセル単位で特定する(S43)。影部分認識装置50は先ず、閾値p1,p2を使って、色調整済み路面オルソ画像データとの比較に使用するピクセルを路面反射強度画像データ48から抽出する。即ち、ir(x,y)をピクセル(x,y)の反射強度とし、avergb(x,y)を色調整済み路面オルソと画像データから得られるピクセル(x,y)のRGB平均値であるとする。影部分認識装置50は閾値p1,p2に対し、
p1<ir(x,y)<p2
を満たすピクセルを色調整済み路面オルソ画像データとの比較対象とする。影部分認識装置50は、上式を満たす反射強度ir(x,y)とRGB平均値avergb(x,y)との差が閾値p3を越えるかピクセルを影ピクセルと判断する。すなわち、影部分認識装置50は、
ir(x,y)−avergb(x,y)>p3
が成立するピクセルを影と認識する。
The shadow
p1 <ir (x, y) <p2
A pixel that satisfies the above condition is to be compared with color-adjusted road surface ortho image data. The shadow
ir (x, y) -avergb (x, y)> p3
Recognize a pixel that holds as a shadow.
ちなみに、マンホールに対応するピクセルの反射強度も色調整済み路面オルソ画像データのRGB平均値と対比する場合には、
ir(x,y)<p2
及び、
ir(x,y)−avergb(x,y)>p3
が影の成立条件となる。
By the way, when the reflection intensity of the pixel corresponding to the manhole is also compared with the RGB average value of the color-adjusted road surface ortho image data,
ir (x, y) <p2
as well as,
ir (x, y) -avergb (x, y)> p3
Is a condition for establishing a shadow.
着色表示に対応するピクセルの反射強度も色調整済み路面オルソ画像データのRGB平均値と対比する場合には、
p1<ir(x,y)
及び、
ir(x,y)−avergb(x,y)>p3
が影の成立条件となる。
When the reflection intensity of the pixel corresponding to the coloring display is compared with the RGB average value of the color-adjusted road orthoimage data,
p1 <ir (x, y)
as well as,
ir (x, y) -avergb (x, y)> p3
Is a condition for establishing a shadow.
マンホールと着色表示の何れも、対応するピクセルの反射強度を色調整済み路面オルソ画像データのRGB平均値と対比する場合には、
ir(x,y)−avergb(x,y)>p3
が影の成立条件となる。
In both manholes and colored displays, when the reflection intensity of the corresponding pixel is compared with the RGB average value of the color-adjusted road surface ortho image data,
ir (x, y) -avergb (x, y)> p3
Is a condition for establishing a shadow.
影部分認識装置50は、ステップS42により影部分と特定されたピクセルを隣接するピクセル同士でグループ化する(S44)。グループ化の際、平均輝度が30%以内で一致するグループを同じ影部分として統合し、逆に、30%を越えて平均輝度が相違するグループを別の影グループとする。これにより、個々の影部分が影領域として特定されたことになる。
The shadow
より具体的に説明すると、例えば、画像の左上から影ピクセルの探索を開始する。最初に出現した影ピクセルをグループ化の起点とし、当該起点の輝度値を影グループの基準輝度値とする。起点の周囲のピクセルにグループ化探索を行い、何れの影グループにも所属しておらず、且つ基準輝度値との差が30%以内の影ピクセルを同一影グループとする。影グループに追加した影ピクセルの輝度値を加えて平均輝度値を再計算し、基準輝度値とする。このような領域探索を再帰的に行って、影グループ領域を確定させる。確定後、グループ化されていない影ピクセルを再探索し、何れの影グループにも所属していない影ピクセルがあれば、これ起点として、先に説明したように影グループ化を実行する。以上の処理を画像の右下に向けて実行する。探索の方向自体は、左上から右下でも、その逆でも良く、ようは画像内を網羅的に探索すれば良い。このような、多数のピクセルを同じ属性を有するものでグループ化(又はクラスタ化)する技術自体は、地図の分野を含む種々の分野で採用されており、本実施例にも既知の種々の方法を使用できる。 More specifically, for example, a search for shadow pixels is started from the upper left of the image. The shadow pixel that appears first is set as the starting point of grouping, and the luminance value of the starting point is set as the reference luminance value of the shadow group. A group search is performed on pixels around the starting point, and shadow pixels that do not belong to any shadow group and have a difference of 30% or less from the reference luminance value are set as the same shadow group. The average luminance value is recalculated by adding the luminance value of the shadow pixel added to the shadow group, and set as the reference luminance value. Such a region search is recursively performed to determine the shadow group region. After the determination, shadow pixels that are not grouped are searched again. If there is a shadow pixel that does not belong to any shadow group, shadow grouping is executed as described above. The above processing is executed toward the lower right of the image. The search direction itself may be from the upper left to the lower right or vice versa, and it is sufficient to search exhaustively within the image. Such a technique for grouping (or clustering) a large number of pixels with the same attribute has been adopted in various fields including the field of maps, and various methods known also in this embodiment. Can be used.
次に、影部分補正装置52は、影領域を影が無かった場合の色調に補正する(S45〜S48)。そのために、先ず、影部分補正装置52は、ステップS44で特定された影領域(影グループ)ごとにその周辺領域のRGBデータを色調整済み路面オルソ画像データから取得し(S45)、影領域に適用する(S46)。具体的には、影部分補正装置52は、影領域ごとにその一定幅の周辺領域のRGB値を色調整済み路面オルソ画像データから読み出し、そのR信号、G信号及びB信号の平均強度値を算出する(S45)。但し、強度に20%以上の差があるピクセルと、RGBバランスが15%以上ずれているピクセルのRGB値は、平均強度算出の対象から除外する。影部分補正装置52は、このように計算した周辺領域のR信号、G信号及びB信号の各平均強度値に一致するように、当該影領域のR信号、G信号及びB信号の各強度値を調整する(S46)。
Next, the shadow
影領域のR信号、G信号及びB信号の各強度値を調整した結果として、当該影領域と、その周囲の非影領域との境界部で、各色成分の強度値に段差が生じてしまう。そこで、影部分補正装置52は、各影領域に接する非影領域側の、当該影領域との境界部分の各色成分の強度値を調整(スムージング)する(S47)。
As a result of adjusting the intensity values of the R signal, the G signal, and the B signal in the shadow area, there is a step in the intensity value of each color component at the boundary between the shadow area and the surrounding non-shadow area. Therefore, the shadow
図8は、影部分補正処理を説明する模式図を示す。図8(a)は路面方向での輝度(各色成分の強度)の変化を示す。非影領域から影領域に向かって強度が低下する。図8(b)は、影部分補正装置52がステップS46で影領域に対して隣接する非影領域の平均輝度値(平均強度値)に一致するように影領域の輝度値(強度値)を上げた結果を示す。ステップS46の処理により、図8(b)に示すように、影領域に隣接する非影領域側の境界部で強度の段差が発生する。影部分補正装置52は、この境界部の強度段差をその両側に位置する影領域の強度と非影領域の強度との間でスムージングする(S47)。
FIG. 8 is a schematic diagram for explaining the shadow portion correction process. FIG. 8A shows a change in luminance (intensity of each color component) in the road surface direction. The intensity decreases from the non-shadow area toward the shadow area. FIG. 8B shows the shadow area brightness value (intensity value) so that the shadow
影部分補正装置52は、更に、影部分に対して色情報のディテールを再現する色ディテール補正処理を実行する(S48)。影領域の色調を周辺の色情報で補正しただけでは、影領域の色が均一化してしまう。他方、路面反射強度画像データ48は、前提となるレーザ反射強度の解像度が低いので、路面反射強度画像データ48又はその前提となるレーザ反射強度を影領域の色調補正に使っても、影領域の色が均一化してしまう。そこで、本実施例では、ステップS45,S46による色補正の前の色調整済み路面オルソ画像データ(又は路面オルソ画像データ34)から色詳細情報を取得し、注目ピクセルの色強度を補正するようにした。
The shadow
具体的な処理方法を説明する。影部分補正装置52は、ステップS47で処理済みの路面オルソ画像データから影領域の任意のピクセルを順に選択し、注目ピクセルとする。影部分補正装置52は次に、注目ピクセルを中心とする所定範囲(例えば、5×5ピクセル)にある影ピクセルのRGBの各色強度を色調整済み路面オルソ画像データ(又は路面オルソ画像データ34)から読み出し、各色について強度平均値を算出する。各色について、注目ピクセルの色強度から算出した強度平均値を注目ピクセルの色強度から減算した結果を補正値とし、ステップS47の処理後の路面オルソ画像データに加算する。以上の処理を、ステップS47で処理済みの路面オルソ画像データの全影ピクセルについて実行する。
A specific processing method will be described. The shadow
この色ディテール補正処理により、ビデオ画像では影であった部分の色グラデーションを影除去後に再現することができる。 By this color detail correction processing, the color gradation of the shadow portion in the video image can be reproduced after removing the shadow.
影部分補正装置52は、上述のように処理された路面オルソ画像データ、すなわち影除去路面オルソ画像データ54を記憶装置に格納する。
The shadow
このようにして、本実施例によれば、実写による路面オルソ画像と、日射による影の影響を受けないレーザスキャナによる反射強度データを使うことで、実写による路面オルソ画像から路面部分の影部分を適切に除去することができる。 In this way, according to the present embodiment, by using the road surface orthoimage obtained by actual shooting and the reflection intensity data obtained by the laser scanner that is not affected by the shadow caused by solar radiation, the shadow portion of the road surface portion can be obtained from the road surface orthoimage obtained by actual shooting. Can be removed appropriately.
上記実施例では、日射による影の影響を受けない路面画像を取得するのにレーザスキャナを使用したが、赤外線カメラによる画像も同様に日射による影の影響を受けないので、可視光による路面オルソ画像データ34の参照画像として利用可能である。すなわち、赤外線カメラで得られる画像を、レーザスキャナによる反射強度データの代替として利用可能であり、モザイク合成、メッシュ化及び路面エリア抽出を経て、路面オルソ画像データ34の参照画像とすることができる。
In the above embodiment, a laser scanner is used to acquire a road surface image that is not affected by the shadow caused by solar radiation. However, since the image obtained by the infrared camera is also not affected by the shadow caused by the solar radiation, the road surface orthoimage by visible light is used. The
上記実施例では、路面オルソ画像データ34のピクセル座標を先に決定し、その後に、メッシュ化装置40が、路面オルソ画像データ34を参照して反射強度の点群データのピクセル座標を決定しているが、逆の順序で路面オルソ画像データ34及び路面反射強度画像データ48のピクセル座標を決定しても良い。更には、別途決定したピクセル座標(と解像度)、同じピクセル座標を具備する路面オルソ画像データと路面反射強度画像データ48を生成するようにしてもよい。
In the above embodiment, the pixel coordinates of the road
実施例1で得られた影除去路面オルソ画像データ54の色データを、路面反射強度画像データ48に付加することで、色つきの3次元点群データを生成することができる。この場合、影部分補正装置52による影部分補正処理(S45〜S48)を、路面反射強度画像データ48を対象として適用することになる。
By adding the color data of the shadow removal road
更には、影除去路面オルソ画像データ54の色データを、路面反射強度画像データ48と同様に、メッシュ補間装置42から出力される補間された点群データに付加することで、色情報つきの3次元点群データを生成することができる。
Further, by adding the color data of the shadow removal road surface
特定の説明用の実施例を参照して本発明を説明したが、特許請求の範囲に規定される本発明の技術的範囲を逸脱しないで、上述の実施例に種々の変更・修整を施しうることは、本発明の属する分野の技術者にとって自明であり、このような変更・修整も本発明の技術的範囲に含まれる。 Although the invention has been described with reference to specific illustrative embodiments, various modifications and alterations may be made to the above-described embodiments without departing from the scope of the invention as defined in the claims. This is obvious to an engineer in the field to which the present invention belongs, and such changes and modifications are also included in the technical scope of the present invention.
10:ビデオカメラ
12:レーザスキャナ
14:GPS(Global Positioning System)受信機
16:方位計
18:ビデオ記録再生装置
20:データ記録再生装置
30:影除去装置
32:オルソ画像生成装置
34:路面オルソ画像データ
36:座標変換装置
38:座標ファイル
40:メッシュ化装置
42:メッシュ補間装置
44:路面エリア抽出装置
46:路面反射画像生成装置
48:路面反射強度画像データ
50:影部分認識装置
52:影部分補正装置
54:影除去路面オルソ画像データ
10: Video camera 12: Laser scanner 14: GPS (Global Positioning System) receiver 16: Direction meter 18: Video recording / reproducing device 20: Data recording / reproducing device 30: Shadow removing device 32: Ortho image generating device 34: Road surface ortho image Data 36: Coordinate conversion device 38: Coordinate file 40: Meshing device 42: Mesh interpolation device 44: Road surface area extraction device 46: Road surface reflection image generation device 48: Road surface reflection intensity image data 50: Shadow portion recognition device 52: Shadow portion Correction device 54: Shadow removal road surface ortho image data
Claims (32)
当該撮像装置により得られる複数の画像データから路面オルソ画像データ(34)を生成する路面オルソ画像生成手段(32)と、
同じ当該路面に対してレーザ光を走査し、反射点の反射強度を計測するレーザスキャナ(12)と、
当該レーザスキャナで得られる当該反射点の反射強度データから路面反射強度画像データ(48)を当該路面オルソ画像データとの対比用の参照画像データとして規定の反射強度レンジで生成する参照画像生成手段(36〜46)と、
当該参照画像データを参照して、当該路面オルソ画像データの影領域を認識する影部分認識手段(50)と、
当該影部分認識手段により認識される当該各影領域を当該路面オルソ画像データの、当該影領域の周辺部分の色情報で補正する影部分補正手段(52)
とを具備することを特徴とする路面画像生成システム。 An imaging device (10) for photographing the road surface in a shaded state due to solar radiation;
Road surface ortho image generation means (32) for generating road surface ortho image data (34) from a plurality of image data obtained by the imaging device;
A laser scanner (12) that scans the same road surface with laser light and measures the reflection intensity at the reflection point;
Reference image generation means for generating road surface reflection intensity image data (48) from the reflection intensity data of the reflection point obtained by the laser scanner as reference image data for comparison with the road surface ortho image data in a prescribed reflection intensity range ( 36-46),
A shadow part recognizing means (50) for recognizing a shadow area of the road surface ortho image data with reference to the reference image data;
Shadow part correction means (52) for correcting each shadow area recognized by the shadow part recognition means with the color information of the peripheral part of the shadow area of the road surface orthoimage data
A road surface image generation system comprising:
当該反射点の反射強度データから当該路面オルソ画像データと同じピクセル座標を持つメッシュデータを生成するメッシュデータ生成手段(36,40,42)と、
当該メッシュデータから路面エリアを抽出する路面エリア抽出手段(44)と、
当該路面エリア抽出手段で抽出された当該メッシュデータから当該路面反射強度画像データ(48)を生成する路面反射強度画像生成手段(46)
とを具備することを特徴とする請求項1に記載の路面画像生成システム。 The reference image generating means
Mesh data generating means (36, 40, 42) for generating mesh data having the same pixel coordinates as the road surface orthoimage data from the reflection intensity data of the reflection point;
Road surface area extracting means (44) for extracting a road surface area from the mesh data;
Road surface reflection intensity image generation means (46) for generating the road surface reflection intensity image data (48) from the mesh data extracted by the road surface area extraction means.
The road surface image generation system according to claim 1, further comprising:
当該路面オルソ画像データと当該参照画像データとをピクセル単位で比較することで、影を構成する影ピクセルを特定する影特定手段(S43)と、
当該影特定手段により特定された影ピクセルをグループ化し、影領域とする影グループ化手段(S44)
とを具備することを特徴とする請求項1乃至3の何れか1項に記載の路面画像生成システム。 The shadow part recognition means is
A shadow specifying means (S43) for specifying a shadow pixel constituting a shadow by comparing the road surface ortho image data and the reference image data in units of pixels;
Shadow grouping means for grouping shadow pixels specified by the shadow specifying means into shadow areas (S44)
The road surface image generation system according to any one of claims 1 to 3, further comprising:
当該影特定手段は、当該色バランス調整手段で色調整された路面オルソ画像データと当該参照画像データとをピクセル単位で比較することで、影を構成する影ピクセルを特定する
ことを特徴とする請求項4に記載の路面画像生成システム。 The shadow part recognizing means further comprises color balance adjusting means (S41) for adjusting the color balance of the road surface ortho image data before the shadow specifying by the shadow specifying means,
The shadow specifying unit specifies a shadow pixel constituting a shadow by comparing the road surface ortho image data color-adjusted by the color balance adjusting unit and the reference image data in units of pixels. Item 5. The road surface image generation system according to Item 4.
当該影特定手段は、当該参照画像データから当該下限閾値より大きく且つ当該上限閾値より小さい強度のピクセルを抽出し、抽出したピクセルのうち、その強度と当該路面オルソ画像データの色平均強度との差が当該差閾値(p3)を越えるピクセルを当該影ピクセルと特定する
ことを特徴とする請求項4又は5に記載の路面画像生成システム。 The shadow part recognition means sets a lower threshold (p1) and an upper threshold (p2) for the reference image data, and a threshold for setting a difference threshold (p3) for an intensity difference between the road orthoimage data and the reference image data. Setting means (S42),
The shadow specifying means extracts pixels having an intensity larger than the lower limit threshold and smaller than the upper limit threshold from the reference image data, and the difference between the intensity and the color average intensity of the road surface ortho image data among the extracted pixels. The road surface image generation system according to claim 4 or 5, wherein a pixel that exceeds the difference threshold (p3) is identified as the shadow pixel.
当該影部分認識手段により認識される当該各影領域の色強度を、当該路面オルソ画像データ上でのそれぞれの周囲の色情報に従って調整する色調整手段(S45,S46)と、
当該色調整手段で調整された当該影領域とその周辺部分の色変化をスムージングするスムージング手段(S47)と、
当該影領域の色情報のディテールを再現する手段であって、当該影領域の注目ピクセルの色強度を、当該路面オルソ画像データ上での当該注目ピクセルの所定数の周囲ピクセルの平均強度に対する差値に応じた値で補正するディテール再現手段
とを具備することを特徴とする請求項1乃至6の何れか1項に記載の路面画像生成ステム。 The shadow part correcting means is
Color adjusting means (S45, S46) for adjusting the color intensity of each shadow region recognized by the shadow part recognizing means according to the surrounding color information on the road surface orthoimage data;
Smoothing means (S47) for smoothing the color change of the shadow area adjusted by the color adjustment means and its peripheral portion;
A means for reproducing the details of the color information of the shadow area, wherein the color intensity of the pixel of interest in the shadow area is a difference value from the average intensity of a predetermined number of surrounding pixels of the pixel of interest on the road surface orthoimage data The road surface image generation system according to any one of claims 1 to 6, further comprising detail reproduction means that corrects the value according to
当該路面を撮影した当該画像データから路面オルソ画像データ(34)を生成する路面オルソ画像生成手段(32)と、
同じ当該路面に対してレーザスキャナでレーザ光を走査して計測される反射強度データから路面反射強度画像データ(48)を当該路面オルソ画像データとの対比用の参照画像データとして規定の反射強度レンジで生成する参照画像生成手段(36〜46)と、
当該参照画像データを参照して、当該路面オルソ画像データの影領域を認識する影部分認識手段(50)と、
当該影部分認識手段により認識される当該各影領域を当該路面オルソ画像データの、当該影領域の周辺部分の色情報で補正する影部分補正手段(52)
とを具備することを特徴とする影除去装置。 A shadow removing device that removes the shadow from image data obtained by photographing a road surface with a shadow caused by solar radiation,
Road surface ortho image generating means (32) for generating road surface ortho image data (34) from the image data obtained by photographing the road surface;
A reflection intensity range defined as reference image data for comparing road surface reflection intensity image data (48) with the road surface ortho image data from reflection intensity data measured by scanning the same road surface with laser light with a laser scanner. Reference image generation means (36 to 46) generated in
A shadow part recognizing means (50) for recognizing a shadow area of the road surface ortho image data with reference to the reference image data;
Shadow part correction means (52) for correcting each shadow area recognized by the shadow part recognition means with the color information of the peripheral part of the shadow area of the road surface orthoimage data
A shadow removing apparatus comprising:
当該反射点の反射強度データから当該路面オルソ画像データと同じピクセル座標を持つメッシュデータを生成するメッシュデータ生成手段(36,40,42)と、
当該メッシュデータから路面エリアを抽出する路面エリア抽出手段(44)と、
当該路面エリア抽出手段で抽出された当該メッシュデータから当該路面反射強度画像データ(48)を生成する路面反射強度画像生成手段(46)
とを具備することを特徴とする請求項9に記載の影除去装置。 The reference image generating means
Mesh data generating means (36, 40, 42) for generating mesh data having the same pixel coordinates as the road surface orthoimage data from the reflection intensity data of the reflection point;
Road surface area extracting means (44) for extracting a road surface area from the mesh data;
Road surface reflection intensity image generation means (46) for generating the road surface reflection intensity image data (48) from the mesh data extracted by the road surface area extraction means.
The shadow removing apparatus according to claim 9, further comprising:
当該路面オルソ画像データと当該参照画像データとをピクセル単位で比較することで、影を構成する影ピクセルを特定する影特定手段(S43)と、
当該影特定手段により特定された影ピクセルをグループ化し、影領域とする影グループ化手段(S44)
とを具備することを特徴とする請求項9乃至11の何れか1項に記載の影除去装置。 The shadow part recognition means is
A shadow specifying means (S43) for specifying a shadow pixel constituting a shadow by comparing the road surface ortho image data and the reference image data in units of pixels;
Shadow grouping means for grouping shadow pixels specified by the shadow specifying means into shadow areas (S44)
The shadow removing apparatus according to claim 9, further comprising:
当該影特定手段は、当該色バランス調整手段で色調整された路面オルソ画像データと当該参照画像データとをピクセル単位で比較することで、影を構成する影ピクセルを特定する
ことを特徴とする請求項12に記載の影除去装置。 The shadow part recognizing means further comprises color balance adjusting means (S41) for adjusting the color balance of the road surface ortho image data before the shadow specifying by the shadow specifying means,
The shadow specifying unit specifies a shadow pixel constituting a shadow by comparing the road surface ortho image data color-adjusted by the color balance adjusting unit and the reference image data in units of pixels. Item 13. The shadow removing device according to Item 12.
当該影特定手段は、当該参照画像データから当該下限閾値より大きく且つ当該上限閾値より小さい強度のピクセルを抽出し、抽出したピクセルのうち、その強度と当該路面オルソ画像データの色平均強度との差が当該差閾値(p3)を越えるピクセルを当該影ピクセルと特定する
ことを特徴とする請求項12又は13に記載の影除去装置。 The shadow part recognition means sets a lower threshold (p1) and an upper threshold (p2) for the reference image data, and a threshold for setting a difference threshold (p3) for an intensity difference between the road orthoimage data and the reference image data. Setting means (S42),
The shadow specifying means extracts pixels having an intensity larger than the lower limit threshold and smaller than the upper limit threshold from the reference image data, and the difference between the intensity and the color average intensity of the road surface ortho image data among the extracted pixels. The shadow removing apparatus according to claim 12 or 13, wherein a pixel that exceeds the difference threshold (p3) is identified as the shadow pixel.
当該影部分認識手段により認識される当該各影領域の色強度を、当該オルソ画像データ上でのそれぞれの周囲の色情報に従って調整する色調整手段(S45,S46)と、
当該色調整手段で調整された当該影領域とその周辺部分の色変化をスムージングするスムージング手段(S47)と、
当該影領域の色情報のディテールを再現する手段であって、当該影領域の注目ピクセルの色強度を、当該路面オルソ画像データ上での当該注目ピクセルの所定数の周囲ピクセルの平均強度に対する差値に応じた値で補正するディテール再現手段
とを具備することを特徴とする請求項9乃至14の何れか1項に記載の影除去装置。 The shadow part correcting means is
Color adjusting means (S45, S46) for adjusting the color intensity of each shadow area recognized by the shadow part recognizing means according to the surrounding color information on the ortho image data;
Smoothing means (S47) for smoothing the color change of the shadow area adjusted by the color adjustment means and its peripheral portion;
A means for reproducing the details of the color information of the shadow area, wherein the color intensity of the pixel of interest in the shadow area is a difference value from the average intensity of a predetermined number of surrounding pixels of the pixel of interest on the road surface orthoimage data The shadow removal apparatus according to claim 9, further comprising a detail reproduction unit that corrects the value according to the value according to.
当該路面をビデオカメラで撮影した路面映像データを記録媒体から再生して情報処理装置に取り込むステップと、
当該情報処理装置の路面オルソ画像生成手段(32)が、当該路面映像データから路面オルソ画像データ(34)を生成する路面オルソ画像データ生成ステップと、
当該情報処理装置の参照画像生成手段(36〜46)が、同じ当該路面に対してレーザスキャナでレーザ光を走査して計測される反射強度データから路面反射強度画像データ(48)を当該路面オルソ画像データとの対比用の参照画像データとして規定の反射強度レンジで生成する参照画像生成ステップと、
当該情報処理装置の影部分認識手段(50)が、当該参照画像データを参照して、当該路面オルソ画像データの影領域を認識する影部分認識ステップと、
当該情報処理装置の影部分補正手段(52)が、当該影部分認識手段により認識される当該各影領域を当該路面オルソ画像データの、当該影領域の周辺部分の色情報で補正する影部分補正ステップ
とを具備することを特徴とする影除去方法。 A shadow removal method for removing the shadow from image data obtained by photographing a road surface with a shadow caused by solar radiation,
Replaying road surface video data obtained by photographing the road surface with a video camera from a recording medium and loading it into an information processing device;
A road surface ortho image data generating step (32) in which the road surface ortho image generating means (32) of the information processing device generates road surface ortho image data (34) from the road surface video data;
The reference image generation means (36 to 46) of the information processing apparatus obtains road surface reflection intensity image data (48) from the reflection intensity data measured by scanning the same road surface with a laser beam with a laser scanner. A reference image generation step for generating a reference image data for comparison with image data in a prescribed reflection intensity range;
A shadow part recognition step in which the shadow part recognition means (50) of the information processing apparatus refers to the reference image data and recognizes a shadow area of the road surface ortho image data;
The shadow part correction means (52) of the information processing apparatus corrects each shadow area recognized by the shadow part recognition means with the color information of the peripheral part of the shadow area of the road surface orthoimage data. A shadow removal method comprising: steps.
当該情報処理装置のメッシュデータ生成手段(36,40,42)が、当該反射点の反射強度データから当該路面オルソ画像データと同じピクセル座標を持つメッシュデータを生成するメッシュデータ生成ステップと、
当該情報処理装置の路面エリア抽出手段(44)が、当該メッシュデータから路面エリアを抽出する路面エリア抽出ステップと、
当該情報処理装置の路面反射強度画像生成手段(46)が、当該路面エリア抽出手段で抽出された当該メッシュデータから当該路面反射強度画像データ(48)を生成する路面反射強度画像生成ステップ
とを具備することを特徴とする請求項17に記載の影除去方法。 The reference image generation step includes
A mesh data generating unit (36, 40, 42) of the information processing apparatus for generating mesh data having the same pixel coordinates as the road surface ortho image data from the reflection intensity data of the reflection point;
A road surface area extracting unit (44) of the information processing apparatus extracts a road surface area from the mesh data;
The road surface reflection intensity image generation unit (46) of the information processing apparatus includes a road surface reflection intensity image generation step of generating the road surface reflection intensity image data (48) from the mesh data extracted by the road surface area extraction unit. The shadow removal method according to claim 17, wherein:
当該路面オルソ画像データと当該参照画像データとをピクセル単位で比較することで、影を構成する影ピクセルを特定する影特定ステップ(S43)と、
当該影特定手段により特定された影ピクセルをグループ化し、影領域とする影グループ化ステップ(S44)
とを具備することを特徴とする請求項17乃至19の何れか1項に記載の影除去方法。 The shadow part recognition step includes
A shadow specifying step (S43) for specifying a shadow pixel constituting a shadow by comparing the road surface ortho image data and the reference image data in pixel units;
Shadow grouping step for grouping shadow pixels specified by the shadow specifying means into shadow areas (S44)
The shadow removal method according to claim 17, further comprising:
当該影特定ステップは、当該色バランス調整ステップで色調整された路面オルソ画像データと当該参照画像データとをピクセル単位で比較することで、影を構成する影ピクセルを特定する
ことを特徴とする請求項20に記載の影除去方法。 The shadow part recognition step further includes a color balance adjustment step (S41) for adjusting the color balance of the road surface ortho image data before the shadow specification by the shadow specification step,
The shadow specifying step specifies a shadow pixel constituting the shadow by comparing the road surface ortho image data color-adjusted in the color balance adjusting step and the reference image data in pixel units. Item 20. The shadow removal method according to Item 20.
当該影特定ステップは、当該参照画像データから当該下限閾値より大きく且つ当該上限閾値より小さい強度のピクセルを抽出し、抽出したピクセルのうち、その強度と当該路面オルソ画像データの色平均強度との差が当該差閾値(p3)を越えるピクセルを当該影ピクセルと特定する
ことを特徴とする請求項20又は21に記載の影除去方法。 The shadow part recognition step includes a threshold value for setting a lower limit threshold value (p1) and an upper limit threshold value (p2) for the reference image data, and a difference threshold value (p3) for an intensity difference between the road surface orthoimage data and the reference image data. A setting step (S42),
The shadow specifying step extracts pixels having an intensity larger than the lower limit threshold and smaller than the upper limit threshold from the reference image data, and the difference between the intensity and the color average intensity of the road surface ortho image data among the extracted pixels. The shadow removal method according to claim 20 or 21, wherein a pixel that exceeds the difference threshold (p3) is identified as the shadow pixel.
当該影部分認識手段により認識される当該各影領域の色強度を、当該オルソ画像データ上でのそれぞれの周囲の色情報に従って調整する色調整ステップ(S45,S46)と、
当該色調整ステップで調整された当該影領域とその周辺部分の色変化をスムージングするスムージングステップ(S47)と、
当該影領域の色情報のディテールを再現するステップであって、当該影領域の注目ピクセルの色強度を、当該路面オルソ画像データ上での当該注目ピクセルの所定数の周囲ピクセルの平均強度に対する差値に応じた値で補正するディテール再現ステップ
とを具備することを特徴とする請求項17乃至22の何れか1項に記載の影除去方法。 The shadow part correction step includes
A color adjustment step (S45, S46) for adjusting the color intensity of each shadow region recognized by the shadow part recognition means in accordance with the surrounding color information on the ortho image data;
A smoothing step (S47) for smoothing the color change of the shadow area and its peripheral part adjusted in the color adjustment step;
A step of reproducing details of the color information of the shadow region, wherein the color intensity of the pixel of interest in the shadow region is different from the average intensity of a predetermined number of surrounding pixels of the pixel of interest on the road surface ortho image data The shadow removal method according to any one of claims 17 to 22, further comprising a detail reproduction step of correcting with a value according to.
当該路面を撮影した当該画像データから路面オルソ画像データ(34)を生成する路面オルソ画像生成手段(32)と、
同じ当該路面に対してレーザスキャナでレーザ光を走査して計測される反射強度データから路面反射強度画像データ(48)を当該路面オルソ画像データとの対比用の参照画像データとして規定の反射強度レンジで生成する参照画像生成手段(36〜46)と、
当該参照画像データを参照して、当該路面オルソ画像データの影領域を認識する影部分認識手段(50)と、
当該影部分認識手段により認識される当該各影領域を当該路面オルソ画像データの、当該影領域の周辺部分の色情報で補正する影部分補正手段(52)
として機能させるための影除去プログラム。 In order to remove the shadow from the image data obtained by photographing the road surface in the shaded state due to solar radiation,
Road surface ortho image generating means (32) for generating road surface ortho image data (34) from the image data obtained by photographing the road surface;
A reflection intensity range defined as reference image data for comparing road surface reflection intensity image data (48) with the road surface ortho image data from reflection intensity data measured by scanning the same road surface with laser light with a laser scanner. Reference image generation means (36 to 46) generated in
A shadow part recognizing means (50) for recognizing a shadow area of the road surface ortho image data with reference to the reference image data;
Shadow part correction means (52) for correcting each shadow area recognized by the shadow part recognition means with the color information of the peripheral part of the shadow area of the road surface orthoimage data
Shadow removal program to function as
当該反射点の反射強度データから当該路面オルソ画像データと同じピクセル座標を持つメッシュデータを生成するメッシュデータ生成手段(36,40,42)と、
当該メッシュデータから路面エリアを抽出する路面エリア抽出手段(44)と、
当該路面エリア抽出手段で抽出された当該メッシュデータから当該路面反射強度画像データ(48)を生成する路面反射強度画像生成手段(46)
とを具備することを特徴とする請求項25に記載の影除去プログラム。 The reference image generating means
Mesh data generating means (36, 40, 42) for generating mesh data having the same pixel coordinates as the road surface orthoimage data from the reflection intensity data of the reflection point;
Road surface area extracting means (44) for extracting a road surface area from the mesh data;
Road surface reflection intensity image generation means (46) for generating the road surface reflection intensity image data (48) from the mesh data extracted by the road surface area extraction means.
26. The shadow removal program according to claim 25, comprising:
当該路面オルソ画像データと当該参照画像データとをピクセル単位で比較することで、影を構成する影ピクセルを特定する影特定手段(S43)と、
当該影特定手段により特定された影ピクセルをグループ化し、影領域とする影グループ化手段(S44)
とを具備することを特徴とする請求項25乃至27の何れか1項に記載の影除去装プログラム。 The shadow part recognition means is
A shadow specifying means (S43) for specifying a shadow pixel constituting a shadow by comparing the road surface ortho image data and the reference image data in units of pixels;
Shadow grouping means for grouping shadow pixels specified by the shadow specifying means into shadow areas (S44)
The shadow removal program according to any one of claims 25 to 27, further comprising:
当該影特定手段は、当該色バランス調整手段で色調整された路面オルソ画像データと当該参照画像データとをピクセル単位で比較することで、影を構成する影ピクセルを特定する
ことを特徴とする請求項28に記載の影除去プログラム。 The shadow part recognizing means further comprises color balance adjusting means (S41) for adjusting the color balance of the road surface ortho image data before the shadow specifying by the shadow specifying means,
The shadow specifying unit specifies a shadow pixel constituting a shadow by comparing the road surface ortho image data color-adjusted by the color balance adjusting unit and the reference image data in units of pixels. Item 29. The shadow removal program according to Item 28.
当該影特定手段は、当該参照画像データから当該下限閾値より大きく且つ当該上限閾値より小さい強度のピクセルを抽出し、抽出したピクセルのうち、その強度と当該路面オルソ画像データの色平均強度との差が当該差閾値(p3)を越えるピクセルを当該影ピクセルと特定する
ことを特徴とする請求項28又は29に記載の影除去プログラム。 The shadow part recognition means sets a lower threshold (p1) and an upper threshold (p2) for the reference image data, and a threshold for setting a difference threshold (p3) for an intensity difference between the road orthoimage data and the reference image data. Setting means (S42),
The shadow specifying means extracts pixels having an intensity larger than the lower limit threshold and smaller than the upper limit threshold from the reference image data, and the difference between the intensity and the color average intensity of the road surface ortho image data among the extracted pixels. 30. The shadow removal program according to claim 28 or 29, wherein a pixel that exceeds the difference threshold (p3) is identified as the shadow pixel.
当該影部分認識手段により認識される当該各影領域の色強度を、当該オルソ画像データ上でのそれぞれの周囲の色情報に従って調整する色調整手段(S45,S46)と、
当該色調整手段で調整された当該影領域とその周辺部分の色変化をスムージングするスムージング手段(S47)と、
当該影領域の色情報のディテールを再現する手段であって、当該影領域の注目ピクセルの色強度を、当該路面オルソ画像データ上での当該注目ピクセルの所定数の周囲ピクセルの平均強度に対する差値に応じた値で補正するディテール再現手段
とを具備することを特徴とする請求項25乃至30の何れか1項に記載の影除去プログラム。 The shadow part correcting means is
Color adjusting means (S45, S46) for adjusting the color intensity of each shadow area recognized by the shadow part recognizing means according to the surrounding color information on the ortho image data;
Smoothing means (S47) for smoothing the color change of the shadow area adjusted by the color adjustment means and its peripheral portion;
A means for reproducing the details of the color information of the shadow area, wherein the color intensity of the pixel of interest in the shadow area is a difference value from the average intensity of a predetermined number of surrounding pixels of the pixel of interest on the road surface orthoimage data The shadow removal program according to any one of claims 25 to 30, further comprising detail reproduction means for correcting with a value corresponding to.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012286479A JP6060682B2 (en) | 2012-12-28 | 2012-12-28 | Road surface image generation system, shadow removal apparatus, method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012286479A JP6060682B2 (en) | 2012-12-28 | 2012-12-28 | Road surface image generation system, shadow removal apparatus, method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014130404A JP2014130404A (en) | 2014-07-10 |
JP6060682B2 true JP6060682B2 (en) | 2017-01-18 |
Family
ID=51408763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012286479A Active JP6060682B2 (en) | 2012-12-28 | 2012-12-28 | Road surface image generation system, shadow removal apparatus, method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6060682B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6450107B2 (en) * | 2014-08-05 | 2019-01-09 | キヤノン株式会社 | Image processing apparatus, image processing method, program, and storage medium |
CN107636546B (en) * | 2015-06-10 | 2021-03-02 | 株式会社道具 | Autonomous moving system |
CN105184852B (en) * | 2015-08-04 | 2018-01-30 | 百度在线网络技术(北京)有限公司 | A kind of urban road recognition methods and device based on laser point cloud |
CN106296666B (en) * | 2016-08-01 | 2019-03-01 | 北京大学深圳研究生院 | A kind of color image removes shadow method and application |
JP7138718B2 (en) * | 2018-10-30 | 2022-09-16 | 三菱電機株式会社 | Feature detection device, feature detection method, and feature detection program |
CN109614959B (en) * | 2019-01-09 | 2022-10-21 | 高顺河 | Highway bridge deck image acquisition method |
WO2021112078A1 (en) * | 2019-12-02 | 2021-06-10 | パイオニア株式会社 | Information processing device, control method, program, and storage medium |
EP4071739A4 (en) * | 2019-12-02 | 2024-01-03 | Pioneer Corporation | Information processing device, control method, program, and storage medium |
CN112561944A (en) * | 2020-11-27 | 2021-03-26 | 中央财经大学 | Lane line extraction method based on vehicle-mounted laser point cloud |
JP7406480B2 (en) * | 2020-12-18 | 2023-12-27 | 株式会社豊田中央研究所 | Map generation device, map generation method, and computer program |
CN117115114B (en) * | 2023-08-29 | 2024-01-30 | 南京晓庄学院 | YOLO-based power electronic device production process target identification and defect detection method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4553826B2 (en) * | 2005-02-09 | 2010-09-29 | アジア航測株式会社 | Feature environment status providing method and program thereof |
JP4414369B2 (en) * | 2005-06-03 | 2010-02-10 | 本田技研工業株式会社 | Vehicle and road marking recognition device |
JP2007156626A (en) * | 2005-12-01 | 2007-06-21 | Nissan Motor Co Ltd | Object type determination device and object type determination method |
JP2008014814A (en) * | 2006-07-06 | 2008-01-24 | Mitsubishi Precision Co Ltd | Method for detecting end of road |
JP4521885B2 (en) * | 2007-03-30 | 2010-08-11 | 株式会社 はまなすインフォメーション | How to create a pseudo near infrared image |
JP2009199284A (en) * | 2008-02-21 | 2009-09-03 | Univ Of Tokyo | Road object recognition method |
JP2010237976A (en) * | 2009-03-31 | 2010-10-21 | Kyushu Institute Of Technology | Light source information obtaining device, shading detection device, shading removal device, and those methods and programs |
-
2012
- 2012-12-28 JP JP2012286479A patent/JP6060682B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014130404A (en) | 2014-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6060682B2 (en) | Road surface image generation system, shadow removal apparatus, method and program | |
US11080911B2 (en) | Mosaic oblique images and systems and methods of making and using same | |
US8917929B2 (en) | Image processing apparatus, method, program, and recording medium | |
US10477178B2 (en) | High-speed and tunable scene reconstruction systems and methods using stereo imagery | |
Sheng et al. | True orthoimage production for forested areas from large-scale aerial photographs | |
CN111462503B (en) | Vehicle speed measuring method and device and computer readable storage medium | |
US11181367B2 (en) | Feature/ground height-based colored image generating apparatus and feature height-based colored image generating program | |
GB2557398A (en) | Method and system for creating images | |
AU2018381377B2 (en) | Feature height-based colored image generating apparatus and feature height-based colored image generating program | |
US11689808B2 (en) | Image synthesis system | |
US20120269456A1 (en) | Method for creating a mosaic image using masks | |
US10977816B2 (en) | Image processing apparatus, image processing program, and driving assistance system | |
JPWO2019202628A1 (en) | Road surface detection device, image display device using road surface detection device, obstacle detection device using road surface detection device, road surface detection method, image display method using road surface detection method, and obstacle detection method using road surface detection method | |
CN114339185A (en) | Image colorization for vehicle camera images | |
CN110428361A (en) | A kind of multiplex image acquisition method based on artificial intelligence | |
JP2011048507A (en) | Three-dimensional data generation device, three-dimensional data generation method, and program | |
JPH08255245A (en) | Landmark recognizing device and landmark recognizing method | |
JP4171282B2 (en) | Terrain recognition device and terrain recognition method | |
Bodenmann et al. | 3D colour reconstruction of a hydrothermally active area using an underwater robot | |
US20240257376A1 (en) | Method and system for detection a line above ground from a helicopter | |
JP2005123914A (en) | Information display device and information display method | |
JP7411771B1 (en) | Vehicle speed detection device, vehicle speed detection method and program | |
JP2004151883A (en) | Topography recognition device and method | |
WO2012089262A1 (en) | Method and apparatus for use in forming an image | |
Sakamoto et al. | Generation of High Resolution and High Precision Orthorectified Road Imagery from Mobile Mapping System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6060682 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |