JP5322789B2 - Model generation apparatus, model generation method, model generation program, point cloud image generation method, and point cloud image generation program - Google Patents
Model generation apparatus, model generation method, model generation program, point cloud image generation method, and point cloud image generation program Download PDFInfo
- Publication number
- JP5322789B2 JP5322789B2 JP2009142143A JP2009142143A JP5322789B2 JP 5322789 B2 JP5322789 B2 JP 5322789B2 JP 2009142143 A JP2009142143 A JP 2009142143A JP 2009142143 A JP2009142143 A JP 2009142143A JP 5322789 B2 JP5322789 B2 JP 5322789B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- point group
- pixel
- image
- specific
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Description
本発明は、例えば、道路の三次元モデルを生成するモデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラムに関するものである。 The present invention relates to, for example, a model generation device, a model generation method, a model generation program, a point cloud image generation method, and a point cloud image generation program that generate a three-dimensional road model.
特許文献１には、車両から撮像したカメラ画像を正射投影変換することで、正射画像を生成する装置が開示されている。
この装置は、画像取得前後の車高差によって車両進行方向の傾きを算出し、ピッチ軸の補正を行っている。しかし、一枚の画像間で一様の変換しか行っていないため、画像撮影範囲において凹凸のある路面の誤差が大きい。また、ロール軸に関する補正は行っていないため、排水のためなどロール軸に傾斜している道路の誤差が大きい。
Patent Document 1 discloses an apparatus that generates an orthographic image by performing orthographic projection conversion on a camera image captured from a vehicle.
This apparatus calculates the inclination in the vehicle traveling direction based on the difference in vehicle height before and after image acquisition, and corrects the pitch axis. However, since only uniform conversion is performed between one image, the error of the uneven road surface is large in the image capturing range. Moreover, since the correction regarding the roll axis is not performed, the error of the road inclined to the roll axis is large due to drainage.
本発明は、例えば、道路を高解像度で表す三次元モデルを生成できるようにすることを目的とする。 An object of the present invention is to make it possible to generate, for example, a three-dimensional model representing a road with high resolution.
本発明のモデル生成装置は、
特定地域内の複数地点の座標値を示す座標点群を記憶する座標点群記憶部と、
前記特定地域が映った特定画像を記憶する画像記憶部と、
前記特定画像の画素に映った特定地点の座標値を前記座標点群に基づいてＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて画素毎に算出し、前記特定画像の複数画素それぞれの特定地点の座標値と前記特定画像の複数画素それぞれの色情報とを示す画素点群を生成する画素点群生成部と、
前記画素点群生成部により生成された画素点群に示される各特定地点の座標値に基づいて、特定地点間に位置する地点であって特定地点の密度が低い部分に位置する複数の低密度地点をＣＰＵを用いて特定する低密度地点特定部と、
前記低密度地点特定部により特定された複数の低密度地点それぞれの座標値と複数の低密度地点それぞれの色情報とを示す補間点群を前記画素点群に基づいてＣＰＵを用いて生成する補間点群生成部と、
前記画素点群生成部により生成された画素点群と前記補間点群生成部により生成された補間点群とを前記特定地域を表す地域モデルとして記憶するモデル記憶部とを備える。
The model generation device of the present invention includes:
A coordinate point group storage unit for storing a coordinate point group indicating coordinate values of a plurality of points in a specific area;
An image storage unit for storing a specific image showing the specific area;
The coordinate value of the specific point reflected in the pixel of the specific image is calculated for each pixel using a CPU (Central Processing Unit) based on the coordinate point group, and the coordinate value of the specific point of each of the plurality of pixels of the specific image A pixel point group generation unit that generates a pixel point group indicating color information of each of the plurality of pixels of the specific image;
Based on the coordinate values of each specific point shown in the pixel point group generated by the pixel point group generation unit, a plurality of low density points located between the specific points and located at a low density of the specific points A low-density point specifying unit for specifying a point using a CPU;
Interpolation that generates an interpolation point group indicating the coordinate values of each of the plurality of low density points specified by the low density point specifying unit and the color information of each of the plurality of low density points using the CPU based on the pixel point group A point cloud generation unit;
A model storage unit that stores the pixel point group generated by the pixel point group generation unit and the interpolation point group generated by the interpolation point group generation unit as an area model representing the specific area;
本発明によれば、例えば、道路を高解像度で表す三次元モデルを生成することができる。 According to the present invention, for example, a three-dimensional model representing a road with high resolution can be generated.
実施の形態１．
三次元点群とカメラ画像とに基づいて、道路を高解像度で表す三次元モデルを生成する装置、方法およびプログラムについて説明する。
Embodiment 1 FIG.
An apparatus, method, and program for generating a three-dimensional model representing a road with high resolution based on a three-dimensional point cloud and a camera image will be described.
図１は、実施の形態１における道路三次元モデル生成方法を示すフローチャートである。
実施の形態１における道路三次元モデル生成方法について、図１に基づいて以下に説明する。
FIG. 1 is a flowchart showing a road three-dimensional model generation method according to the first embodiment.
A road three-dimensional model generation method according to Embodiment 1 will be described below with reference to FIG.
利用者は、後述する計測車両２００により、道路（道路面）の距離方位点群２９１、位置データ２９２および画像データ２９３を取得する（Ｓ１００）。
道路三次元モデル生成装置１００は、Ｓ１００において取得された距離方位点群２９１と位置データ２９２とに基づいて、道路の多数点の三次元座標値を示す三次元点群１９８を生成する（Ｓ２００）。
道路三次元モデル生成装置１００は、Ｓ２００において生成された三次元点群１９８とＳ１００において取得された画像データ２９３とに基づいて、道路の三次元形状を表す道路三次元モデル１９４を生成する（Ｓ３００）。
The user acquires a distance (azimuth point) group 291, position data 292, and image data 293 of the road (road surface) by using the measurement vehicle 200 described later (S <b> 100).
The road three-dimensional model generation apparatus 100 generates a three-dimensional point group 198 indicating three-dimensional coordinate values of a plurality of road points based on the distance and azimuth point group 291 and the position data 292 acquired in S100 (S200). .
The road three-dimensional model generation apparatus 100 generates a road three-dimensional model 194 representing the three-dimensional shape of the road based on the three-dimensional point group 198 generated in S200 and the image data 293 acquired in S100 (S300). ).
以下に、Ｓ１００の計測車両２００およびＳ２００、Ｓ３００の道路三次元モデル生成装置１００を説明する。 Hereinafter, the measurement vehicle 200 in S100 and the road three-dimensional model generation device 100 in S200 and S300 will be described.
図２は、実施の形態１における計測車両２００の外観図である。
実施の形態１における計測車両２００について、図２に基づいて以下に説明する。
FIG. 2 is an external view of measurement vehicle 200 in the first embodiment.
The measurement vehicle 200 in the first embodiment will be described below based on FIG.
利用者は、図２に示すような計測車両２００で道路を走行することにより、距離方位点群２９１、位置データ２９２および画像データ２９３を取得する。 A user travels on a road with a measurement vehicle 200 as shown in FIG. 2 to acquire a distance azimuth point group 291, position data 292, and image data 293.
計測車両２００は、天板に二台のレーザレーダ２１０、二台のカメラ２２０、三台のＧＰＳ受信機２３０および一台のジャイロ２４０が設置されている。また、計測車両２００の車輪には、オドメトリ２５０が取り付けられている。 In the measurement vehicle 200, two laser radars 210, two cameras 220, three GPS receivers 230, and one gyro 240 are installed on a top board. An odometry 250 is attached to the wheel of the measurement vehicle 200.
レーザレーダ２１０は、レーザスキャナ、ＬＲＦ（レーザレンジファインダ）ともいう。
ジャイロ２４０は、ＦＯＧ（Ｆｉｂｅｒ Ｏｐｔｉｃ Ｇｙｒｏ）ともいう。
The laser radar 210 is also called a laser scanner or LRF (laser range finder).
The gyro 240 is also called FOG (Fiber Optical Gyro).
レーザレーダ２１０は、レーザの出射面を左右１８０度に繰り返し振りながら、レーザを短周期で繰り返し出射すると共に地物（例えば、道路面）に反射して戻ってきた各レーザを受信する。そして、レーザレーダ２１０は、レーザを出射または受信した「計測時刻」と、レーザを出射した「方位」と、レーザを出射してから受信するまでの時間に基づく「距離」とを「距離方位点」として計測する。
レーザレーダ２１０により計測された複数の距離方位点を示すデータが距離方位点群２９１である。
The laser radar 210 repeatedly emits the laser in a short cycle while repeatedly swinging the laser emission surface at 180 degrees to the left and right, and receives each laser reflected back to the feature (for example, road surface). Then, the laser radar 210 determines the “measurement time” at which the laser is emitted or received, the “azimuth” at which the laser is emitted, and the “distance” based on the time from when the laser is emitted until it is received as the “distance azimuth point”. To measure.
Data indicating a plurality of distance azimuth points measured by the laser radar 210 is a distance azimuth point group 291.
二台のレーザレーダ２１０のうち一台は、上向き約３０度に傾けて設置され、計測車両２００の天板より上に位置する地物を計測する。もう一台は、下向き約３０度に傾けて設置され、計測車両２００の天板より下に位置する地物（例えば、道路面）を計測する。 One of the two laser radars 210 is installed with an inclination of about 30 degrees upward, and measures a feature located above the top plate of the measurement vehicle 200. The other is installed with an inclination of about 30 degrees downward, and measures a feature (for example, a road surface) located below the top plate of the measurement vehicle 200.
二台のカメラ２２０のうち一台は計測車両２００の正面に向けて設置され、もう一台は下向きに傾けて設置されている。各カメラ２２０は所定のタイミング（時間間隔、走行距離間隔など）で繰り返し撮像を行う。
各カメラ２２０により撮像された複数の「カメラ画像」と各カメラ画像の「撮像時刻」とを含んだデータが画像データ２９３である。
One of the two cameras 220 is installed toward the front of the measurement vehicle 200, and the other camera is installed tilted downward. Each camera 220 repeatedly performs imaging at a predetermined timing (time interval, travel distance interval, etc.).
Data including a plurality of “camera images” captured by each camera 220 and “imaging time” of each camera image is image data 293.
三台のＧＰＳ受信機２３０はそれぞれＧＰＳ衛星（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）から発信される測位信号を周期的に観測し、観測結果に基づいて三次元座標値を周期的に測位する。以下、ＧＰＳ受信機２３０により得られる三次元座標値や測位信号などの情報を観測情報という。各観測情報は観測時刻に対応付けられている。 Each of the three GPS receivers 230 periodically observes a positioning signal transmitted from a GPS (Global Positioning System), and periodically measures a three-dimensional coordinate value based on the observation result. Hereinafter, information such as a three-dimensional coordinate value and a positioning signal obtained by the GPS receiver 230 is referred to as observation information. Each observation information is associated with an observation time.
一台のジャイロ２４０は、計測車両２００の３軸（ロール角、ピッチ角、ヨー角）の角速度を繰り返し計測する。各計測値は計測時刻に対応付けられている。 One gyro 240 repeatedly measures the angular velocities of the three axes (roll angle, pitch angle, and yaw angle) of the measurement vehicle 200. Each measurement value is associated with a measurement time.
車輪に取り付けられたオドメトリ２５０は、車輪の回転速度を繰り返し計測する。各計測値は計測時刻に対応付けられている。 The odometry 250 attached to the wheel repeatedly measures the rotational speed of the wheel. Each measurement value is associated with a measurement time.
ＧＰＳ受信機２３０により得られた観測情報、ジャイロ２４０により計測された３軸の角速度およびオドメトリ２５０により計測された車輪の回転速度を含んだデータが位置データ２９２である。 The data including the observation information obtained by the GPS receiver 230, the three-axis angular velocity measured by the gyro 240 and the rotational speed of the wheel measured by the odometry 250 is the position data 292.
図３は、実施の形態１における道路三次元モデル生成装置１００の機能構成図である。
実施の形態１における道路三次元モデル生成装置１００の機能構成について、図３に基づいて以下に説明する。
FIG. 3 is a functional configuration diagram of the road three-dimensional model generation device 100 according to the first embodiment.
The functional configuration of the road three-dimensional model generation device 100 according to Embodiment 1 will be described below with reference to FIG.
道路三次元モデル生成装置１００（モデル生成装置の一例）は、画像処理部１１０（画像範囲抽出部、レンズ収差補正部の一例）、画素点群生成部１２０、画素補間点群生成部１３０（低密度地点特定部、補間点群生成部の一例）、道路三次元モデル生成部１４０（モデル記憶部の一例）、三次元点群生成部１８０およびデータ記憶部１９０（座標点群記憶部、画像記憶部の一例）を備える。 The road three-dimensional model generation apparatus 100 (an example of a model generation apparatus) includes an image processing unit 110 (an example of an image range extraction unit and a lens aberration correction unit), a pixel point group generation unit 120, and a pixel interpolation point group generation unit 130 (low Density point specifying unit, example of interpolation point group generation unit), road three-dimensional model generation unit 140 (example of model storage unit), three-dimensional point group generation unit 180, and data storage unit 190 (coordinate point group storage unit, image storage) Part of an example).
計測車両２００により取得された距離方位点群２９１、位置データ２９２および画像データ２９３はデータ記憶部１９０に記憶される。
また、計測車両２００の計測条件（レーザレーダ２１０やカメラ２２０の取り付け位置・姿勢など）を示すパラメータデータ２９９もデータ記憶部１９０に記憶される。
The distance direction point group 291, the position data 292, and the image data 293 acquired by the measurement vehicle 200 are stored in the data storage unit 190.
In addition, parameter data 299 indicating the measurement conditions of the measurement vehicle 200 (such as the mounting position / orientation of the laser radar 210 and the camera 220) is also stored in the data storage unit 190.
三次元点群生成部１８０は、距離方位点群２９１、位置データ２９２およびパラメータデータ２９９に基づいて、道路（特定地域の一例）の多数点の三次元座標値を示す三次元点群１９８（座標点群の一例）をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて生成する。 The three-dimensional point group generation unit 180 has a three-dimensional point group 198 (coordinates) indicating three-dimensional coordinate values of a plurality of points on a road (an example of a specific area) based on the distance / azimuth point group 291, the position data 292, and the parameter data 299. An example of a point cloud) is generated using a CPU (Central Processing Unit).
画像処理部１１０は、画像データ２９３とパラメータデータ２９９とに基づいて、道路が映った範囲であり、且つ画像の解像度が高い範囲を各カメラ画像から処理範囲画像１９１としてＣＰＵを用いて抽出する。 Based on the image data 293 and the parameter data 299, the image processing unit 110 extracts a range in which a road is reflected and a high image resolution from each camera image as a processing range image 191 using the CPU.
例えば、画像処理部１１０は、カメラ画像の視点側の所定範囲（視点手前の所定範囲）を処理範囲画像１９１として抽出する。 For example, the image processing unit 110 extracts a predetermined range on the viewpoint side of the camera image (a predetermined range before the viewpoint) as the processing range image 191.
画像処理部１１０は、パラメータデータ２９９に基づいて、処理範囲画像１９１のレンズ収差をＣＰＵを用いて補正する。 The image processing unit 110 corrects the lens aberration of the processing range image 191 using the CPU based on the parameter data 299.
画素点群生成部１２０は、処理範囲画像１９１、三次元点群１９８およびパラメータデータ２９９に基づいて、処理範囲画像１９１の画素に映った道路部分（特定地点の一例）の三次元座標値をＣＰＵを用いて画素毎に算出する。
画素点群生成部１２０は、処理範囲画像１９１の複数画素それぞれの道路部分の三次元座標値と処理範囲画像１９１の複数画素それぞれの色情報とを示す画素点群１９２をＣＰＵを用いて生成する。
Based on the processing range image 191, the three-dimensional point group 198, and the parameter data 299, the pixel point group generation unit 120 calculates a three-dimensional coordinate value of a road portion (an example of a specific point) reflected in the pixels of the processing range image 191. To calculate for each pixel.
The pixel point group generation unit 120 uses the CPU to generate a pixel point group 192 that indicates the three-dimensional coordinate values of the road portions of the plurality of pixels of the processing range image 191 and the color information of the plurality of pixels of the processing range image 191. .
画素補間点群生成部１３０は、画素点群１９２に基づいて、画素点間に位置する地点であって画素点の密度が低い部分に位置する複数の低密度地点をＣＰＵを用いて特定する。 Based on the pixel point group 192, the pixel interpolation point group generation unit 130 specifies a plurality of low-density points that are located between pixel points and are located in a portion where the density of pixel points is low, using the CPU.
例えば、画素補間点群生成部１３０は、以下のように道路を複数のボクセルで区分けし、画素点群１９２を構成する各画素点をそれぞれの三次元座標値に基づいていずれかのボクセルに投票し、画素点が投票されなかった各ボクセル内に位置する地点を低密度地点として特定する。
画素補間点群生成部１３０は、道路を処理範囲画像１９１の最大分解能に対応する大きさのボクセルで区分けする。
画素補間点群生成部１３０は、道路を高さ方向と直交する平面（例えば、水平面）で複数のボクセルに区分けする。
画素補間点群生成部１３０は、画素点群１９２に基づいて、複数の低密度地点それぞれの三次元座標値と複数の低密度地点それぞれの色情報とを示す画素補間点群１９３（補間点群の一例）をＣＰＵを用いて生成する。
For example, the pixel interpolation point group generation unit 130 divides the road into a plurality of voxels as described below, and votes each pixel point constituting the pixel point group 192 to one of the voxels based on the respective three-dimensional coordinate values. And the point located in each voxel where the pixel point was not voted is specified as a low density point.
The pixel interpolation point group generation unit 130 divides the road into voxels having a size corresponding to the maximum resolution of the processing range image 191.
The pixel interpolation point group generation unit 130 divides the road into a plurality of voxels by a plane (for example, a horizontal plane) orthogonal to the height direction.
Based on the pixel point group 192, the pixel interpolation point group generation unit 130 represents a pixel interpolation point group 193 (interpolation point group) indicating the three-dimensional coordinate values of each of the plurality of low density points and the color information of each of the plurality of low density points. Is generated using a CPU.
道路三次元モデル生成部１４０は、画素点群１９２と画素補間点群１９３とを含んだデータをＣＰＵを用いて道路三次元モデル１９４（地域モデルの一例）として生成する。 The road three-dimensional model generation unit 140 generates data including the pixel point group 192 and the pixel interpolation point group 193 as a road three-dimensional model 194 (an example of a regional model) using the CPU.
データ記憶部１９０は、道路三次元モデル生成装置１００で使用されるデータを記憶媒体に記憶する。
距離方位点群２９１、位置データ２９２、画像データ２９３、パラメータデータ２９９、三次元点群１９８、処理範囲画像１９１、画素点群１９２、画素補間点群１９３および道路三次元モデル１９４は、データ記憶部１９０に記憶されるデータの一例である。
The data storage unit 190 stores data used in the road three-dimensional model generation device 100 in a storage medium.
Distance azimuth point group 291, position data 292, image data 293, parameter data 299, three-dimensional point group 198, processing range image 191, pixel point group 192, pixel interpolation point group 193 and road three-dimensional model 194 are stored in a data storage unit. 2 is an example of data stored in 190;
パラメータデータ２９９には、例えば、以下の情報が含まれる。
（１）画像保存ディレクトリ：計測車両２００で取得したカメラ画像が取得時間タグを付けて保存されているディレクトリ名（画像データ２９３の記憶先）。
（２）カメラ画像のＩＤ：カメラ画像を識別する情報。
（３）処理範囲：カメラ画像の中で道路三次元モデルの生成に使用する画素範囲。
（４）レンズ歪みパラメータ：焦点距離や歪みパラメータなど、レンズ歪みの補正に使用される情報。
（５）レーザ３次元点群ディレクトリ：道路の三次元点群１９８を保存したディレクトリ。
（６）カメラ取得時刻・位置・姿勢：カメラ画像を撮影した時のカメラの位置姿勢を示す情報。
（７）カメラ取付オフセット：車体中心からのカメラ位置および姿勢を示した情報。
（８）レーザ取付オフセット：車体中心からのレーザ位置および姿勢を示した情報。
The parameter data 299 includes, for example, the following information.
(1) Image storage directory: a directory name (a storage destination of the image data 293) in which camera images acquired by the measurement vehicle 200 are stored with an acquisition time tag.
(2) Camera image ID: Information for identifying a camera image.
(3) Processing range: A pixel range used for generating a road three-dimensional model in a camera image.
(4) Lens distortion parameters: Information used for correcting lens distortion, such as focal length and distortion parameters.
(5) Laser 3D point cloud directory: a directory in which the road 3D point cloud 198 is stored.
(6) Camera acquisition time / position / posture: Information indicating the position / posture of the camera when a camera image is taken.
(7) Camera mounting offset: Information indicating the camera position and posture from the center of the vehicle body.
(8) Laser mounting offset: Information indicating the laser position and orientation from the center of the vehicle body.
次に、道路三次元モデル生成装置１００の三次元点群生成部１８０による三次元点群１９８の生成方法について説明する。 Next, a method for generating the three-dimensional point group 198 by the three-dimensional point group generation unit 180 of the road three-dimensional model generation apparatus 100 will be described.
三次元点群生成部１８０は、距離方位点群２９１、位置データ２９２およびパラメータデータ２９９に基づいて、三次元点群１９８を生成する。
パラメータデータ２９９は、車体座標系におけるレーザレーダ２１０の取付オフセットを含む。レーザレーダ２１０の取付オフセットは、レーザレーダ２１０が計測車両２００のどの位置にどのような姿勢（傾き）で設置されているかを示す。
三次元点群１９８は、各距離方位点に対応する三次元座標値を世界座標系で示すデータである。
The three-dimensional point group generation unit 180 generates a three-dimensional point group 198 based on the distance / azimuth point group 291, the position data 292, and the parameter data 299.
The parameter data 299 includes the mounting offset of the laser radar 210 in the vehicle body coordinate system. The mounting offset of the laser radar 210 indicates in what position (tilt) the laser radar 210 is installed at which position of the measurement vehicle 200.
The three-dimensional point group 198 is data indicating a three-dimensional coordinate value corresponding to each distance direction point in the world coordinate system.
以下に、三次元点群１９８の生成方法について説明する。 Hereinafter, a method of generating the three-dimensional point group 198 will be described.
三次元点群生成部１８０は、位置データ２９２に基づいて、各距離方位点を計測時の計測車両２００の位置姿勢値を標定する。位置姿勢値は、三次元座標値（ｘ、ｙ、ｚ）と三次元姿勢角（ロール角、ピッチ角、ヨー角）とを示す。
三次元点群生成部１８０は、レーザレーダ２１０の取付オフセットに基づいて距離方位点群２９１を世界座標系に変換する。
三次元点群生成部１８０は、位置姿勢値と距離方位点群２９１とに基づいて、三次元点群１９８を生成する。三次元点群１９８の各三次元点は、位置姿勢値を基点として距離方位点で示される方位に距離方位点で示される距離だけ離れた地点の座標値で示される。三次元点の算出には同時刻の位置姿勢値および距離方位点が用いられる。
Based on the position data 292, the three-dimensional point group generation unit 180 determines the position and orientation value of the measurement vehicle 200 when measuring each distance direction point. The position / orientation value indicates a three-dimensional coordinate value (x, y, z) and a three-dimensional attitude angle (roll angle, pitch angle, yaw angle).
The three-dimensional point group generation unit 180 converts the distance / azimuth point group 291 into the world coordinate system based on the mounting offset of the laser radar 210.
The three-dimensional point group generation unit 180 generates a three-dimensional point group 198 based on the position / orientation value and the distance / azimuth point group 291. Each three-dimensional point of the three-dimensional point group 198 is indicated by a coordinate value of a point separated from the position and orientation value by the distance indicated by the distance azimuth point in the azimuth indicated by the distance azimuth point. For the calculation of the three-dimensional point, the position and orientation value and the distance direction point at the same time are used.
三次元点群１９８の生成方法の詳細は、例えば特許文献２に開示されている。 Details of the method of generating the three-dimensional point group 198 are disclosed in, for example, Patent Document 2.
図４は、実施の形態１における三次元点群１９８により表される画像を示した図である。
三次元点群１９８を構成する各三次元点をそれぞれの三次元座標値に基づいて画面表示すると、計測車両２００が走行した道路が図４のように表される。各白い点が三次元点である。
FIG. 4 is a diagram showing an image represented by the three-dimensional point group 198 in the first embodiment.
When the three-dimensional points constituting the three-dimensional point group 198 are displayed on the screen based on the respective three-dimensional coordinate values, the road on which the measurement vehicle 200 has traveled is represented as shown in FIG. Each white point is a three-dimensional point.
三次元点群１９８は、離散的であり、カメラ画像に比べて分解能が低い。このため、図４のように、点の間が透けているように見える。 The three-dimensional point group 198 is discrete and has a lower resolution than the camera image. For this reason, as shown in FIG.
次に、三次元点群１９８に基づいて道路三次元モデル１９４を生成する道路三次元モデル生成処理（Ｓ３００）について説明する。 Next, a road three-dimensional model generation process (S300) for generating a road three-dimensional model 194 based on the three-dimensional point group 198 will be described.
図５は、実施の形態１における道路三次元モデル生成処理（Ｓ３００）のフローチャートである。
実施の形態１における道路三次元モデル生成処理（Ｓ３００）について、図５に基づいて以下に説明する。
FIG. 5 is a flowchart of the road three-dimensional model generation process (S300) in the first embodiment.
The road three-dimensional model generation process (S300) in the first embodiment will be described below based on FIG.
道路三次元モデル生成装置１００の各「〜部」は、以下に説明する処理をＣＰＵを用いて実行する。 Each “˜unit” of the road three-dimensional model generation apparatus 100 executes processing described below using a CPU.
まず、道路三次元モデル生成処理（Ｓ３００）の概要について説明する。 First, an outline of the road three-dimensional model generation process (S300) will be described.
画像処理部１１０はカメラ画像を一つ選択し（Ｓ３１１）、選択画像から所定の処理範囲を処理範囲画像１９１として抽出し（Ｓ３１２）、処理範囲画像１９１のレンズ収差を補正する（Ｓ３１３）。
画素点群生成部１２０は、三次元点群１９８に基づいて、処理範囲画像１９１の各画素に対応する三次元座標値および色情報を示す画素点群１９２を生成する（Ｓ３２０）。
画素補間点群生成部１３０は、画素点群１９２に基づいて、画素点が低密度である部分を補間する画素補間点群１９３を生成する（Ｓ３３０）。
未選択のカメラ画像が有る場合（Ｓ３１９「ＹＥＳ」）、処理はＳ３１１に戻る。
未選択のカメラ画像が無い場合（Ｓ３１９「ＮＯ」）、処理はＳ３４０に進む。
道路三次元モデル生成部１４０は、画素点群１９２と画素補間点群１９３とを含んだデータを道路三次元モデル１９４として生成する（Ｓ３４０）。
The image processing unit 110 selects one camera image (S311), extracts a predetermined processing range from the selected image as the processing range image 191 (S312), and corrects the lens aberration of the processing range image 191 (S313).
Based on the three-dimensional point group 198, the pixel point group generation unit 120 generates a pixel point group 192 indicating three-dimensional coordinate values and color information corresponding to each pixel of the processing range image 191 (S320).
Based on the pixel point group 192, the pixel interpolation point group generation unit 130 generates a pixel interpolation point group 193 that interpolates a portion where the pixel points are low density (S330).
If there is an unselected camera image (S319 “YES”), the process returns to S311.
If there is no unselected camera image (S319 “NO”), the process proceeds to S340.
The road three-dimensional model generation unit 140 generates data including the pixel point group 192 and the pixel interpolation point group 193 as a road three-dimensional model 194 (S340).
次に、道路三次元モデル生成処理（Ｓ３００）の詳細について説明する。 Next, details of the road three-dimensional model generation process (S300) will be described.
＜Ｓ３１１＞
画像処理部１１０は、画像データ２９３に含まれる多数のカメラ画像から撮像時刻順にカメラ画像を一つ選択する。
以下、Ｓ３１１において選択されたカメラ画像を「選択画像」という。
Ｓ３１１の後、処理はＳ３１２に進む。
<S311>
The image processing unit 110 selects one camera image from a number of camera images included in the image data 293 in order of imaging time.
Hereinafter, the camera image selected in S311 is referred to as “selected image”.
After S311, the process proceeds to S312.
＜Ｓ３１２＞
画像処理部１１０は、選択画像から所定の処理範囲を処理範囲画像１９１として抽出する。
各カメラ画像には、建物、電柱、壁など道路以外の地物も映り込んでいる。
また、カメラ２２０（視点）から近い範囲が映った部分の分解能（解像度）は高いが、カメラ２２０から遠い範囲が映った部分の分解能は低い。
所定の処理範囲は、高分解能で映っている道路部分が選択画像から処理範囲画像１９１として抽出されるように、カメラ２２０の仕様（画角や画像分解能など）やカメラ２２０の取付オフセットなどに基づいて決定される。カメラ２２０の仕様や取付オフセットはパラメータデータ２９９に含まれる情報である。また、処理の無駄を省くため、各カメラ画像の撮像範囲をカメラ２２０の仕様や取付オフセットおよび撮像地点に基づいて特定し、各カメラ画像の重複範囲を除くように処理範囲が定められてもよい。
<S312>
The image processing unit 110 extracts a predetermined processing range as a processing range image 191 from the selected image.
Each camera image includes features other than roads such as buildings, utility poles, and walls.
In addition, the resolution (resolution) of a portion where a range close to the camera 220 (viewpoint) is reflected is high, but the resolution of a portion where a range far from the camera 220 is reflected is low.
The predetermined processing range is based on the specifications of the camera 220 (view angle, image resolution, etc.), the mounting offset of the camera 220, etc. so that the road portion reflected at high resolution is extracted as the processing range image 191 from the selected image. Determined. The specifications and mounting offset of the camera 220 are information included in the parameter data 299. In order to save processing waste, the imaging range of each camera image may be specified based on the specification of the camera 220, the mounting offset, and the imaging point, and the processing range may be determined so as to exclude the overlapping range of the camera images. .
図６および図７は、実施の形態１におけるカメラ画像の処理範囲の一例を示す図である。
図６において、カメラ画像は、２メートル（Ｌｄｉｓ）おきに画角５０度（αｃａｍ）で撮像されたものとする。画素数が２メガピクセル（縦１２００ピクセル×横１６００ピクセル）であれば画素毎に２０ｍｍ程度の分解能を得ることができる。
図７に示すように、カメラ画像の下半分（ｖ座標：６００〜１２００）（視点手前部分）を処理範囲とするとよい。また、分解能が低下する両脇部分を処理範囲外とするとよい。カメラ画像の横方向を「ｕ軸」、縦方向「ｖ軸」とする。画像座標値は、カメラ画像内での二次元座標（ｕ、ｖ）である。
処理範囲（破線内）には道路が高分解能で映っている。
カメラ画像の処理範囲部分が処理範囲画像１９１となる。
6 and 7 are diagrams showing an example of the processing range of the camera image in the first embodiment.
In FIG. 6, it is assumed that the camera image is captured at an angle of view of 50 degrees (α cam ) every 2 meters (L dis ). If the number of pixels is 2 megapixels (1200 vertical pixels × 1600 horizontal pixels), a resolution of about 20 mm can be obtained for each pixel.
As shown in FIG. 7, the lower half of the camera image (v coordinate: 600 to 1200) (the portion in front of the viewpoint) may be set as the processing range. Further, it is preferable that both side portions where the resolution is reduced are outside the processing range. The horizontal direction of the camera image is “u-axis” and the vertical direction is “v-axis”. The image coordinate value is a two-dimensional coordinate (u, v) in the camera image.
The road is shown with high resolution in the processing range (inside the broken line).
A processing range portion of the camera image becomes a processing range image 191.
図５に戻り、道路三次元モデル生成処理（Ｓ３００）の説明を続ける。 Returning to FIG. 5, the description of the road three-dimensional model generation process (S300) will be continued.
Ｓ３１２の後、処理はＳ３１３に進む。 After S312, the process proceeds to S313.
＜Ｓ３１３＞
画像処理部１１０は、処理範囲画像１９１のレンズ収差を補正する。カメラ画像にはレンズで生じる像の色ずれや歪み（レンズ収差）が含まれるからである。
レンズ収差の補正方法として、Ｚｈａｎｇのキャリブレーションを用いることができる。
<S313>
The image processing unit 110 corrects lens aberration in the processing range image 191. This is because the camera image includes color shift and distortion (lens aberration) of the image generated by the lens.
As a lens aberration correction method, Zhang calibration can be used.
画素（ｕｄ、ｖｄ）のレンズ収差補正後の画像座標値（ｕｐ、ｖｐ）を算出する式（１）〜式（５）を以下に示す。 Showing a pixel (u d, v d) lens aberration corrected image coordinate value of (u p, v p) calculates the expressions (1) to (5) below.
Ｓ３１３の後、処理はＳ３２０に進む。 After S313, the process proceeds to S320.
＜Ｓ３２０＞
画素点群生成部１２０は、三次元点群１９８に基づいて、処理範囲画像１９１の各画素に対応する三次元座標値および色情報を示す画素点群１９２を生成する。
Ｓ３２０により、カメラ画像レベルの分解能を有する三次元点群（画素点群１９２）を生成することができる。
<S320>
Based on the three-dimensional point group 198, the pixel point group generation unit 120 generates a pixel point group 192 indicating the three-dimensional coordinate value and color information corresponding to each pixel of the processing range image 191.
By S320, a three-dimensional point group (pixel point group 192) having a resolution of the camera image level can be generated.
図８は、実施の形態１における画素点群生成処理（Ｓ３２０）のフローチャートである。
実施の形態１における画素点群生成処理（Ｓ３２０）について、図８に基づいて以下に説明する。
FIG. 8 is a flowchart of the pixel point group generation process (S320) in the first embodiment.
The pixel point group generation process (S320) in the first embodiment will be described below based on FIG.
まず、画素点群生成処理（Ｓ３２０）の概要について説明する。 First, the outline of the pixel point group generation process (S320) will be described.
画素点群生成部１２０は、以下の処理を実行する。
Ｓ３２１において処理範囲画像１９１に対応する三次元点群を抽出する。
Ｓ３２２において処理範囲画像１９１から画素を一つ選択する。
Ｓ３２３において選択画素の画像座標値を世界座標系に変換し、Ｓ３２４においてカメラ中心と選択画素とを通る直線をカメラ視線直線として算出する。
Ｓ３２５において抽出点群からカメラ視線直線の近傍点を抽出し、Ｓ３２６において近傍点を通る平面を道路面として算出する。
Ｓ３２７においてカメラ視線直線と道路面との交点の三次元座標値を選択画素に対応する三次元座標値として算出する。
Ｓ３２８において未選択の画素が有ればＳ３２２に戻り、未選択の画素が無ければＳ３２９に進む。
Ｓ３２９において処理範囲画像１９１の各画素の色情報および三次元座標値を示す画素点群１９２を生成する。
The pixel point group generation unit 120 executes the following processing.
In S321, a three-dimensional point group corresponding to the processing range image 191 is extracted.
In S322, one pixel is selected from the processing range image 191.
In S323, the image coordinate value of the selected pixel is converted into the world coordinate system, and in S324, a straight line passing through the camera center and the selected pixel is calculated as a camera visual line.
In S325, neighboring points of the camera line of sight are extracted from the extracted point group, and in S326, a plane passing through the neighboring points is calculated as a road surface.
In S327, the three-dimensional coordinate value of the intersection of the camera line of sight and the road surface is calculated as the three-dimensional coordinate value corresponding to the selected pixel.
If there is an unselected pixel in S328, the process returns to S322, and if there is no unselected pixel, the process proceeds to S329.
In S329, a pixel point group 192 indicating color information and three-dimensional coordinate values of each pixel of the processing range image 191 is generated.
次に、画素点群生成処理（Ｓ３２０）の詳細について説明する。 Next, details of the pixel point group generation process (S320) will be described.
＜Ｓ３２１＞
画素点群生成部１２０は、処理範囲画像１９１を抽出されたカメラ画像が撮像された時刻を特定し、特定した時刻前後の所定時間内に計測された各距離方位点それぞれに対応する三次元点を三次元点群１９８から抽出する。
以下、Ｓ３２１において抽出された三次元点の集合を「抽出点群」という。
Ｓ３２１の後、処理はＳ３２２に進む。
<S321>
The pixel point group generation unit 120 specifies the time when the camera image from which the processing range image 191 is extracted is captured, and the three-dimensional points corresponding to the respective distance azimuth points measured within a predetermined time before and after the specified time. Are extracted from the three-dimensional point cloud 198.
Hereinafter, the set of three-dimensional points extracted in S321 is referred to as “extracted point group”.
After S321, the process proceeds to S322.
＜Ｓ３２２＞
画素点群生成部１２０は、処理範囲画像１９１から画像座標値の順に画素を一つ選択する。
以下、３２２において選択された画素を「選択画素」という。
Ｓ３２２の後、処理はＳ３２３に進む。
<S322>
The pixel point group generation unit 120 selects one pixel from the processing range image 191 in the order of image coordinate values.
Hereinafter, the pixel selected in 322 is referred to as “selected pixel”.
After S322, the process proceeds to S323.
＜Ｓ３２３＞
画素点群生成部１２０は、選択画素の画像座標値を世界座標系に変換する。
<S323>
The pixel point group generation unit 120 converts the image coordinate value of the selected pixel into the world coordinate system.
選択画素の画像座標値（ｕ、ｖ）を世界座標系の座標値（ｘｖ ｗ，ｙｖ ｗ，ｚｖ ｗ）に変換する式（６）および式（６）で用いられる各値を算出する式（７）〜式（１１）を以下に示す。 Each value used in Expression (6) and Expression (6) for converting the image coordinate value (u, v) of the selected pixel into a coordinate value (x v w , y v w , z v w ) in the world coordinate system is calculated. Expressions (7) to (11) are shown below.
図９は、実施の形態１における世界座標系ｗ、車体座標系ｂおよびカメラ座標系ｃの関係図である。
式（６）〜式（１１）で用いられる世界座標系ｗ、車体座標系ｂおよびカメラ座標系ｃは図９に示す関係にある。
三次元点群１９８の三次元座標値は世界座標系ｗにおける値である。
車体座標系ｂにおいてＸ軸は計測車両２００の進行方向、Ｙ軸は高さ方向、Ｚ軸は計測車両２００の幅方向を示す。世界座標系ｗにおいてＸ軸は北方向、Ｙ軸は東方向、Ｚ軸は高さ方向を示す。
カメラ中心からカメラの視線方向（Ｘｃ軸方向）に焦点距離ｆだけ離れ、カメラの視線方向と直交する所定範囲の平面が撮像面となる。カメラ画像は撮像面に投影された像である。
FIG. 9 is a relationship diagram of the world coordinate system w, the vehicle body coordinate system b, and the camera coordinate system c in the first embodiment.
The world coordinate system w, the vehicle body coordinate system b, and the camera coordinate system c used in the equations (6) to (11) have the relationship shown in FIG.
The three-dimensional coordinate value of the three-dimensional point group 198 is a value in the world coordinate system w.
In the vehicle body coordinate system b, the X axis indicates the traveling direction of the measuring vehicle 200, the Y axis indicates the height direction, and the Z axis indicates the width direction of the measuring vehicle 200. In the world coordinate system w, the X axis indicates the north direction, the Y axis indicates the east direction, and the Z axis indicates the height direction.
A plane within a predetermined range that is separated from the camera center by the focal length f in the camera viewing direction ( Xc axis direction) and is orthogonal to the camera viewing direction is the imaging surface. The camera image is an image projected on the imaging surface.
図８に戻り、画素点群生成処理（Ｓ３２０）の説明を続ける。 Returning to FIG. 8, the description of the pixel point group generation process (S320) will be continued.
Ｓ３２３の後、処理はＳ３２４に進む。 After S323, the process proceeds to S324.
＜Ｓ３２４＞
画素点群生成部１２０は、世界座標系に変換した画像座標値を用いて、カメラ中心と選択画素とを通る直線をカメラ視線直線として算出する。
<S324>
The pixel point group generation unit 120 calculates a straight line passing through the camera center and the selected pixel as a camera visual line using the image coordinate values converted into the world coordinate system.
カメラ視線直線Ｌは、以下の式（１２）で算出される。 The camera line-of-sight straight line L is calculated by the following equation (12).
Ｓ３２４の後、処理はＳ３２５に進む。 After S324, the process proceeds to S325.
＜Ｓ３２５＞
画素点群生成部１２０は、Ｓ３２１で抽出した抽出点群からカメラ視線直線の近傍点を抽出する。
<S325>
The pixel point group generation unit 120 extracts a nearby point of the camera line of sight from the extracted point group extracted in S321.
例えば、画素点群生成部１２０は抽出点群を処理範囲画像１９１に投影し、抽出点群のうち選択画素の最も近くに投影された点を近傍点として抽出する。 For example, the pixel point group generation unit 120 projects the extracted point group onto the processing range image 191, and extracts a point projected closest to the selected pixel from the extracted point group as a neighboring point.
抽出点群（レーザ点群）を処理範囲画像１９１に投影する式（１３）および近傍点を算出する式（１４）〜式（１６）を以下に示す。
処理範囲画像１９１への投影式（１３）は、カメラ座標系ｃから世界座標系ｗへの前記変換式（６）に対応する逆変換式であり、世界座標系ｗの三次元座標値をカメラ座標系ｃの画像座標値に変換する。
抽出点群の中で式（１６）により求まる「ｍｉｎ」が最も小さい点が近傍点となる。
Expression (13) for projecting the extraction point group (laser point group) onto the processing range image 191 and Expressions (14) to (16) for calculating neighboring points are shown below.
The projection expression (13) on the processing range image 191 is an inverse conversion expression corresponding to the conversion expression (6) from the camera coordinate system c to the world coordinate system w, and the three-dimensional coordinate value of the world coordinate system w is converted to the camera. It is converted into image coordinate values in the coordinate system c.
A point having the smallest “min” obtained by the equation (16) in the extracted point group is a neighboring point.
Ｓ３２５の後、処理はＳ３２６に進む。 After S325, the process proceeds to S326.
＜Ｓ３２６＞
画素点群生成部１２０は、近傍点を通る平面を道路面として算出する。
<S326>
The pixel point group generation unit 120 calculates a plane passing through neighboring points as a road surface.
近傍点（ｘｌ ｗ、ｙｌ ｗ、ｚｌ ｗ）と特定の２点（ｘｌ２ ｗ、ｙｌ２ ｗ、ｚｌ２ ｗ）（ｘｌ３ ｗ、ｙｌ３ ｗ、ｚｌ３ ｗ）を通る平面Ｐ（道路面）は、以下の式（１７）で算出される。
例えば、世界座標系ｗにおいて、近傍点からｘ軸方向に１メートル離れた点と近傍点からｚ軸方向に１メートル離れた点を特定の２点とする。この場合、世界座標系ｗのｘ−ｚ面と平行な面が平面Ｐとして算出される。
A plane P passing through a neighboring point (x l w , y l w , z l w ) and two specific points (x l2 w , y l2 w , z l2 w ) (x l3 w , y l3 w , z l3 w ) (Road surface) is calculated by the following equation (17).
For example, in the world coordinate system w, a point that is 1 meter away from the neighboring point in the x-axis direction and a point that is 1 meter away from the neighboring point in the z-axis direction are defined as two specific points. In this case, a plane parallel to the xz plane of the world coordinate system w is calculated as the plane P.
Ｓ３２６の後、処理はＳ３２７に進む。 After S326, the process proceeds to S327.
＜Ｓ３２７＞
画素点群生成部１２０は、カメラ視線直線（式（１２））と道路面（式（１７））との交点を算出する。交点として三次元座標値が算出される。交点の三次元座標値は、選択画素に映った道路上の一地点（以下、「道路地点」という）の三次元座標値に相当する。
<S327>
The pixel point group generation unit 120 calculates the intersection of the camera line of sight (formula (12)) and the road surface (formula (17)). A three-dimensional coordinate value is calculated as the intersection. The three-dimensional coordinate value of the intersection corresponds to the three-dimensional coordinate value of one point on the road (hereinafter referred to as “road point”) reflected in the selected pixel.
図１０は、実施の形態１におけるカメラ視線直線、道路面および道路地点の関係図である。
図１０に示すように、カメラ中心と選択画素とを通るカメラ視線直線とカメラ視線直線の近傍点を含む道路面との交点は、選択画素に映った道路地点に相当する。
FIG. 10 is a relationship diagram of the camera line of sight, the road surface, and the road point in the first embodiment.
As shown in FIG. 10, the intersection of the camera line of sight passing through the camera center and the selected pixel and the road surface including the vicinity of the camera line of sight corresponds to the road point reflected in the selected pixel.
図８に戻り、画素点群生成処理（Ｓ３２０）の説明を続ける。 Returning to FIG. 8, the description of the pixel point group generation process (S320) will be continued.
Ｓ３２７の後、処理はＳ３２８に進む。 After S327, the process proceeds to S328.
＜Ｓ３２８＞
画素点群生成部１２０は、処理範囲画像１９１に未選択の画素が残っているか判定する。
未選択の画素が残っている場合（ＹＥＳ）、処理はＳ３２２に戻る。
未選択の画素が残っていない場合（ＮＯ）、処理はＳ３２９に進む。
<S328>
The pixel point group generation unit 120 determines whether unselected pixels remain in the processing range image 191.
If unselected pixels remain (YES), the process returns to S322.
If no unselected pixels remain (NO), the process proceeds to S329.
＜Ｓ３２９＞
画素点群生成部１２０は、処理範囲画像１９１の画素毎に画素の色情報（例えば、ＲＧＢ値）とＳ３２７で算出された当該画素に対応する三次元座標値（対応座標値）とを組み合わせたデータを画素点群１９２として生成する。各画素の色情報および対応座標値を「画素点」とする。
Ｓ３２９により、画素点群生成処理（Ｓ３２０）は終了する。
<S329>
The pixel point group generation unit 120 combines, for each pixel of the processing range image 191, pixel color information (for example, RGB values) and the three-dimensional coordinate values (corresponding coordinate values) corresponding to the pixels calculated in S327. Data is generated as a pixel point group 192. The color information of each pixel and the corresponding coordinate value are defined as “pixel points”.
By S329, the pixel point group generation process (S320) ends.
図５に戻り、道路三次元モデル生成処理（Ｓ３００）の説明を続ける。
画素点群生成処理（Ｓ３２０）により、カメラ画像と同等の分解能を有する三次元点群（画素点群１９２）を生成することができる。
Returning to FIG. 5, the description of the road three-dimensional model generation process (S300) will be continued.
Through the pixel point group generation process (S320), a three-dimensional point group (pixel point group 192) having a resolution equivalent to that of the camera image can be generated.
Ｓ３２０の後、処理はＳ３３０に進む。 After S320, the process proceeds to S330.
＜Ｓ３３０＞
画素補間点群生成部１３０は、画素点群１９２に基づいて、画素点が低密度である部分を補間する画素補間点群１９３を生成する。
<S330>
Based on the pixel point group 192, the pixel interpolation point group generation unit 130 generates a pixel interpolation point group 193 that interpolates a portion where the pixel points are low density.
カメラ画像は、遠近法により、カメラ２２０から近いものほど大きく映り、カメラ２２０から遠いものほど小さく映る。このため、画素毎に撮像範囲（分解能）は異なり、画素点を対応座標値に基づいて配置した場合、画素点の密度は均一にならない。画素点の密度は、対応座標値が撮像地点から近いほど高く、対応座標値が撮像地点から遠いほど低い。 According to the perspective method, the closer the camera image is to the camera 220, the larger the camera image, and the farther the camera 220, the smaller the camera image. For this reason, the imaging range (resolution) is different for each pixel, and when the pixel points are arranged based on the corresponding coordinate values, the density of the pixel points is not uniform. The density of pixel points is higher as the corresponding coordinate value is closer to the imaging point, and is lower as the corresponding coordinate value is farther from the imaging point.
Ｓ３３０では、低密度部分に画素点の隙間が生じないように、低密度部分のみを補間する画素補間点群１９３を生成する。十分な分解能が得られる高密度部分まで画素点の密度を高めてしまうと、データ量が膨大になってしまうからである。低密度部分のみを補間することにより、必要な分解能が得られると共に、データ量を抑えることができる。 In S330, a pixel interpolation point group 193 for interpolating only the low density portion is generated so that the gap between the pixel points does not occur in the low density portion. This is because if the density of pixel points is increased to a high density portion where sufficient resolution can be obtained, the amount of data becomes enormous. By interpolating only the low density portion, the necessary resolution can be obtained and the amount of data can be suppressed.
図１１は、実施の形態１における画素補間点群生成処理（Ｓ３３０）のフローチャートである。
実施の形態１における画素補間点群生成処理（Ｓ３３０）について、図１１に基づいて以下に説明する。
FIG. 11 is a flowchart of pixel interpolation point group generation processing (S330) in the first embodiment.
The pixel interpolation point group generation process (S330) in the first embodiment will be described below based on FIG.
＜Ｓ３３１＞
画素補間点群生成部１３０は、画素点群１９２を含む範囲を各画素点の対応座標値に基づいて設定し、設定した範囲を所定の大きさのボクセル（格子）で区分けするボクセルモデルを生成する。
各画素点は道路面に位置するため、ボクセルの高さは制限しなくてよい。つまり、ボクセルの高さを無制限とする。
ボクセルの大きさは必要な分解能に応じて定まり、ボクセルが小さいほど分解能は高く、ボクセルが大きいほど分解能は低い。
例えば、カメラ画像の最大分解能（例えば、４ミリメートル）をボクセルサイズとすることにより、画素点群１９２をカメラ画像の最大分解能で一様な点群に補間する画素補間点群１９３を生成することができる。
<S331>
The pixel interpolation point group generation unit 130 sets a range including the pixel point group 192 based on the corresponding coordinate value of each pixel point, and generates a voxel model that divides the set range by voxels (grids) of a predetermined size. To do.
Since each pixel point is located on the road surface, the height of the voxel need not be limited. That is, the voxel height is unlimited.
The size of the voxel is determined according to the required resolution. The smaller the voxel, the higher the resolution, and the larger the voxel, the lower the resolution.
For example, by setting the maximum resolution (for example, 4 millimeters) of the camera image to the voxel size, it is possible to generate the pixel interpolation point group 193 that interpolates the pixel point group 192 into a uniform point group with the maximum resolution of the camera image. it can.
図１２は、実施の形態１におけるボクセルモデルを示す図である。
図１２に示すように、ボクセルモデルは道路面（Ｘ−Ｚ平面）を格子状に区分けする。
FIG. 12 is a diagram illustrating a voxel model according to the first embodiment.
As shown in FIG. 12, the voxel model divides the road surface (XZ plane) into a grid pattern.
図１１に戻り、画素補間点群生成処理（Ｓ３３０）の説明を続ける。 Returning to FIG. 11, the description of the pixel interpolation point group generation processing (S330) will be continued.
Ｓ３３１の後、処理はＳ３３２に進む。 After S331, the process proceeds to S332.
＜Ｓ３３２＞
画素補間点群生成部１３０は、ボクセルモデルに画素点群１９２の各画素点を投票（設定または対応付け）する。
<S332>
The pixel interpolation point group generation unit 130 votes (sets or associates) each pixel point of the pixel point group 192 with the voxel model.
投票先のボクセルを求める式（１８）および式（１９）を以下に示す。
画素点は、式（１８）および式（１９）により求められる（Ｉ、Ｊ）番目のボクセルに投票される。「Ｉ」「Ｊ」はそれぞれ小数点以下を切り捨てた整数である。式中の「＋０．５」は四捨五入した値を「Ｉ」「Ｊ」とするためのものである。
Equations (18) and (19) for obtaining the voted voxel are shown below.
The pixel point is voted for the (I, J) -th voxel obtained by the equations (18) and (19). “I” and “J” are integers obtained by rounding down decimal places. “+0.5” in the formula is used to set the rounded values to “I” and “J”.
図１２において、画素点が投票されたボクセル（投票ボクセル）を網掛けで示す。（１、２）番目、（２、２）番目、（３、３）番目のボクセルが投票ボクセルである。 In FIG. 12, voxels (voting voxels) for which the pixel points have been voted are shown by shading. The (1,2) th, (2,2) th, and (3,3) th voxels are voting voxels.
ボクセルに投票された画素点の色情報および対応座標値を当該ボクセルに設定（または対応付け）し、当該ボクセルの色情報および対応座標値とする。
一つのボクセルに複数の画素点が投票された場合、投票された各画素点の色情報の平均値および投票された各画素点の対応座標値の平均値を当該ボクセルに設定する。
The color information and the corresponding coordinate value of the pixel point voted for the voxel are set (or associated) with the voxel to obtain the color information and the corresponding coordinate value of the voxel.
When a plurality of pixel points are voted for one voxel, an average value of color information of each voted pixel point and an average value of corresponding coordinate values of each voted pixel point are set in the voxel.
一つのボクセルに投票された複数の画素点を一つの画素点に集約して画素点を間引いてもよい。集約する一つの画素点には、当該ボクセルの色情報および対応座標値、つまり、当該ボクセルに投票された複数の画素点の平均値を設定する。 A plurality of pixel points voted for one voxel may be aggregated into one pixel point to thin out the pixel points. For one pixel point to be aggregated, color information and corresponding coordinate value of the voxel, that is, an average value of a plurality of pixel points voted for the voxel is set.
また、ボクセルに投票された画素点の対応座標値のうち高さ（Ｙ座標値）を除く座標値（Ｘ、Ｚ）を当該ボクセルの中心の座標値に変更してもよい。これにより、画素点（および画素補間点）を道路面（Ｘ−Ｚ平面）に一様に分布させることができる。 Further, the coordinate values (X, Z) excluding the height (Y coordinate value) among the corresponding coordinate values of the pixel points voted for the voxel may be changed to the coordinate value of the center of the voxel. Thereby, pixel points (and pixel interpolation points) can be uniformly distributed on the road surface (XZ plane).
Ｓ３３２の後、処理はＳ３３３に進む。 After S332, the process proceeds to S333.
＜Ｓ３３３＞
画素補間点群生成部１３０は、画素点が一つも投票されなかった各ボクセル（無投票ボクセル）のうち色情報および対応座標値が設定されていないボクセルをボクセルモデル内での順番で一つ選択する。
Ｓ３３３の後、処理はＳ３３４に進む。
<S333>
The pixel interpolation point group generation unit 130 selects one voxel in which the color information and the corresponding coordinate value are not set among the voxels in which no pixel point has been voted (no vote voxel) in order in the voxel model. To do.
After S333, the process proceeds to S334.
＜Ｓ３３４＞
画素補間点群生成部１３０は、選択した無投票ボクセルの色情報および対応座標値を当該無投票ボクセルに隣接するボクセル（隣接ボクセル）の色情報および対応座標値に基づいて設定する。
<S334>
The pixel interpolation point group generation unit 130 sets the color information and the corresponding coordinate value of the selected non-voting voxel based on the color information and the corresponding coordinate value of the voxel (adjacent voxel) adjacent to the non-voting voxel.
例えば、色情報および対応座標値が設定された隣接ボクセルが複数有る場合、各隣接ボクセルの色情報の平均値と各隣接ボクセルの高さの平均値とを隣接ボクセルの色情報および高さとして算出する。
そして、隣接ボクセルの色情報を当該無投票ボクセルに設定する。
また、当該無投票ボクセルの中心の座標値と隣接ボクセルの高さとを対応座標値として当該無投票ボクセルに設定する。
For example, when there are multiple adjacent voxels with color information and corresponding coordinate values set, the average value of the color information of each adjacent voxel and the average value of the height of each adjacent voxel are calculated as the color information and height of the adjacent voxel. To do.
And the color information of an adjacent voxel is set to the said non-voting voxel.
Further, the coordinate value of the center of the non-voting voxel and the height of the adjacent voxel are set as the corresponding coordinate values in the non-voting voxel.
色情報および対応座標値が設定された隣接ボクセルが無い場合、当該無投票ボクセルの色情報および対応座標値を設定せず、Ｓ３３４を終了する。
当該無投票ボクセルの設定は隣接ボクセルに色情報および対応座標値が設定された後に行われる。
If there is no adjacent voxel for which the color information and the corresponding coordinate value are set, the color information and the corresponding coordinate value of the non-voting voxel are not set, and S334 is ended.
The non-voting voxel is set after the color information and the corresponding coordinate value are set in the adjacent voxel.
Ｓ３３４の後、処理はＳ３３５に進む。 After S334, the process proceeds to S335.
＜Ｓ３３５＞
画素補間点群生成部１３０は、色情報および対応座標値が設定されていない無投票ボクセル（未設定ボクセル）が残っているか判定する。
未設定ボクセルが残っている場合（ＹＥＳ）、処理はＳ３３３に戻る。
未設定ボクセルが残っていない場合（ＮＯ）、処理はＳ３３６に進む。
<S335>
The pixel interpolation point group generation unit 130 determines whether or not non-voting voxels (unset voxels) for which color information and corresponding coordinate values are not set remain.
If unset voxels remain (YES), the process returns to S333.
If no unset voxels remain (NO), the process proceeds to S336.
＜Ｓ３３６＞
画素補間点群生成部１３０は、各無投票ボクセルに設定した色情報および対応座標値を画素補間点として、画素補間点群１９３を生成する。
Ｓ３３６により、画素補間点群生成処理（Ｓ３３０）は終了する。
<S336>
The pixel interpolation point group generation unit 130 generates a pixel interpolation point group 193 using the color information and corresponding coordinate values set for each non-voting voxel as pixel interpolation points.
By S336, the pixel interpolation point group generation process (S330) ends.
図５に戻り、道路三次元モデル生成処理（Ｓ３００）の説明を続ける。
画素補間点群生成処理（Ｓ３３０）により、所定の分解能で一様に分布する三次元点群（画素点群１９２、画素補間点群１９３）を生成することができる。
Returning to FIG. 5, the description of the road three-dimensional model generation process (S300) will be continued.
By the pixel interpolation point group generation process (S330), a three-dimensional point group (pixel point group 192, pixel interpolation point group 193) that is uniformly distributed with a predetermined resolution can be generated.
Ｓ３３０の後、処理はＳ３１９に進む。 After S330, the process proceeds to S319.
＜Ｓ３１９＞
画像処理部１１０は、未選択のカメラ画像が残っているか判定する。
未選択のカメラ画像が残っている場合（ＹＥＳ）、処理はＳ３１１に戻る。
未選択のカメラ画像が残っていない場合（ＮＯ）、処理はＳ３４０に進む。
<S319>
The image processing unit 110 determines whether an unselected camera image remains.
If an unselected camera image remains (YES), the process returns to S311.
If no unselected camera image remains (NO), the process proceeds to S340.
＜Ｓ３４０＞
道路三次元モデル生成部１４０は、画素点群１９２と画素補間点群１９３とをまとめたデータを道路三次元モデル１９４として生成する。
道路三次元モデル生成部１４０は、生成した道路三次元モデル１９４を出力する（表示、印刷、記憶など）。
Ｓ３４０により、道路三次元モデル生成処理（Ｓ３００）は終了する。
<S340>
The road three-dimensional model generation unit 140 generates data that combines the pixel point group 192 and the pixel interpolation point group 193 as a road three-dimensional model 194.
The road three-dimensional model generation unit 140 outputs the generated road three-dimensional model 194 (display, printing, storage, etc.).
By S340, a road three-dimensional model generation process (S300) is complete | finished.
図１３は、実施の形態１における道路三次元モデル１９４により表される画像を示した図である。
道路三次元モデル１９４を構成する色情報付きの各三次元点（画素点群１９２、画素補間点群１９３）をそれぞれの色情報および三次元座標値に基づいて画面表示すると、計測車両２００が走行した道路が図１３に示すように表される。
図４と比較すると、道路三次元モデル１９４はレーザレーダ２１０の三次元点群１９８に比べて点密度が高く、分解能が高いことがわかる。
また、道路三次元モデル１９４はカメラ画像に映る道路面が平面的であるのに対して道路面を立体的に表すことができる。
FIG. 13 is a diagram showing an image represented by the road three-dimensional model 194 in the first embodiment.
When each three-dimensional point with color information (pixel point group 192, pixel interpolation point group 193) constituting the road three-dimensional model 194 is displayed on the screen based on the respective color information and three-dimensional coordinate values, the measuring vehicle 200 travels. The road is shown as shown in FIG.
Compared to FIG. 4, the road three-dimensional model 194 has a higher point density and higher resolution than the three-dimensional point group 198 of the laser radar 210.
The road three-dimensional model 194 can represent the road surface in a three-dimensional manner, whereas the road surface reflected in the camera image is planar.
図１４は、実施の形態１における道路三次元モデル生成装置１００のハードウェア資源の一例を示す図である。
図１４において、道路三次元モデル生成装置１００は、ＣＰＵ９１１（マイクロプロセッサ、マイクロコンピュータともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、通信ボード９１５、表示装置９０１、キーボード９０２、マウス９０３、ドライブ装置９０４、プリンタ装置９０６、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。ドライブ装置９０４は、ＦＤ（Ｆｌｅｘｉｂｌｅ・Ｄｉｓｋ・Ｄｒｉｖｅ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｃ）などの記憶媒体を読み書きする装置である。
FIG. 14 is a diagram illustrating an example of hardware resources of the road three-dimensional model generation device 100 according to the first embodiment.
In FIG. 14, the road three-dimensional model generation device 100 includes a CPU 911 (also referred to as a microprocessor or a microcomputer). The CPU 911 is connected to the ROM 913, the RAM 914, the communication board 915, the display device 901, the keyboard 902, the mouse 903, the drive device 904, the printer device 906, and the magnetic disk device 920 via the bus 912, and controls these hardware devices. . The drive device 904 is a device that reads and writes a storage medium such as an FD (Flexible Disk Drive), a CD (Compact Disc), and a DVD (Digital Versatile Disc).
通信ボード９１５は、有線または無線で、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、電話回線などの通信網に接続している。 The communication board 915 is wired or wirelessly connected to a communication network such as a LAN (Local Area Network), the Internet, or a telephone line.
磁気ディスク装置９２０には、ＯＳ９２１（オペレーティングシステム）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。 The magnetic disk device 920 stores an OS 921 (operating system), a window system 922, a program group 923, and a file group 924.
プログラム群９２３には、実施の形態において「〜部」として説明する機能を実行するプログラムが含まれる。プログラムは、ＣＰＵ９１１により読み出され実行される。すなわち、プログラムは、「〜部」としてコンピュータを機能させるものであり、また「〜部」の手順や方法をコンピュータに実行させるものである。 The program group 923 includes programs that execute the functions described as “units” in the embodiment. The program is read and executed by the CPU 911. That is, the program causes the computer to function as “to part”, and causes the computer to execute the procedures and methods of “to part”.
ファイル群９２４には、実施の形態において説明する「〜部」で使用される各種データ（入力、出力、判定結果、計算結果、処理結果など）が含まれる。 The file group 924 includes various data (input, output, determination result, calculation result, processing result, etc.) used in “˜part” described in the embodiment.
実施の形態において構成図およびフローチャートに含まれている矢印は主としてデータや信号の入出力を示す。 In the embodiment, arrows included in the configuration diagrams and flowcharts mainly indicate input and output of data and signals.
実施の形態において「〜部」として説明するものは「〜回路」、「〜装置」、「〜機器」であってもよく、また「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ファームウェア、ソフトウェア、ハードウェアまたはこれらの組み合わせのいずれで実装されても構わない。 In the embodiment, what is described as “to part” may be “to circuit”, “to apparatus”, and “to device”, and “to step”, “to procedure”, and “to processing”. May be. That is, what is described as “to part” may be implemented by any of firmware, software, hardware, or a combination thereof.
実施の形態１において、例えば、以下のような道路三次元モデル生成装置１００について説明した。 In the first embodiment, for example, the following road three-dimensional model generation device 100 has been described.
計測車両２００は、ＧＰＳ／ＩＮＳ自己位置標定器（ＧＰＳ受信機２３０、ジャイロ２４０）、レーザレーダ、カメラを搭載する。レーザレーダにより車体周辺の３次元点群を取得し、カメラにより高分解能な色情報を取得する。
道路三次元モデル生成装置１００は、レーザレーダにより取得した離散的な３次元点を、カメラ画像の画素が示す点毎に補間処理することで、高分解能、高精度な３次元モデルを生成する。
道路の３次元モデルを生成することで３次元情報を取得することができ、凹凸に影響されない高精度な計測が可能となる。
また、レーザレーダにより取得した点を画素毎に補間することで、画像と同程度の高分解能な情報を取得することができる。これにより、従来は画像でしか判別できなかったため画像を切り替えて探索していた、道路上のひび割れ、マンホールなどの詳細情報を、３次元モデル上で確認、計測することが可能となる。
The measurement vehicle 200 is equipped with a GPS / INS self-localizer (GPS receiver 230, gyro 240), laser radar, and camera. A three-dimensional point cloud around the vehicle body is acquired by a laser radar, and high-resolution color information is acquired by a camera.
The road three-dimensional model generation apparatus 100 generates a high-resolution, high-precision three-dimensional model by interpolating discrete three-dimensional points acquired by a laser radar for each point indicated by a pixel of a camera image.
By generating a three-dimensional model of a road, three-dimensional information can be acquired, and high-precision measurement that is not affected by unevenness can be performed.
Further, by interpolating the points acquired by the laser radar for each pixel, it is possible to acquire information with high resolution comparable to that of the image. As a result, detailed information such as cracks on the road, manholes, and the like, which has been conventionally determined only by images and can be switched by switching images, can be confirmed and measured on a three-dimensional model.
実施の形態２．
ひび割れやマンホールなどの道路の詳細情報を道路三次元モデル１９４に基づいて確認および計測できるようにする形態について説明する。
以下、実施の形態１と異なる事項について主に説明する。説明を省略する事項は実施の形態１と同様である。
Embodiment 2. FIG.
A description will be given of a mode in which detailed information on roads such as cracks and manholes can be confirmed and measured based on the road three-dimensional model 194.
Hereinafter, items different from the first embodiment will be mainly described. Matters whose description is omitted are the same as those in the first embodiment.
図１５は、実施の形態２における道路三次元モデル生成装置１００の機能構成図である。
道路三次元モデル生成装置１００は、実施の形態１（図３）で説明した構成に加えて、二次元モデル画像生成部１５０（点群画像生成部の一例）を備える。
FIG. 15 is a functional configuration diagram of the road three-dimensional model generation device 100 according to the second embodiment.
The road three-dimensional model generation apparatus 100 includes a two-dimensional model image generation unit 150 (an example of a point cloud image generation unit) in addition to the configuration described in the first embodiment (FIG. 3).
二次元モデル画像生成部１５０は、道路三次元モデル１９４に含まれる各三次元点をそれぞれの座標値に基づいてＣＰＵを用いて特定の平面に投影することにより、二次元モデル画像１９５（点群画像の一例）をＣＰＵを用いて生成する。 The two-dimensional model image generation unit 150 projects each three-dimensional point included in the road three-dimensional model 194 onto a specific plane using the CPU based on the respective coordinate values, thereby obtaining a two-dimensional model image 195 (point group). An example of an image is generated using a CPU.
利用者は投影方法（中心投影、正射投影など）、投影平面（例えば、Ｘ−Ｚ平面）、視点などの投影情報を道路三次元モデル生成装置１００に指定する。
二次元モデル画像生成部１５０は指定された投影情報に基づいて道路三次元モデル１９４を投影平面に投影し、投影により得られた画像を出力（表示、印刷など）する。
The user designates projection information such as a projection method (center projection, orthographic projection, etc.), a projection plane (for example, an XZ plane), and a viewpoint to the road three-dimensional model generation apparatus 100.
The two-dimensional model image generation unit 150 projects the road three-dimensional model 194 on the projection plane based on the designated projection information, and outputs (displays, prints, etc.) an image obtained by the projection.
例えば、中心投影により中心投影画像、Ｘ−Ｚ平面への正射投影によりオルソ画像、Ｘ−Ｙ平面への正射投影により道路縦断画像、Ｙ−Ｚ平面への正射投影により道路横断画像が得られる。
中心投影画像、オルソ画像、道路縦断画像および道路横断画像は二次元モデル画像１９５の一例である。
For example, a central projection image is obtained by central projection, an ortho image is obtained by orthographic projection on the XZ plane, a road longitudinal image is obtained by orthographic projection on the XY plane, and a cross-road image is obtained by orthographic projection on the YZ plane. can get.
The center projection image, ortho image, road profile image, and road crossing image are examples of the two-dimensional model image 195.
道路三次元モデル１９４が複数存在し、道路三次元モデル１９４の一部（例えば、交差点）が重複する場合、例えばＧＰＳ受信機２３０の観測結果を元にデータに重みを付けて道路三次元モデル１９４をマージする。
これにより、計測誤差に依存せず相対精度を保つことができる。
例えば、白線、マンホール等のサイズを正確に出力することができる。また、日射条件の変化による画像の色ムラの影響を除去することができる。
When there are a plurality of road three-dimensional models 194 and a part of the road three-dimensional model 194 (for example, an intersection) overlaps, the road three-dimensional model 194 is weighted to data based on the observation result of the GPS receiver 230, for example. To merge.
Thereby, the relative accuracy can be maintained without depending on the measurement error.
For example, the size of white lines, manholes, etc. can be output accurately. In addition, it is possible to eliminate the influence of color unevenness in the image due to changes in the solar radiation conditions.
図１６〜図１８は、実施の形態２における道路三次元モデル１９４のオルソ画像を示す図である。
道路三次元モデル１９４のオルソ画像は、カメラ画像に映った白線のひび割れ（図１６）、白線や停止線などの道路標示（図１７）、マンホールの模様（図１８）などを詳細に表すことができる。
図１８は、図１７に示す枠Ａ内のマンホールを拡大した画像である。
16 to 18 are diagrams showing ortho images of the road three-dimensional model 194 in the second embodiment.
The ortho image of the road three-dimensional model 194 can represent in detail the cracks of the white lines (FIG. 16), road markings such as white lines and stop lines (FIG. 17), manhole patterns (FIG. 18), etc. it can.
FIG. 18 is an enlarged image of the manhole in frame A shown in FIG.
１００ 道路三次元モデル生成装置、１１０ 画像処理部、１２０ 画素点群生成部、１３０ 画素補間点群生成部、１４０ 道路三次元モデル生成部、１５０ 二次元モデル画像生成部、１８０ 三次元点群生成部、１９０ データ記憶部、１９１ 処理範囲画像、１９２ 画素点群、１９３ 画素補間点群、１９４ 道路三次元モデル、１９５ 二次元モデル画像、１９８ 三次元点群、２００ 計測車両、２１０ レーザレーダ、２２０ カメラ、２３０ ＧＰＳ受信機、２４０ ジャイロ、２５０ オドメトリ、２９１ 距離方位点群、２９２ 位置データ、２９３ 画像データ、２９９ パラメータデータ、９０１ 表示装置、９０２ キーボード、９０３ マウス、９０４ ドライブ装置、９０６ プリンタ装置、９１１ ＣＰＵ、９１２ バス、９１３ ＲＯＭ、９１４ ＲＡＭ、９１５ 通信ボード、９２０ 磁気ディスク装置、９２１ ＯＳ、９２２ ウィンドウシステム、９２３ プログラム群、９２４ ファイル群。 DESCRIPTION OF SYMBOLS 100 Road 3D model production | generation apparatus, 110 Image processing part, 120 pixel point group production | generation part, 130 pixel interpolation point group production | generation part, 140 Road 3D model production | generation part, 150 2D model image production | generation part, 180 3D point cloud production | generation Unit, 190 data storage unit, 191 processing range image, 192 pixel point group, 193 pixel interpolation point group, 194 road three-dimensional model, 195 two-dimensional model image, 198 three-dimensional point group, 200 measuring vehicle, 210 laser radar, 220 Camera, 230 GPS receiver, 240 gyro, 250 odometry, 291 distance azimuth point group, 292 position data, 293 image data, 299 parameter data, 901 display device, 902 keyboard, 903 mouse, 904 drive device, 906 printer device, 911 CPU, 912 bus, 9 3 ROM, 914 RAM, 915 communication board, 920 a magnetic disk device, 921 OS, 922 Window system, 923 Program group, 924 File group.
Claims (8)
前記特定地域が映った特定画像を記憶する画像記憶部と、
前記特定画像の画素に映った特定地点の座標値を前記座標点群に基づいてＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて画素毎に算出し、前記特定画像の複数画素それぞれの特定地点の座標値と前記特定画像の複数画素それぞれの色情報とを示す画素点群を生成する画素点群生成部と、
前記画素点群生成部により生成された画素点群に示される各特定地点の座標値に基づいて、特定地点間に位置する地点であって特定地点の密度が低い部分に位置する複数の低密度地点をＣＰＵを用いて特定する低密度地点特定部と、
前記低密度地点特定部により特定された複数の低密度地点それぞれの座標値と複数の低密度地点それぞれの色情報とを示す補間点群を前記画素点群に基づいてＣＰＵを用いて生成する補間点群生成部と、
前記画素点群生成部により生成された画素点群と前記補間点群生成部により生成された補間点群とを前記特定地域を表す地域モデルとして記憶するモデル記憶部とを備え、
前記低密度地点特定部は、前記特定地域を複数のボクセルで区分けし、前記画素点群を構成する各画素点をそれぞれの特定地点の座標値に基づいていずれかのボクセルに投票し、画素点が投票されなかった各ボクセル内に位置する地点を前記低密度地点として特定する
ことを特徴とするモデル生成装置。 A coordinate point group storage unit for storing a coordinate point group indicating coordinate values of a plurality of points in a specific area;
An image storage unit for storing a specific image showing the specific area;
The coordinate value of the specific point reflected in the pixel of the specific image is calculated for each pixel using a CPU (Central Processing Unit) based on the coordinate point group, and the coordinate value of the specific point of each of the plurality of pixels of the specific image A pixel point group generation unit that generates a pixel point group indicating color information of each of the plurality of pixels of the specific image;
Based on the coordinate values of each specific point shown in the pixel point group generated by the pixel point group generation unit, a plurality of low density points located between the specific points and located at a low density of the specific points A low-density point specifying unit for specifying a point using a CPU;
Interpolation that generates an interpolation point group indicating the coordinate values of each of the plurality of low density points specified by the low density point specifying unit and the color information of each of the plurality of low density points using the CPU based on the pixel point group A point cloud generation unit;
A model storage unit that stores the pixel point group generated by the pixel point group generation unit and the interpolation point group generated by the interpolation point group generation unit as an area model representing the specific area ;
The low-density point specifying unit divides the specific area by a plurality of voxels, votes each voxel constituting each pixel point group based on the coordinate value of each specific point, A model generation device characterized in that a point located in each voxel that has not been voted for is specified as the low-density point .
ことを特徴とする請求項１記載のモデル生成装置。 The low-density point specifying unit divides the specific area into voxels having a size corresponding to the maximum resolution of the specific image, votes each pixel point for a voxel, and specifies the low-density point. The model generation apparatus according to claim 1 .
ことを特徴とする請求項１または請求項２記載のモデル生成装置。 The low-density spot specifying unit divides the specific area into a plurality of voxels by a plane orthogonal to a height direction, votes each pixel point for a voxel, and specifies the low-density spot. 1 or model generation apparatus according to claim 2, wherein.
前記特定画像の視点側の所定範囲を処理範囲画像としてＣＰＵを用いて抽出する画像範囲抽出部を備え、
前記画素点群生成部は、前記画像範囲抽出部により抽出された処理範囲画像の画素点群を生成する
ことを特徴とする請求項１〜請求項３いずれかに記載のモデル生成装置。 The model generation device further includes:
An image range extraction unit that extracts a predetermined range on the viewpoint side of the specific image using a CPU as a processing range image;
The pixel point group generation unit, the model generation apparatus according to any one of claims 1 to 3, characterized in that generating a pixel point group of the extracted processing range image by the image range extraction unit.
前記座標点群記憶部は、特定地域内の複数地点の座標値を示す座標点群を記憶する記憶部であり、
前記画像記憶部は、前記特定地域が映った特定画像を記憶する記憶部であり、
前記画素点群生成部が、前記特定画像の画素に映った特定地点の座標値を前記座標点群に基づいてＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて画素毎に算出し、前記特定画像の複数画素それぞれの特定地点の座標値と前記特定画像の複数画素それぞれの色情報とを示す画素点群を生成し、
前記低密度地点特定部が、前記特定地域を複数のボクセルで区分けし、前記画素点群生成部により生成された画素点群を構成する各画素点をそれぞれの特定地点の座標値に基づいていずれかのボクセルに投票し、画素点が投票されなかった各ボクセル内に位置する地点を特定地点間に位置する地点であって特定地点の密度が低い部分に位置する複数の低密度地点としてＣＰＵを用いて特定し、
前記補間点群生成部が、前記低密度地点特定部により特定された複数の低密度地点それぞれの座標値と複数の低密度地点それぞれの色情報とを示す補間点群を前記画素点群に基づいてＣＰＵを用いて生成し、
前記モデル記憶部が、前記画素点群生成部により生成された画素点群と前記補間点群生成部により生成された補間点群とを前記特定地域を表す地域モデルとして記憶する
ことを特徴とするモデル生成方法。 A model generation method using a model generation device including a coordinate point group storage unit, an image storage unit, a pixel point group generation unit, a low-density point specifying unit, an interpolation point group generation unit, and a model storage unit. ,
The coordinate point group storage unit is a storage unit that stores a coordinate point group indicating coordinate values of a plurality of points in a specific area,
The image storage unit is a storage unit that stores a specific image showing the specific area,
The pixel point group generation unit calculates a coordinate value of a specific point reflected in a pixel of the specific image for each pixel using a CPU (Central Processing Unit) based on the coordinate point group, and a plurality of pixels of the specific image Generating a pixel point group indicating the coordinate value of each specific point and the color information of each of the plurality of pixels of the specific image;
Any said low-density point specification unit, wherein the specific area is divided in a plurality of voxels, based on the respective pixel points constituting the pixel point group generated by said pixel point group generation unit to the coordinate value of each specific point Voting to the voxel, the point located in each voxel where the pixel point was not voted is a point located between the specific points, and the CPU as a plurality of low density points located in the portion where the density of the specific point is low Identify using
Based on the pixel point group, the interpolation point group generation unit indicates an interpolation point group indicating coordinate values of a plurality of low density points specified by the low density point specifying unit and color information of the plurality of low density points. Generated using the CPU,
The model storage unit stores the pixel point group generated by the pixel point group generation unit and the interpolation point group generated by the interpolation point group generation unit as an area model representing the specific area. Model generation method.
前記座標点群記憶部は、特定地域内の複数地点の座標値を示す座標点群を記憶する記憶部であり、
前記画像記憶部は、前記特定地域が映った特定画像を記憶する記憶部であり、
前記画素点群生成部が、前記特定画像の画素に映った特定地点の座標値を前記座標点群に基づいてＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて画素毎に算出し、前記特定画像の複数画素それぞれの特定地点の座標値と前記特定画像の複数画素それぞれの色情報とを示す画素点群を生成し、
前記低密度地点特定部が、前記特定地域を複数のボクセルで区分けし、前記画素点群生成部により生成された画素点群を構成する各画素点をそれぞれの特定地点の座標値に基づいていずれかのボクセルに投票し、画素点が投票されなかった各ボクセル内に位置する地点を特定地点間に位置する地点であって特定地点の密度が低い部分に位置する複数の低密度地点としてＣＰＵを用いて特定し、
前記補間点群生成部が、前記低密度地点特定部により特定された複数の低密度地点それぞれの座標値と複数の低密度地点それぞれの色情報とを示す補間点群を前記画素点群に基づいてＣＰＵを用いて生成し、
前記点群画像生成部が、前記画素点群生成部により生成された画素点群と前記補間点群生成部により生成された補間点群とを各点の座標値に基づいてＣＰＵを用いて平面に投影することにより、前記特定地域が映った点群画像を生成する
ことを特徴とする点群画像生成方法。 A point cloud image generation method using a computer including a coordinate point cloud storage unit, an image storage unit, a pixel point cloud generation unit, a low density point identification unit, an interpolation point group generation unit, and a point cloud image generation unit There,
The coordinate point group storage unit is a storage unit that stores a coordinate point group indicating coordinate values of a plurality of points in a specific area,
The image storage unit is a storage unit that stores a specific image showing the specific area,
The pixel point group generation unit calculates a coordinate value of a specific point reflected in a pixel of the specific image for each pixel using a CPU (Central Processing Unit) based on the coordinate point group, and a plurality of pixels of the specific image Generating a pixel point group indicating the coordinate value of each specific point and the color information of each of the plurality of pixels of the specific image;
Any said low-density point specification unit, wherein the specific area is divided in a plurality of voxels, based on the respective pixel points constituting the pixel point group generated by said pixel point group generation unit to the coordinate value of each specific point Voting to the voxel, the point located in each voxel where the pixel point was not voted is a point located between the specific points, and the CPU as a plurality of low density points located in the portion where the density of the specific point is low Identify using
Based on the pixel point group, the interpolation point group generation unit indicates an interpolation point group indicating coordinate values of a plurality of low density points specified by the low density point specifying unit and color information of the plurality of low density points. Generated using the CPU,
The point cloud image generator generates a plane using the CPU based on the coordinate value of each point and the pixel point cloud generated by the pixel point cloud generator and the interpolation point cloud generated by the interpolation point cloud generator. A point cloud image generation method, wherein a point cloud image in which the specific area is reflected is generated by projecting onto the point cloud image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009142143A JP5322789B2 (en) | 2009-06-15 | 2009-06-15 | Model generation apparatus, model generation method, model generation program, point cloud image generation method, and point cloud image generation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009142143A JP5322789B2 (en) | 2009-06-15 | 2009-06-15 | Model generation apparatus, model generation method, model generation program, point cloud image generation method, and point cloud image generation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010287156A JP2010287156A (en) | 2010-12-24 |
| JP5322789B2 true JP5322789B2 (en) | 2013-10-23 |
Family
ID=43542788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009142143A Expired - Fee Related JP5322789B2 (en) | 2009-06-15 | 2009-06-15 | Model generation apparatus, model generation method, model generation program, point cloud image generation method, and point cloud image generation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5322789B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016090333A (en) * | 2014-10-31 | 2016-05-23 | 株式会社東芝 | Image processor, inspection equipment, image processing method, and image processing program |
| KR20170063002A (en) * | 2015-11-30 | 2017-06-08 | 현대엠엔소프트 주식회사 | Road Fingerprint Data Construction System and Method Using the LAS Data |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5602070B2 (en) * | 2011-03-15 | 2014-10-08 | 三菱電機株式会社 | POSITIONING DEVICE, POSITIONING METHOD OF POSITIONING DEVICE, AND POSITIONING PROGRAM |
| JP5879045B2 (en) * | 2011-04-21 | 2016-03-08 | 西日本旅客鉄道株式会社 | Track peripheral equipment space information acquisition system |
| JP5147980B1 (en) * | 2011-09-26 | 2013-02-20 | アジア航測株式会社 | Object multiple image associating device, data reproducing device thereof, and image processing system |
| JP4948689B1 (en) * | 2011-10-06 | 2012-06-06 | アジア航測株式会社 | Laser ortho image generating apparatus and program thereof |
| JP5602779B2 (en) * | 2012-03-08 | 2014-10-08 | 株式会社 日立産業制御ソリューションズ | On-site sketch drawing system and laser measuring device |
| US9191643B2 (en) * | 2013-04-15 | 2015-11-17 | Microsoft Technology Licensing, Llc | Mixing infrared and color component data point clouds |
| US9110163B2 (en) * | 2013-06-14 | 2015-08-18 | Microsoft Technology Licensing, Llc | Lidar-based classification of object movement |
| EP2853916A1 (en) * | 2013-09-25 | 2015-04-01 | Application Solutions (Electronics and Vision) Limited | A method and apparatus for providing a 3-dimensional ground surface model used for mapping |
| JP6084552B2 (en) * | 2013-11-06 | 2017-02-22 | 株式会社パスコ | Road surface orthoimage generation apparatus and generation method |
| JP6359868B2 (en) * | 2014-04-25 | 2018-07-18 | 東芝プラントシステム株式会社 | 3D data display device, 3D data display method, and 3D data display program |
| EP3220099B1 (en) | 2014-11-13 | 2019-11-06 | Olympus Corporation | Calibration device, calibration method, optical device, imaging device, projection device, measurement system, and measurement method |
| JP6590653B2 (en) * | 2014-11-19 | 2019-10-16 | 首都高技術株式会社 | Point cloud data utilization system |
| CN107923132B (en) | 2015-07-21 | 2020-08-04 | 株式会社东芝 | Crack analysis device, crack analysis method, and recording medium |
| CN105258708A (en) * | 2015-11-02 | 2016-01-20 | 中山大学 | Three-dimensional highway navigation display method and system |
| JP7054989B2 (en) * | 2016-06-20 | 2022-04-15 | 三菱電機株式会社 | Monitoring device |
| JP6501420B2 (en) | 2017-01-31 | 2019-04-17 | 株式会社トヨタマップマスター | Probe information processing apparatus, probe information processing method, computer program, and recording medium recording computer program |
| JP6766898B2 (en) * | 2017-02-15 | 2020-10-14 | トヨタ自動車株式会社 | Point cloud data processing device, point cloud data processing method, point cloud data processing program, vehicle control device and vehicle |
| WO2018179424A1 (en) * | 2017-03-31 | 2018-10-04 | 株式会社オプティム | Point group processing system |
| JP6495559B2 (en) * | 2017-03-31 | 2019-04-03 | 株式会社オプティム | Point cloud processing system |
| JP2019100995A (en) * | 2017-12-08 | 2019-06-24 | 株式会社トプコン | Measurement image display control unit, measurement image display control method, and program for measurement image display control |
| JP7015723B2 (en) * | 2018-04-11 | 2022-02-03 | パナソニック株式会社 | Object detection device, object detection system, and object detection method |
| DE102018110775A1 (en) | 2018-05-04 | 2019-11-07 | Valeo Schalter Und Sensoren Gmbh | Method for determining an orientation of an optoelectronic sensor by means of sampling points of a sensor image and optoelectronic sensor |
| CN109214982B (en) * | 2018-09-11 | 2022-09-20 | 大连理工大学 | Three-dimensional point cloud imaging method based on double-cylinder projection model |
| CN109271944B (en) | 2018-09-27 | 2021-03-12 | 百度在线网络技术（北京）有限公司 | Obstacle detection method, obstacle detection device, electronic apparatus, vehicle, and storage medium |
| CN110717940A (en) * | 2019-10-17 | 2020-01-21 | 南京鑫和汇通电子科技有限公司 | Surface rapid distinguishing and specific target identification method based on depth image |
| CN110687549B (en) * | 2019-10-25 | 2022-02-25 | 阿波罗智能技术(北京)有限公司 | Obstacle detection method and device |
| CN111415295B (en) * | 2020-03-17 | 2024-01-12 | 东南数字经济发展研究院 | Shooting resolution orthogram generation method of oblique shooting three-dimensional model |
| CN111667567B (en) * | 2020-05-27 | 2023-11-24 | 北京天工科仪空间技术有限公司 | Ionosphere three-dimensional display method and device |
| JP7082227B1 (en) | 2021-03-15 | 2022-06-07 | 株式会社パスコ | Road surface property survey system, road surface property survey device, and road surface property survey method |
| JP7241948B2 (en) * | 2021-03-15 | 2023-03-17 | 株式会社パスコ | Road surface condition investigation system, road surface condition investigation device, and road surface condition investigation method |
| JP7344488B2 (en) * | 2021-12-13 | 2023-09-14 | アイサンテクノロジー株式会社 | Three-dimensional model data generation device, computer program, and three-dimensional model data generation method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11185059A (en) * | 1997-12-19 | 1999-07-09 | Minolta Co Ltd | Three-dimensional shaped data processor and modeling system |
| EP3112802B1 (en) * | 2007-02-16 | 2019-10-09 | Mitsubishi Electric Corporation | Road feature measurement apparatus and road feature measuring method |
-
2009
- 2009-06-15 JP JP2009142143A patent/JP5322789B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016090333A (en) * | 2014-10-31 | 2016-05-23 | 株式会社東芝 | Image processor, inspection equipment, image processing method, and image processing program |
| US9710899B2 (en) | 2014-10-31 | 2017-07-18 | Kabushiki Kaisha Toshiba | Image processing device, inspection device, image processing method, and non-transitory recording medium |
| KR20170063002A (en) * | 2015-11-30 | 2017-06-08 | 현대엠엔소프트 주식회사 | Road Fingerprint Data Construction System and Method Using the LAS Data |
| KR102441100B1 (en) * | 2015-11-30 | 2022-09-06 | 현대오토에버 주식회사 | Road Fingerprint Data Construction System and Method Using the LAS Data |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010287156A (en) | 2010-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5322789B2 (en) | Model generation apparatus, model generation method, model generation program, point cloud image generation method, and point cloud image generation program | |
| KR101265667B1 (en) | Device for 3d image composition for visualizing image of vehicle around and method therefor | |
| JP5073123B2 (en) | Camera distance measuring device | |
| JP4918676B2 (en) | Calibration apparatus and calibration method | |
| KR102249769B1 (en) | Estimation method of 3D coordinate value for each pixel of 2D image and autonomous driving information estimation method using the same | |
| JP5844454B2 (en) | Camera calibration method, camera calibration program, and camera calibration apparatus | |
| JP4619962B2 (en) | Road marking measurement system, white line model measurement system, and white line model measurement device | |
| KR20130138247A (en) | Rapid 3d modeling | |
| WO2014142669A1 (en) | Method for generating a panoramic image | |
| JP2010507127A (en) | Computer apparatus and method for matching position data of different sources | |
| JP2016218694A (en) | Three-dimensional model generation device, three-dimensional model generation method, and program | |
| JP2007107962A (en) | Measuring system of measuring object and separated measuring system under transmission line | |
| KR101255461B1 (en) | Position Measuring Method for street facility | |
| CN113015884B (en) | Image processing apparatus and image processing method | |
| CN116630444A (en) | Optimization method for fusion calibration of camera and laser radar | |
| KR101409802B1 (en) | System for analysis space information using three dimensions 3d scanner | |
| CN112530010A (en) | Data acquisition method and system | |
| CN116958218A (en) | Point cloud and image registration method and equipment based on calibration plate corner alignment | |
| CN116563370A (en) | Distance measurement method and speed measurement method based on monocular computer vision | |
| JP5230354B2 (en) | POSITIONING DEVICE AND CHANGED BUILDING DETECTION DEVICE | |
| CN112254653B (en) | Program control method for 3D information acquisition | |
| WO2022133986A1 (en) | Accuracy estimation method and system | |
| JP2001324313A (en) | Three-dimensional shape measuring instrument | |
| CN113593026A (en) | Lane line marking auxiliary map generation method and device and computer equipment | |
| JP2017062848A (en) | Calibration method, program, and computer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120509 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130312 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130415 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130618 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130716 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5322789 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |