JP7122901B2 - breakline extraction program, breakline extraction system - Google Patents

breakline extraction program, breakline extraction system Download PDF

Info

Publication number
JP7122901B2
JP7122901B2 JP2018140246A JP2018140246A JP7122901B2 JP 7122901 B2 JP7122901 B2 JP 7122901B2 JP 2018140246 A JP2018140246 A JP 2018140246A JP 2018140246 A JP2018140246 A JP 2018140246A JP 7122901 B2 JP7122901 B2 JP 7122901B2
Authority
JP
Japan
Prior art keywords
breakline
partial image
coordinate
provisional
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018140246A
Other languages
Japanese (ja)
Other versions
JP2020017109A (en
Inventor
悦司 北川
広和 村木
智史 安彦
将 米田
拓実 津村
諒 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokusai Kogyo Co Ltd
Original Assignee
Kokusai Kogyo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kokusai Kogyo Co Ltd filed Critical Kokusai Kogyo Co Ltd
Priority to JP2018140246A priority Critical patent/JP7122901B2/en
Publication of JP2020017109A publication Critical patent/JP2020017109A/en
Application granted granted Critical
Publication of JP7122901B2 publication Critical patent/JP7122901B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Description

本願発明は、地物等の3次元モデルの作成に関する技術であり、より具体的には、3次元点群データからより正確なブレイクラインを抽出することができるブレイクライン抽出プログラム、ブレイクライン抽出システムに関するものである。 The present invention relates to the creation of a three-dimensional model of a feature or the like, and more specifically, a breakline extraction program and breakline extraction system capable of extracting more accurate breaklines from three-dimensional point cloud data. It is about.

地形図を作製するため広範囲に渡って計測を行う場合、従来では航空機から撮影した空中写真を利用する空中写真測量が一般的であったが、近年では航空レーザ計測も多用されるようになった。 In the past, aerial photogrammetry using aerial photographs taken from aircraft was commonly used when performing measurements over a wide area to create topographic maps, but in recent years, aerial laser measurements have also come to be used frequently. .

空中写真測量は、同一箇所を写した異なる2枚の空中写真を一組とするステレオペア写真を用意し、双方の写真に写された同一対象物を同定するとともに、その対象物の写真上の位置の相違(視差)を利用して地上における対象物の座標を求める手法である。 Aerial photogrammetry prepares a pair of stereo pairs of aerial photographs of the same location, identifies the same object in both photographs, and identifies the object on the photograph. This is a method of obtaining the coordinates of an object on the ground using the difference in position (parallax).

一方の航空レーザ計測は、計測したい地形の上空を航空機で飛行し、地形に対して照射したレーザパルスの反射信号を受けて計測するものである。航空機には通常、全球測位衛星システム(GNSS:Global Navigation Satellite System)などの測位計とIMU(Inertial Measurement Unit)などの慣性計測装置が搭載されているためレーザパルスの照射位置(x,y,z)と照射姿勢(ω,φ,κ)を把握することができ、その結果、照射時刻と受信時刻の時間差から計測点(レーザパルスが反射した地点)の3次元座標を得ることができるわけである。また昨今では、航空機にレーザ計測器を搭載する航空レーザ計測のほか、地上にレーザ計測器を設置して計測する地上型レーザ計測も広まりつつある。 On the other hand, in the aerial laser measurement, an aircraft is flown over the terrain to be measured, and the reflection signal of the laser pulse irradiated to the terrain is received and the measurement is performed. Since the aircraft is usually equipped with a positioning instrument such as a global navigation satellite system (GNSS) and an inertial measurement device such as an IMU (Inertial Measurement Unit), the laser pulse irradiation position (x, y, z ) and the irradiation attitude (ω, φ, κ), and as a result, the three-dimensional coordinates of the measurement point (the point where the laser pulse is reflected) can be obtained from the time difference between the irradiation time and the reception time. be. In addition to airborne laser measurement, in which a laser measuring instrument is mounted on an aircraft, terrestrial laser measurement, in which a laser measuring instrument is installed on the ground for measurement, is also becoming widespread these days.

空中写真測量や航空レーザ計測、地上型レーザ計測などによれば、3次元座標を有する多数の計測点(以下、多数の計測点のことを「点群」という。)が得られる。3次元座標のままでは点群の相対的な位置関係を把握し難いこともあって、通常はこの点群から作成される3次元モデルを利用する。3次元モデルは、点群の3次元座標に基づいて計測対象の形状をいわば3次元的に再現したものであり、「数値表層モデル(DSM:DigitalSurfaceModel)」や「数値標高モデル(DEM:DigitalElevationModel)」などを例示することができる。これらDSMやDEMは多数のメッシュによって構成されることが多く、メッシュごとの代表点に高さを与えることでモデルを形成している。なおメッシュの代表点に高さを与える手法としては、ランダムデータから形成される不整三角網によって高さを求めるTIN(TriangulatedIrregularNetwork)による手法、最も近い計測点を採用する最近隣法(NearestNeighbor)による手法、逆距離加重法(IDW)、Kriging法、平均法など従来から用いられる種々の手法が採用される。 According to aerial photogrammetry, aerial laser measurement, terrestrial laser measurement, etc., a large number of measurement points having three-dimensional coordinates (hereinafter, a large number of measurement points are referred to as "point cloud") are obtained. Since it is difficult to grasp the relative positional relationship of the point group using the three-dimensional coordinates, a three-dimensional model created from the point group is usually used. The three-dimensional model is a so-called three-dimensional reproduction of the shape of the object to be measured based on the three-dimensional coordinates of the point cloud. ” can be exemplified. These DSMs and DEMs are often composed of a large number of meshes, and a model is formed by giving a height to a representative point of each mesh. As a method of giving a height to a representative point of a mesh, a method by TIN (Triangulated Irregular Network) that obtains the height from an irregular triangular network formed from random data, and a method by the nearest neighbor method (Nearest Neighbor) that adopts the nearest measurement point. , inverse distance weighting (IDW), Kriging method, averaging method, and other conventional methods are employed.

3次元モデルを作成する場合、正確なブレイクラインを設定することが極めて重要である。ここでブレイクラインとは、異なる2面の境界線であり、図7(a)のケースでは上面SF1と側面SF2によってブレイクラインBL1が形成され、側面SF2と下面SF3によってブレイクラインBL2が形成されている。例えば図7(b)に示すオフィスビルの3次元モデルを作成する場合、4つの略鉛直面によって形成される4つのブレイクライン(略鉛直方向)や、略鉛直面と略水平面によって形成されるブレイクライン(略水平方向)などを正確に表現(再現)することが重要となる。 When creating a 3D model, it is extremely important to set accurate breaklines. In the case of FIG. 7A, the break line BL1 is formed by the top surface SF1 and the side surface SF2, and the break line BL2 is formed by the side surface SF2 and the bottom surface SF3. there is For example, when creating a three-dimensional model of an office building shown in FIG. It is important to accurately express (reproduce) lines (substantially horizontally) and the like.

ブレイクラインは、TINなどの手法によって面を形成するときに欠かせないものであり、またダウンサンプリングする際に残すべき点として抽出するときに、沈下や隆起など形状変化を把握するときに、あるいはCAD(Computer Aided Design)図面との整合性を図るときに欠かせないものである。 Breaklines are indispensable when forming a surface by a technique such as TIN, and when extracting points to be left in downsampling, when grasping shape changes such as subsidence or upheaval, or when It is essential for matching with CAD (Computer Aided Design) drawings.

従来、点群からブレイクラインを設定するに当たっては、平面と平面の交線を用いる手法や、各点群の法線ベクトルを用いる手法、平面の輪郭線を用いる手法などが採用されていた。特許文献1では、同一平面に投影した計測点の配置から地物の輪郭線(ブレイクライン)を設定する発明を開示しており、特許文献2では、セグメント点群からラインデータを抽出したうえで地物の輪郭線(ブレイクライン)を設定する発明を開示している。 Conventionally, when setting breaklines from a point group, a method using a plane-to-plane intersection line, a method using a normal vector of each point group, a method using a contour line of a plane, and the like have been adopted. Patent Document 1 discloses an invention for setting contour lines (break lines) of features from the arrangement of measurement points projected onto the same plane. Patent Document 2 discloses an invention in which line data is extracted from a segment point cloud It discloses an invention for setting contour lines (breaklines) of features.

特開2014-106118号公報JP 2014-106118 A 特開2016-205975号公報JP 2016-205975 A

特許文献1や特許文献2に開示される発明を用いればブレイクラインを自動設定することができるが、これらの発明を含む従来技術はいずれも、ブレイクラインの正確さが点群の密度に依存するため安定的に正確なブレイクラインが得られないという問題が指摘されていた。特にブレイクライン周辺の計測点の密度が少ないと正確にブレイクラインを設定することができず、その結果、計測対象(例えば地物)を適切に表現(再現)した3次元モデルを得ることができない。 Breaklines can be automatically set using the inventions disclosed in Patent Document 1 and Patent Document 2, but in any of the conventional techniques including these inventions, the accuracy of the breaklines depends on the density of the point cloud. Therefore, it has been pointed out that a stable and accurate breakline cannot be obtained. In particular, if the density of measurement points around the breakline is low, the breakline cannot be set accurately, and as a result, a 3D model that appropriately expresses (reproduces) the measurement target (for example, a feature) cannot be obtained. .

本願発明の課題は、従来の問題を解決することであり、すなわち点群の密度に依存することなく従来技術より正確なブレイクラインを安定的に設定することができる、ブレイクライン抽出プログラム、ブレイクライン抽出システムを提供することである。 SUMMARY OF THE INVENTION An object of the present invention is to solve the conventional problem, that is, a breakline extracting program, breakline It is to provide an extraction system.

本願発明は、暫定的に設定したブレイクラインと画像を照合することによって、そのブレイクラインを正しい位置に補正する、という点に着目したものであり、従来にはなかった発想に基づいてなされた発明である。 The invention of the present application focuses on correcting the breakline to the correct position by collating the temporarily set breakline with the image. is.

本願発明のブレイクライン抽出プログラムは、3次元点群データからブレイクラインを抽出する機能をコンピュータに実行させるプログラムであって、暫定ブレイクライン設定処理と部分画像抽出処理、部分画像出力処理、構成点座標算出処理をコンピュータに実行させる機能を備えたものである。暫定ブレイクライン設定処理は、3次元点群データから得られた暫定ブレイクラインの座標に基づいて、座標付与画像(3次元座標と対応付けられた画像)上で暫定ブレイクラインを設定する処理である。部分画像抽出処理は、暫定ブレイクラインを基準に設定される部分画像を、座標付与画像から抽出する処理である。部分画像出力処理は、部分画像抽出処理で抽出された部分画像を表示手段に出力する処理である。そして構成点座標算出処理は、表示手段に出力された部分画像を確認しながらオペレータが部分画像上に設定した確定ブレイクラインに基づいて、確定ブレイクラインを構成するブレイクライン構成点の座標を求める処理である。この場合、部分画像出力処理によって、部分画像上に暫定ブレイクラインを表示させることもできる。 A breakline extraction program according to the present invention is a program that causes a computer to execute a function of extracting breaklines from three-dimensional point cloud data. It has a function of causing a computer to execute calculation processing. The provisional breakline setting process is a process of setting provisional breaklines on a coordinate-added image (image associated with three-dimensional coordinates) based on the coordinates of the provisional breaklines obtained from the three-dimensional point cloud data. . The partial image extraction process is a process of extracting a partial image set based on the provisional breakline from the coordinate-given image. The partial image output process is a process of outputting the partial image extracted by the partial image extraction process to the display means. The composing point coordinate calculation process is a process of obtaining the coordinates of the breakline composing points forming the definite breakline based on the definite breakline set on the partial image by the operator while confirming the partial image output to the display means. is. In this case, it is also possible to display a temporary breakline on the partial image by partial image output processing.

本願発明のブレイクライン抽出プログラムは、オペレータ操作によることなく確定ブレイクラインを自動生成する処理を、コンピュータに実行させる機能を備えたものとすることもできる。この場合、構成点座標算出処理によって、部分画像抽出処理で抽出された部分画像の各画素が有する画素値に基づいて確定ブレイクラインを生成する。 The breakline extracting program of the present invention can also have a function of causing a computer to automatically generate a definite breakline without an operator's operation. In this case, the definite breakline is generated by the component point coordinate calculation process based on the pixel value of each pixel of the partial image extracted by the partial image extraction process.

本願発明のブレイクライン抽出プログラムは、ブレイクライン構成点抽出処理をコンピュータに実行させる機能を備えたものとすることもできる。このブレイクライン構成点抽出処理は、構成点座標算出処理で求められたブレイクライン構成点の座標に基づいて、ブレイクライン構成点に対応する点を3次元点群データから抽出する処理である。 The breakline extracting program of the present invention can also have a function of causing a computer to execute the breakline composing point extracting process. This breakline composing point extraction process is a process of extracting points corresponding to the breakline composing points from the three-dimensional point cloud data based on the coordinates of the breakline composing points obtained by the composing point coordinate calculation process.

本願発明のブレイクライン抽出プログラムは、ブレイクライン構成点追加処理をコンピュータに実行させる機能を備えたものとすることもできる。このブレイクライン構成点追加処理は、構成点座標算出処理で求められた座標が付与されたブレイクライン構成点を、3次元点群データに追加する処理である。 The breakline extracting program of the present invention can also have a function of causing a computer to execute breakline composing point addition processing. This breakline composing point addition process is a process of adding the breakline composing points to which the coordinates obtained by the composing point coordinate calculation process are given to the three-dimensional point cloud data.

本願発明のブレイクライン抽出システムは、3次元点群データからブレイクラインを抽出するシステムであって、暫定ブレイクライン設定手段と部分画像抽出手段、表示手段、確定ブレイクライン入力手段、構成点座標算出手段を備えたものである。暫定ブレイクライン設定手段は、3次元点群データから得られた暫定ブレイクラインの座標に基づいて、3次元座標と対応付けられた座標付与画像上で暫定ブレイクラインを設定する手段である。部分画像抽出手段は、暫定ブレイクラインを基準に設定される部分画像を、座標付与画像から抽出する手段である。表示手段は、部分画像抽出処理で抽出された部分画像を表示する手段である。確定ブレイクライン入力手段は、表示手段に出力された部分画像を確認しながら、オペレータが部分画像上に確定ブレイクラインを設定する手段である。そして構成点座標算出手段は、確定ブレイクライン入力手段で設定された確定ブレイクラインを構成するブレイクライン構成点の座標を求める手段である。 A breakline extraction system of the present invention is a system for extracting breaklines from three-dimensional point cloud data, and comprises provisional breakline setting means, partial image extraction means, display means, fixed breakline input means, and constituent point coordinate calculation means. is provided. The provisional breakline setting means is a means for setting provisional breaklines on the coordinate assigned image associated with the three-dimensional coordinates based on the coordinates of the provisional breaklines obtained from the three-dimensional point cloud data. The partial image extracting means is means for extracting a partial image set based on the provisional breakline from the coordinate-given image. The display means is means for displaying the partial image extracted by the partial image extraction process. The fixed breakline input means is means for the operator to set a fixed breakline on the partial image while confirming the partial image output to the display means. The composing point coordinate calculating means is means for calculating the coordinates of the breakline composing points forming the definite breakline set by the definite breakline input means.

本願発明のブレイクライン抽出システムは、暫定ブレイクライン設定手段と部分画像抽出手段、確定ブレイクライン生成手段、構成点座標算出手段を備えたものとすることもできる。この確定ブレイクライン生成手段は、部分画像抽出処理で抽出された部分画像の各画素が有する画素値に基づいて確定ブレイクラインを生成する手段である。 The breakline extracting system of the present invention can also comprise provisional breakline setting means, partial image extracting means, fixed breakline generating means, and constituent point coordinate calculating means. This fixed breakline generating means is a means for generating a fixed breakline based on the pixel value of each pixel of the partial image extracted by the partial image extraction process.

本願発明のブレイクライン抽出プログラム、ブレイクライン抽出システムには、次のような効果がある。
(1)画像上で明確に表れた境界線に基づいて設定することから、従来技術より正確なブレイクラインを設定することができ、すなわち計測対象をより適切に表現した3次元モデルを得ることができる。
(2)正確なブレイクラインが得られることから、重要な点を適切に残したダウンサンプリングを実行することができる。
(3)適切な3次元モデルが得られることから、沈下や隆起といった形状変化をより正確に把握することができ、3次元モデルとCAD図面との整合性を容易かつ効率的に図ることができる。
The breakline extraction program and breakline extraction system of the present invention have the following effects.
(1) Since the setting is based on the boundary lines that clearly appear on the image, it is possible to set more accurate breaklines than in the prior art, that is, to obtain a three-dimensional model that more appropriately expresses the object to be measured. can.
(2) Since accurate breaklines can be obtained, downsampling can be performed while appropriately retaining important points.
(3) Since an appropriate 3D model can be obtained, shape changes such as subsidence and upheaval can be grasped more accurately, and consistency between the 3D model and CAD drawings can be easily and efficiently achieved. .

入力型ブレイクライン抽出プログラムの主な処理の流れを示すフロー図。FIG. 4 is a flowchart showing the flow of main processing of an input-type breakline extraction program; (a)は暫定ブレイクラインが表示された座標付与画像を示す画像図、(b)は座標付与画像から抽出された部分画像を示す画像図。(a) is an image diagram showing a coordinate-given image in which a temporary breakline is displayed, and (b) is an image diagram showing a partial image extracted from the coordinate-given image. 暫定ブレイクラインを基準に設定される部分画像の領域を示すモデル図。FIG. 4 is a model diagram showing a partial image area set based on a provisional breakline; 自動生成型ブレイクライン抽出プログラムの主な処理の流れを示すフロー図。FIG. 4 is a flowchart showing the flow of main processing of an automatically generated breakline extraction program; 入力型ブレイクライン抽出プログラムの主な構成を示すブロック図。4 is a block diagram showing the main configuration of an input-type breakline extraction program; FIG. 自動生成型ブレイクライン抽出プログラムの主な構成を示すブロック図。FIG. 2 is a block diagram showing the main configuration of an automatically generated breakline extraction program; (a)は、上面と側面によって形成されるブレイクラインと側面と下面によって形成されるブレイクラインを示す斜視図、(b)はオフィスビルに形成されるブレイクラインを説明する斜視図。(a) is a perspective view showing a breakline formed by an upper surface and a side surface and a breakline formed by a side surface and a lower surface, and (b) is a perspective view explaining a breakline formed in an office building.

本願発明のブレイクライン抽出プログラム、ブレイクライン抽出システムの実施形態の一例を、図に基づいて説明する。本願発明のブレイクライン抽出システムは、本願発明のブレイクライン抽出プログラムを実行するシステムである。したがって、まずは本願発明のブレイクライン抽出プログラムについて説明し、その後に本願発明のブレイクライン抽出システムについて説明することとする。 An example of an embodiment of the breakline extraction program and breakline extraction system of the present invention will be described with reference to the drawings. The breakline extraction system of the present invention is a system that executes the breakline extraction program of the present invention. Therefore, the breakline extracting program of the present invention will be described first, and then the breakline extracting system of the present invention will be described.

1.ブレイクライン抽出プログラム
本願発明のブレイクライン抽出プログラムは、3次元座標を具備する多数の計測点データ(以下、「3次元点群データ」という、)からブレイクラインを抽出する機能をコンピュータに実行させるプログラムである。ここで3次元座標とは、平面位置と高さの情報を持つ座標であり、3軸の直交座標系における座標(X,Y,Z)や測地座標系における緯度・経度・標高などを例示することができる。本願発明のブレイクライン抽出プログラムによってブレイクラインを抽出する過程では、3次元点群データから暫定的にブレイクライン(以下、「暫定ブレイクラインBLt」という。)を求め、この暫定ブレイクラインBLtを利用して部分的な画像(以下、「部分画像」という。)を切り出し、そして部分画像に基づいて最終的なブレイクライン(以下、「確定ブレイクラインBLc」という。)を確定する。なお本願発明のブレイクライン抽出プログラムは、オペレータ操作によって確定ブレイクラインBLcを設定する形式(以下、「入力型ブレイクライン抽出プログラム」という。)と、部分画像から確定ブレイクラインBLcを自動生成する形式(以下、「自動生成型ブレイクライン抽出プログラム」という。)に大別することができる。以下、入力型ブレイクライン抽出プログラムと自動生成型ブレイクライン抽出プログラムについてそれぞれ順に説明する。
1. Breakline extraction program The breakline extraction program of the present invention is a program that causes a computer to execute the function of extracting breaklines from a large number of measurement point data having three-dimensional coordinates (hereinafter referred to as "three-dimensional point cloud data"). is. Here, the three-dimensional coordinates are coordinates having information of plane position and height, and examples include coordinates (X, Y, Z) in a triaxial orthogonal coordinate system and latitude, longitude, and altitude in a geodetic coordinate system. be able to. In the process of extracting breaklines by the breakline extraction program of the present invention, breaklines (hereinafter referred to as "provisional breaklines BLt") are obtained provisionally from the three-dimensional point cloud data, and these provisional breaklines BLt are used. A partial image (hereinafter referred to as a "partial image") is cut out using a partial image, and a final breakline (hereinafter referred to as a "determined breakline BLc") is determined based on the partial image. It should be noted that the breakline extraction program of the present invention has a format in which a defined breakline BLc is set by an operator operation (hereinafter referred to as an "input-type breakline extraction program") and a format in which a defined breakline BLc is automatically generated from a partial image ( hereinafter referred to as "automatically generated breakline extraction program"). The input type breakline extraction program and the automatic generation type breakline extraction program will be described below in order.

(入力型ブレイクライン抽出プログラム)
図1を参照しながら、入力型ブレイクライン抽出プログラムについて説明する。図1は、入力型ブレイクライン抽出プログラムの主な処理の流れを示すフロー図である。はじめに画像に3次元座標を対応付けて「座標付与画像」を作成する(Step10)。この画像は、抽出しようとするブレイクラインを含む範囲を取得したものであって、3次元点群が配置される領域のうち一部あるいは全部を含む範囲を取得した画像である。
(input-type breakline extraction program)
An input-type breakline extraction program will be described with reference to FIG. FIG. 1 is a flowchart showing the flow of main processing of an input-type breakline extraction program. First, a "coordinate-assigned image" is created by associating three-dimensional coordinates with an image (Step 10). This image is obtained by obtaining a range including the breakline to be extracted, and is an image obtained by obtaining a range including part or all of the area in which the three-dimensional point group is arranged.

上記したとおり座標付与画像は、3次元座標が対応付けられた画像であり、例えば画素(ピクセル)ごとに3次元座標が付与されている。この座標付与画像は、従来の写真測量技術や、近年多用されているSfM(Structure from Motion)などを利用して作成することができ、レーザスキャナによる3次元座標データと画像が独立して用意されている場合はICP(Iterative Closest Point)を利用して画像に3次元座標を付与することもできる。なお、座標付与画像があらかじめ用意されているときは座標付与画像を作成する処理(Step10)を省略することができ、すなわち当該処理は入力型ブレイクライン抽出プログラムにとって必須ではない。 As described above, the coordinate-assigned image is an image associated with three-dimensional coordinates, and for example, three-dimensional coordinates are assigned to each pixel. This coordinate-assigned image can be created using conventional photogrammetry techniques or SfM (Structure from Motion), which has been widely used in recent years. 3D coordinates can be added to the image using ICP (Iterative Closest Point). Note that when the coordinate-added image is prepared in advance, the process of creating the coordinate-added image (Step 10) can be omitted, that is, the process is not essential for the input-type breakline extraction program.

座標付与画像の作成(あるいは、既製の座標付与画像の準備)とは別に、空中写真測量や航空レーザ計測(地上型レーザ計測)などの計測を行うことで取得した3次元点群データから暫定ブレイクラインBLtを設定する(Step20)。この暫定ブレイクラインBLtは、平面と平面の交線を用いる手法や、各点群の法線ベクトルを用いる手法、平面の輪郭線を用いる手法など従来用いられている手法によって設定することができる。 Apart from the creation of coordinate-attached images (or preparation of ready-made coordinate-attached images), provisional breaks are made from 3D point cloud data obtained by performing measurements such as aerial photogrammetry and airborne laser measurement (terrestrial laser measurement). A line BLt is set (Step 20). This temporary breakline BLt can be set by a conventionally used method such as a method using a plane-to-plane intersection line, a method using a normal vector of each point group, or a method using a plane outline.

座標付与画像が作成され(あるいは、既製の座標付与画像が準備され)、暫定ブレイクラインBLtが設定されると、座標付与画像のうち暫定ブレイクラインBLtを含む範囲を切り出して部分画像を抽出する(Step30)。以下、部分画像の抽出処理について詳しく説明する。 When a coordinate-given image is created (or a ready-made coordinate-given image is prepared) and provisional breaklines BLt are set, a range including the provisional breakline BLt is cut out of the coordinate-given image to extract a partial image ( Step 30). The partial image extraction processing will be described in detail below.

まず、座標付与画像上で、暫定ブレイクラインBLtを設定する。既述のとおり座標付与画像は3次元座標を具備しており、もちろん暫定ブレイクラインBLtも3次元座標を具備していることから、座標付与画像においても暫定ブレイクラインBLtを表すことができるわけである。ただし、座標付与画像の3次元座標の座標系と暫定ブレイクラインBLtの3次元座標の座標系が異なる場合は、一方の3次元座標を他方の座標系に変換したうえで暫定ブレイクラインBLtを設定する。 First, a provisional breakline BLt is set on the coordinate-given image. As described above, the coordinate-attached image has three-dimensional coordinates, and of course the provisional breakline BLt also has three-dimensional coordinates. Therefore, the coordinate-attached image can also represent the provisional breakline BLt. be. However, if the three-dimensional coordinate system of the coordinate-added image and the three-dimensional coordinate system of the provisional breakline BLt are different, the provisional breakline BLt is set after converting one of the three-dimensional coordinates into the other coordinate system. do.

図2は、暫定ブレイクラインBLtと部分画像PHbの関係を説明する画像図であり、(a)は暫定ブレイクラインBLtが表示された座標付与画像PHaを示す画像図、(b)は座標付与画像PHaから抽出された部分画像PHbを示す画像図である。また図3は、暫定ブレイクラインBLtを基準に設定される部分画像PHbの領域を示すモデル図である。図2(a)では実際の境界線DL(実線で示す)とともに暫定ブレイクラインBLt(破線で示す)が表示されているが、本来であれば暫定ブレイクラインBLtは境界線DLと重なるべきところ、その暫定ブレイクラインBLtの位置は若干ずれている。既述したとおり、従来手法により設定されるブレイクラインは、その正確さが点群の密度に依存するため図2(a)のような状態が生じ得るわけである。 2A and 2B are image diagrams for explaining the relationship between the temporary breakline BLt and the partial image PHb, where (a) is an image diagram showing the coordinate-assigned image PHa displaying the temporary breakline BLt, and (b) is the coordinate-assigned image. FIG. 4 is an image diagram showing a partial image PHb extracted from PHa; FIG. 3 is a model diagram showing the area of the partial image PHb set with reference to the provisional breakline BLt. In FIG. 2A, the actual boundary line DL (solid line) and the provisional break line BLt (broken line) are displayed. The position of the provisional break line BLt is slightly shifted. As described above, the accuracy of the breakline set by the conventional method depends on the density of the point group, so the state shown in FIG. 2(a) can occur.

図2(a)に示すように座標付与画像上で暫定ブレイクラインBLtが設定されると、暫定ブレイクラインBLtを基準とした拡張領域を設定する。具体的には図3に示すように、暫定ブレイクラインBLtを中心に拡張幅WDだけ広げた拡張領域を設定する。そして、座標付与画像PHaからこの拡張領域に相当する画像を切り出して、図2(b)に示す部分画像PHbを抽出する。なお、拡張領域を設定するに当たっては、図3に示す手法に限らず、暫定ブレイクラインBLtの左右を非対象にしたり、楕円や多角形を含む形状としたり、様々な手法で設定することができる。もちろん図3に示す拡張幅WDに関しても、要求仕様に応じて任意の寸法(あるいは画素数)で設計することができる。また、ブレイクラインが複数の線分によって(つまり、折れ線によって)構成される場合は、線分ごとにそれぞれ拡張領域を設定し部分画像PHbを抽出するとよい。 When the provisional breakline BLt is set on the coordinate-given image as shown in FIG. 2(a), an extended area is set with reference to the provisional breakline BLt. Specifically, as shown in FIG. 3, an extension area is set by extending an extension width WD around the provisional break line BLt. Then, an image corresponding to this extended area is cut out from the coordinate assigned image PHa to extract a partial image PHb shown in FIG. 2(b). In setting the expansion area, the setting is not limited to the method shown in FIG. 3, and can be set by various methods such as making the right and left of the provisional break line BLt asymmetric, or using a shape including an ellipse or a polygon. . Of course, the extension width WD shown in FIG. 3 can also be designed with arbitrary dimensions (or the number of pixels) according to the required specifications. If the breakline is composed of a plurality of line segments (that is, polygonal lines), it is preferable to set an extension region for each line segment and extract the partial image PHb.

部分画像PHbが抽出できると、ディスプレイなどの表示手段にこの部分画像PHbを表示する(Step41)。このとき、部分画像PHbのみを表示する仕様としてもよいし、部分画像PHbに暫定ブレイクラインBLtを重ねて表示する仕様としてもよい。そして、表示手段に表示された部分画像PHb(あるいは、部分画像PHbと暫定ブレイクラインBLt)を確認しながら、オペレータが本来設定されるべきブレイクラインを確定ブレイクラインBLcとして入力する(Step42)。このときオペレータは、暫定ブレイクラインBLtを基準とした部分画像PHbの範囲のみを目視すればよく、図2(b)に示すように部分画像PHbを見れば明確に境界線DLを確認することができることから、容易に確定ブレイクラインBLcを入力することができるわけである。なお、オペレータ操作によって確定ブレイクラインBLcを入力するには、マウスやキーボード等の入力手段を用いて画像上をトレスする手法や、画像上の境界線DLの特徴点(端点や変化点)を指定(クリック)する手法など、従来用いられている種々の手法を採用することができる。 When the partial image PHb can be extracted, the partial image PHb is displayed on display means such as a display (Step 41). At this time, only the partial image PHb may be displayed, or the partial image PHb may be superimposed with the provisional breakline BLt. Then, while confirming the partial image PHb (or the partial image PHb and the temporary breakline BLt) displayed on the display means, the operator inputs the breakline to be originally set as the fixed breakline BLc (Step 42). At this time, the operator only has to look at the range of the partial image PHb based on the provisional break line BLt, and can clearly confirm the boundary line DL by looking at the partial image PHb as shown in FIG. 2(b). Therefore, it is possible to easily input the defined break line BLc. In addition, in order to input the fixed break line BLc by operator operation, a method of tracing the image using an input means such as a mouse or a keyboard, or specifying a feature point (end point or change point) of the boundary line DL on the image can be performed. Various methods conventionally used, such as a (clicking) method, can be employed.

確定ブレイクラインBLcが設定できると、この確定ブレイクラインBLcを構成する点(以下、「ブレイクライン構成点」という。)の3次元座標を、座標付与画像PHa(つまり、部分画像PHb)の標定要素に基づいて算出する(Step50)。このとき、確定ブレイクラインBLcのうち端点や変化点といった特徴点を抽出してブレイクライン構成点とすることもできるし、これに加えて(あるいは代えて)確定ブレイクラインBLcを表す直線式(3次元座標系における一般式)を算出したうえで当該直線式上にある点を所定間隔で抽出してブレイクライン構成点とすることもできる。 When the defined breakline BLc can be set, the three-dimensional coordinates of the points forming this defined breakline BLc (hereinafter referred to as "breakline composing points") are assigned to the orientation elements of the coordinate-given image PHa (that is, the partial image PHb). (Step 50). At this time, it is possible to extract characteristic points such as end points and change points from the defined break line BLc and use them as break line composing points. It is also possible to calculate a general formula in a dimensional coordinate system, extract points on the linear formula at predetermined intervals, and use them as breakline composing points.

ブレイクライン構成点を抽出してそれぞれの3次元座標が算出されると、座標付与画像の標定要素を参照しながらこれらブレイクライン構成点と3次元点群データを照らし合わせる。なおこの3次元点群データは、暫定ブレイクラインBLtを設定した3次元点群データである。ブレイクライン構成点と3次元点群データを照らし合わせた結果、ブレイクライン構成点と同一あるいは近似する(閾値距離内にある)計測点データが3次元点群データから検出されると、この計測点データにはブレイクラインを構成する点であることが記録される(Step60)。一方、ブレイクライン構成点と同一あるいは近似する計測点データが3次元点群データから検出されない場合は、そのブレイクライン構成点を新たに3次元点群データのデータとして追加するとよい(Step60)。 When the breakline composing points are extracted and their three-dimensional coordinates are calculated, these breakline composing points are compared with the three-dimensional point cloud data while referring to the orientation elements of the coordinate-given image. This three-dimensional point cloud data is three-dimensional point cloud data in which provisional breaklines BLt are set. As a result of comparing the breakline point cloud data with the 3D point cloud data, if measurement point data that is the same as or similar to the breakline point cloud data (within a threshold distance) is detected from the 3D point cloud data, this measurement point It is recorded in the data that the point constitutes a breakline (Step 60). On the other hand, if measurement point data identical or similar to the breakline composing point is not detected from the 3D point cloud data, the breakline composing point should be newly added as data of the 3D point cloud data (Step 60).

3次元点群データからブレイクラインを構成する計測点が抽出され、新たにブレイクライン構成点が3次元点群データに追加されると、この3次元点群データからブレイクラインを設定し、3次元モデルを作成する(Step70)。ここで設定されるブレイクラインは、確定ブレイクラインBLcを基礎としているためその位置は正確であり、したがってこのブレイクラインに基づいて作成される3次元モデルも計測対象(例えば地物)を適切に表現(再現)したものとなっているわけである。 When measurement points forming breaklines are extracted from the 3D point cloud data and new breakline composing points are added to the 3D point cloud data, breaklines are set from the 3D point cloud data, and 3D A model is created (Step 70). Since the breaklines set here are based on the defined breaklines BLc, their positions are accurate, and therefore the three-dimensional model created based on these breaklines also appropriately represents the measurement object (for example, a feature). It is (reproduced).

(自動生成型ブレイクライン抽出プログラム)
図4を参照しながら、自動生成型ブレイクライン抽出プログラムについて説明する。図4は、自動生成型ブレイクライン抽出プログラムの主な処理の流れを示すフロー図である。入力型ブレイクライン抽出プログラムと同様、はじめに座標付与画像を作成し(Step10)、従来技術によって3次元点群データから暫定ブレイクラインBLtを設定し(Step20)、そして暫定ブレイクラインBLtを基準に部分画像を抽出する(Step30)。このケースでも、座標付与画像があらかじめ用意されているときは座標付与画像を作成する処理(Step10)を省略することができ、すなわち当該処理は自動生成型ブレイクライン抽出プログラムにとって必須ではない。
(Automatically generated breakline extraction program)
An automatically generated breakline extraction program will be described with reference to FIG. FIG. 4 is a flowchart showing the main processing flow of the automatically generated breakline extraction program. As with the input-type breakline extraction program, a coordinate-assigned image is first created (Step 10), provisional breaklines BLt are set from the three-dimensional point cloud data by a conventional technique (Step 20), and a partial image based on the provisional breakline BLt is extracted (Step 30). Even in this case, when the coordinate-added image is prepared in advance, the process of creating the coordinate-added image (Step 10) can be omitted, that is, the process is not essential for the automatically generated breakline extraction program.

部分画像PHbが抽出できると、従来用いられている画像処理技術によって確定ブレイクラインBLcを生成する(Step43)。具体的には、部分画像PHbを構成する画素に付与された画素値に基づいて、すなわち隣接画素間における画素値の差や画素値勾配(画素値差を画素間距離で除した値)などを利用して明確な境界(エッジ)を抽出し、これを確定ブレイクラインBLcとする。なお画素値としては、RGBやCMYK(Cyan、Magenta、Yellow、Keycolor)、NCS、オストワルト表色系といった色モデルで定められる値を採用することもできるし、グレースケールを採用することもできる。 When the partial image PHb can be extracted, a definite breakline BLc is generated by a conventionally used image processing technique (Step 43). Specifically, based on the pixel values assigned to the pixels forming the partial image PHb, that is, the pixel value difference between adjacent pixels, the pixel value gradient (a value obtained by dividing the pixel value difference by the inter-pixel distance), and the like are calculated. Using this, a clear boundary (edge) is extracted, and this is defined as a definite breakline BLc. As pixel values, values determined by color models such as RGB, CMYK (Cyan, Magenta, Yellow, Keycolor), NCS, and Ostwald color system can be used, and grayscale can also be used.

通常、画像処理技術によってエッジを抽出するときは比較的大きな(広い範囲の)画像を対象とするため、処理に時間がかかるうえ、場合によっては正確に抽出できない(あるいは抽出できない)ことすらある。ところが自動生成型ブレイクライン抽出プログラムは、部分画像PHbの範囲のみを検索すれば足りることから、処理時間も短く、しかも比較的正確に確定ブレイクラインBLcを抽出することができる。さらに、事前処理として暫定ブレイクラインBLtを表す形状(例えば、3次元座標系における直線式)を算出しておけば、当該形状を頼りに確定ブレイクラインBLcを抽出することができるため、より短時間で処理でき、より正確に抽出することができて極めて好適となる。従来多用されているRANSAC(Random Sampling Consensus)法やハフ変換といった画像処理では、抽出結果(例えば抽出された直線)の上に最も多くの特徴点(例えばエッジなど)が存在するかどうかを判断基準としている。一方、本願発明では,暫定ブレイクラインBLtの形状と、この暫定ブレイクラインBLtに基づく部分画像PHbとを照らし合わせることで確定ブレイクラインBLcを抽出する。したがって、RANSAC法などの従来手法では、たとえ形状が著しく相違していたとしても色勾配(エッジ)が明確であればそれを結果として抽出してしまうが、本願発明では,色勾配(エッジ)に加え暫定ブレイクラインBLtの形状にしたがって検出することから従来手法に比してより高精度に確定ブレイクラインBLcを抽出することができるわけである。 Normally, when edges are extracted by image processing technology, a relatively large (wide range) image is targeted, so processing takes a long time, and in some cases, it may not be possible (or even impossible) to extract edges accurately. However, the automatic generation type breakline extraction program only needs to search the range of the partial image PHb, so that the processing time is short and the defined breakline BLc can be extracted relatively accurately. Furthermore, if a shape representing the provisional breakline BLt (for example, a linear expression in a three-dimensional coordinate system) is calculated as a preprocessing, the final breakline BLc can be extracted by relying on the shape. and can be extracted more accurately, which is extremely suitable. In image processing such as the RANSAC (Random Sampling Consensus) method and Hough transform, which have been widely used in the past, the judgment criterion is whether or not the largest number of feature points (such as edges) exist on the extraction result (such as the extracted straight line). and On the other hand, in the present invention, the final breakline BLc is extracted by comparing the shape of the provisional breakline BLt with the partial image PHb based on the provisional breakline BLt. Therefore, in the conventional method such as the RANSAC method, even if the shape is significantly different, if the color gradient (edge) is clear, it will be extracted as a result. In addition, since it is detected according to the shape of the provisional breakline BLt, it is possible to extract the definite breakline BLc with higher precision than the conventional method.

確定ブレイクラインBLcが生成できると、入力型ブレイクライン抽出プログラムと同様、ブレイクライン構成点の3次元座標を算出し(Step50)、3次元点群データからブレイクラインを構成する計測点を抽出し、新たにブレイクライン構成点が3次元点群データに追加する(Step60)。そして、3次元点群データからブレイクラインを設定したうえで3次元モデルを作成する(Step70)。 When the definite breakline BLc can be generated, the three-dimensional coordinates of the breakline composing points are calculated (Step 50) in the same manner as in the input-type breakline extraction program, and the measurement points constituting the breakline are extracted from the three-dimensional point cloud data, New breakline composing points are added to the three-dimensional point cloud data (Step 60). Then, after setting breaklines from the 3D point group data, a 3D model is created (Step 70).

2.ブレイクライン抽出システム
次に本願発明のブレイクライン抽出システムについて図を参照しながら説明する。なお、本願発明のブレイクライン抽出システムは、ここまで説明したブレイクライン抽出プログラムを実行するシステムであり、したがってブレイクライン抽出プログラムで説明した内容と重複する説明は避け、本願発明のブレイクライン抽出システムに特有の内容のみ説明することとする。すなわち、ここに記載されていない内容は、「1.ブレイクライン抽出プログラム」で説明したものと同様である。また本願発明のブレイクライン抽出システムは、本願発明のブレイクライン抽出プログラムと同様、オペレータ操作によって確定ブレイクラインBLcを設定する「入力型ブレイクライン抽出システム」と、部分画像から確定ブレイクラインBLcを自動生成する「自動生成型ブレイクライン抽出システム」に大別することができる。以下、入力型ブレイクライン抽出システムと自動生成型ブレイクライン抽出システムについてそれぞれ順に説明する。
2. Breakline Extraction System Next, the breakline extraction system of the present invention will be described with reference to the drawings. The breakline extraction system of the present invention is a system that executes the breakline extraction program described so far. Only specific content will be described. That is, the contents not described here are the same as those described in "1. Breakline extraction program". Further, the breakline extraction system of the present invention, like the breakline extraction program of the present invention, is an "input-type breakline extraction system" that sets a definite breakline BLc by an operator's operation, and automatically generates a definite breakline BLc from a partial image. It can be broadly classified into “automatically generated breakline extraction system”. The input type breakline extraction system and the automatic generation type breakline extraction system will be described below in order.

(入力型ブレイクライン抽出システム)
図5を参照しながら、入力型ブレイクライン抽出システム100aについて説明する。図5は、入力型ブレイクライン抽出システム100aの主な構成を示すブロック図である。この図に示すように入力型ブレイクライン抽出システム100aは、暫定ブレイクライン設定手段101と部分画像抽出手段102、表示手段103、確定ブレイクライン入力手段104、構成点座標算出手段105を含んで構成され、さらに3次元点群データ記憶手段106や座標付与画像記憶手段107、構成点抽出追加手段108、3次元モデル作成手段109を含んで構成することもできる。
(Input-type breakline extraction system)
The input-type breakline extraction system 100a will be described with reference to FIG. FIG. 5 is a block diagram showing the main configuration of the input-type breakline extraction system 100a. As shown in this figure, the input-type breakline extraction system 100a includes provisional breakline setting means 101, partial image extraction means 102, display means 103, fixed breakline input means 104, and component point coordinate calculation means 105. Furthermore, it is also possible to include three-dimensional point cloud data storage means 106, coordinate-added image storage means 107, component point extraction/addition means 108, and three-dimensional model creation means 109. FIG.

図5に示す各手段は、それぞれの手段が行う内容が記述されたプログラムを実行するものであり、専用のものとして製造することもできるし、汎用的なコンピュータ装置を利用することもできる。このコンピュータ装置は、パーソナルコンピュータ(PC)や、iPad(登録商標)といったタブレット型端末やスマートフォン、あるいはPDA(Personal Data Assistance)などによって構成することができる。コンピュータ装置は、CPU等のプロセッサ、ROMやRAMといったメモリを具備しており、さらにマウスやキーボード等の入力手段やディスプレイを含むものもある。なお、一般的なPCであればマウスやキーボード等のデバイスから入力するが、タブレット型端末やスマートフォンではタッチパネルを用いた操作(タップ、ピンチイン/アウト、スライド等)で入力することが多い。 Each means shown in FIG. 5 executes a program describing the contents to be performed by each means, and can be manufactured as a dedicated one, or a general-purpose computer device can be used. This computer device can be configured by a personal computer (PC), a tablet terminal such as an iPad (registered trademark), a smart phone, a PDA (Personal Data Assistance), or the like. A computer device includes a processor such as a CPU, memory such as a ROM and a RAM, and may further include input means such as a mouse and a keyboard, and a display. In the case of a general PC, input is performed using a device such as a mouse or keyboard, but in tablet terminals and smartphones, input is often performed using a touch panel (tap, pinch in/out, slide, etc.).

図5に示す暫定ブレイクライン設定手段101は暫定ブレイクライン設定処理(図1に示すStep20)を実行する手段であり、部分画像抽出手段102は部分画像抽出処理(図1に示すStep30)を実行する手段であり、表示手段103はディスプレイなど部分画像を表示する手段であり、確定ブレイクライン入力手段104はマウスやキーボードなど確定ブレイクラインを入力する手段であり、構成点座標算出手段105は構成点座標算出処理(図1に示すStep50)を実行する手段である。また、3次元点群データ記憶手段106は3次元点群データを記憶する手段であり、座標付与画像記憶手段107は座標付与画像を記憶する手段であり、構成点抽出追加手段108は3次元点群データ記憶手段106に構成点を抽出・追加する処理(図1に示すStep60)を実行する手段であり、3次元モデル作成手段109は3次元モデル作成処理(図1に示すStep70)を実行する手段である。なお3次元点群データ記憶手段106と座標付与画像記憶手段107は、例えばデータベースサーバに構築することができ、それぞれ異なるデータベースサーバに構築してもよいし、1つのデータベースサーバを兼用して構築してもよい。また3次元点群データ記憶手段106と座標付与画像記憶手段107は、ローカルなネットワークに置くこともできるし、もちろんインターネット経由で保存するクラウドサーバとすることもできる。 Temporary breakline setting means 101 shown in FIG. 5 is means for executing temporary breakline setting processing (Step 20 shown in FIG. 1), and partial image extraction means 102 executes partial image extraction processing (Step 30 shown in FIG. 1). The display means 103 is means for displaying a partial image such as a display, the determined breakline input means 104 is means for inputting a determined breakline such as a mouse or keyboard, and the constituent point coordinate calculation means 105 is means for calculating the constituent point coordinates. It is means for executing the calculation process (Step 50 shown in FIG. 1). The three-dimensional point cloud data storage means 106 is means for storing three-dimensional point cloud data, the coordinate-given image storage means 107 is means for storing coordinate-given images, and the constituent point extraction/addition means 108 is means for storing three-dimensional point data. It is means for executing the process of extracting and adding constituent points to the group data storage means 106 (Step 60 shown in FIG. 1), and the three-dimensional model creation means 109 executes the three-dimensional model creation process (Step 70 shown in FIG. 1). It is a means. The three-dimensional point cloud data storage means 106 and the coordinate-added image storage means 107 can be constructed in, for example, a database server. may The three-dimensional point cloud data storage means 106 and the coordinate-added image storage means 107 can be placed in a local network, or can of course be a cloud server for storage via the Internet.

(自動生成型ブレイクライン抽出システム)
図6を参照しながら、自動生成型ブレイクライン抽出システム100bについて説明する。図6は、自動生成型ブレイクライン抽出システム100bの主な構成を示すブロック図である。この図に示すように自動生成型ブレイクライン抽出システム100bは、暫定ブレイクライン設定手段101と部分画像抽出手段102、確定ブレイクライン生成手段110、構成点座標算出手段105を含んで構成され、さらに表示手段103や3次元点群データ記憶手段106、座標付与画像記憶手段107、構成点抽出追加手段108、3次元モデル作成手段109を含んで構成することもできる。
(Automatically generated breakline extraction system)
The automatically generated breakline extraction system 100b will be described with reference to FIG. FIG. 6 is a block diagram showing the main configuration of the automatically generated breakline extraction system 100b. As shown in this figure, the automatic generation type breakline extraction system 100b includes provisional breakline setting means 101, partial image extraction means 102, fixed breakline generation means 110, and component point coordinate calculation means 105. Means 103 , three-dimensional point cloud data storage means 106 , coordinate-added image storage means 107 , component point extraction/addition means 108 , and three-dimensional model creation means 109 can also be included.

図6に示す各手段は、それぞれの手段が行う内容が記述されたプログラムを実行するものであり、入力型ブレイクライン抽出システム100aと同様、専用のものとして製造することもできるし、汎用的なコンピュータ装置を利用することもできる。 Each means shown in FIG. 6 executes a program in which the contents of each means are described. Computer equipment may also be used.

図6に示す暫定ブレイクライン設定手段101は暫定ブレイクライン設定処理(図4に示すStep20)を実行する手段であり、部分画像抽出手段102は部分画像抽出処理(図4に示すStep30)を実行する手段であり、確定ブレイクライン生成手段110は確定ブレイクラインの生成処理(図4に示すStep43)を実行する手段であり、構成点座標算出手段105は構成点座標算出処理(図4に示すStep50)を実行する手段である。また、3次元点群データ記憶手段106は3次元点群データを記憶する手段であり、座標付与画像記憶手段107は座標付与画像を記憶する手段であり、構成点抽出追加手段108は3次元点群データ記憶手段106に構成点を抽出・追加する処理(図4に示すStep60)を実行する手段であり、3次元モデル作成手段109は3次元モデル作成処理(図4に示すStep70)を実行する手段である。この場合の3次元点群データ記憶手段106と座標付与画像記憶手段107も、入力型ブレイクライン抽出システム100aと同様、例えばデータベースサーバに構築することができ、それぞれ異なるデータベースサーバに構築してもよいし、1つのデータベースサーバを兼用して構築してもよい。また3次元点群データ記憶手段106と座標付与画像記憶手段107は、ローカルなネットワークに置くこともできるし、もちろんインターネット経由で保存するクラウドサーバとすることもできる。 Temporary breakline setting means 101 shown in FIG. 6 is means for executing temporary breakline setting processing (Step 20 shown in FIG. 4), and partial image extraction means 102 executes partial image extraction processing (Step 30 shown in FIG. 4). The defined breakline generation means 110 is means for executing the defined breakline generation process (Step 43 shown in FIG. 4), and the constituent point coordinate calculation means 105 is means for executing the constituent point coordinate calculation process (Step 50 shown in FIG. 4). is a means of executing The three-dimensional point cloud data storage means 106 is means for storing three-dimensional point cloud data, the coordinate-given image storage means 107 is means for storing coordinate-given images, and the constituent point extraction/addition means 108 is means for storing three-dimensional point data. 3D model creation means 109 executes the 3D model creation process (Step 70 shown in FIG. 4). It is a means. The three-dimensional point cloud data storage means 106 and the coordinate-added image storage means 107 in this case can also be constructed in, for example, a database server, as in the input-type breakline extraction system 100a, and may be constructed in different database servers. However, one database server may also be used for construction. The three-dimensional point cloud data storage means 106 and the coordinate-added image storage means 107 can be placed in a local network, or can of course be a cloud server for storage via the Internet.

本願発明のブレイクライン抽出プログラム、ブレイクライン抽出システムは、橋梁や擁壁といった土木構造物や集合住宅やオフィスビルといった建築構造物などの人工構造物の3次元モデルを作成するために利用することができるほか、自然地形の3次元モデルを作成するために利用することができる。本願発明によれば、自然の地形の正確な3次元モデルを作成することができ、その結果、2時期の3次元モデルを比較することによって地形変化を適切に把握でき、ひいては効果的な災害対策を実施できることを考えれば、本願発明は産業上利用できるばかりでなく社会的にも大きな貢献を期待し得る発明といえる。 The breakline extraction program and breakline extraction system of the present invention can be used to create three-dimensional models of civil engineering structures such as bridges and retaining walls, and artificial structures such as architectural structures such as housing complexes and office buildings. It can also be used to create 3D models of natural terrain. According to the present invention, it is possible to create an accurate three-dimensional model of natural topography, and as a result, by comparing the three-dimensional models of two periods, it is possible to appropriately grasp topographical changes, and as a result, effective disaster countermeasures can be implemented. Considering that it is possible to implement the above, the present invention can be said to be an invention that can be expected not only to be industrially applicable but also to make a great contribution to society.

100a 入力型ブレイクライン抽出システム
100b 自動生成型ブレイクライン抽出システム
101 (ブレイクライン抽出システムの)暫定ブレイクライン設定手段
102 (ブレイクライン抽出システムの)部分画像抽出手段
103 (ブレイクライン抽出システムの)表示手段
104 (ブレイクライン抽出システムの)確定ブレイクライン入力手段
105 (ブレイクライン抽出システムの)構成点座標算出手段
106 (ブレイクライン抽出システムの)3次元点群データ記憶手段
107 (ブレイクライン抽出システムの)座標付与画像記憶手段
108 (ブレイクライン抽出システムの)構成点抽出追加手段
109 (ブレイクライン抽出システムの)3次元モデル作成手段
110 (ブレイクライン抽出システムの)確定ブレイクライン生成手段
BLt 暫定ブレイクライン
DL 境界線
PHa 座標付与画像
PHb 部分画像
WD 拡張幅
100a Input type breakline extraction system 100b Automatic generation type breakline extraction system 101 Temporary breakline setting means (of breakline extraction system) 102 Partial image extraction means (of breakline extraction system) 103 Display means (of breakline extraction system) 104 Determined breakline input means (of breakline extraction system) 105 Constituent point coordinate calculation means (of breakline extraction system) 106 Three-dimensional point group data storage means (of breakline extraction system) 107 Coordinates (of breakline extraction system) Applied image storage means 108 Constituent point extraction additional means (of breakline extraction system) 109 Three-dimensional model creation means (of breakline extraction system) 110 Fixed breakline generation means (of breakline extraction system) BLt Temporary breakline DL Boundary line PHa Coordinate-added image PHb Partial image WD Extended width

Claims (7)

3次元点群データからブレイクラインを抽出する機能をコンピュータに実行させるプログラムにおいて、
前記3次元点群データから得られた暫定ブレイクラインの座標に基づいて、3次元座標と対応付けられた座標付与画像上で該暫定ブレイクラインを設定する暫定ブレイクライン設定処理と、
前記暫定ブレイクラインを基準に設定される部分画像を、前記座標付与画像から抽出する部分画像抽出処理と、
前記部分画像抽出処理で抽出された前記部分画像を、表示手段に出力する部分画像出力処理と、
前記表示手段に出力された前記部分画像を確認しながらオペレータが該部分画像上に設定した確定ブレイクラインに基づいて、該確定ブレイクラインを構成するブレイクライン構成点の座標を求める構成点座標算出処理と、
を前記コンピュータに実行させる機能を備えた、ことを特徴とするブレイクライン抽出プログラム。
In a program that causes a computer to execute the function of extracting breaklines from 3D point cloud data,
provisional breakline setting processing for setting the provisional breakline on a coordinate-added image associated with the three-dimensional coordinates based on the coordinates of the provisional breakline obtained from the three-dimensional point cloud data;
a partial image extraction process for extracting a partial image set based on the temporary breakline from the coordinate-given image;
a partial image output process for outputting the partial image extracted by the partial image extraction process to display means;
Constructing point coordinate calculation processing for obtaining the coordinates of the breakline composing points constituting the defined breakline based on the defined breakline set on the partial image by the operator while confirming the partial image output to the display means. When,
A breakline extraction program characterized by having a function of causing the computer to execute
前記部分画像出力処理は、前記部分画像上に前記暫定ブレイクラインを表示させる、
ことを特徴とする請求項1記載のブレイクライン抽出プログラム。
The partial image output processing displays the temporary breakline on the partial image.
The breakline extracting program according to claim 1, characterized by:
3次元点群データからブレイクラインを抽出する機能をコンピュータに実行させるプログラムにおいて、
前記3次元点群データから得られた暫定ブレイクラインの座標に基づいて、3次元座標と対応付けられた座標付与画像上で該暫定ブレイクラインを設定する暫定ブレイクライン設定処理と、
前記暫定ブレイクラインを基準に設定される部分画像を、前記座標付与画像から抽出する部分画像抽出処理と、
前記部分画像抽出処理で抽出された前記部分画像の各画素が有する画素値に基づいて、確定ブレイクラインを生成するとともに、該確定ブレイクラインを構成するブレイクライン構成点の座標を求める構成点座標算出処理と、
を前記コンピュータに実行させる機能を備えた、ことを特徴とするブレイクライン抽出プログラム。
In a program that causes a computer to execute the function of extracting breaklines from 3D point cloud data,
provisional breakline setting processing for setting the provisional breakline on a coordinate-added image associated with the three-dimensional coordinates based on the coordinates of the provisional breakline obtained from the three-dimensional point cloud data;
a partial image extraction process for extracting a partial image set based on the temporary breakline from the coordinate-given image;
Generating a defined breakline based on the pixel value of each pixel of the partial image extracted by the partial image extraction process, and calculating the coordinates of the breakline composing points constituting the defined breakline. processing;
A breakline extraction program characterized by having a function of causing the computer to execute
前記構成点座標算出処理で求められた前記ブレイクライン構成点の座標に基づいて、該ブレイクライン構成点に対応する点を前記3次元点群データから抽出するブレイクライン構成点抽出処理を、
前記コンピュータに実行させる機能をさらに備えた、ことを特徴とする請求項1乃至請求項3のいずれかに記載のブレイクライン抽出プログラム。
breakline composing point extraction processing for extracting points corresponding to the breakline composing points from the three-dimensional point cloud data based on the coordinates of the breakline composing points obtained in the composing point coordinate calculation processing,
4. The breakline extracting program according to any one of claims 1 to 3, further comprising a function to be executed by said computer.
前記構成点座標算出処理で求められた座標が付与された前記ブレイクライン構成点を、前記3次元点群データに追加するブレイクライン構成点追加処理を、
前記コンピュータに実行させる機能をさらに備えた、ことを特徴とする請求項1乃至請求項4のいずれかに記載のブレイクライン抽出プログラム。
a breakline point addition process for adding the breakline points to which the coordinates obtained in the point coordinate calculation process are assigned to the three-dimensional point cloud data,
5. The breakline extracting program according to claim 1, further comprising a function to be executed by said computer.
3次元点群データからブレイクラインを抽出するシステムにおいて、
前記3次元点群データから得られた暫定ブレイクラインの座標に基づいて、3次元座標と対応付けられた座標付与画像上で該暫定ブレイクラインを設定する暫定ブレイクライン設定手段と、
前記暫定ブレイクラインを基準に設定される部分画像を、前記座標付与画像から抽出する部分画像抽出手段と、
前記部分画像抽出手段によって抽出された前記部分画像を表示する表示手段と、
前記表示手段に出力された前記部分画像を確認しながら、オペレータが該部分画像上に確定ブレイクラインを設定する確定ブレイクライン設定手段と、
前記確定ブレイクライン設定手段で設定された前記確定ブレイクラインを構成するブレイクライン構成点の座標を求める構成点座標算出手段と、
を備えた、ことを特徴とするブレイクライン抽出システム。
In a system that extracts breaklines from 3D point cloud data,
provisional breakline setting means for setting the provisional breakline on the coordinate-added image associated with the three-dimensional coordinates based on the coordinates of the provisional breakline obtained from the three-dimensional point cloud data;
partial image extracting means for extracting a partial image set based on the temporary breakline from the coordinate-given image;
display means for displaying the partial image extracted by the partial image extraction means ;
defined breakline setting means for allowing an operator to set a defined breakline on the partial image while confirming the partial image output to the display means;
composing point coordinate calculating means for obtaining the coordinates of the breakline composing points constituting the definite breakline set by the definite breakline setting means;
A breakline extraction system comprising:
3次元点群データからブレイクラインを抽出するシステムにおいて、
前記3次元点群データから得られた暫定ブレイクラインの座標に基づいて、3次元座標と対応付けられた座標付与画像上で該暫定ブレイクラインを設定する暫定ブレイクライン設定手段と、
前記暫定ブレイクラインを基準に設定される部分画像を、前記座標付与画像から抽出する部分画像抽出手段と、
前記部分画像抽出手段によって抽出された前記部分画像の各画素が有する画素値に基づいて、確定ブレイクラインを生成する確定ブレイクライン生成手段と、
前記確定ブレイクライン生成手段で生成された前記確定ブレイクラインを構成するブレイクライン構成点の座標を求める構成点座標算出手段と、
を備えた、ことを特徴とするブレイクライン抽出システム。
In a system that extracts breaklines from 3D point cloud data,
provisional breakline setting means for setting the provisional breakline on the coordinate-added image associated with the three-dimensional coordinates based on the coordinates of the provisional breakline obtained from the three-dimensional point cloud data;
partial image extracting means for extracting a partial image set based on the temporary breakline from the coordinate-given image;
definite breakline generating means for generating a definite breakline based on the pixel value of each pixel of the partial image extracted by the partial image extracting means ;
composing point coordinate calculating means for calculating the coordinates of the breakline composing points forming the definite breakline generated by the definite breakline generating means;
A breakline extraction system comprising:
JP2018140246A 2018-07-26 2018-07-26 breakline extraction program, breakline extraction system Active JP7122901B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018140246A JP7122901B2 (en) 2018-07-26 2018-07-26 breakline extraction program, breakline extraction system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018140246A JP7122901B2 (en) 2018-07-26 2018-07-26 breakline extraction program, breakline extraction system

Publications (2)

Publication Number Publication Date
JP2020017109A JP2020017109A (en) 2020-01-30
JP7122901B2 true JP7122901B2 (en) 2022-08-22

Family

ID=69581528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018140246A Active JP7122901B2 (en) 2018-07-26 2018-07-26 breakline extraction program, breakline extraction system

Country Status (1)

Country Link
JP (1) JP7122901B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006195032A (en) 2005-01-12 2006-07-27 Kokusai Kogyo Co Ltd Topographical map creating method and topographical map creating system
US20070237386A1 (en) 2006-03-28 2007-10-11 Berrill Arthur R Method and apparatus for storing 3D information with raster imagery
JP2009176163A (en) 2008-01-25 2009-08-06 Hitachi Software Eng Co Ltd Section data creation system
JP2016142535A (en) 2015-01-29 2016-08-08 田中 成典 Measurement data processing device
WO2016139819A1 (en) 2015-03-03 2016-09-09 株式会社岩崎 Ground-shape estimation program, ground-shape estimation device, and ground-shape estimation method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006195032A (en) 2005-01-12 2006-07-27 Kokusai Kogyo Co Ltd Topographical map creating method and topographical map creating system
US20070237386A1 (en) 2006-03-28 2007-10-11 Berrill Arthur R Method and apparatus for storing 3D information with raster imagery
JP2009176163A (en) 2008-01-25 2009-08-06 Hitachi Software Eng Co Ltd Section data creation system
JP2016142535A (en) 2015-01-29 2016-08-08 田中 成典 Measurement data processing device
WO2016139819A1 (en) 2015-03-03 2016-09-09 株式会社岩崎 Ground-shape estimation program, ground-shape estimation device, and ground-shape estimation method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"点群座標データを用いた3次元モデルの自動生成に関する研究",知能と情報(日本知能情報ファジィ学会誌),Vol.23, No.4,日本,日本知能情報ファジィ学会,2011年08月15日,PP.572-590

Also Published As

Publication number Publication date
JP2020017109A (en) 2020-01-30

Similar Documents

Publication Publication Date Title
US9336629B2 (en) Coordinate geometry augmented reality process
EP3274964B1 (en) Automatic connection of images using visual features
Yan et al. Integration of 3D objects and terrain for 3D modelling supporting the digital twin
EP1877956A2 (en) System and method for three dimensional change detection and measurement of a scene
JP6238101B2 (en) Numerical surface layer model creation method and numerical surface layer model creation device
CN109934911B (en) OpenGL-based three-dimensional modeling method for high-precision oblique photography of mobile terminal
JP2010266419A (en) Method of analyzing topography change using topography image, and program thereof
US10235800B2 (en) Smoothing 3D models of objects to mitigate artifacts
JP2020165746A (en) Landslide surface estimation device, and landslide surface estimation method
Potůčková et al. Comparison of quality measures for building outline extraction
JP6146731B2 (en) Coordinate correction apparatus, coordinate correction program, and coordinate correction method
US11049316B2 (en) Synthetic image generation apparatus, synthetic image generation program, and synthetic image generation method
CN111986320B (en) Smart city application-oriented DEM and oblique photography model space fitting optimization method
JP6996047B2 (en) Two-time change estimation device and two-time change estimation method
JP7122901B2 (en) breakline extraction program, breakline extraction system
JP6514901B2 (en) Survey data processing device
JP2022501751A (en) Systems and methods for selecting complementary images from multiple images for 3D geometric extraction
Pacina et al. Pre‐dam valley reconstruction based on archival spatial data sources: Methods, accuracy, and 3D printing possibilities
JP2018040181A (en) Civil engineering structure finished shape evaluation system, finished shape evaluation method and program
Lesparre et al. Simplified 3D city models from LiDAR
Piatti et al. Generation Of True Ortho‐Images Based On Virtual Worlds: Learning Aspects
Olalde et al. The importance of geometry combined with new techniques for augmented reality
JP2024043748A (en) Break line setting support system
Khaki Recognition of Short-Range Photogrammetry and Its Applications for Recording and Maintaining Cultural and Natural Heritage
Liu et al. Fusing multiscale charts into 3D ENC systems based on underwater topography and remote sensing image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220506

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220809

R150 Certificate of patent or registration of utility model

Ref document number: 7122901

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150