WO2023135718A1 - ３次元モデルを作成する装置、方法及びプログラム - Google Patents

３次元モデルを作成する装置、方法及びプログラム Download PDF

Info

Publication number
WO2023135718A1
WO2023135718A1 PCT/JP2022/001023 JP2022001023W WO2023135718A1 WO 2023135718 A1 WO2023135718 A1 WO 2023135718A1 JP 2022001023 W JP2022001023 W JP 2022001023W WO 2023135718 A1 WO2023135718 A1 WO 2023135718A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional model
point cloud
image
point
model
Prior art date
Application number
PCT/JP2022/001023
Other languages
English (en)
French (fr)
Inventor
雄介 櫻原
幸弘 五藤
正樹 和氣
崇 海老根
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/001023 priority Critical patent/WO2023135718A1/ja
Publication of WO2023135718A1 publication Critical patent/WO2023135718A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00

Definitions

  • the present disclosure relates to technology for creating a 3D model from point cloud data representing 3D coordinates.
  • Patent Literature 1 A technology has been developed to create a three-dimensional model of an outdoor structure using a three-dimensional laser scanner (Mobile Mapping System: MMS) mounted on a vehicle (see Patent Document 1, for example).
  • MMS Mobile Mapping System
  • Patent Document 1 A technology has been developed to create a three-dimensional model of an outdoor structure using a three-dimensional laser scanner (Mobile Mapping System: MMS) mounted on a vehicle (see Patent Document 1, for example).
  • MMS Mobile Mapping System
  • the points are interpolated up to a certain threshold for the distance between the point clouds to form a scan line. Can not do it. Therefore, in 3D modeling using a fixed 3D laser scanner, there is a problem that it is difficult to create a 3D model of an object with a small diameter, such as a cable near a utility pole.
  • An object of the present disclosure is to enable the creation of a three-dimensional model even for an object in which the point-to-point distances are not evenly spaced and the point cloud is only partially present.
  • the apparatus and methods of the present disclosure comprise: Create a 3D model of the object from point cloud data where each point represents a 3D coordinate, superimposing the three-dimensional model on an image in which the object of the three-dimensional model is captured; selecting point cloud data to be added to the point cloud data constituting the three-dimensional model by comparing the three-dimensional model with the object in the image; Using the point cloud data including the point cloud data to be added, the three-dimensional model of the object is created again.
  • a 3D model of an object can be created without depending on the distance between 3D points. Therefore, the present disclosure can enable the creation of a three-dimensional model even for an object in which the point-to-point distances are not evenly spaced and the point cloud is only partially present.
  • An example of point cloud data is shown.
  • An example of a three-dimensional model in which a structure is objectified is shown.
  • 1 shows a system configuration example of the present disclosure
  • 4 shows an example of a point cloud stored in a storage medium
  • 4 shows an example of an image stored in a storage medium
  • An example of the method of this embodiment is shown.
  • An example of a three-dimensional model created in step S1 is shown.
  • An example of superimposition of a three-dimensional model image in step S2 is shown.
  • An example of a three-dimensional model after correction is shown.
  • a specific example of step S3 is shown.
  • An example of a first method for comparing sizes of objects is shown.
  • 3 shows an example of adding a point cloud that constitutes a three-dimensional model.
  • An example of a three-dimensional model after correction is shown.
  • An example of a second method for comparing sizes of objects is shown.
  • a specific example of step S3 is shown.
  • the present disclosure is an apparatus and method for creating a three-dimensional model of an object from point cloud data representing three-dimensional coordinates acquired by a three-dimensional laser scanner.
  • FIG. 1 shows an example of point cloud data.
  • the point cloud data is data in which the surface shape of an object such as a structure is represented by a set of points 91, and each point 91 represents the three-dimensional coordinates of the surface of the structure.
  • a line 92 that connects points 91 of the 3D point cloud data
  • a 3D model in which the structure is made into an object can be created.
  • a three-dimensional utility pole model 111 and cable model 112 can be created.
  • Fig. 3 shows a system configuration example of the present disclosure.
  • the disclosed system comprises a fixed 3D laser scanner 1-1 for measuring an object 100, a camera 1-2 for imaging the object 100, and the device 5 of the present disclosure.
  • the device 5 of the present disclosure includes an arithmetic processing unit 3 and a display unit 4 and may additionally include a storage medium 2 .
  • the device 5 of the present disclosure can also be realized by a computer and a program, and the program can be recorded on a recording medium or provided through a network.
  • the system of the present disclosure stores point cloud data acquired by the fixed 3D laser scanner 1-1 and images captured by the camera 1-2 in the storage medium 2.
  • FIG. 4 shows an example of the point cloud stored in the storage medium 2.
  • points d1 to d25 are stored between the measured point clouds dp1 and dp2 of the utility pole.
  • FIG. 5 shows an example of an image saved in the storage medium 2.
  • an image in which cables 102-1, 102-2, and 102-3 are stretched between utility poles 101-1 and 101-2 is stored.
  • the camera 1-2 may be a camera mounted on the fixed 3D laser scanner 1-1, or may be prepared separately. Moreover, it is desirable that the camera 1-2 capture images at the same position, direction, and angle of view as the position, direction, and angle of view at which the fixed 3D laser scanner 1-1 acquires the point cloud. This makes it easy to superimpose the point cloud acquired by the fixed 3D laser scanner 1-1 and the image captured by the camera 1-2. However, since the point cloud of the present disclosure has three-dimensional coordinates, if there is three-dimensional position information of the fixed 3D laser scanner 1-1 and the camera 1-2, points to the image can be mapped based on the relative positions. Superposition of groups is possible.
  • FIG. 6 shows an example of the method of this embodiment.
  • the method according to this embodiment includes: A method for generating a three-dimensional model of an object from point cloud data acquired by a three-dimensional laser scanner 1-1, step S1 in which the arithmetic processing unit 3 creates a three-dimensional model of the object from the three-dimensional point cloud data; step S2 in which the arithmetic processing unit 3 superimposes the created three-dimensional model of the object on the image of the object; step S3 in which the arithmetic processing unit 3 corrects the three-dimensional model based on a comparison between the three-dimensional model and the superimposed image; have
  • step S1 an object is extracted from the point cloud and a 3D model is created (DBSCAN).
  • DBSCAN is one of the clustering methods, and is a method in which a group of points included in the condition that there are more than the number of points within a threshold value of a certain point is regarded as one cluster and made into a cluster.
  • the objects are, for example, utility poles 101-1 and 101-2, or cables 102-1, 102-2 and 102-3. An example in which the objects are cables 102-1, 102-2, and 102-3 will be described below.
  • FIG. 7 shows an example of the three-dimensional models 112-1, 112-2 and 112-3 created in step S1.
  • the three-dimensional models 112-1, 112-2, and 112-3 are superimposed on the image as shown in FIG.
  • step S3 by comparing the three-dimensional models 112-1, 112-2 and 112-3 with the cables 102-1, 102-2 and 102-3 in the image, a three-dimensional model as shown in FIG. Correct the models 112-1, 112-2, 112-3.
  • the present disclosure can calculate equipment information (sag, span length, etc.) from the corrected three-dimensional model.
  • the display unit 4 may display images shown in FIGS. 7 to 9. FIG.
  • the present disclosure it is possible to determine whether the 3D model is perfectly created by superimposing it on the image in step S2, and in step S3, the 3D model can be added as it is where it already exists, and if it is insufficient, it can be added. Accordingly, the present disclosure can determine the presence or absence of an object even if the object has only a part of the point cloud. Therefore, the present disclosure can construct a three-dimensional model of a fine line-shaped object such as a suspension line, an optical cable, an electric wire, or a horizontal branch line. Furthermore, the present disclosure can construct a three-dimensional model of a thin line-shaped object, so that the state of the thin line-shaped target facility can be detected.
  • a fine line-shaped object such as a suspension line, an optical cable, an electric wire, or a horizontal branch line.
  • step S3 the arithmetic processing unit 3 can automatically correct the three-dimensional model, and the method is arbitrary.
  • a form of interpolating points to match the image and a form of interpolating the model to match the image are exemplified.
  • FIG. 10 shows a specific example of step S3.
  • the arithmetic processing unit 3 superimposes the created 3D model on the photographed image (S2), adds color information to the point group (S311), and displays the 3D model on the image and the object in the image. are compared (S312). If the object in the image is larger, the points are interpolated to create a three-dimensional model (S313), and the three-dimensional model is saved in the storage medium 2 (S314).
  • step S312 the method for superimposing the image and the point cloud and comparing the size of the object is arbitrary, but the following can be exemplified.
  • the first method is to superimpose the point cloud and the image and compare the size defined by the color pixels of the object in the image with the size of the three-dimensional model.
  • Second method A method of comparing the shape and size of an object extracted from an image by image analysis with the size and shape of a three-dimensional model created from a point group.
  • FIG. 11 shows an example of the first method.
  • the arithmetic processing unit 3 executes the following processes.
  • ⁇ S2 Superimpose the point cloud and the image.
  • S311 Add color information to the point group.
  • ⁇ S111 Determine how far the point group used for creating the three-dimensional model spreads in the image.
  • S112 Compare the determined color range with the extracted three-dimensional model to see if it is equivalent.
  • S113 Extract the determined range (pixels of the same color) from the point group.
  • ⁇ S114 to S116 Determine whether the extracted point group is a candidate for a three-dimensional model.
  • S313 Create a three-dimensional model again using the candidate point group, and correct the shape of the three-dimensional model. Specifically, a model is created again using the feature point group.
  • S314 Save the final three-dimensional model and exit.
  • step S311 the arithmetic processing unit 3 superimposes the images (S2), and after the superimposition, performs correspondence between the point groups and the images, and assigns each point group to the same position on the image.
  • the color information of the image For example, as shown in FIG. 12, color information of cable 102-2 is added to points d1 to d7, d21 and d22 overlapping cable 102-2.
  • step S111 the arithmetic processing unit 3 automatically determines by image analysis how far the pixels of the same color as the color point group of the extracted 3D model spread on the image. For example, as shown in FIG. 5, the x-coordinate of the leftmost pixel p1 of cable 102-2 and the x-coordinate of the rightmost pixel p22 of cable 102-2 are determined, and the extent of cable 102-2 on the x-axis is determined. judge.
  • step S112 when the range in which the pixels of the same color are spread out on the image is determined, the arithmetic processing unit 3 extracts points within the range from the extended line of the approximation line of the three-dimensional model to within a predetermined threshold.
  • a model is created again using the point cloud in (S113-S116 and S313). For example, points d1 to d25 exist in the range on the x-axis of cable 102-2. In that case, the arithmetic processing unit 3 creates a three-dimensional model again using the point group within the threshold from the extension line of the three-dimensional model 112-1 superimposed on the cable 102-2 from the points d1 to d25. do.
  • the threshold values are x ⁇ 30 mm, ⁇ y ⁇ 30 mm, and ⁇ z ⁇ 30 mm, where the direction in which the three-dimensional model extends is the x-axis, the depth is the y-axis, and the height direction is the z-axis.
  • An example can be extracting a point cloud that will be used in a 3D model. As a result, as shown in FIG. 12, d21 and d22 form a point group forming a three-dimensional model (S115), and as shown in FIG. 13, a three-dimensional model is created again (S313).
  • FIG. 14 shows an example of the second method.
  • the arithmetic processing unit 3 executes the following processes.
  • ⁇ S2 Superimpose the point cloud and the image.
  • S311 Add color information to the point group.
  • S121 Estimate the shape and size of the object by image analysis.
  • S122 The target object extracted by image analysis and the 3D model extracted from the point group are compared to determine whether they have the same shape and size.
  • S123 Extract the object extracted from the image from the point group. As a result, point groups that are candidates for a three-dimensional model are extracted.
  • ⁇ S124 to S126 Determine whether the extracted point group is a candidate for a three-dimensional model.
  • S313 Create a three-dimensional model again using the candidate point group, and correct the shape of the three-dimensional model. Specifically, a three-dimensional model is created again using the feature point group.
  • S314 Save the final three-dimensional model and exit.
  • step S121 the arithmetic processing unit 3 automatically extracts an object on the image to be compared with the 3D model based on a pre-learned dictionary by image analysis.
  • the arithmetic processing unit 3 extracts the cable 102-2 from the image shown in FIG. 8 using image analysis, and reads the size and shape of the cable 102-2 from the dictionary.
  • step S122 the arithmetic processing unit 3 compares the size/shape of the three-dimensional model with the size/shape of the object determined by image analysis. For example, the arithmetic processing unit 3 compares the size/shape of the three-dimensional model 112-1 with the size/shape of the cable 102-2 estimated in step S121.
  • the size/shape of the object estimated by the image analysis in step S121 is larger than the three-dimensional model 112-1, the size/shape of the cable 102-2 estimated by the image analysis is within the range of the size/shape.
  • a 3D model is created again using a point group within a predetermined threshold from the extension of the approximation line of the 3D model (S123 to S126 and S313). The concept of the threshold is the same as in steps S114 to S116.
  • the arithmetic processing unit 3 estimates the shape of the created three-dimensional model, and enlarges the three-dimensional model to a certain size according to the shape. When you come across a point with a different color than the color point cloud used to create the model, expand the 3D model to that point. Assuming that the 3D model is made up of color point groups to which color information of the same color is added, the 3D model can be enlarged according to the shape of the 3D model to create a corrected 3D model.
  • FIG. 15 shows a specific example of step S3.
  • the arithmetic processing unit 3 superimposes the point group and the image (S2), and gives color information to the point group (S311).
  • the arithmetic processing unit 3 determines which equipment model the three-dimensional model is based on the color information given to the point group, and infers the shape by analogy (S131).
  • the three-dimensional model is automatically extended in an arbitrary direction up to an arbitrary size (S132-S136).
  • the extension of the three-dimensional model in step S134 for example, the approximate line of the created three-dimensional model is extracted, and the model is created again using the point group within the threshold from the extension line of the approximate line.
  • An approximated curve and a catenary curve can be used as the approximated line.
  • the arithmetic processing unit 3 determines whether the size of the three-dimensional model collides with a group of points of different colors (S132). If there is no collision in step S132, the three-dimensional model is extended (S135), and the process proceeds to step S132. For example, as shown in FIG. 16, when extending the three-dimensional model 112-1, the color information of the point d22 remains the cable. In this case, the process proceeds to step S132.
  • step S132 the arithmetic processing unit 3 determines whether the point groups of different colors exceed the density threshold (S133). If the threshold is not exceeded in S133 (No), the three-dimensional model is extended again (S135), and the process proceeds to step S132.
  • the arithmetic processing unit 3 creates a three-dimensional model using point groups of different colors as endpoints (S134). For example, as shown in FIG. 16, when the three-dimensional model 112-1 is extended, the color information of the point d26 is the utility pole 101-2. In this case, the three-dimensional model 112-1 is created with the point d21 located before the point d26 as the end point (S313).
  • the arithmetic processing unit 3 corrects the three-dimensional model to the original size (S136), A model is created (S313) and saved (S314).
  • S313 A model is created (S313) and saved (S314).
  • all points within a threshold from the approximate line of the three-dimensional model may be used.
  • the threshold is the same as in S113 to S116, and the distance from the approximation line to the point group is set as the threshold.
  • the arithmetic processing unit 3 extends the approximate line of the three-dimensional model, and if a boundary with a point cloud density higher than a certain point group density that changes color can be found, the three-dimensional model End point.
  • Color information such as RGB values is used as a reference to determine whether the color has changed. For example, when the color change is greater than a value specified in advance, the arithmetic processing unit 3 uses the color information to automatically determine the point of color change. It is possible to extract points on the extension line of the approximation line that have a certain point cloud density or more on the image, and use the color information of the pixels at the points.
  • a point cloud of an object with a characteristic shape can be acquired even at a long distance from the fixed 3D laser scanner 1-1, it is possible to create a three-dimensional model with high accuracy.
  • a cable can be modeled in three dimensions at a short distance from a fixed 3D laser scanner, and the catenary curve can be estimated. Cables are installed on utility poles and on the walls of houses, and when you look at the image, the colors of the cables and the poles and walls of the house are different, making them easy to understand and easier to obtain than cable end points. These point clouds may be used as endpoints to extend the three-dimensional model. This makes it possible to create a three-dimensional model with high accuracy.
  • This disclosure can be applied to the information and communications industry.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本開示は、点間距離が等間隔で並んでおらず、点群が一部しか存在しない対象物でも３次元モデルの作成を可能とすることを目的とする。　本開示は、各点が３次元座標を表す点群データから対象物の３次元モデルを作成し、前記３次元モデルを、前記３次元モデルの対象物が撮影されている画像に重畳し、前記３次元モデルを前記画像内の前記対象物と比較することで、前記３次元モデルを構成する点群データに対して追加すべき点群データを選択し、前記追加すべき点群データを含めた点群データを用いて、前記対象物の３次元モデルを再度作成する、装置及び方法である。

Description

３次元モデルを作成する装置、方法及びプログラム
　本開示は、３次元座標を表す点群データから３次元モデルを作成する技術に関する。
　車載した３次元レーザスキャナ（Ｍｏｂｉｌｅ　Ｍａｐｐｉｎｇ　Ｓｙｓｔｅｍ：　ＭＭＳ）により、屋外構造物を３次元モデル化する技術が開発されている（例えば、特許文献１参照。）。特許文献１の技術は、点群が存在しない空間上に点群及びスキャンラインを創り出した後に３次元モデルを作成する。
　固定式３Ｄレーザスキャナにより取得した点群データを利用して、円柱物の３次元モデリングを実現することが求められている。しかし、ＭＭＳは対象物に沿って移動しながら点群を取得できるため、計測範囲の点群をまんべんなく、ある程度等間隔に取得できるが、固定式３Ｄレーザスキャナは計測点から近距離であれば密な点群、遠距離であれば疎な点群になる。このため、固定式３Ｄレーザスキャナにより取得した点群データを利用した３次元モデルの作成では、対象物の大きさ及び形状により、顕著にこの特性が表れる。
　従来技術では、点群間距離がある閾値までは点を補完してスキャンラインとしているが、点群間距離が大きく離れ、同じ対象物上の点群とみなされない場合、点間の点を補完することができない。そのため、固定式３Ｄレーザスキャナによる３Ｄモデリングでは、例えば電柱際のケーブルなど、細径の対象物の３次元モデル作成が困難であるという課題があった。
特開２０１７－１５６１７９号公報
　本開示は、点間距離が等間隔で並んでおらず、点群が一部しか存在しない対象物でも、３次元モデルの作成を可能とすることを目的とする。
　本開示の装置及び方法は、
　各点が３次元座標を表す点群データから対象物の３次元モデルを作成し、
　前記３次元モデルを、前記３次元モデルの対象物が撮影されている画像に重畳し、
　前記３次元モデルを前記画像内の前記対象物と比較することで、前記３次元モデルを構成する点群データに対して追加すべき点群データを選択し、
　前記追加すべき点群データを含めた点群データを用いて、前記対象物の３次元モデルを再度作成する。
　本開示によれば、３次元点間の距離に依存することなく、対象物の３次元モデルを作成することができる。このため、本開示は、点間距離が等間隔で並んでおらず、点群が一部しか存在しない対象物でも、３次元モデルの作成を可能にすることができる。
点群データの一例を示す。 構造物をオブジェクト化した３次元モデルの一例を示す。 本開示のシステム構成例を示す。 記憶媒体に保存される点群の一例を示す。 記憶媒体に保存される画像の一例を示す。 本実施形態の方法の一例を示す。 ステップＳ１において作成された３次元モデルの一例を示す。 ステップＳ２における３次元モデル画像の重畳例を示す。 補正後の３次元モデルの一例を示す。 ステップＳ３の具体例を示す。 対象物の大きさを比較する第１の方法の一例を示す。 ３次元モデルを構成する点群の追加例を示す。 補正後の３次元モデルの一例を示す。 対象物の大きさを比較する第２の方法の一例を示す。 ステップＳ３の具体例を示す。 異なる色の点群を端点とする処理の一例を示す。
　以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
　本開示は、３次元レーザスキャナで取得した３次元座標を表す点群データから対象物の３次元モデルを作成する装置及び方法である。図１に、点群データの一例を示す。点群データは、構造物等の対象物の表面形状を点９１の集合で表したデータであり、各点９１が構造物の表面の３次元座標を表す。３次元点群データの点９１を連結する線９２を形成することで、構造物をオブジェクト化した３次元モデルを作成することができる。例えば、図２に示すように、３次元の電柱モデル１１１及びケーブルモデル１１２を作成することができる。
　図３に、本開示のシステム構成例を示す。本開示のシステムは、対象物１００を測定する固定式３Ｄレーザスキャナ１－１、対象物１００を撮像するカメラ１－２、本開示の装置５を備える。本開示の装置５は、演算処理部３及び表示部４を備え、これらに加えて記憶媒体２を備えていてもよい。なお、本開示の装置５は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
　本開示のシステムは、固定式３Ｄレーザスキャナ１－１により取得した点群データ、及びカメラ１－２により撮像した画像を記憶媒体２に保存する。図４に、記憶媒体２に保存される点群の一例を示す。本実施形態では、電柱の測定された点群ｄｐ１及びｄｐ２の間に、点ｄ１～ｄ２５が格納されている。図５に、記憶媒体２に保存される画像の一例を示す。本実施形態では、電柱１０１－１及び１０１－２の間にケーブル１０２－１，１０２－２，１０２－３が張られている画像が格納される。
　カメラ１－２は、固定式３Ｄレーザスキャナ１－１に搭載のカメラであっても良いし、別に用意したものであっても良い。また、カメラ１－２は、固定式３Ｄレーザスキャナ１－１が点群を取得する位置、方向、および画角と同様の位置、方向、および画角で撮像することが望ましい。これにより、固定式３Ｄレーザスキャナ１－１で取得された点群とカメラ１－２で撮像された画像の重畳が容易になる。ただし、本開示の点群は３次元座標を有しているため、固定式３Ｄレーザスキャナ１－１及びカメラ１－２の３次元での位置情報さえあれば相対位置に基づいて画像への点群の重畳は可能である。
　図６に、本実施形態の方法の一例を示す。本実施形態に係る方法は、
　３次元レーザスキャナ１－１で取得した点群データから対象物の３次元モデルを生成する方法であって、
　演算処理部３が、３次元点群データから対象物の３次元モデルを作成するステップＳ１と、
　演算処理部３が、作成された対象物の３次元モデルを対象物の画像と重畳するステップＳ２と、
　演算処理部３が、３次元モデルと重畳した画像との比較に基づいて、３次元モデルを補正するステップＳ３と、
　を有する。
　ステップＳ１では、点群から対象物を抽出し、３次元モデルを作成する（ＤＢＳＣＡＮ）。ここで、ＤＢＳＣＡＮとはクラスタリング手法の一つで、ある点の閾値以内にある個数以上の点が存在する、という条件に含まれる点群を１つの塊とみなし、クラスタとする手法である。対象物は、例えば、電柱１０１－１及び１０１－２、或いはケーブル１０２－１，１０２－２，１０２－３である。以下、対象物がケーブル１０２－１，１０２－２，１０２－３である例について説明する。
　図７に、ステップＳ１において作成された３次元モデル１１２－１、１１２－２、１１２－３の一例を示す。ステップＳ２では、この３次元モデル１１２－１、１１２－２、１１２－３を、図８に示すように、画像と重畳する。そして、ステップＳ３において３次元モデル１１２－１、１１２－２、１１２－３を画像内のケーブル１０２－１、１０２－２、１０２－３と比較することで、図９に示すように、３次元モデル１１２－１、１１２－２、１１２－３を補正する。これにより、本開示は、補正された３次元モデルから設備情報（弛度・スパン長等）を算出することができる。表示部４は、図７～図９に示す画像を表示してもよい。
　本開示は、ステップＳ２において画像と重畳することで３次元モデルが完璧に作成できているのかを判断でき、ステップＳ３において３次元モデルが既にあるところはそのまま、足りない場合は追加可能である。これにより、本開示は、点群が一部しか存在しない対象物であっても、対象物の有無を判定することができる。このため、本開示は、吊り線、光ケーブル、電線又は水平支線等の細線状の対象物の３次元モデルを構築することができる。さらに、本開示は、細線状の対象物の３次元モデルを構築することができるため、細線状の対象設備の状態を検出することができる。
　ステップＳ３において、演算処理部３は自動で３次元モデルを補正することができ、その方法は任意である。本実施形態では、画像に整合するように点を補完する形態と、画像に整合するようにモデルを補完する形態と、を例示する。
（第１の実施形態）
　図１０に、ステップＳ３の具体例を示す。本実施形態では、演算処理部３が、作成した３次元モデルを撮影画像と重畳し（Ｓ２）、点群に色情報を付与し（Ｓ３１１）、画像上で３次元モデルと画像内の対象物の大きさを比較し（Ｓ３１２）。画像内の対象物の方が大きい場合、点を補完し３次元モデルを作成し（Ｓ３１３）、３次元モデルを記憶媒体２に保存する（Ｓ３１４）。
　ここで、本実施形態は、３Ｄレーザスキャナの取得範囲に対して対象物が水平向きという前提条件で実施する。ステップＳ３１２において、画像と点群を重畳し対象物の大きさを比較する方法は、任意であるが、例えば以下が例示できる。
　第１の方法：点群と画像を重畳し、画像内の対象物の色ピクセルで定められる大きさと、３次元モデルの大きさを比較する方法。
　第２の方法：画像解析により画像中から抽出された対象物の形状・大きさと、点群中から作成された３次元モデルの大きさ・形状を比較する方法。
　図１１に、第１の方法の一例を示す。演算処理部３は、以下の処理を実行する。
・Ｓ２：点群と画像を重畳する。
・Ｓ３１１：点群に色情報を付与する。
・Ｓ１１１：３次元モデル作成に使用された点群が画像内でどこまで広がっているか判定する。
・Ｓ１１２：判定された色の範囲と、抽出された３次元モデルと同等か比較する。
・Ｓ１１３：画像で判定された範囲（同色のピクセル）を点群中から抽出する。
・Ｓ１１４～Ｓ１１６：抽出された点群が３次元モデルの候補となるか判定する。
・Ｓ３１３：候補点群を用いて再度３次元モデルを作成し、３次元モデルの形状を補正する。具体的には、特徴点群を用いて再度モデルを作成する。
・Ｓ３１４：最終的な３次元モデルを保存し終了する。
　具体的には、ステップＳ３１１では、演算処理部３は、画像を重畳し（Ｓ２）、重畳後、点群と画像との対応付けを実施し、各点群に対して、画像上で同じ位置にある画像の色情報を付与する。例えば、図１２に示すように、ケーブル１０２－２と重なっている点ｄ１～ｄ７，ｄ２１及びｄ２２に、ケーブル１０２－２の色情報を付与する。
　本実施形態では、ステップＳ１１１において、演算処理部３は、抽出された３次元モデルのカラー点群と同色のピクセルが画像上でどこまで広がっているかを画像解析により自動判定する。例えば、図５に示すように、ケーブル１０２－２の左端のピクセルｐ１のｘ座標、及びケーブル１０２－２の右端のピクセルｐ２２のｘ座標を判定し、ケーブル１０２－２のｘ軸上での範囲を判定する。
　ステップＳ１１２において画像上で同色ピクセルが広がっている範囲を判定すると、演算処理部３は、その範囲内にある点群から、３次元モデルの近似線の延長線からあらかじめ指定しておいた閾値内にある点群を用いて再度モデルを作成する（Ｓ１１３～Ｓ１１６及びＳ３１３）。例えば、ケーブル１０２－２のｘ軸上での範囲には点ｄ１～ｄ２５が存在する。その場合、演算処理部３は、点ｄ１～ｄ２５のなかからケーブル１０２－２と重畳されている３次元モデル１１２－１の延長線から閾値内にある点群を用いて再度３次元モデルを作成する。
　ここで、閾値は、例えば３次元モデルが伸びている方向をｘ軸、奥行きをｙ軸、高さ方向をｚ軸としたとき、ｘ＜３０ｍｍ，Δｙ＜３０ｍｍ，Δｚ＜３０ｍｍとすることで、３次元モデルに使用されるであろう点群を抽出することが例示できる。これにより、図１２に示すように、ｄ２１及びｄ２２が３次元モデルを構成する点群とされ（Ｓ１１５）、図１３に示すように、再度３次元モデルが作成される（Ｓ３１３）。
　図１４に、第２の方法の一例を示す。演算処理部３は、以下の処理を実行する。
・Ｓ２：点群と画像を重畳する。
・Ｓ３１１：点群に色情報を付与する。
・Ｓ１２１：画像解析により対象物の形状・大きさを推定する。
・Ｓ１２２：画像解析により抽出された対象物と点群から抽出された３次元モデルを比較し、形状・大きさが同等か比較する。
・Ｓ１２３：画像から抽出された対象物を点群中から抽出する。これにより、３次元モデルの候補となる点群を抽出する。
・Ｓ１２４～Ｓ１２６：抽出された点群が３次元モデルの候補となるか判定する。
・Ｓ３１３：候補点群を用いて再度３次元モデルを作成し、３次元モデルの形状を補正する。具体的には、特徴点群を用いて再度３次元モデルを作成する。
・Ｓ３１４：最終的な３次元モデルを保存し終了する。
　本実施形態では、ステップＳ１２１において、演算処理部３は、３次元モデルと比較するための画像上の対象物を、画像解析により、事前に学習させていた辞書を基に、自動で抽出する。例えば、演算処理部３は、画像解析を用いて図８に示す画像からケーブル１０２－２を抽出し、ケーブル１０２－２の大きさ・形状を辞書から読み出す。
　そして、ステップＳ１２２において、演算処理部３は、３次元モデルの大きさ・形状と画像解析により判定された対象物の大きさ・形状を比較する。例えば、演算処理部３は、３次元モデル１１２－１の大きさ・形状と、ステップＳ１２１で推定したケーブル１０２－２の大きさ・形状と、を比較する。
　そして、ステップＳ１２１で画像解析により推定された対象物の大きさ・形状が３次元モデル１１２－１よりも大きい場合、その画像解析により推定されたケーブル１０２－２の大きさ・形状の範囲内にある点群から、３次元モデルの近似線の延長線からあらかじめ指定しておいた閾値内にある点群を用いて再度３次元モデルを作成する（Ｓ１２３～Ｓ１２６及びＳ３１３）。前記閾値の考え方はステップＳ１１４～Ｓ１１６と同様である。
（第２の実施形態）
　本実施形態では、演算処理部３が、作成された３次元モデル形状を推定し、その形状通りにある程度の大きさまで３次元モデルを大きくしていく。モデル作成に利用していたカラー点群と異なる色の点にぶつかったら、そこまで３次元モデルを拡大する。３次元モデルが同色の色情報を付与されたカラー点群でできているとし、３次元モデルの形状に応じて３次元モデルを大きくすることで、補正した３次元モデルを作成することができる。
　図１５に、ステップＳ３の具体例を示す。本実施形態では、演算処理部３が、点群と画像を重畳し（Ｓ２）、点群に色情報を付与する（Ｓ３１１）。演算処理部３は、点群に付与されている色情報に基づいて、３次元モデルがどの設備のモデルかを判定し、形状を類推する（Ｓ１３１）。そして、任意の大きさまで、任意の方向に３次元モデルを自動的に延長する（Ｓ１３２～Ｓ１３６）。ステップＳ１３４における３次元モデルの延長は、例えば、作成した３次元モデルの近似線を抽出し、その近似線の延長線から閾値内にある点群を用いて再度モデルを作成する。近似線は、近似曲線、カテナリ曲線を用いることができる。
　具体的には、演算処理部３は、３次元モデルの大きさが異色の点群にぶつかっているかを判定する（Ｓ１３２）。ステップＳ１３２においてぶつからなかった場合、３次元モデルを延長し（Ｓ１３５）、ステップＳ１３２に移行する。例えば、図１６に示すように、３次元モデル１１２－１を延長していく場合、点ｄ２２の色情報はケーブルのままである。この場合、ステップＳ１３２に移行する。
　一方、ステップＳ１３２においてぶつかっている場合、演算処理部３は、異なる色の点群が密度の閾値を超えているか判定する（Ｓ１３３）。Ｓ１３３において閾値を超えない場合（Ｎｏ）、再度３次元モデルを延長し（Ｓ１３５）、ステップＳ１３２に移行する。
　Ｓ１３３において閾値を超えている場合（Ｙｅｓ）、演算処理部３は、異なる色の点群を端点として３次元モデルを作成する（Ｓ１３４）。例えば、図１６に示すように、３次元モデル１１２－１を延長していく場合、点ｄ２６の色情報は電柱１０１－２になっている。この場合、点ｄ２６の手前に位置する点ｄ２１を端点として、３次元モデル１１２－１を作成する（Ｓ３１３）。
　設定された任意の大きさまで３次元モデル１１２－１を延長しても特徴点群が見つからなかった場合、演算処理部３は、元々の大きさの３次元モデルに修正し（Ｓ１３６）、３次元モデルを作成し（Ｓ３１３）、保存する（Ｓ３１４）。ステップＳ３１において３次元モデルを再度作成するときには、３次元モデルの近似線から閾値以内にある点群を全て用いて実施してもよい。前記閾値は、Ｓ１１３～Ｓ１１６と同様にし、近似線から点群までの距離を閾値として設定する。
　このように、本実施形態では、演算処理部３は、３次元モデルの近似線を延長していき、ある点群密度以上で構成された色が変わる境界が発見できた場合、３次元モデルの端点とする。色が変わったかどうかはＲＧＢ値等の色情報を参考にする。例えば、演算処理部３は、事前に指定しておいた値以上に変化した場合、色の変化点と自動判定する色情報はカラー点群、もしくは点群を画像に重畳後、３次元モデルの近似線の延長線上の、ある点群密度以上の箇所を画像上で抽出し、同箇所のピクセルの色情報を用いることができる。
　本実施形態では、形状に特徴を持つ対象物で、固定式３Ｄレーザスキャナ１－１から遠距離でも境界となる点群が取得することができれば、３次元モデルを精度よく作成することが可能である。例えばケーブルであれば、固定式３Ｄレーザスキャナから近距離の場所では３次元モデルが作成可能であり、カテナリ曲線を推定することができる。ケーブルは電柱や家の壁面に設置されており、画像で見るとケーブルと電柱・家の壁面との色が異なるためわかりやすく、かつ、ケーブル端点よりも取得が容易である。これらの点群を端点に用いて３次元モデルを延長してもよい。これにより、精度良い３次元モデルを作成することが可能となる。
　また、作成した３次元モデルが本来はどのような形状の物体かをあらかじめ学習しておくことで、近似線を用いた３次元モデルの延長を精度よく行うことが可能になる。
　本開示は情報通信産業に適用することができる。
１－１：固定式３Ｄレーザスキャナ
１－２：カメラ
２：記憶媒体
３：演算処理部
４：装置
９１：点
９２：線
１００：対象物
１０１－１、１０１－２：電柱
１０２－１、１０２－２、１０２－３：ケーブル
１１１：電柱モデル
１１２：ケーブルモデル

Claims (8)

  1. 　各点が３次元座標を表す点群データから対象物の３次元モデルを作成し、
    　前記３次元モデルを、前記３次元モデルの対象物が撮影されている画像に重畳し、
    　前記画像内の前記対象物を前記３次元モデルと比較することで、前記３次元モデルを構成する点群に対して追加すべき点群を選択し、
    　前記追加すべき点群を含めて、前記対象物の３次元モデルを再度作成する、
    　装置。
  2. 　前記３次元モデルの近似線から閾値内にある点群を、前記追加すべき点群として選択する、
    　請求項１に記載の装置。
  3. 　前記画像内の前記対象物の色を用いて前記画像内の前記対象物を前記３次元モデルと比較する、
    　請求項１又は２に記載の装置。
  4. 　前記画像内の前記対象物の色情報を、前記対象物と重畳されている各点に付与し、
    　前記対象物と同じ色情報を有する点群の範囲を前記３次元モデルと比較することで、前記追加すべき点群を選択する、
    　請求項３に記載の装置。
  5. 　前記画像内の前記対象物の色情報を、前記対象物と重畳されている各点に付与し、
    　前記対象物と異なる色情報を有する点群が現れるまで前記３次元モデルを延長することで、前記追加すべき点群を選択する、
    　請求項３に記載の装置。
  6. 　任意の対象物の大きさに関する情報が格納されているデータベースを参照することで、前記画像内の前記対象物の大きさを取得し、
    　取得した前記対象物の大きさを前記３次元モデルと比較することで、前記追加すべき点群を選択する、
    　請求項１又は２に記載の装置。
  7. 　各点が３次元座標を表す点群データから対象物の３次元モデルを作成し、
    　前記３次元モデルを、前記３次元モデルの対象物が撮影されている画像に重畳し、
    　前記３次元モデルを前記画像内の前記対象物と比較することで、前記３次元モデルを構成する点群データに対して追加すべき点群データを選択し、
    　前記追加すべき点群データを含めた点群データを用いて、前記対象物の３次元モデルを再度作成する、
    　方法。
  8. 　請求項１から６のいずれかに記載の装置としてコンピュータを実現するためのプログラム。
PCT/JP2022/001023 2022-01-14 2022-01-14 ３次元モデルを作成する装置、方法及びプログラム WO2023135718A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/001023 WO2023135718A1 (ja) 2022-01-14 2022-01-14 ３次元モデルを作成する装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/001023 WO2023135718A1 (ja) 2022-01-14 2022-01-14 ３次元モデルを作成する装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2023135718A1 true WO2023135718A1 (ja) 2023-07-20

Family

ID=87278687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001023 WO2023135718A1 (ja) 2022-01-14 2022-01-14 ３次元モデルを作成する装置、方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2023135718A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195240A (ja) * 2017-05-22 2018-12-06 日本電信電話株式会社 設備状態検出方法、検出装置およびプログラム
WO2019244944A1 (ja) * 2018-06-19 2019-12-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元再構成方法および三次元再構成装置
JP2020012764A (ja) * 2018-07-19 2020-01-23 株式会社大林組 真円度計測装置
WO2020044589A1 (ja) * 2018-08-27 2020-03-05 株式会社日立ソリューションズ 空中線抽出システム及び方法
WO2020225889A1 (ja) * 2019-05-08 2020-11-12 日本電信電話株式会社 点群アノテーション装置、方法、及びプログラム
WO2021255798A1 (ja) * 2020-06-15 2021-12-23 日本電信電話株式会社 ワイヤモデル生成装置、ワイヤモデル生成方法及びワイヤモデル生成プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195240A (ja) * 2017-05-22 2018-12-06 日本電信電話株式会社 設備状態検出方法、検出装置およびプログラム
WO2019244944A1 (ja) * 2018-06-19 2019-12-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元再構成方法および三次元再構成装置
JP2020012764A (ja) * 2018-07-19 2020-01-23 株式会社大林組 真円度計測装置
WO2020044589A1 (ja) * 2018-08-27 2020-03-05 株式会社日立ソリューションズ 空中線抽出システム及び方法
WO2020225889A1 (ja) * 2019-05-08 2020-11-12 日本電信電話株式会社 点群アノテーション装置、方法、及びプログラム
WO2021255798A1 (ja) * 2020-06-15 2021-12-23 日本電信電話株式会社 ワイヤモデル生成装置、ワイヤモデル生成方法及びワイヤモデル生成プログラム

Similar Documents

Publication Publication Date Title
US10255480B2 (en) Monitoring object shape and deviation from design
US9208607B2 (en) Apparatus and method of producing 3D model
US20180101932A1 (en) System and method for upsampling of sparse point cloud for 3d registration
JP6363863B2 (ja) 情報処理装置および情報処理方法
JP4677536B1 (ja) ３次元物体認識装置及び３次元物体認識方法
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
WO2018161555A1 (zh) 物体位姿的检测方法和装置
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
JP2014112055A (ja) カメラ姿勢の推定方法およびカメラ姿勢の推定システム
JP2019190974A (ja) キャリブレーション装置、キャリブレーション方法、及びプログラム
JP2018091656A (ja) 情報処理装置、計測装置、システム、算出方法、プログラムおよび物品の製造方法
US20230260216A1 (en) Point cloud annotation device, method, and program
JP4925120B2 (ja) 物体認識装置および物体認識方法
KR102566300B1 (ko) 실내 측위 방법, 장치, 장비 및 저장 매체
JP6431404B2 (ja) 姿勢推定モデル生成装置及び姿勢推定装置
JP5369873B2 (ja) 判定プログラムおよびキャリブレーション装置
JP2021106025A5 (ja)
CN110378995B (zh) 一种利用投射特征进行三维空间建模的方法
JP2018195070A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2023135718A1 (ja) ３次元モデルを作成する装置、方法及びプログラム
CN114726978A (zh) 信息处理装置、信息处理方法以及程序
US20210042576A1 (en) Image processing system
WO2023135717A1 (ja) ３次元モデルを作成する装置、方法及びプログラム
JP2017184136A (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22920243

Country of ref document: EP

Kind code of ref document: A1