WO2023135717A1 - ３次元モデルを作成する装置、方法及びプログラム - Google Patents

３次元モデルを作成する装置、方法及びプログラム Download PDF

Info

Publication number
WO2023135717A1
WO2023135717A1 PCT/JP2022/001022 JP2022001022W WO2023135717A1 WO 2023135717 A1 WO2023135717 A1 WO 2023135717A1 JP 2022001022 W JP2022001022 W JP 2022001022W WO 2023135717 A1 WO2023135717 A1 WO 2023135717A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional model
image
point
range
point cloud
Prior art date
Application number
PCT/JP2022/001022
Other languages
English (en)
French (fr)
Inventor
雄介 櫻原
幸弘 五藤
正樹 和氣
崇 海老根
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/001022 priority Critical patent/WO2023135717A1/ja
Publication of WO2023135717A1 publication Critical patent/WO2023135717A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00

Definitions

  • the present disclosure relates to technology for creating a 3D model from point cloud data representing 3D coordinates.
  • Patent Literature 1 A technology has been developed to create a three-dimensional model of an outdoor structure using a three-dimensional laser scanner (Mobile Mapping System: MMS) mounted on a vehicle (see Patent Document 1, for example).
  • MMS Mobile Mapping System
  • Patent Document 1 A technology has been developed to create a three-dimensional model of an outdoor structure using a three-dimensional laser scanner (Mobile Mapping System: MMS) mounted on a vehicle (see Patent Document 1, for example).
  • MMS Mobile Mapping System
  • the points are interpolated up to a certain threshold for the distance between the point clouds to form a scan line. Can not do it. Therefore, in 3D modeling using a fixed 3D laser scanner, there is a problem that it is difficult to create a 3D model of an object with a small diameter, such as a cable near a utility pole.
  • An object of the present disclosure is to enable the creation of a three-dimensional model even for an object in which the point-to-point distances are not evenly spaced and the point cloud is only partially present.
  • the apparatus and methods of the present disclosure comprise: Create a 3D model of the object from point cloud data where each point represents a 3D coordinate, superimposing the three-dimensional model on an image in which the object of the three-dimensional model is captured; displaying a superimposed image generated by the superimposition; When the range of the object in the superimposed image is input, a three-dimensional model is created again using point cloud data in which points are located in the range of the superimposed image.
  • a 3D model of an object can be created without depending on the distance between 3D points. Therefore, the present disclosure can enable the creation of a three-dimensional model even for an object in which the point-to-point distances are not evenly spaced and the point cloud is only partially present.
  • An example of point cloud data is shown.
  • An example of a three-dimensional model in which a structure is objectified is shown.
  • 1 shows a system configuration example of the present disclosure
  • 4 shows an example of a point cloud stored in a storage medium
  • 4 shows an example of an image stored in a storage medium
  • An example of the method of this embodiment is shown.
  • An example of a three-dimensional model created in step S1 is shown.
  • An example of a superimposed image in which a three-dimensional model is superimposed on an image is shown.
  • An example of a three-dimensional model created in step S3 is shown.
  • An example of inputting a range of objects is shown.
  • a specific example of step S3 is shown.
  • An example of a first method for comparing sizes of objects is shown.
  • FIG. 3 shows an example of adding a point cloud that constitutes a three-dimensional model.
  • An example of a three-dimensional model after correction is shown.
  • An example of a second method for comparing sizes of objects is shown.
  • An example of display of the size of an object is shown.
  • a specific example of step S3 is shown.
  • An example of a state in which the three-dimensional model is extended is shown.
  • An example of setting end points of a three-dimensional model is shown.
  • the present disclosure is an apparatus and method for creating a three-dimensional model of an object from point cloud data representing three-dimensional coordinates acquired by a three-dimensional laser scanner.
  • FIG. 1 shows an example of point cloud data.
  • the point cloud data is data in which the surface shape of an object such as a structure is represented by a set of points 91, and each point 91 represents the three-dimensional coordinates of the surface of the structure.
  • a line 92 that connects points 91 of the 3D point cloud data
  • a 3D model in which the structure is made into an object can be created.
  • a three-dimensional utility pole model 111 and cable model 112 can be created.
  • Fig. 3 shows a system configuration example of the present disclosure.
  • the disclosed system comprises a fixed 3D laser scanner 1-1 for measuring an object 100, a camera 1-2 for imaging the object 100, and the device 5 of the present disclosure.
  • the device 5 of the present disclosure includes an arithmetic processing unit 3 and a display unit 4 and may additionally include a storage medium 2 .
  • the device 5 of the present disclosure can also be realized by a computer and a program, and the program can be recorded on a recording medium or provided through a network.
  • the system of the present disclosure stores point cloud data acquired by the fixed 3D laser scanner 1-1 and images captured by the camera 1-2 in the storage medium 2.
  • FIG. 4 shows an example of the point cloud stored in the storage medium 2.
  • points d1 to d25 are stored between the measured point clouds dp1 and dp2 of the utility pole.
  • FIG. 5 shows an example of an image saved in the storage medium 2.
  • an image in which cables 102-1, 102-2, and 102-3 are stretched between utility poles 101-1 and 101-2 is stored.
  • the camera 1-2 may be a camera mounted on the fixed 3D laser scanner 1-1, or may be prepared separately. Moreover, it is desirable that the camera 1-2 capture images at the same position, direction, and angle of view as the position, direction, and angle of view at which the fixed 3D laser scanner 1-1 acquires the point cloud. This makes it easy to superimpose the point cloud acquired by the fixed 3D laser scanner 1-1 and the image captured by the camera 1-2. However, since the point cloud of the present disclosure has three-dimensional coordinates, if there is three-dimensional position information of the fixed 3D laser scanner 1-1 and the camera 1-2, points to the image can be mapped based on the relative positions. Superposition of groups is possible.
  • FIG. 6 shows an example of the method of this embodiment.
  • the method according to this embodiment includes: A method for generating a three-dimensional model of an object from point cloud data acquired by a three-dimensional laser scanner 1-1, step S1 in which the arithmetic processing unit 3 creates a three-dimensional model of the object from the three-dimensional point cloud data; step S2 in which the arithmetic processing unit 3 superimposes the created three-dimensional model of the object on the image of the object; step S3 in which the arithmetic processing unit 3 corrects the three-dimensional model based on a comparison between the three-dimensional model and the superimposed image; have
  • step S1 an object is extracted from the point cloud and a 3D model is created (DBSCAN).
  • DBSCAN is one of the clustering methods, and is a method in which a group of points included in the condition that there are more than the number of points within a threshold value of a certain point is regarded as one cluster and made into a cluster.
  • the objects are, for example, utility poles 101-1 and 101-2, or cables 102-1, 102-2 and 102-3. An example in which the objects are cables 102-1, 102-2, and 102-3 will be described below.
  • FIG. 7 shows an example of the three-dimensional models 112-1, 112-2 and 112-3 created in step S1.
  • the three-dimensional models 112-1, 112-2, and 112-3 are superimposed on the image as shown in FIG.
  • step S3 by comparing the three-dimensional models 112-1, 112-2 and 112-3 with the cables 102-1, 102-2 and 102-3 in the image, a three-dimensional model as shown in FIG. Correct the models 112-1, 112-2, 112-3.
  • the present disclosure can calculate facility information (sag, span length, etc.) from the corrected three-dimensional model.
  • the superimposed image generated by superimposing is displayed on the display unit 4 in step S2. Then, when the user inputs the range of the object in the superimposed image like the cursors 103-1 and 103-2 shown in FIG. 10, the arithmetic processing section 3 executes step S3. In this step S3, the arithmetic processing unit 3 recreates the three-dimensional model using the point cloud data in which the points are located within the range of the superimposed image.
  • the present disclosure it is possible to determine whether the 3D model is perfectly created by superimposing it on the image in step S2, and in step S3, the 3D model can be added as it is where it already exists, and if it is insufficient, it can be added. Accordingly, the present disclosure can determine the presence or absence of an object even if the object has only a part of the point cloud. Therefore, the present disclosure can construct a three-dimensional model of a fine line-shaped object such as a suspension line, an optical cable, an electric wire, or a horizontal branch line. Furthermore, the present disclosure can construct a three-dimensional model of a thin line-shaped object, so that the state of the thin line-shaped target facility can be detected.
  • a fine line-shaped object such as a suspension line, an optical cable, an electric wire, or a horizontal branch line.
  • the method of inputting the range of the object in step S2 is arbitrary.
  • the cursor position on the screen may be used for input, or the range may be input by dragging.
  • step S3 any method can be used to correct the three-dimensional model.
  • a form of interpolating points to match the image and a form of interpolating the 3D model to match the image are exemplified.
  • FIG. 11 shows a specific example of step S3.
  • the arithmetic processing unit 3 superimposes the created three-dimensional model on the captured image (S2), and displays the superimposed image generated by the superimposition on the display unit 4.
  • FIG. The arithmetic processing unit 3 acquires the range of the object in the superimposed image, and compares the three-dimensional model on the superimposed image with the size of the object in the image (S311). If the object in the image is larger, points are interpolated to create a three-dimensional model (S312), and the three-dimensional model is saved in the storage medium 2 (S313).
  • step S312 the method for superimposing the image and the point cloud and comparing the size of the object is arbitrary, but the following can be exemplified.
  • the first method is to superimpose a point group and an image, and compare the size of pixels of the same color specified in the superimposed image with the size of the three-dimensional model.
  • Second method A method of comparing the size with the three-dimensional model by matching with facility information in a database prepared in advance.
  • FIG. 12 shows an example of the first method.
  • the first method is to determine how far the point cloud indicating the cable is, which is used to create the three-dimensional model of the cable.
  • the arithmetic processing unit 3 superimposes the image (S2), assigns the color information of the cable to the point cloud (S111), and the same color pixels of the point cloud used for creating the 3D model are displayed on the image.
  • a range indicating how far it extends is acquired (S112). If the color range/shape differs from the three-dimensional model (No in S113), the arithmetic processing unit 3 extracts the point group included in the specified range in S112 (S114 to S117), and creates the three-dimensional model again ( S312 and S313).
  • step S111 after the superimposition, the point cloud and the image are associated with each other, and the color information of the image at the same position on the image is added to each point cloud.
  • three-dimensional model 112-1 overlaps cable 102-2.
  • point groups d1 to d6 forming the three-dimensional model 112-1 are associated with the cable 102-2, and color information of the cable 102-2 is added to the point groups d1 to d6.
  • step S112 the user, like the cursors 103-1 and 103-2 shown in FIG. 10, determines how far the pixels of the same color as the point group d1 to d6 corresponding to the extracted three-dimensional model 112-1 spread on the image. manually select whether As a result, a range in which the same color as that of the cable 102-2 spreads on the image is specified, and from point groups d1 to d25 within that range, a threshold value specified in advance from the extension of the approximation line of the three-dimensional model A three-dimensional model is created again using the point group inside (S113 to S117, S312).
  • the threshold is defined as, for example, when the direction in which the approximation line of the three-dimensional model 112-1 extends is the x-axis, the depth is the y-axis, and the height direction is the z-axis, the distance between each point is ⁇ x ⁇ 30 mm, ⁇ y ⁇ 30 mm, ⁇ z ⁇ 30 mm, and extracting a point cloud that will be used for a three-dimensional model can be exemplified.
  • points d21 and d22 form a point group forming a three-dimensional model (S116), and a three-dimensional model is created again (S312).
  • S32 three-dimensional model is created again
  • the three-dimensional model 112-1 can be corrected.
  • the present embodiment uses the coordinates of the point cloud extracted in steps S114 to S117 to correct the three-dimensional model 112-1. It is possible to judge whether it can be used for
  • FIG. 15 shows an example of the second method.
  • the arithmetic processing unit 3 superimposes the 3D model on the image (S2), and compares the 3D model with cable information such as slackness, span length, and position stored in a database in advance. (S121).
  • the arithmetic processing unit 3 displays a range 104 indicating the size of the cable 102-2 on the display unit 4, as shown in FIG. This allows the user to determine the extent of cable 102-2 even if the image is blurry.
  • the arithmetic processing unit 3 acquires the range of the cable 102-2 such as the cursors 103-1 and 103-2 shown in FIG. S122-S126), and create a three-dimensional model (S312 and S313).
  • the arithmetic processing unit 3 acquires the range of the cable 102-2 such as the cursors 103-1 and 103-2 shown in FIG. S122-S126), and create a three-dimensional model (S312 and S313).
  • the coordinates of the point cloud it is possible to determine whether or not the pixels of the same color can be used for a three-dimensional model even if they are spread over a wide range.
  • the three-dimensional model 112-1 overlaps the cable 102-2.
  • the arithmetic processing unit 3 selects the cable 102-2, which is an object to be compared with the three-dimensional model 112-1, on the superimposed image. do. Based on the position and length of the selected cable 102-2, a corresponding target object is retrieved from a database prepared in advance, and information such as its size, shape and position is retrieved.
  • the arithmetic processing unit 3 compares the three-dimensional model 112-1 with information on the cable 102-2 in the database, and if the cable 102-2 in the database is larger or has a different shape, Based on the information in the database, point group candidates forming the three-dimensional model 112-1 may be extracted from the point groups d1 to d25. Then, the arithmetic processing unit 3 uses point groups within a predetermined threshold value from the point groups d1 to d25 within the range of the object to extend the approximation line of the 3D model, and uses the 3D model again. to create The concept of the threshold is the same as in S114 to S117.
  • point clouds can be added to locations where point clouds do not exist between end points. Even in such a case, a three-dimensional model of the object can be created with high accuracy.
  • FIG. 17 shows a specific example of step S3.
  • the created three-dimensional model shape is estimated.
  • the created three-dimensional model is superimposed on the image (S2), the shape of the three-dimensional model is analogized (S321), the approximate line analogized from the three-dimensional model is displayed on the image (S322), and the end points of the approximate line are indicated.
  • a point group is selected on the superimposed image (S323), and if a point group exists near the selected location and within the threshold value from the approximate line (S324), the point is used as an end point to create a three-dimensional model again (S325 ) and save (S326).
  • the arithmetic processing unit 3 superimposes the three-dimensional model 112-1 on the image as shown in FIG. 8 (S2). Then, the arithmetic processing unit 3 extracts the approximation line of the three-dimensional model 112-1, extends the approximation line of the three-dimensional model 112-1 as shown in FIG. 18, and displays it on the display unit 4 (S322).
  • the calculation processing unit 3 acquires the range of the cable 102-2 such as the cursors 103-1 and 103-2 shown in FIG. is used to create a three-dimensional model again (S323-S327).
  • an approximated curve and a catenary curve can be used as the approximated line.
  • step S323 the display unit 4 displays an image in which the approximation line of the three-dimensional model 112-1 intersects the utility poles 101-1 and 101-2. Therefore, the user can easily select the end point of the three-dimensional model with the naked eye using this intersection.
  • step S324 If there is a point group within the threshold value from the approximate line at the selected location (Yes in step S324), the point group is set as the end point (step S326), and the 3D model is created again. On the other hand, if there is no point group that can serve as an end point (No in step S324), the point group closest to the end point within the selected approximation line and within a threshold value from the approximation line is set as the end point (step S327).
  • the point d1 exists at the cursor 103-1 shown in FIG. 10
  • the point d21 exists at the cursor 103-2 shown in FIG. Therefore, the arithmetic processing unit 3 recreates the three-dimensional model 112-1 with the points d1 and d21 as endpoints.
  • the threshold is the same as in S114 to S117, and the distance from the approximate line to the point group is set as the threshold.
  • all point groups that are within a threshold value from the approximation line between the end points of the approximation line may be used, or a point group having the same color information as that of the cable 102-2 may be used. may be used selectively.
  • a 3D model can be created at a short distance from the fixed 3D laser scanner 1-1, and a catenary curve can be estimated.
  • Cables are installed on utility poles and on the walls of houses, and when you look at the image, the colors of the cables and the poles and walls of the house are different, making them easy to understand and easier to obtain than cable end points.
  • These point groups may be used as end points to extend the approximation line of the three-dimensional model. This makes it possible to create a three-dimensional model with high accuracy.
  • end points are selected and the model is enlarged according to the shape of the 3D model, thereby creating a 3D model in which points where point groups do not exist between the end points are corrected. can be done.
  • This disclosure can be applied to the information and communications industry.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本開示は、点間距離が等間隔で並んでおらず、点群が一部しか存在しない対象物でも３次元モデルの作成を可能とすることを目的とする。　本開示は、各点が３次元座標を表す点群データから対象物の３次元モデルを作成し、前記３次元モデルを、前記３次元モデルの対象物が撮影されている画像に重畳し、前記重畳によって生成された重畳画像を表示し、前記重畳画像において前記対象物の範囲が入力されると、前記重畳画像の範囲に点が位置する点群データを用いて、３次元モデルを再度作成する、装置及び方法である。

Description

３次元モデルを作成する装置、方法及びプログラム
　本開示は、３次元座標を表す点群データから３次元モデルを作成する技術に関する。
　車載した３次元レーザスキャナ（Ｍｏｂｉｌｅ　Ｍａｐｐｉｎｇ　Ｓｙｓｔｅｍ：　ＭＭＳ）により、屋外構造物を３次元モデル化する技術が開発されている（例えば、特許文献１参照。）。特許文献１の技術は、点群が存在しない空間上に点群及びスキャンラインを創り出した後に３次元モデルを作成する。
　固定式３Ｄレーザスキャナにより取得した点群データを利用して、円柱物の３次元モデリングを実現することが求められている。しかし、ＭＭＳは対象物に沿って移動しながら点群を取得できるため、計測範囲の点群をまんべんなく、ある程度等間隔に取得できるが、固定式３Ｄレーザスキャナは計測点から近距離であれば密な点群、遠距離であれば疎な点群になる。このため、固定式３Ｄレーザスキャナにより取得した点群データを利用した３次元モデルの作成では、対象物の大きさ及び形状により、顕著にこの特性が表れる。
　従来技術では、点群間距離がある閾値までは点を補完してスキャンラインとしているが、点群間距離が大きく離れ、同じ対象物上の点群とみなされない場合、点間の点を補完することができない。そのため、固定式３Ｄレーザスキャナによる３Ｄモデリングでは、例えば電柱際のケーブルなど、細径の対象物の３次元モデル作成が困難であるという課題があった。
特開２０１７－１５６１７９号公報
　本開示は、点間距離が等間隔で並んでおらず、点群が一部しか存在しない対象物でも、３次元モデルの作成を可能とすることを目的とする。
　本開示の装置及び方法は、
　各点が３次元座標を表す点群データから対象物の３次元モデルを作成し、
　前記３次元モデルを、前記３次元モデルの対象物が撮影されている画像に重畳し、
　前記重畳によって生成された重畳画像を表示し、
　前記重畳画像において前記対象物の範囲が入力されると、前記重畳画像の範囲に点が位置する点群データを用いて、３次元モデルを再度作成する。
　本開示によれば、３次元点間の距離に依存することなく、対象物の３次元モデルを作成することができる。このため、本開示は、点間距離が等間隔で並んでおらず、点群が一部しか存在しない対象物でも、３次元モデルの作成を可能にすることができる。
点群データの一例を示す。 構造物をオブジェクト化した３次元モデルの一例を示す。 本開示のシステム構成例を示す。 記憶媒体に保存される点群の一例を示す。 記憶媒体に保存される画像の一例を示す。 本実施形態の方法の一例を示す。 ステップＳ１において作成された３次元モデルの一例を示す。 画像に３次元モデルが重畳されている重畳画像の一例を示す。 ステップＳ３において作成された３次元モデルの一例を示す。 対象物の範囲の入力の一例を示す。 ステップＳ３の具体例を示す。 対象物の大きさを比較する第１の方法の一例を示す。 ３次元モデルを構成する点群の追加例を示す。 補正後の３次元モデルの一例を示す。 対象物の大きさを比較する第２の方法の一例を示す。 対象物の大きさの表示の一例を示す。 ステップＳ３の具体例を示す。 ３次元モデルを延長した状態の一例を示す。 ３次元モデルの端点の設定例を示す。
　以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
　本開示は、３次元レーザスキャナで取得した３次元座標を表す点群データから対象物の３次元モデルを作成する装置及び方法である。図１に、点群データの一例を示す。点群データは、構造物等の対象物の表面形状を点９１の集合で表したデータであり、各点９１が構造物の表面の３次元座標を表す。３次元点群データの点９１を連結する線９２を形成することで、構造物をオブジェクト化した３次元モデルを作成することができる。例えば、図２に示すように、３次元の電柱モデル１１１及びケーブルモデル１１２を作成することができる。
　図３に、本開示のシステム構成例を示す。本開示のシステムは、対象物１００を測定する固定式３Ｄレーザスキャナ１－１、対象物１００を撮像するカメラ１－２、本開示の装置５を備える。本開示の装置５は、演算処理部３及び表示部４を備え、これらに加えて記憶媒体２を備えていてもよい。なお、本開示の装置５は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
　本開示のシステムは、固定式３Ｄレーザスキャナ１－１により取得した点群データ、及びカメラ１－２により撮像した画像を記憶媒体２に保存する。図４に、記憶媒体２に保存される点群の一例を示す。本実施形態では、電柱の測定された点群ｄｐ１及びｄｐ２の間に、点ｄ１～ｄ２５が格納されている。図５に、記憶媒体２に保存される画像の一例を示す。本実施形態では、電柱１０１－１及び１０１－２の間にケーブル１０２－１，１０２－２，１０２－３が張られている画像が格納される。
　カメラ１－２は、固定式３Ｄレーザスキャナ１－１に搭載のカメラであっても良いし、別に用意したものであっても良い。また、カメラ１－２は、固定式３Ｄレーザスキャナ１－１が点群を取得する位置、方向、および画角と同様の位置、方向、および画角で撮像することが望ましい。これにより、固定式３Ｄレーザスキャナ１－１で取得された点群とカメラ１－２で撮像された画像の重畳が容易になる。ただし、本開示の点群は３次元座標を有しているため、固定式３Ｄレーザスキャナ１－１及びカメラ１－２の３次元での位置情報さえあれば相対位置に基づいて画像への点群の重畳は可能である。
　図６に、本実施形態の方法の一例を示す。本実施形態に係る方法は、
　３次元レーザスキャナ１－１で取得した点群データから対象物の３次元モデルを生成する方法であって、
　演算処理部３が、３次元点群データから対象物の３次元モデルを作成するステップＳ１と、
　演算処理部３が、作成された対象物の３次元モデルを対象物の画像と重畳するステップＳ２と、
　演算処理部３が、３次元モデルと重畳した画像との比較に基づいて、３次元モデルを補正するステップＳ３と、
　を有する。
　ステップＳ１では、点群から対象物を抽出し、３次元モデルを作成する（ＤＢＳＣＡＮ）。ここで、ＤＢＳＣＡＮとはクラスタリング手法の一つで、ある点の閾値以内にある個数以上の点が存在する、という条件に含まれる点群を１つの塊とみなし、クラスタとする手法である。対象物は、例えば、電柱１０１－１及び１０１－２、或いはケーブル１０２－１，１０２－２，１０２－３である。以下、対象物がケーブル１０２－１，１０２－２，１０２－３である例について説明する。
　図７に、ステップＳ１において作成された３次元モデル１１２－１、１１２－２、１１２－３の一例を示す。ステップＳ２では、この３次元モデル１１２－１、１１２－２、１１２－３を、図８に示すように、画像と重畳する。そして、ステップＳ３において３次元モデル１１２－１、１１２－２、１１２－３を画像内のケーブル１０２－１、１０２－２、１０２－３と比較することで、図９に示すように、３次元モデル１１２－１、１１２－２、１１２－３を補正する。これにより、本開示は、補正された３次元モデルから設備情報（弛度・スパン長等）を算出することができる。
　本開示では、ステップＳ２において、重畳によって生成された重畳画像を表示部４に表示する。そして、図１０に示すカーソル１０３－１及び１０３－２のように、ユーザによって重畳画像における対象物の範囲が入力されると、演算処理部３がステップＳ３を実行する。このステップＳ３において、演算処理部３は、重畳画像の範囲に点が位置する点群データを用いて、３次元モデルを再度作成する。
　本開示は、ステップＳ２において画像と重畳することで３次元モデルが完璧に作成できているのかを判断でき、ステップＳ３において３次元モデルが既にあるところはそのまま、足りない場合は追加可能である。これにより、本開示は、点群が一部しか存在しない対象物であっても、対象物の有無を判定することができる。このため、本開示は、吊り線、光ケーブル、電線又は水平支線等の細線状の対象物の３次元モデルを構築することができる。さらに、本開示は、細線状の対象物の３次元モデルを構築することができるため、細線状の対象設備の状態を検出することができる。
　ステップＳ２において対象物の範囲を入力する方法は任意である。例えば、図１０に示すように、画面上のカーソルの位置を用いて入力してもよいし、ドラッグすることで範囲を入力してもよい。
　また、ステップＳ３において、３次元モデルを補正する方法は任意である。本実施形態では、画像に整合するように点を補完する形態と、画像に整合するように３次元モデルを補完する形態と、を例示する。
（第１の実施形態）
　図１１に、ステップＳ３の具体例を示す。本実施形態では、演算処理部３は、作成した３次元モデルを撮影画像と重畳し（Ｓ２）、重畳によって生成された重畳画像を表示部４に表示する。演算処理部３は、重畳画像における対象物の範囲を取得し、重畳画像上で３次元モデルと画像内の対象物の大きさを比較する（Ｓ３１１）。画像内の対象物の方が大きい場合、点を補完し３次元モデルを作成し（Ｓ３１２）、３次元モデルを記憶媒体２に保存する（Ｓ３１３）。
　ステップＳ３１２において、画像と点群を重畳し対象物の大きさを比較する方法は、任意であるが、例えば以下が例示できる。
　第１の方法：点群と画像を重畳し、重畳画像内で指定した同色ピクセルの大きさと、３次元モデルの大きさを比較する方法。
　第２の方法：事前に準備したデータベースの設備情報と照合し、３次元モデルとの大きさを比較する方法。
　図１２に、第１の方法の一例を示す。第１の方法は、ケーブルの３次元モデル作成に利用した、ケーブルを示す点群がどこまであるかを判断する。具体的には、演算処理部３は、画像を重畳し（Ｓ２）、点群にケーブルの色情報を付与し（Ｓ１１１）、３次元モデル作成に利用した点群の同色ピクセルがその画像上でどこまで伸びているかの範囲を取得する（Ｓ１１２）。演算処理部３は、色の範囲・形状が３次元モデルと異なれば（Ｓ１１３においてＮｏ）、Ｓ１１２における指定範囲に含まれる点群を抽出し（Ｓ１１４～Ｓ１１７）、再度３次元モデルを作成する（Ｓ３１２及びＳ３１３）。
　具体的には、ステップＳ１１１では、重畳後、点群と画像との対応付けを実施し、各点群に対して、画像上で同じ位置にある画像の色情報を付与する。例えば、３次元モデル１１２－１はケーブル１０２－２と重なっている。この場合、３次元モデル１１２－１を構成する点群ｄ１～ｄ６とケーブル１０２－２を対応付け、点群ｄ１～ｄ６に対して、ケーブル１０２－２の色情報を付与する。
　ステップＳ１１２において、ユーザは、図１０に示すカーソル１０３－１及び１０３－２のように、抽出された３次元モデル１１２－１に対応する点群ｄ１～ｄ６と同色のピクセルが画像上でどこまで広がっているかを手動で選択する。これにより、画像上でケーブル１０２－２と同色が広がっている範囲が指定され、その範囲内にある点群ｄ１～ｄ２５から、３次元モデルの近似線の延長線上からあらかじめ指定しておいた閾値内にある点群を用いて再度３次元モデルを作成する（Ｓ１１３～Ｓ１１７、Ｓ３１２）。
　ここで、閾値は、例えば３次元モデル１１２－１の近似線が伸びている方向をｘ軸、奥行きをｙ軸、高さ方向をｚ軸としたとき、各点間距離をΔｘ＜３０ｍｍ，Δｙ＜３０ｍｍ，Δｚ＜３０ｍｍとし、３次元モデルに使用されるであろう点群を抽出することが例示できる。これにより、図１３に示すように、ｄ２１及びｄ２２が３次元モデルを構成する点群とされ（Ｓ１１６）、再度３次元モデルが作成される（Ｓ３１２）。これにより、図１４に示すように、３次元モデル１１２－１を補正することができる。このように、本実施形態は、ステップＳ１１４～Ｓ１１７で抽出された点群の座標も３次元モデル１１２－１の補正に利用することで、同色のピクセルが広範囲に伸びていても、３次元モデルに利用できるか判断可能である。
　図１５に、第２の方法の一例を示す。第２の方法は、演算処理部３は、３次元モデルを画像に重畳し（Ｓ２）、事前に保存したデータベース上の弛度、スパン長、位置等のケーブルの情報と３次元モデルを比較可能に表示する（Ｓ１２１）。例えば、演算処理部３は、図１６に示すように、ケーブル１０２－２の大きさを示す範囲１０４を表示部４に表示する。これにより、ユーザは、画像が不鮮明な場合であっても、ケーブル１０２－２の範囲の判定が可能になる。
　演算処理部３は、図１０に示すカーソル１０３－１及び１０３－２のようなケーブル１０２－２の範囲を取得すると、ケーブルの情報と同じ大きさ及び形状になるように点群を抽出し（Ｓ１２２～Ｓ１２６）、３次元モデルを作成する（Ｓ３１２及びＳ３１３）。第１の方法と同様に、点群の座標も利用することで、同色のピクセルが広範囲に伸びていても、３次元モデルに利用できるか判断可能である。
　本実施形態では、３次元モデル１１２－１はケーブル１０２－２と重なっている。この場合、ステップＳ１２１において、演算処理部３は、３次元モデル１１２－１が選択されると、３次元モデル１１２－１と比較するための対象物であるケーブル１０２－２を重畳画像上で選択する。そして、事前に用意していたデータベースから、選択されたケーブル１０２－２の位置・長さに基づいて対応する対象物を検索し、その大きさ・形状・位置等の情報を呼び出す。
　またステップＳ１２２～Ｓ１２６において、演算処理部３は、３次元モデル１１２－１とデータベース内のケーブル１０２－２の情報を比較し、データベース上のケーブル１０２－２の方が大きい又は形状が異なる場合、データベースの情報を基に、３次元モデル１１２－１を構成する点群候補を点群ｄ１～ｄ２５から抽出してもよい。そして、演算処理部３は、対象物範囲内にある点群ｄ１～ｄ２５から、３次元モデルの近似線の延長線上からあらかじめ指定しておいた閾値内にある点群を用いて再度３次元モデルを作成する。前記閾値の考え方はＳ１１４～Ｓ１１７と同様である。
　以上説明したように、本実施形態は、端点間に点群が存在しない箇所に点群を追加可能であるため、点間距離が等間隔で並んでおらず、点群が一部しか存在しない場合であっても、対象物の３次元モデルを精度よく作成することができる。
（第２の実施形態）
　図１７に、ステップＳ３の具体例を示す。本実施形態では、作成された３次元モデル形状を推定する。作成した３次元モデルを画像と重畳し（Ｓ２）、３次元モデルの形状を類推し（Ｓ３２１）、３次元モデルから類推された近似線を画像上に表示し（Ｓ３２２）、近似線の端点を重畳画像上で選択し（Ｓ３２３）、選択箇所の付近でありかつ近似線からの閾値以内に点群が存在していれば（Ｓ３２４）、その点を端点とし３次元モデルを再度作成し（Ｓ３２５）、保存する（Ｓ３２６）。
　例えば、演算処理部３は、図８に示すように、３次元モデル１１２－１を画像と重畳する（Ｓ２）。そして、演算処理部３は、３次元モデル１１２－１の近似線を抽出し、図１８に示すように３次元モデル１１２－１の近似線を延長し、表示部４に表示する（Ｓ３２２）。演算処理部３は、図１０に示すカーソル１０３－１及び１０３－２のようなケーブル１０２－２の範囲を取得すると、その近似線上に乗りかつカーソル１０３－１及び１０３－２の範囲の点群を用いて再度３次元モデルを作成する（Ｓ３２３～Ｓ３２７）。ここで、近似線は、近似曲線、カテナリ曲線を用いることができる。
　本実施形態では、ステップＳ３２３において、３次元モデル１１２－１の近似線が電柱１０１－１及び１０１－２と交差している画像が表示部４に表示される。このため、ユーザは、この交差点を用いて、人目で３次元モデルの端点を容易に選択することができる。
　選択した箇所に近似線から閾値以内に点群が存在する場合（ステップＳ３２４においてＹｅｓ）、その点群を端点として（ステップＳ３２６）、３次元モデルを再度作成する。一方、端点となりうる点群が存在しない場合（ステップＳ３２４においてＮｏ）、選択した近似線内で最も端点に近い、近似線から閾値以内にある点群を端点とする（ステップＳ３２７）。本実施形態では、図１９に示すように、図１０に示すカーソル１０３－１の箇所に点ｄ１が存在し、図１０に示すカーソル１０３－２の箇所に点ｄ２１が存在する。そこで、演算処理部３は、点ｄ１及び点ｄ２１を端点として３次元モデル１１２－１を再度作成する。
　前記閾値は、Ｓ１１４～Ｓ１１７と同様にし、近似線から点群までの距離を閾値として設定する。ここで、３次元モデルを再度作成するときには、近似線の端点間の中で、近似線から閾値以内にある点群を全て用いてもよいし、ケーブル１０２－２と同じ色情報を有する点群を選択的に用いてもよい。
　ケーブルであれば、固定式３Ｄレーザスキャナ１－１から近距離の場所では３次元モデルが作成可能であり、カテナリ曲線を推定することができる。ケーブルは電柱や家の壁面に設置されており、画像で見るとケーブルと電柱・家の壁面との色が異なるためわかりやすく、かつ、ケーブル端点よりも取得が容易である。これらの点群を端点に用いて３次元モデルの近似線を延長してもよい。これにより、精度良い３次元モデルを作成することが可能となる。
　以上説明したように、本実施形態は、端点を選択し、３次元モデルの形状に応じてモデルを大きくすることで、端点間に点群が存在しない箇所を補正した３次元モデルを作成することができる。
　ここで、本実施形態では、画像と組み合わせることで、端点を視覚的にわかりやすくすることができる。また、形状に特徴を持つ対象物で、固定式３Ｄレーザスキャナ１－１から遠距離でも境界となる点群が取得することができれば、３次元モデルを精度よく作成することが可能である。
　また作成した３次元モデルが本来はどのような形状の物体かをあらかじめ学習しておくことで、近似線を用いた３次元モデルの延長を精度よく行うことが可能になる。
　本開示は情報通信産業に適用することができる。
１－１：固定式３Ｄレーザスキャナ
１－２：カメラ
２：記憶媒体
３：演算処理部
４：表示部
５：装置
９１：点
９２：線
１００：対象物
１０１－１、１０１－２：電柱
１０２－１、１０２－２、１０２－３：ケーブル
１１１：電柱モデル
１１２：ケーブルモデル

Claims (7)

  1. 　各点が３次元座標を表す点群データから対象物の３次元モデルを作成し、
    　前記３次元モデルを、前記３次元モデルの対象物が撮影されている画像に重畳し、
    　前記重畳によって生成された重畳画像を表示し、
    　前記重畳画像における前記対象物の範囲が入力されると、前記重畳画像の範囲に点が位置する点群データを用いて、３次元モデルを再度作成する、
    　装置。
  2. 　前記重畳画像の範囲に位置する点群のうち、前記３次元モデルの近似線から閾値内にある点群を用いて、３次元モデルを再度作成する、
    　請求項１に記載の装置。
  3. 　前記画像内の前記対象物の色情報を、前記対象物と重畳されている各点に付与し、
    　前記対象物と同じ色情報を有する点群の範囲が入力されると、入力された範囲に位置する点群を用いて、３次元モデルを再度作成する、
    　請求項１又は２に記載の装置。
  4. 　任意の対象物の大きさに関する情報が格納されているデータベースを参照することで、前記画像内の前記対象物の大きさを取得し、
    　取得した前記対象物の大きさの範囲を、前記重畳画像に表示する、
    　請求項１から３のいずれかに記載の装置。
  5. 　前記３次元モデルの近似線を算出し、
    　前記近似線に沿って前記３次元モデルを延長し、
    　近似線で延長された前記３次元モデルを前記画像に重畳することで、前記重畳画像を表示する、
    　請求項１から３のいずれかに記載の装置。
  6. 　各点が３次元座標を表す点群データから対象物の３次元モデルを作成し、
    　前記３次元モデルを、前記３次元モデルの対象物が撮影されている画像に重畳し、
    　前記重畳によって生成された重畳画像を表示し、
    　前記重畳画像において前記対象物の範囲が入力されると、前記重畳画像の範囲に点が位置する点群データを用いて、３次元モデルを再度作成する、
    　方法。
  7. 　請求項１から５のいずれかに記載の装置としてコンピュータを実現するためのプログラム。
PCT/JP2022/001022 2022-01-14 2022-01-14 ３次元モデルを作成する装置、方法及びプログラム WO2023135717A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/001022 WO2023135717A1 (ja) 2022-01-14 2022-01-14 ３次元モデルを作成する装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/001022 WO2023135717A1 (ja) 2022-01-14 2022-01-14 ３次元モデルを作成する装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2023135717A1 true WO2023135717A1 (ja) 2023-07-20

Family

ID=87278691

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001022 WO2023135717A1 (ja) 2022-01-14 2022-01-14 ３次元モデルを作成する装置、方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2023135717A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195240A (ja) * 2017-05-22 2018-12-06 日本電信電話株式会社 設備状態検出方法、検出装置およびプログラム
WO2019244944A1 (ja) * 2018-06-19 2019-12-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元再構成方法および三次元再構成装置
JP2020012764A (ja) * 2018-07-19 2020-01-23 株式会社大林組 真円度計測装置
WO2020044589A1 (ja) * 2018-08-27 2020-03-05 株式会社日立ソリューションズ 空中線抽出システム及び方法
WO2020225889A1 (ja) * 2019-05-08 2020-11-12 日本電信電話株式会社 点群アノテーション装置、方法、及びプログラム
WO2021255798A1 (ja) * 2020-06-15 2021-12-23 日本電信電話株式会社 ワイヤモデル生成装置、ワイヤモデル生成方法及びワイヤモデル生成プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195240A (ja) * 2017-05-22 2018-12-06 日本電信電話株式会社 設備状態検出方法、検出装置およびプログラム
WO2019244944A1 (ja) * 2018-06-19 2019-12-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元再構成方法および三次元再構成装置
JP2020012764A (ja) * 2018-07-19 2020-01-23 株式会社大林組 真円度計測装置
WO2020044589A1 (ja) * 2018-08-27 2020-03-05 株式会社日立ソリューションズ 空中線抽出システム及び方法
WO2020225889A1 (ja) * 2019-05-08 2020-11-12 日本電信電話株式会社 点群アノテーション装置、方法、及びプログラム
WO2021255798A1 (ja) * 2020-06-15 2021-12-23 日本電信電話株式会社 ワイヤモデル生成装置、ワイヤモデル生成方法及びワイヤモデル生成プログラム

Similar Documents

Publication Publication Date Title
CN110427917B (zh) 用于检测关键点的方法和装置
US9208607B2 (en) Apparatus and method of producing 3D model
JP4253567B2 (ja) データオーサリング処理装置
US9984177B2 (en) Modeling device, three-dimensional model generation device, modeling method, program and layout simulator
JP5538667B2 (ja) 位置姿勢計測装置及びその制御方法
US10412594B2 (en) Network planning tool support for 3D data
WO2019228144A1 (zh) 图像处理方法和装置
WO2020225889A1 (ja) 点群アノテーション装置、方法、及びプログラム
JP6438995B2 (ja) 図面投影システム、図面投影方法及びプログラム
KR102566300B1 (ko) 실내 측위 방법, 장치, 장비 및 저장 매체
JP2014239384A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN111508020A (zh) 融合图像与激光雷达的电缆三维位置计算方法、装置
CN112669392B (zh) 一种应用于室内视频监控系统的地图定位方法及系统
CN111464795B (zh) 监控设备配置的实现方法、装置及电子设备
WO2023135717A1 (ja) ３次元モデルを作成する装置、方法及びプログラム
CN114726978A (zh) 信息处理装置、信息处理方法以及程序
JP6318576B2 (ja) 画像投影システム、画像処理装置、画像投影方法およびプログラム
JP7341736B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2023135718A1 (ja) ３次元モデルを作成する装置、方法及びプログラム
JP2022501751A (ja) ３ｄ幾何抽出のために画像の複数から相補的画像を選択するシステムおよび方法
JP2005174151A (ja) 三次元画像表示装置及び方法
EP4075789A1 (en) Imaging device, imaging method, and program
CN112462948B (zh) 一种基于深度相机偏离用户手势控制的标定方法和装置
CN114494659A (zh) 一种图像显示方法、装置、ar头戴设备及存储介质
WO2021073562A1 (zh) 多点云平面融合方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22920242

Country of ref document: EP

Kind code of ref document: A1