JP7079926B2 - 3D image generation system - Google Patents
3D image generation system Download PDFInfo
- Publication number
- JP7079926B2 JP7079926B2 JP2018040800A JP2018040800A JP7079926B2 JP 7079926 B2 JP7079926 B2 JP 7079926B2 JP 2018040800 A JP2018040800 A JP 2018040800A JP 2018040800 A JP2018040800 A JP 2018040800A JP 7079926 B2 JP7079926 B2 JP 7079926B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- mesh
- dimensional shape
- represented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Description
本発明は、構造物の三次元画像を生成する技術に関する。 The present invention relates to a technique for generating a three-dimensional image of a structure.
コンクリート構造物等の構造物には、時間の経過とともに、ひび割れや剥落等の劣化が生じる。構造物を撮影した画像に基づき当該構造物の劣化の状態を把握する技術がある。例えば、特許文献1には、作業者が撮影した橋梁等のコンクリート構造物の画像に基づき、当該コンクリート構造物から離れた場所にいる専門家が当該コンクリート構造物の劣化状態を診断するためのシステムが提案されている。
Structures such as concrete structures deteriorate over time, such as cracking and peeling. There is a technique for grasping the state of deterioration of a structure based on a photographed image of the structure. For example,
特許文献1に記載のシステムによる場合、専門家は分断された複数の二次元画像に基づき構造物の劣化状態を診断せねばならず、各画像が構造物のどの部分の画像であるかを特定するために時間を要し、構造物全体における劣化状態を把握しづらい。
In the case of the system described in
これに対し、三次元レーザースキャナ等により構造物全体の三次元形状を複数の点で表すノードデータを生成すると共に、光学カメラにより当該構造物を撮影した画像を表すテクスチャデータを生成し、ノードデータが表す三次元形状に、テクスチャデータが表す画像を重畳した画像を表示するシステムがある。このシステムによれば、専門家は構造物全体の三次元形状を把握すると共に、構造物の劣化部分の特定や構造物の劣化状態の特定を容易に行うことができる。 On the other hand, a three-dimensional laser scanner or the like generates node data representing the three-dimensional shape of the entire structure with a plurality of points, and an optical camera generates texture data representing an image of the structure, and the node data. There is a system that displays an image in which the image represented by the texture data is superimposed on the three-dimensional shape represented by. According to this system, an expert can grasp the three-dimensional shape of the entire structure and easily identify the deteriorated portion of the structure and the deteriorated state of the structure.
しかしながら、ノードデータは、例えば数万から数億といった膨大な数の点の位置により三次元形状を表すサイズの大きなデータであるため、処理に多くの時間やリソースを要する。 However, since the node data is large-sized data representing a three-dimensional shape by the positions of a huge number of points, for example, tens of thousands to hundreds of millions, a lot of time and resources are required for processing.
上記の背景に鑑み、本発明は、多大な時間やリソースを要することなく、構造物の劣化部分をユーザに認知させる手段を提供する。 In view of the above background, the present invention provides a means for the user to recognize the deteriorated portion of the structure without requiring a large amount of time and resources.
上述した課題を解決するために、本発明は、構造物の三次元形状を複数の点の位置で表すノードデータと、前記構造物の画像を表すテクスチャデータと、前記ノードデータが位置を示す複数の点のうち互いに隣接する複数の点を頂点とする多角形平面であるメッシュの各々に関し前記テクスチャデータが表す画像のうち当該メッシュに対応する部分である部分画像と当該メッシュとの対応関係を示す第1のマッピングデータとを取得する取得手段と、前記ノードデータが表す三次元形状を近似する複数の幾何学的な曲面であって、前記複数の点のうち互いに隣接する複数の点を頂点とする多角形平面の数より少ない数の曲面を特定し、当該複数の幾何学的な曲面を表すメッシュデータを生成する単純化手段と、前記メッシュデータが示す複数の幾何学的な曲面の各々に関し、前記第1のマッピングデータに基づき前記テクスチャデータが表す複数の部分画像のうち当該曲面に対応する複数の部分画像を特定し、当該複数の部分画像を繋ぎ合わせて当該曲面に対応する新たな部分画像を生成し、当該新たな部分画像と当該曲面との対応関係を示す第2のマッピングデータを生成する対応付手段と、前記テクスチャデータが表す画像から前記構造物の劣化部分を特定し、前記テクスチャデータと前記第2のマッピングデータを用いて当該劣化部分の領域を示す劣化領域データを生成する特定手段と、前記メッシュデータが表す三次元形状の画像に、前記劣化領域データが示す領域を表す画像を重畳した画像を生成する生成手段とを備える三次元画像生成システムを第1の態様として提供する。 In order to solve the above-mentioned problems, the present invention has node data representing the three-dimensional shape of a structure at positions of a plurality of points, texture data representing an image of the structure, and a plurality of node data indicating positions. Shows the correspondence between the mesh and the partial image corresponding to the mesh in the image represented by the texture data for each of the meshes that are polygonal planes having a plurality of points adjacent to each other as vertices. An acquisition means for acquiring the first mapping data, and a plurality of geometric curved surfaces that approximate the three-dimensional shape represented by the node data, and a plurality of points adjacent to each other among the plurality of points are defined as vertices. With respect to the simplification means for identifying a number of curved surfaces smaller than the number of polygonal planes to be generated and generating mesh data representing the plurality of geometrical surfaces, and for each of the plurality of geometrical curved surfaces indicated by the mesh data. , A plurality of partial images corresponding to the curved surface are specified from the plurality of partial images represented by the texture data based on the first mapping data, and the plurality of partial images are joined together to form a new portion corresponding to the curved surface. Corresponding means for generating an image and generating a second mapping data showing the correspondence relationship between the new partial image and the curved surface, and the deteriorated portion of the structure are specified from the image represented by the texture data, and the said The specific means for generating the deteriorated region data indicating the region of the deteriorated portion using the texture data and the second mapping data, and the region indicated by the deteriorated region data in the three-dimensional shape image represented by the mesh data are represented. A three-dimensional image generation system including a generation means for generating an image on which images are superimposed is provided as a first aspect.
第1の態様の三次元画像生成システムによれば、多大な時間やリソースを要することなく、構造物の劣化部分をユーザに認知させることができる。 According to the three-dimensional image generation system of the first aspect, it is possible to make the user aware of the deteriorated portion of the structure without requiring a large amount of time and resources.
第1の態様の三次元画像生成システムにおいて、前記単純化手段により生成されたメッシュデータが表す三次元形状が有する規則性に基づき当該三次元形状の欠落部分を補完し、補完後の三次元形状を表すメッシュデータを生成する補完手段を備え、前記生成手段は、前記単純化手段が生成したメッシュデータに代えて、前記補完手段が生成したメッシュデータを用いる、という構成が第2の態様として採用されてもよい。 In the three-dimensional image generation system of the first aspect, the missing part of the three-dimensional shape is complemented based on the regularity of the three-dimensional shape represented by the mesh data generated by the simplification means, and the complemented three-dimensional shape is complemented. As the second aspect, the configuration is provided with a complementary means for generating mesh data representing the above, and the generating means uses the mesh data generated by the complementary means instead of the mesh data generated by the simplified means. May be done.
第2の態様の三次元画像生成システムによれば、欠落部分の少ない構造物の三次元形状をユーザに認知させることができる。 According to the three-dimensional image generation system of the second aspect, the user can recognize the three-dimensional shape of the structure having few missing portions.
第1又は第2の態様の三次元画像生成システムにおいて、前記特定手段により特定された劣化部分の劣化状態を判定する判定手段を備え、前記生成手段は、前記メッシュデータが表す三次元形状の画像に、前記劣化状態を示す画像を重畳した画像を生成する、という構成が第3の態様として採用されてもよい。 In the three-dimensional image generation system of the first or second aspect, the generation means includes a determination means for determining the deterioration state of the deteriorated portion specified by the specific means, and the generation means is an image of the three-dimensional shape represented by the mesh data. In addition, a configuration in which an image showing the deterioration state is superimposed to generate an image may be adopted as the third aspect.
第3の態様の三次元画像生成システムによれば、構造物の劣化状態をユーザに認知させることができる。 According to the three-dimensional image generation system of the third aspect, the user can be made aware of the deterioration state of the structure.
また、本発明は、コンピュータに、構造物の三次元形状を複数の点の位置で表すノードデータと、前記構造物の画像を表すテクスチャデータと、前記ノードデータが位置を示す複数の点のうち互いに隣接する複数の点を頂点とする多角形平面であるメッシュの各々に関し前記テクスチャデータが表す画像のうち当該メッシュに対応する部分である部分画像と当該メッシュとの対応関係を示す第1のマッピングデータとを取得する処理と、前記ノードデータが表す三次元形状を近似する複数の幾何学的な曲面であって、前記複数の点のうち互いに隣接する複数の点を頂点とする多角形平面の数より少ない数の曲面を特定し、当該複数の幾何学的な曲面を表すメッシュデータを生成する処理と、前記メッシュデータが示す複数の幾何学的な曲面の各々に関し、前記第1のマッピングデータに基づき前記テクスチャデータが表す複数の部分画像のうち当該曲面に対応する複数の部分画像を特定し、当該複数の部分画像を繋ぎ合わせて当該曲面に対応する新たな部分画像を生成し、前記テクスチャデータと前記第2のマッピングデータを用いて当該劣化部分の領域を示す劣化領域データを生成する処理と、前記テクスチャデータが表す画像から前記構造物の劣化部分を特定し、前記第2のマッピングデータに基づき当該劣化部分の領域を示す劣化領域データを生成する処理と、前記メッシュデータが表す三次元形状の画像に、前記劣化領域データが示す領域を表す画像を重畳した画像を生成する処理とを実行させるためのプログラムを第4の態様として提供する。 Further, in the present invention, the computer has node data representing the three-dimensional shape of the structure at the positions of a plurality of points, texture data representing the image of the structure, and a plurality of points at which the node data indicates the position. The first mapping showing the correspondence between the partial image which is the part corresponding to the mesh in the image represented by the texture data for each of the meshes which are polygonal planes having a plurality of points adjacent to each other as vertices. A process of acquiring data and a plurality of geometrical curved surfaces that approximate the three-dimensional shape represented by the node data, and a polygonal plane having a plurality of points adjacent to each other as vertices among the plurality of points. The first mapping data for each of the process of specifying a number of curved surfaces smaller than the number and generating mesh data representing the plurality of geometrical curved surfaces and each of the plurality of geometrical curved surfaces indicated by the mesh data. Among the plurality of partial images represented by the texture data, a plurality of partial images corresponding to the curved surface are specified, and the plurality of partial images are joined to generate a new partial image corresponding to the curved surface, and the texture is generated. The process of generating the deteriorated region data indicating the region of the deteriorated portion using the data and the second mapping data, and the deteriorated portion of the structure are specified from the image represented by the texture data, and the second mapping data. The process of generating the deteriorated area data indicating the area of the deteriorated portion based on the above, and the process of generating the image in which the image representing the area indicated by the deteriorated area data is superimposed on the three-dimensional shape image represented by the mesh data. A program for executing is provided as a fourth aspect.
第4の態様のプログラムによれば、コンピュータを用いて、多大な時間やリソースを要することなく、構造物の劣化部分をユーザに認知させることができる。 According to the program of the fourth aspect, the computer can be used to make the user aware of the deteriorated portion of the structure without requiring a large amount of time and resources.
[実施形態]
以下に本発明の一実施形態に係る三次元画像生成システム1を説明する。図1は、三次元画像生成システム1のハードウェア構成を模式的に示した図である。三次元画像生成システム1は、コンピュータ10と、コンピュータ10に接続された表示装置12、操作装置13、三次元レーザースキャナ14を備える。
[Embodiment]
The three-dimensional
コンピュータ10は、プロセッサ101、メモリ102、インタフェース103を備える。プロセッサ101は、メモリ102に記憶されているプログラムに従い各種データ処理を行う。メモリ102は、プロセッサ101により実行されるプログラム等の各種データを記憶する。インタフェース103は、表示装置12、操作装置13、三次元レーザースキャナ14に対するデータの受け渡しを行う。なお、インタフェース103によるデータの受け渡しは、有線接続及び無線接続のいずれによって行われてもよい。
The
表示装置12は画像を表示する。操作装置13はユーザのコンピュータ10に対する操作を受け付ける。
The
三次元レーザースキャナ14は、対象物の表面上の多数の点にレーザー光を照射し、その反射光によりそれらの多数の点の各々までの距離を測定し、測定した距離に基づき対象物の三次元形状を複数の点の位置で表すノードデータを生成する。以下、ノードデータが位置を示す複数の点のうち互いに隣接する複数の点を頂点とする三角形平面又は四角形平面を「単純化前メッシュ」と呼ぶ。
The three-
また、三次元レーザースキャナ14は、デジタルカメラを有し、対象物をデジタルカメラで撮影した画像を表すテクスチャデータを生成する。さらに、三次元レーザースキャナ14は、テクスチャデータが表す画像のうち、複数の単純化前メッシュの各々に対応する部分(以下、「部分画像」という)を特定する処理(マッピング処理)を行い、特定した部分画像と単純化前メッシュの対応関係を示すマッピングデータを生成する。
Further, the three-
以下、三次元レーザースキャナ14が生成するノードデータ、テクスチャデータ及びマッピングデータを含むデータを「テクスチャ付き高密度三次元形状データ」という。テクスチャ付き高密度三次元形状データは、対象物の三次元形状とその外観を表す。
Hereinafter, data including node data, texture data, and mapping data generated by the three-
コンピュータ10は、本実施形態に係るプログラムに従う処理を行うことにより、図2に示す構成を備えるデータ処理装置11として機能する。すなわち、本実施形態に係るプログラムは、コンピュータ10に、以下に説明する記憶手段110、取得手段111、単純化手段112、補完手段113、対応付手段114、特定手段115、判定手段116、生成手段117が行う処理を実行させる。
The
記憶手段110は、データ処理装置11が三次元レーザースキャナ14から取得するテクスチャ付き高密度三次元形状データ及びデータ処理装置11が生成する各種データを記憶する。記憶手段110はプロセッサ101の制御下で動作するメモリ102により実現される。
The storage means 110 stores textured high-density three-dimensional shape data acquired from the three-
取得手段111は、三次元レーザースキャナ14からテクスチャ付き高密度三次元形状データを取得する。取得手段111はプロセッサ101の制御下で動作するインタフェース103により実現される。取得手段111はテクスチャ付き高密度三次元形状データを記憶手段110に記憶させる。
The acquisition means 111 acquires textured high-density three-dimensional shape data from the three-
単純化手段112は、記憶手段110に記憶されているテクスチャ付き高密度三次元形状データに含まれるノードデータが表す三次元形状を近似する複数の幾何学的な曲面であって、ノードデータが表す三次元形状を構成する単純化前メッシュの数よりも少ない数の曲面(以下、「単純化後メッシュ」という)を特定する。本願において、幾何学的な曲面とは、平面又は所定の規則に従い変化する曲率を有する形状の曲面を意味する。幾何学的な曲面の例としては、平面の他、円柱の側面、球の外面、円錐の側面等が挙げられる。 The simplification means 112 is a plurality of geometric curved surfaces that approximate the three-dimensional shape represented by the node data included in the textured high-density three-dimensional shape data stored in the storage means 110, and is represented by the node data. Identify a number of curved surfaces (hereinafter referred to as "post-simplification meshes") that are smaller than the number of pre-simplification meshes that make up the three-dimensional shape. In the present application, a geometric curved surface means a plane or a curved surface having a shape having a curvature that changes according to a predetermined rule. Examples of geometric curved surfaces include a plane, a side surface of a cylinder, an outer surface of a sphere, a side surface of a cone, and the like.
単純化手段112が単純化後メッシュを特定する方法としては、例えば、溝口知広、伊達宏昭、金井理、共著「Region Growing/Mergingを用いた効率的なメッシュセグメンテーション」(精密工学会誌、74巻7号752-759ページ、2008年7月)に記載されている以下の工程を備える方法が採用可能であるが、それに限られない。 As a method for the simplification means 112 to identify the post-simplified mesh, for example, Tomohiro Mizoguchi, Hiroaki Date, Osamu Kanai, co-authored "Efficient Mesh Segmentation Using Region Growing / Merging" (Journal of Precision Engineering, Vol. 74, 7). No. 752-759, July 2008) can be adopted, but is not limited to the method including the following steps.
(工程1)局所2次多項式曲面フィッティングの反復に基づき、メッシュ頂点の主曲率を計算する。
(工程2)工程1で算出した主曲率を基に初期セグメンテーションを行う。より具体的には、まず各頂点の主曲率を解析し、本来の曲面間の境界ではなく曲面上に乗っていると推定される小さな数の連結頂点集合からなるシード領域を生成する。次に、2次多項式曲面と2次曲面を併用したリージョングローイングを用いて、領域への曲面フィッティングとシード領域への近傍頂点追加を反復的に行い、メッシュ上の部分領域とそれを近似する解析曲面を抽出する。
(工程3)リージョンマージングを用いて、ユーザが指定した閾値内で、領域数をできるだけ減少するように効率的に初期領域を統合する。
(Step 1) The principal curvature of the mesh vertex is calculated based on the repetition of the local quadratic polynomial curved surface fitting.
(Step 2) Initial segmentation is performed based on the principal curvature calculated in
(Step 3) Using region merging, the initial regions are efficiently integrated so as to reduce the number of regions as much as possible within the threshold value specified by the user.
単純化手段112は、複数の単純化後メッシュの形状、大きさ、位置、方向により対象物の三次元形状を表すメッシュデータを生成し、記憶手段110に記憶させる。 The simplification means 112 generates mesh data representing the three-dimensional shape of the object according to the shape, size, position, and direction of the plurality of simplified meshes, and stores the mesh data in the storage means 110.
補完手段113は、単純化手段112により生成されたメッシュデータが表す三次元形状が有する規則性に基づき当該三次元形状の欠落部分を補完し、補完後の三次元形状を表すメッシュデータを生成する。以下、単純化手段112が生成するメッシュデータを「補完前メッシュデータ」、補完手段113が生成するメッシュデータを「補完後メッシュデータ」という。 The complement means 113 complements the missing portion of the three-dimensional shape based on the regularity of the three-dimensional shape represented by the mesh data generated by the simplification means 112, and generates mesh data representing the complemented three-dimensional shape. .. Hereinafter, the mesh data generated by the simplification means 112 is referred to as “pre-complementary mesh data”, and the mesh data generated by the complement means 113 is referred to as “post-complementary mesh data”.
対応付手段114は、補完後メッシュデータが示す複数の単純化後メッシュの各々に関し、テクスチャ付き高密度三次元形状データに含まれるマッピングデータに基づき、テクスチャ付き高密度三次元形状データに含まれるテクスチャデータが表す複数の部分画像のうち当該単純化後メッシュに対応する複数の部分画像を特定し、それらの部分画像を繋ぎ合わせて、当該単純化後メッシュに対応する新たな部分画像を生成する。 The corresponding means 114 is based on the mapping data included in the textured high-density three-dimensional shape data for each of the plurality of simplified meshes indicated by the complemented mesh data, and the texture included in the textured high-density three-dimensional shape data. A plurality of partial images corresponding to the simplified mesh are specified from the plurality of partial images represented by the data, and the partial images are joined together to generate a new partial image corresponding to the simplified mesh.
対応付手段114は、複数の単純化後メッシュの各々に対応する部分画像を表すテクスチャデータと、部分画像と単純化後メッシュとの対応関係を示すマッピングデータを生成し、記憶手段110に記憶させる。 The corresponding means 114 generates texture data representing a partial image corresponding to each of the plurality of simplified meshes and mapping data showing a correspondence relationship between the partial image and the simplified mesh, and stores it in the storage means 110. ..
以下、補完後メッシュデータと、対応付手段114が生成するテクスチャデータ及びマッピングデータを含むデータを「テクスチャ付き低密度三次元形状データ」という。テクスチャ付き低密度三次元形状データは、テクスチャ付き高密度三次元形状データと同様に対象物の三次元形状とその外観を表すが、テクスチャ付き高密度三次元形状データと比較しデータサイズが小さい。従って、テクスチャ付き低密度三次元形状データを用いた処理(例えば、対象物の三次元形状及び外観の表示処理)の負荷は小さく、そのために膨大な時間やリソースを要することはない。 Hereinafter, the data including the complemented mesh data and the texture data and the mapping data generated by the corresponding means 114 are referred to as “textured low-density three-dimensional shape data”. The textured low-density three-dimensional shape data represents the three-dimensional shape of the object and its appearance in the same manner as the textured high-density three-dimensional shape data, but the data size is smaller than that of the textured high-density three-dimensional shape data. Therefore, the load of the process using the textured low-density three-dimensional shape data (for example, the process of displaying the three-dimensional shape and the appearance of the object) is small, and therefore, a huge amount of time and resources are not required.
特定手段115は、テクスチャ付き低密度三次元形状データに含まれるテクスチャデータが表す画像から、対象物の劣化部分(ひび、剥落等)を特定し、特定した劣化部分の領域を示す劣化領域データを記憶手段110に記憶させる。特定手段115が対象物の劣化部分を特定する方法としては、例えば、単純なパターンマッチングを用いた画像解析方法が採用され得るが、これに限られない。 The specifying means 115 identifies the deteriorated portion (crack, peeling, etc.) of the object from the image represented by the texture data included in the textured low-density three-dimensional shape data, and obtains the deteriorated region data indicating the region of the specified deteriorated portion. It is stored in the storage means 110. As a method for specifying the deteriorated portion of the object by the specifying means 115, for example, an image analysis method using simple pattern matching can be adopted, but the method is not limited to this.
判定手段116は、特定手段115により特定された劣化部分、すなわち対象物のうち劣化領域データが示す領域の劣化状態を判定し、判定の結果を示す判定結果データを記憶手段110に記憶させる。判定手段116が劣化状態を判定する方法としては、例えば、劣化部分の長さ(ひびの場合)や面積(剥落の場合)を算出し、算出したそれらの数値を閾値と比較することにより、劣化の程度を特定する方法が採用され得るが、これに限られない。 The determination means 116 determines the deterioration state of the deteriorated portion specified by the specific means 115, that is, the region of the object indicated by the deterioration region data, and stores the determination result data indicating the determination result in the storage means 110. As a method for determining the deterioration state by the determination means 116, for example, the length (in the case of cracks) and the area (in the case of peeling) of the deteriorated portion are calculated, and the calculated numerical values are compared with the threshold value to deteriorate. A method of specifying the degree of can be adopted, but is not limited to this.
単純化手段112、補完手段113、対応付手段114、特定手段115、判定手段116は、プロセッサ101により実現される。
The simplification means 112, the complement means 113, the corresponding means 114, the identification means 115, and the determination means 116 are realized by the
生成手段117は、補完後メッシュデータ、劣化領域データ、判定結果データを用いて、補完後メッシュデータが表す三次元形状の画像に、特定手段115が特定した劣化部分及び判定手段116が判定した劣化状態を示す画像を重畳した画像を生成し、生成した画像を表す画像データを表示装置12に出力する。生成手段117はプロセッサ101と、プロセッサ101の制御下で動作するインタフェース103により実現される。
The generation means 117 uses the complemented mesh data, the deteriorated region data, and the determination result data to display the deteriorated portion specified by the
以下に、データ処理装置11が行う処理のフローを説明する。なお、以下の説明において、例として、データ処理装置11は、図3に示すような外観の構造物9の三次元形状及び劣化部分、劣化状態を表す画像を表示装置12に表示させるものとする。
The flow of processing performed by the
構造物9は桟橋の上部工であり、図3は構造物9を下方から見た図である。構造物9には、格子状に配置された複数の梁91と、隣り合う3本又は4本の梁91の連結部に配置された複数のハンチ92と、四方を梁91に囲まれた複数の床版93が含まれる。構造物9は、例えば鉄筋コンクリート製であり、ひびや剥落を生じている部分(劣化部分)を有する場合がある。
The
図3における領域Aは、障害物の影響等により三次元レーザースキャナ14によって距離の計測及び画像の撮影が行われなかった領域(欠落部分)である。
The region A in FIG. 3 is a region (missing portion) in which the distance is not measured and the image is not taken by the three-
図4は、データ処理装置11の処理のフローを示した図である。まず、取得手段111は、三次元レーザースキャナ14から構造物9のテクスチャ付き高密度三次元形状データを取得する(ステップS01)。
FIG. 4 is a diagram showing a processing flow of the
図5は、テクスチャ付き高密度三次元形状データに含まれるノードデータが表す構造物9の床版93の一部分の三次元形状を模式的に示した図である。図5において、多数の三角形の頂点は、ノードデータにより示される点である。図5に示すように、床版93の底面を三次元レーザースキャナ14が計測して生成したノードデータが示す三次元形状は、もともと床版93の表面にある細かい凹凸や計測誤差等の影響を受け、平坦ではない。
FIG. 5 is a diagram schematically showing a three-dimensional shape of a part of the
続いて、単純化手段112は、ステップS01において取得されたテクスチャ付き高密度三次元形状データに含まれるノードデータを用いて、構造物9の補完前メッシュデータを生成する(図4、ステップS02)。
Subsequently, the simplification means 112 generates pre-complementary mesh data for the
図6は、図5に示した三次元形状を近似する、単純化手段112により特定される曲面を示した図である。この場合、単純化手段112は、図5に示されるノードデータが表す三次元形状を近似する曲面として1つの平面を特定する。単純化手段112は、ノードデータが表す構造物9の三次元形状の全ての領域において同様の処理を行い、構造物9の全体の三次元形状を表す補完前メッシュデータを生成する。
FIG. 6 is a diagram showing a curved surface specified by the simplification means 112, which approximates the three-dimensional shape shown in FIG. In this case, the simplification means 112 specifies one plane as a curved surface that approximates the three-dimensional shape represented by the node data shown in FIG. The simplification means 112 performs the same processing in all areas of the three-dimensional shape of the
図7は、単純化手段112が生成する補完前メッシュデータが表す構造物9の三次元形状の一部を示した図である。図7に示される三次元形状は、図3に示した三次元形状に含まれる細かい凹凸等が除かれ、単純化された形状である。
FIG. 7 is a diagram showing a part of the three-dimensional shape of the
続いて、補完手段113は、ステップS02において生成された補完前メッシュデータが表す三次元形状における規則性に基づき欠落部分を補完した構造物9の全体の三次元形状を表す補完後メッシュデータを生成する(図4、ステップS03)。
Subsequently, the complement means 113 generates post-complement mesh data representing the entire three-dimensional shape of the
図8は、補完手段113が生成する補完後メッシュデータが表す構造物9の三次元形状の一部を示した図である。
FIG. 8 is a diagram showing a part of the three-dimensional shape of the
続いて、対応付手段114は、テクスチャ付き高密度三次元形状データに含まれるテクスチャデータとマッピングデータを用いて、ステップS03において生成された補完後メッシュデータが示す複数のメッシュの各々に対応する部分画像を表す新たなテクスチャデータと、それらのメッシュと部分画像の対応関係を示す新たなマッピングデータを生成する(図4、ステップS04)。ステップS04において生成される新たなテクスチャデータとマッピングデータは、補完後メッシュデータと共に、テクスチャ付き低密度三次元形状データを構成する。 Subsequently, the corresponding means 114 uses the texture data and the mapping data included in the textured high-density three-dimensional shape data, and the portion corresponding to each of the plurality of meshes indicated by the complemented mesh data generated in step S03. New texture data representing the image and new mapping data showing the correspondence between the mesh and the partial image are generated (FIG. 4, step S04). The new texture data and mapping data generated in step S04 together with the complemented mesh data constitute textured low-density three-dimensional shape data.
続いて、特定手段115は、ステップS04において生成されたテクスチャデータとマッピングデータを用いて、構造物9の劣化部分を特定し、特定した劣化部分の領域を示す劣化領域データを生成する(ステップS05)。
Subsequently, the specifying means 115 identifies the deteriorated portion of the
図9は、ステップS04において生成されたテクスチャデータが表す、構造物9の一部の画像を模式的に示した図である。図9に示される画像には、ひびが生じた部分の画像(左側)と、コンクリートの一部が剥落した部分の画像(右側)が含まれている。
FIG. 9 is a diagram schematically showing an image of a part of the
図10は、図9の画像から特定手段115が特定した劣化部分を示した図である。図10の領域Bはひびを生じている劣化部分を示し、領域Cは剥落を生じている劣化部分を示している。 FIG. 10 is a diagram showing a deteriorated portion specified by the specifying means 115 from the image of FIG. The region B in FIG. 10 shows the deteriorated portion where the crack is generated, and the region C shows the deteriorated portion where the peeling occurs.
続いて、判定手段116は、ステップS04において生成されたテクスチャデータとステップS05において生成された劣化領域データを用いて、構造物9の劣化部分における劣化状態を判定し、判定の結果を示す判定結果データを生成する(図4、ステップS06)。
Subsequently, the determination means 116 determines the deterioration state in the deteriorated portion of the
図11は、図9の画像から判定手段116が判定した劣化状態を、劣化部分の表示態様により示した図である。 FIG. 11 is a diagram showing the deterioration state determined by the determination means 116 from the image of FIG. 9 by the display mode of the deteriorated portion.
続いて、生成手段117は、補完後メッシュデータが表す三次元形状の画像に、劣化領域データが示す領域を判定結果データが示す劣化状態に応じた表示態様で表す画像を重畳した画像を生成し、当該画像を表示装置12に表示させる(図4、ステップS07)。 Subsequently, the generation means 117 generates an image in which the region indicated by the deteriorated region data is superimposed on the image of the three-dimensional shape represented by the complemented mesh data in a display mode according to the deterioration state indicated by the determination result data. , The image is displayed on the display device 12 (FIG. 4, step S07).
図12は、ステップS07の処理に応じて、表示装置12が表示する画像を模式的に示した図である。ユーザは、表示装置12に表示される画像を見て、構造物9の劣化の状態を容易に知ることができる。
FIG. 12 is a diagram schematically showing an image displayed by the
[変形例]
上述した実施形態は、本発明の技術的思想の下で様々に変形されてよい。以下にそれらの変形の例を示す。
[Modification example]
The embodiments described above may be variously modified under the technical idea of the present invention. An example of these variations is shown below.
(1)上述した実施形態においては、テクスチャ付き高密度三次元形状データが表す構造物9の三次元形状に欠落部分があり、その欠落部分を補完手段113が補完する構成が採用されている。テクスチャ付き高密度三次元形状データが表す構造物9の三次元形状に欠落部分がない場合や、欠落部分があっても不都合が生じない場合は、三次元画像生成システム1が補完手段113を備えなくてもよい。この場合、生成手段117は補完後メッシュデータに代えて、補完前メッシュデータを用いて構造物9の三次元形状を表す画像を生成する。
(1) In the above-described embodiment, there is a missing portion in the three-dimensional shape of the
(2)上述した実施形態においては、テクスチャ付き高密度三次元形状データに含まれるノードデータは三次元レーザースキャナ14により生成されるものとしたが、ノードデータの生成方法はこれに限られない。例えば、三次元画像生成システム1が三次元レーザースキャナ14に代えて、対象物を複数の方向から撮影した画像を取得し、それらの画像を用いて対象物の三次元形状を特定するSfM(Shape from Motion, Structure from Motion)と呼ばれる手法によりノードデータを生成するデータ処理装置を備えてもよい。
(2) In the above-described embodiment, the node data included in the textured high-density three-dimensional shape data is generated by the three-
(3)上述した実施形態においては、データ処理装置11が、特定手段115と判定手段116を備える。これに代えて、データ処理装置11が、対象物の劣化部分と当該劣化部分における劣化状態を同時に特定する特定手段を備えてもよい。例えば、データ処理装置11が、劣化状態に応じて区分された対象物の画像を教師データとして用い、機械学習を行わせた人工知能を有し、当該人工知能によってテクスチャデータが表す画像に含まれる劣化部分の特定と特定した劣化部分における劣化状態の判定を同時に行う特定手段を備えてもよい。
(3) In the above-described embodiment, the
(4)上述した実施形態においては、データ処理装置11は1つの装置として構成される。これに代えて、互いにデータの送受信を行う複数の装置によりデータ処理装置11が構成されてもよい。この場合、データ処理装置11が備える記憶手段110、取得手段111、単純化手段112、補完手段113、対応付手段114、特定手段115、判定手段116、生成手段117は、データ処理装置11を構成する複数の装置のいずれに配置されてもよい。
(4) In the above-described embodiment, the
(5)上述した実施形態においては、劣化状態は劣化部分の表示態様により区別される。三次元画像生成システム1が構造物9の劣化状態を示す方法はこれに限られず、例えば劣化部分を示す画像の近傍に「劣化度:高」等の文字を表示することによって劣化状態を示す構成が採用されてもよい。
(5) In the above-described embodiment, the deteriorated state is distinguished by the display mode of the deteriorated portion. The method by which the three-dimensional
(6)上述した実施形態においては、データ処理装置11のハードウェアはコンピュータであり、プロセッサ101がプログラムに従う処理を実行することにより、図2に示される構成を備える装置が実現される。これに代えて、データ処理装置11が、図2に示される構成を備える専用装置として構成されてもよい。
(6) In the above-described embodiment, the hardware of the
1…三次元画像生成システム、9…構造物、10…コンピュータ、11…データ処理装置、12…表示装置、13…操作装置、14…三次元レーザースキャナ、91…梁、92…ハンチ、93…床版、101…プロセッサ、102…メモリ、103…インタフェース、110…記憶手段、111…取得手段、112…単純化手段、113…補完手段、114…対応付手段、115…特定手段、116…判定手段、117…生成手段。
1 ... 3D image generation system, 9 ... Structure, 10 ... Computer, 11 ... Data processing device, 12 ... Display device, 13 ... Operation device, 14 ... 3D laser scanner, 91 ... Beam, 92 ... Haunch, 93 ... Floor slab, 101 ... Processor, 102 ... Memory, 103 ... Interface, 110 ... Storage means, 111 ... Acquisition means, 112 ... Simplification means, 113 ... Complementary means, 114 ... Corresponding means, 115 ... Specific means, 116 ...
Claims (4)
前記ノードデータが表す三次元形状を近似する複数の幾何学的な曲面であって、前記複数の点のうち互いに隣接する複数の点を頂点とする多角形平面の数より少ない数の曲面を特定し、当該複数の幾何学的な曲面を表すメッシュデータを生成する単純化手段と、
前記メッシュデータが示す複数の幾何学的な曲面の各々に関し、前記第1のマッピングデータに基づき前記テクスチャデータが表す複数の部分画像のうち当該曲面に対応する複数の部分画像を特定し、当該複数の部分画像を繋ぎ合わせて当該曲面に対応する新たな部分画像を生成し、当該新たな部分画像と当該曲面との対応関係を示す第2のマッピングデータを生成する対応付手段と、
前記テクスチャデータが表す画像から前記構造物の劣化部分を特定し、前記テクスチャデータと前記第2のマッピングデータを用いて当該劣化部分の領域を示す劣化領域データを生成する特定手段と、
前記メッシュデータが表す三次元形状の画像に、前記劣化領域データが示す領域を表す画像を重畳した画像を生成する生成手段と
を備える三次元画像生成システム。 Node data representing the three-dimensional shape of the structure at the positions of a plurality of points, texture data representing the image of the structure, and a plurality of points adjacent to each other among the plurality of points indicating the positions of the node data as vertices. An acquisition means for acquiring a partial image which is a part corresponding to the mesh in the image represented by the texture data for each of the meshes which are polygonal planes and a first mapping data showing a correspondence relationship between the mesh and the mesh .
Specify a plurality of geometrical curved surfaces that approximate the three-dimensional shape represented by the node data, and the number of curved surfaces is smaller than the number of polygonal planes having a plurality of adjacent points as vertices among the plurality of points. And a simplification means to generate mesh data representing the plurality of geometric curved surfaces,
With respect to each of the plurality of geometrical curved surfaces shown by the mesh data, a plurality of partial images corresponding to the curved surface are specified among the plurality of partial images represented by the texture data based on the first mapping data, and the plurality of partial images are specified. To generate a new partial image corresponding to the curved surface by joining the partial images of the above, and to generate a second mapping data showing the correspondence relationship between the new partial image and the curved surface, and a corresponding means.
A specific means for identifying a deteriorated portion of the structure from an image represented by the texture data and generating deterioration region data indicating a region of the deteriorated portion using the texture data and the second mapping data .
A three-dimensional image generation system including a generation means for generating an image in which an image representing a region indicated by the deteriorated region data is superimposed on an image having a three-dimensional shape represented by the mesh data.
前記生成手段は、前記単純化手段が生成したメッシュデータに代えて、前記補完手段が生成したメッシュデータを用いる
請求項1に記載の三次元画像生成システム。 A complementing means for complementing a missing portion of the three-dimensional shape based on the regularity of the three-dimensional shape represented by the mesh data generated by the simplification means and generating mesh data representing the complemented three-dimensional shape is provided.
The three-dimensional image generation system according to claim 1, wherein the generation means uses the mesh data generated by the complement means instead of the mesh data generated by the simplification means.
前記生成手段は、前記メッシュデータが表す三次元形状の画像に、前記劣化状態を示す画像を重畳した画像を生成する
請求項1又は2に記載の三次元画像生成システム。 A determination means for determining the deterioration state of the deteriorated portion specified by the specific means is provided.
The three-dimensional image generation system according to claim 1 or 2, wherein the generation means generates an image in which an image showing the deterioration state is superimposed on an image having a three-dimensional shape represented by the mesh data.
構造物の三次元形状を複数の点の位置で表すノードデータと、前記構造物の画像を表すテクスチャデータと、前記ノードデータが位置を示す複数の点のうち互いに隣接する複数の点を頂点とする多角形平面であるメッシュの各々に関し前記テクスチャデータが表す画像のうち当該メッシュに対応する部分である部分画像と当該メッシュとの対応関係を示す第1のマッピングデータとを取得する処理と、
前記ノードデータが表す三次元形状を近似する複数の幾何学的な曲面であって、前記複数の点のうち互いに隣接する複数の点を頂点とする多角形平面の数より少ない数の曲面を特定し、当該複数の幾何学的な曲面を表すメッシュデータを生成する処理と、
前記メッシュデータが示す複数の幾何学的な曲面の各々に関し、前記第1のマッピングデータに基づき前記テクスチャデータが表す複数の部分画像のうち当該曲面に対応する複数の部分画像を特定し、当該複数の部分画像を繋ぎ合わせて当該曲面に対応する新たな部分画像を生成し、当該新たな部分画像と当該曲面との対応関係を示す第2のマッピングデータを生成する処理と、
前記テクスチャデータが表す画像から前記構造物の劣化部分を特定し、前記テクスチャデータと前記第2のマッピングデータを用いて当該劣化部分の領域を示す劣化領域データを生成する処理と、
前記メッシュデータが表す三次元形状の画像に、前記劣化領域データが示す領域を表す画像を重畳した画像を生成する処理と
を実行させるためのプログラム。 On the computer
Node data representing the three-dimensional shape of the structure at the positions of a plurality of points, texture data representing the image of the structure, and a plurality of points adjacent to each other among the plurality of points indicating the positions of the node data as vertices. A process of acquiring a partial image which is a part corresponding to the mesh in the image represented by the texture data for each of the meshes which are polygonal planes, and a first mapping data showing a correspondence relationship between the mesh and the mesh .
Specify a plurality of geometrical curved surfaces that approximate the three-dimensional shape represented by the node data, and the number of curved surfaces is smaller than the number of polygonal planes having a plurality of adjacent points as vertices among the plurality of points. Then, the process of generating mesh data representing the plurality of geometrical curved surfaces, and
With respect to each of the plurality of geometrical curved surfaces shown by the mesh data, a plurality of partial images corresponding to the curved surface are specified among the plurality of partial images represented by the texture data based on the first mapping data, and the plurality of partial images are specified. A process of connecting the partial images of the above to generate a new partial image corresponding to the curved surface, and generating a second mapping data showing the correspondence relationship between the new partial image and the curved surface.
A process of identifying a deteriorated portion of the structure from an image represented by the texture data and using the texture data and the second mapping data to generate deterioration region data indicating a region of the deteriorated portion .
A program for executing a process of generating an image in which an image representing a region indicated by the deteriorated region data is superimposed on an image having a three-dimensional shape represented by the mesh data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018040800A JP7079926B2 (en) | 2018-03-07 | 2018-03-07 | 3D image generation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018040800A JP7079926B2 (en) | 2018-03-07 | 2018-03-07 | 3D image generation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019159379A JP2019159379A (en) | 2019-09-19 |
JP7079926B2 true JP7079926B2 (en) | 2022-06-03 |
Family
ID=67992601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018040800A Active JP7079926B2 (en) | 2018-03-07 | 2018-03-07 | 3D image generation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7079926B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6898020B1 (en) * | 2020-02-17 | 2021-07-07 | クリスタルメソッド株式会社 | Information processing device and information processing method |
JP2021148593A (en) * | 2020-03-19 | 2021-09-27 | 株式会社Screenホールディングス | Inspection system, display method of inspection result, and display program |
KR102234891B1 (en) * | 2020-08-31 | 2021-04-01 | (주)제이스코리아 | Automatic system for creating report of inspection of concrete surface |
KR102233351B1 (en) * | 2021-01-07 | 2021-03-30 | 주식회사 유오케이 | Management system and method for facility management based on 3d lidar |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004272459A (en) | 2003-03-06 | 2004-09-30 | Cad Center:Kk | Automatic generation device and automatic generation method of three-dimensional shape, program and storage medium recording the program |
WO2013111195A1 (en) | 2012-01-27 | 2013-08-01 | 三菱電機株式会社 | Drawing data generation device and image drawing device |
US20150170398A1 (en) | 2012-05-08 | 2015-06-18 | Google Inc. | Generating Reduced Resolution Textured Model From Higher Resolution Model |
WO2017119154A1 (en) | 2016-01-07 | 2017-07-13 | 三菱電機株式会社 | Detection device and detection method |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008033522A (en) * | 2006-07-27 | 2008-02-14 | Namco Bandai Games Inc | Program, information storage medium and image generation system |
-
2018
- 2018-03-07 JP JP2018040800A patent/JP7079926B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004272459A (en) | 2003-03-06 | 2004-09-30 | Cad Center:Kk | Automatic generation device and automatic generation method of three-dimensional shape, program and storage medium recording the program |
WO2013111195A1 (en) | 2012-01-27 | 2013-08-01 | 三菱電機株式会社 | Drawing data generation device and image drawing device |
US20150170398A1 (en) | 2012-05-08 | 2015-06-18 | Google Inc. | Generating Reduced Resolution Textured Model From Higher Resolution Model |
WO2017119154A1 (en) | 2016-01-07 | 2017-07-13 | 三菱電機株式会社 | Detection device and detection method |
Also Published As
Publication number | Publication date |
---|---|
JP2019159379A (en) | 2019-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7079926B2 (en) | 3D image generation system | |
KR102256181B1 (en) | Method of inspecting and evaluating coating state of steel structure and system for the same | |
KR101868379B1 (en) | System, method and computer program product for classification within inspection images | |
US8977035B2 (en) | System, method and computer program product for detection of defects within inspection images | |
EP3082055B1 (en) | Rotorcraft component simulation using scan-based geometry | |
JP7344289B2 (en) | Point cloud data processing device, point cloud data processing method, and program | |
JP7170023B2 (en) | DAMAGE DATA EDITING DEVICE, DAMAGE DATA EDITING METHOD, PROGRAM, AND SYSTEM | |
JP6970817B2 (en) | Structure management equipment, structure management method, and structure management program | |
JP2018181271A (en) | Methods of representing and evaluating three-dimensional body | |
KR20130115215A (en) | Automated visual inspection system | |
JP6619516B2 (en) | Damage diagram editing apparatus and damage diagram editing method | |
JP2007523402A (en) | Mesh model with internal individual elements | |
JP6468757B2 (en) | 3D model generation method, 3D model generation system, and 3D model generation program | |
JP7245733B2 (en) | Wafer observation device and wafer observation method | |
Farag et al. | Distance transform algorithms and their implementation and evaluation | |
EP4131157A1 (en) | Inspection support device, method, and program | |
US20230267593A1 (en) | Workpiece measurement method, workpiece measurement system, and program | |
US8467992B1 (en) | Vision based location and measurement device and methods | |
US20220405878A1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP6490814B2 (en) | Ultrasonic diagnostic apparatus, image processing method, and apparatus | |
CN113868904A (en) | Method for automatically generating existing structure finite element model based on three-dimensional point cloud | |
JP4175536B2 (en) | Boundary data inside / outside judgment method and program | |
JPH0694428A (en) | Three-dimensional shape input device | |
JP7374433B2 (en) | How to generate three-dimensional shape data of a structure | |
WO2021176891A1 (en) | Three-dimensional display device, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220516 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7079926 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |