JP6833753B2 - Structure inspection system, structure inspection equipment and structure inspection method - Google Patents
Structure inspection system, structure inspection equipment and structure inspection method Download PDFInfo
- Publication number
- JP6833753B2 JP6833753B2 JP2018065749A JP2018065749A JP6833753B2 JP 6833753 B2 JP6833753 B2 JP 6833753B2 JP 2018065749 A JP2018065749 A JP 2018065749A JP 2018065749 A JP2018065749 A JP 2018065749A JP 6833753 B2 JP6833753 B2 JP 6833753B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- unit
- reference image
- imaging
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 74
- 238000000034 method Methods 0.000 title claims description 33
- 238000003384 imaging method Methods 0.000 claims description 58
- 238000012423 maintenance Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、鉄道構造物、道路構造物などを含む構造物（以下、単に「構造物」と称する）を撮像装置により撮像して得られた複数の画像データを用いる構造物検査システム、構造物検査装置及び構造物検査方法に関するものである。 The present invention is a structure inspection system and a structure using a plurality of image data obtained by imaging a structure including a railway structure, a road structure, etc. (hereinafter, simply referred to as a “structure”) with an imaging device. It relates to an inspection device and a structure inspection method.
盛土、橋梁、橋脚や橋台などの構造物については、新設構造物であれば建設時に三次元ＣＡＤ図面を作成しており、この三次元ＣＡＤ図面を用いて、効率的な構造物の維持管理に関する取り組み（ＣＩＭ：Construction Information Managements）が行われている。 For structures such as embankments, bridges, piers and abutments, if it is a new structure, a three-dimensional CAD drawing is created at the time of construction, and this three-dimensional CAD drawing is used for efficient maintenance of the structure. Efforts (CIM: Construction Information Managements) are being carried out.
一方、構造物の中には建設から長年経過しているものも多く、このような構造物の図面については手書きデータ（ラスター画像データ）のみ保管されていることが多く、中には既に図面が保管されていないこともある。従って、このような構造物について効率的な維持管理を行うためにはＣＩＭとは異なる手法を採用することが必要とされている。 On the other hand, many of the structures have been constructed for many years, and in many cases, only handwritten data (raster image data) is stored for drawings of such structures, and some of them already have drawings. It may not be stored. Therefore, in order to efficiently maintain and manage such a structure, it is necessary to adopt a method different from CIM.
そこで、構造物を撮像した画像データに対する画像処理をベースとした三次元形状復元技術や撮影位置推定技術であるＳｆＭ：Structure from Motion（以下単にＳｆＭと称する）を用いて構造物の三次元モデルを生成し、この三次元モデルを用いて効率的な構造物の維持管理に関する取り組みを行う技術が提案されている（例えば特許文献１、非特許文献１参照）。 Therefore, a three-dimensional model of the structure is created using SfM: Structure from Motion (hereinafter simply referred to as SfM), which is a three-dimensional shape restoration technology and a shooting position estimation technology based on image processing for image data obtained by imaging a structure. A technique has been proposed for generating and using this three-dimensional model to carry out efforts for efficient maintenance of structures (see, for example, Patent Document 1 and Non-Patent Document 1).
上述したＳｆＭを用いた三次元モデル生成技術において用いられる画像データは、この画像データから推定されるパラメータ（撮影位置、姿勢、画角等）をより正確に推定するために、実際の構造物の輪郭、稜線等が写り込んだ、いわば遠景の画像データであることが好ましい。一方、構造物の維持管理という観点からは、構造物の表面等の詳細な状態が写り込んだ、例えば、画像データが撮像された際の構造物と撮像装置との間の距離よりも近接した距離で撮像された、近景の画像データによっても維持管理を行いたいという要望があった。そして、好ましくは、三次元モデルからこの近景の画像データを容易に検索可能とする要望があった。 The image data used in the above-mentioned three-dimensional model generation technique using SfM is an actual structure in order to more accurately estimate the parameters (shooting position, orientation, angle of view, etc.) estimated from the image data. It is preferable that the image data is a distant view in which contours, ridges, etc. are reflected. On the other hand, from the viewpoint of maintenance of the structure, the detailed state such as the surface of the structure is reflected, for example, the distance between the structure and the image pickup device when the image data is captured is closer than the distance. There was a request for maintenance management based on close-up image data captured at a distance. Then, preferably, there is a request that the image data of this near view can be easily searched from the three-dimensional model.
なお、画像データが撮像された際の構造物と撮像装置との間の距離よりも離間した距離で撮像された、より遠景の画像データであっても、構造物の表面等の詳細な状態が写り込んだものであれば、上述した維持管理が可能である。 It should be noted that even if the image data is a distant view image data captured at a distance farther than the distance between the structure and the imaging device when the image data is imaged, the detailed state of the surface of the structure or the like can be seen. If it is reflected, the above-mentioned maintenance can be performed.
そこで、本発明は、三次元モデルから異なる距離で撮像された画像データが容易に検索可能な構造物検査システム、構造物検査装置及び構造物検査方法を提供することを目的としている。 Therefore, an object of the present invention is to provide a structure inspection system, a structure inspection device, and a structure inspection method in which image data captured at different distances from a three-dimensional model can be easily searched.
前記目的を達成するために、本発明の構造物検査システムは、構造物を撮像装置により撮像して得られた複数の画像データ、及び、少なくとも一部の画像データについてこの画像データが撮像された際の構造物と撮像装置との間の距離と異なる距離で同一の構造物の少なくとも一部を撮像装置により撮像して得られた参照画像データが格納された記憶装置と、構造物検査装置と、この構造物検査装置に入力指示情報を出力する入力装置と、構造物検査装置から出力される表示信号に基づいて表示画面を表示する表示装置とを有し、構造物検査装置は、同一の構造物を撮像して得られた画像データ及び参照画像データの関連付けの入力を受け入れる関連付け部と、画像データに基づいて構造物の三次元モデルを生成する三次元モデル生成部と、三次元モデル生成部により生成された三次元モデルを表示装置に表示させる表示制御部と、構造物の位置の入力指定を受け入れる位置指定部と、関連付け部により受け入れられた関連付けに基づいて位置指定部により指定された構造物の位置が含まれる参照画像データを取得する参照画像データ取得部とを有することを特徴とする。 In order to achieve the above object, the structure inspection system of the present invention has captured a plurality of image data obtained by imaging a structure with an imaging device, and at least a part of the image data. A storage device that stores reference image data obtained by imaging at least a part of the same structure with an imaging device at a distance different from the distance between the structure and the imaging device, and a structure inspection device. The structure inspection device has an input device that outputs input instruction information to the structure inspection device and a display device that displays a display screen based on a display signal output from the structure inspection device, and the structure inspection device is the same. An association unit that accepts input for association of image data and reference image data obtained by imaging a structure, a three-dimensional model generation unit that generates a three-dimensional model of the structure based on the image data, and a three-dimensional model generation. Designated by the display control unit that displays the three-dimensional model generated by the unit on the display device, the position specification unit that accepts the input specification of the position of the structure, and the position specification unit based on the association accepted by the association unit. It is characterized by having a reference image data acquisition unit that acquires reference image data including the position of the structure.
ここで、構造物検査装置は、位置指定部により指定された構造物の位置が含まれる画像データを取得する画像データ取得部を有する構成とすることができる。 Here, the structure inspection apparatus can be configured to have an image data acquisition unit that acquires image data including the position of the structure designated by the position designation unit.
また、表示制御部は、参照画像データ取得部及び画像データ取得部により取得された参照画像データ及び画像データを表示装置に表示させる構成とすることができる。 Further, the display control unit may be configured to display the reference image data and the image data acquired by the reference image data acquisition unit and the image data acquisition unit on the display device.
また、本発明の構造物検査装置は、構造物を撮像装置により撮像して得られた複数の画像データ、及び、少なくとも一部の画像データについてこの画像データが撮像された際の構造物と撮像装置との間の距離と異なる距離で同一の構造物の少なくとも一部を撮像装置により撮像して得られた参照画像データが格納された記憶部を有し、さらに、同一の構造物を撮像して得られた画像データ及び参照画像データの関連付けの入力を受け入れる関連付け部と、画像データに基づいて構造物の三次元モデルを生成する三次元モデル生成部と、三次元モデル生成部により生成された三次元モデルを表示させる表示制御部と、構造物の位置の入力指定を受け入れる位置指定部と、関連付け部により受け入れられた関連付けに基づいて位置指定部により指定された構造物の位置が含まれる参照画像データを取得する参照画像データ取得部とを有することを特徴とする。 Further, the structure inspection device of the present invention captures a plurality of image data obtained by imaging a structure with an imaging device, and at least a part of the image data as a structure when the image data is captured. It has a storage unit that stores reference image data obtained by imaging at least a part of the same structure with an imaging device at a distance different from the distance to the device, and further images the same structure. Generated by the association unit that accepts the input of the association of the image data and the reference image data obtained, the three-dimensional model generation unit that generates a three-dimensional model of the structure based on the image data, and the three-dimensional model generation unit. A reference that includes a display control unit that displays a three-dimensional model, a position specification unit that accepts input specifications for the position of the structure, and a structure position specified by the position specification unit based on the association accepted by the association unit. It is characterized by having a reference image data acquisition unit for acquiring image data.
さらに、本発明の構造物検査方法は、構造物を撮像装置により撮像して得られた複数の画像データ、及び、少なくとも一部の画像データについてこの画像データが撮像された際の構造物と撮像装置との間の距離と異なる距離で同一の構造物の少なくとも一部を撮像装置により撮像して得られた参照画像データが格納された記憶部を有する構造物検査装置を用いた構造物検査方法であって、同一の構造物を撮像して得られた画像データ及び参照画像データの関連付けの入力を受け入れる工程と、画像データに基づいて構造物の三次元モデルを生成する工程と、生成された三次元モデルを表示させる工程と、構造物の位置の入力指定を受け入れる工程と、関連付けに基づいて入力指定された構造物の位置が含まれる参照画像データを取得する工程とを有することを特徴とする。 Further, in the structure inspection method of the present invention, a plurality of image data obtained by imaging a structure with an imaging device, and at least a part of the image data are imaged with the structure when the image data is imaged. A structure inspection method using a structure inspection device having a storage unit that stores reference image data obtained by imaging at least a part of the same structure with an imaging device at a distance different from the distance between the devices. The step of accepting the input of the association between the image data and the reference image data obtained by imaging the same structure and the step of generating a three-dimensional model of the structure based on the image data were generated. It is characterized by having a step of displaying a three-dimensional model, a step of accepting an input designation of a structure position, and a step of acquiring reference image data including a structure position input and designated based on an association. To do.
このように構成された本発明の構造物検査システムでは、構造物検査装置が、同一の構造物を撮像して得られた画像データ及び参照画像データの関連付けの入力を受け入れる関連付け部と、画像データに基づいて構造物の三次元モデルを生成する三次元モデル生成部と、三次元モデル生成部により生成された三次元モデルを表示装置に表示させる表示制御部と、構造物の位置の入力指定を受け入れる位置指定部と、関連付け部により受け入れられた関連付けに基づいて位置指定部により指定された構造物の位置が含まれる参照画像データを取得する参照画像データ取得部とを有する。 In the structure inspection system of the present invention configured as described above, the structure inspection apparatus has an association unit that accepts input for association of image data and reference image data obtained by imaging the same structure, and image data. A three-dimensional model generation unit that generates a three-dimensional model of a structure based on, a display control unit that displays the three-dimensional model generated by the three-dimensional model generation unit on a display device, and input designation of the position of the structure. It has a position designation unit that accepts, and a reference image data acquisition unit that acquires reference image data including the position of the structure designated by the position designation unit based on the association accepted by the association unit.
このようにすることで、位置指定部により構造物の位置の入力指定が受け入れられると、参照画像データ取得部により指定された構造物の位置が含まれる参照画像データが取得され、これにより、三次元モデルから近景の画像データが容易に検索可能となる。 By doing so, when the input specification of the position of the structure is accepted by the position designation unit, the reference image data including the position of the structure specified by the reference image data acquisition unit is acquired, and thereby the tertiary Image data of a near view can be easily searched from the original model.
ここで、構造物検査装置は、位置指定部により指定された構造物の位置が含まれる画像データを取得する画像データ取得部を有するので、参照画像データに加えて、指定された構造物の位置が含まれる画像データが容易に検索可能となる。 Here, since the structure inspection device has an image data acquisition unit that acquires image data including the position of the structure designated by the position designation unit, the position of the designated structure is added to the reference image data. The image data including the above can be easily searched.
また、表示制御部は、参照画像データ取得部及び画像データ取得部により取得された参照画像データ及び画像データを表示装置に表示させるので、これら参照画像データ取得部及び画像データ取得部により取得された参照画像データ及び画像データを容易に確認することができる。 Further, since the display control unit displays the reference image data and the image data acquired by the reference image data acquisition unit and the image data acquisition unit on the display device, they are acquired by the reference image data acquisition unit and the image data acquisition unit. The reference image data and the image data can be easily confirmed.
また、本発明の構造物検査装置は、同一の構造物を撮像して得られた画像データ及び参照画像データの関連付けの入力を受け入れる関連付け部と、画像データに基づいて構造物の三次元モデルを生成する三次元モデル生成部と、三次元モデル生成部により生成された三次元モデルを表示させる表示制御部と、構造物の位置の入力指定を受け入れる位置指定部と、関連付け部により受け入れられた関連付けに基づいて位置指定部により指定された構造物の位置が含まれる参照画像データを取得する参照画像データ取得部とを有するので、参照画像データに加えて、指定された構造物の位置が含まれる画像データが容易に検索可能となる。 Further, the structure inspection apparatus of the present invention has an association unit that accepts an input of association between image data and reference image data obtained by imaging the same structure, and a three-dimensional model of the structure based on the image data. The three-dimensional model generation unit to be generated, the display control unit that displays the three-dimensional model generated by the three-dimensional model generation unit, the position specification unit that accepts the input designation of the position of the structure, and the association accepted by the association unit. Since it has a reference image data acquisition unit for acquiring reference image data including the position of the structure specified by the position designation unit based on, the position of the specified structure is included in addition to the reference image data. Image data can be easily searched.
さらに、本発明の構造物検査方法は、同一の構造物を撮像して得られた画像データ及び参照画像データの関連付けの入力を受け入れる工程と、画像データに基づいて構造物の三次元モデルを生成する工程と、生成された三次元モデルを表示させる工程と、構造物の位置の入力指定を受け入れる工程と、関連付けに基づいて入力指定された構造物の位置が含まれる参照画像データを取得する工程とを有するので、参照画像データに加えて、指定された構造物の位置が含まれる画像データが容易に検索可能となる。 Further, the structure inspection method of the present invention includes a step of accepting an input of association between image data and reference image data obtained by imaging the same structure, and generating a three-dimensional model of the structure based on the image data. The process of displaying the generated three-dimensional model, the process of accepting the input specification of the position of the structure, and the process of acquiring the reference image data including the position of the structure input and specified based on the association. Therefore, in addition to the reference image data, the image data including the position of the designated structure can be easily searched.
以下、この発明の実施の形態を図面に基づいて説明する。図１は、本実施の形態である構造物検査システムＳの概略構成を示すブロック図である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of the structure inspection system S according to the present embodiment.
本実施の形態の構造物検査システムＳは、構造物検査装置１０、入力装置１１及び表示装置１２を有する。 The structure inspection system S of the present embodiment includes a structure inspection device 10, an input device 11, and a display device 12.
本実施の形態の構造物検査装置（以下、検査装置と省略する）１０は、例えばパーソナルコンピュータ等であり、制御部２０、記憶部（記憶装置）２１、入力インタフェース（Ｉ／Ｆ）２２及び出力インタフェース（Ｉ／Ｆ）２３を有する。 The structure inspection device (hereinafter abbreviated as inspection device) 10 of the present embodiment is, for example, a personal computer or the like, and includes a control unit 20, a storage unit (storage device) 21, an input interface (I / F) 22, and an output. It has an interface (I / F) 23.
制御部２０はＣＰＵ等の演算素子を備える。記憶部２１内に格納されている図略の制御用プログラムが検査装置１０の起動時に実行され、この制御用プログラムに基づいて、制御部２０は記憶部２１等を含む検査装置１０全体の制御を行うとともに、表示制御部３０、関連付け部３１、パラメータ取得部３２、特徴点取得部３３、三次元モデル生成部３４、位置指定部３５、画像データ取得部３６及び参照画像データ取得部３７としての機能を実行する。これら各機能部の動作については後述する。 The control unit 20 includes an arithmetic element such as a CPU. A control program (not shown) stored in the storage unit 21 is executed when the inspection device 10 is started, and based on this control program, the control unit 20 controls the entire inspection device 10 including the storage unit 21 and the like. Functions as a display control unit 30, an association unit 31, a parameter acquisition unit 32, a feature point acquisition unit 33, a three-dimensional model generation unit 34, a position designation unit 35, an image data acquisition unit 36, and a reference image data acquisition unit 37. To execute. The operation of each of these functional units will be described later.
記憶部２１はハードディスクドライブ等の大容量記憶媒体、及びＲＯＭ、ＲＡＭ等の半導体記憶媒体を備える。この記憶部２１には上述の制御用プログラムが格納されているとともに、制御部２０の制御動作時に必要とされる各種データが一時的に格納される。 The storage unit 21 includes a large-capacity storage medium such as a hard disk drive and a semiconductor storage medium such as ROM and RAM. The above-mentioned control program is stored in the storage unit 21, and various data required for the control operation of the control unit 20 are temporarily stored.
また、この記憶部２１には、画像データ５０、参照画像データ５１、パラメータ５２、特徴点データ５３及び関連付けデータ５４が格納されている。これらデータのうち、画像データ５０及び参照画像データ５１を除くデータについては一時的に記憶部２１に格納されればよい。 Further, the storage unit 21 stores image data 50, reference image data 51, parameters 52, feature point data 53, and association data 54. Of these data, the data other than the image data 50 and the reference image data 51 may be temporarily stored in the storage unit 21.
画像データ５０は、鉄道構造物に代表される構造物を、デジタルカメラ等の撮像装置（図示は省略）により撮像することで得られる。本実施の形態では、複数の画像データ５０が記憶部２１に格納されている。一般的に、後述の三次元モデル生成部３４による三次元モデルの生成処理を簡易にかつ高精度に行うためには、重複領域が三次元モデル生成処理可能な範囲（例えば、６０％以上重複）においてできるだけ少なく、かつ鮮明な（合焦状態にある）画像データ５０を多数取得することが好ましい。 The image data 50 is obtained by imaging a structure represented by a railway structure with an imaging device (not shown) such as a digital camera. In the present embodiment, a plurality of image data 50 are stored in the storage unit 21. Generally, in order to easily and highly accurately perform the 3D model generation process by the 3D model generation unit 34 described later, the overlapping area is within the range in which the 3D model generation process is possible (for example, 60% or more overlap). It is preferable to acquire as few image data 50 as possible and a large number of clear (focused) image data 50.
参照画像データ５１は、少なくとも一部の画像データ５０について、この画像データ５０が撮像された際の構造物と撮像装置との間の距離と異なる距離、特に、本実施の形態である検査装置１０では、画像データ５０が撮像された際の構造物と撮像装置との間の距離よりも近接した距離、いわば近景で、同一の構造物の少なくとも一部を撮像装置により撮像して得られた画像データである。 The reference image data 51 is a distance different from the distance between the structure and the image pickup device when the image data 50 is imaged for at least a part of the image data 50, particularly the inspection device 10 according to the present embodiment. Then, an image obtained by imaging at least a part of the same structure with an image pickup device at a distance closer than the distance between the structure and the image pickup device when the image data 50 is captured, so to speak, in a close view. It is data.
画像データ５０と参照画像データ５１との一例を図３及び図４を参照して説明する。 An example of the image data 50 and the reference image data 51 will be described with reference to FIGS. 3 and 4.
図３に示すように、構造物の一例である橋梁Ｂのうち、撮像装置により一つの橋脚Ｐ全体をいわゆる遠景で撮像したものが、本実施の形態である検査装置１０における画像データ５０（図４（ａ））である。このときの撮像装置による撮像範囲を図３中にＡ１で示す。一方、撮像装置により、画像データ５０を撮像した際の橋脚Ｐと撮像装置との間の距離よりも近接した距離、いわば近景で同じ橋脚Ｐを撮像したものが、本実施の形態である検査装置１０における参照画像データ５１（図４（ｂ））である。このときの撮像装置による撮像範囲を図３中にＡ２で示す。 As shown in FIG. 3, of the bridge B which is an example of the structure, the image data 50 (FIG. 3) of the inspection device 10 according to the present embodiment is obtained by capturing the entire bridge pier P with an imaging device in a so-called distant view. 4 (a)). The imaging range by the imaging apparatus at this time is shown by A1 in FIG. On the other hand, the inspection device according to the present embodiment is an image of the same pier P in a close view, which is a distance closer than the distance between the pier P and the image pickup device when the image data 50 is imaged by the image pickup device. Reference image data 51 in No. 10 (FIG. 4 (b)). The imaging range by the imaging apparatus at this time is shown by A2 in FIG.
なお、画像データ５０と参照画像データ５１とは全く同一の撮像装置により撮像される必要はなく、また、撮像位置が上述の条件にあるならば、姿勢、画角等が異なっていてもよい。 The image data 50 and the reference image data 51 do not need to be imaged by exactly the same imaging device, and the posture, angle of view, and the like may be different as long as the imaging position meets the above conditions.
また、画像データ５０及び参照画像データ５１を除くデータの詳細については後述する。 The details of the data excluding the image data 50 and the reference image data 51 will be described later.
入力インタフェース２２は、検査装置１０に接続された入力装置１１からの各種入力を受け入れ、これを制御部２０に出力する。本実施例の入力装置１１は例えばキーボードやマウス等であり、後述する表示装置１２の表示画面に対して座標指定入力を行いうるものである。 The input interface 22 receives various inputs from the input device 11 connected to the inspection device 10 and outputs them to the control unit 20. The input device 11 of this embodiment is, for example, a keyboard, a mouse, or the like, and can perform coordinate designation input on the display screen of the display device 12 described later.
出力インタフェース２３は、制御部２０、特に表示制御部３０から出力された出力信号を受け入れ、これを表示装置１２に出力する。本実施例の表示装置１２は例えば液晶ディスプレイ装置であり、出力インタフェース２３を介して出力された表示制御信号に基づいて図略の表示面に表示画面を表示する。 The output interface 23 receives the output signal output from the control unit 20, particularly the display control unit 30, and outputs the output signal to the display device 12. The display device 12 of this embodiment is, for example, a liquid crystal display device, and displays a display screen on a display surface (not shown) based on a display control signal output via the output interface 23.
次に、制御部２０に構成される各機能部の説明をする。 Next, each functional unit configured in the control unit 20 will be described.
表示制御部３０は、制御部２０及びこの制御部２０に構成される各機能部による処理の結果、表示装置１２に表示画面を生成するための表示制御信号を生成して、この表示制御信号を出力インタフェース２３を介して表示装置１２に出力する。 The display control unit 30 generates a display control signal for generating a display screen on the display device 12 as a result of processing by the control unit 20 and each functional unit configured in the control unit 20, and outputs this display control signal. Output to the display device 12 via the output interface 23.
関連付け部３１は、同一の構造物を撮像して得られた画像データ５０及び参照画像データ５１の関連付けの入力を受け入れる。画像データ５０と参照画像データ５１との関連付けの具体的態様は、公知の手法が好適に適用可能である。一例として、画像データ５０及び参照画像データ５１のフォーマットがＥｘｉｆ（Exchangeable image file format）であれば、画像データ５０及び参照画像データ５１に付随するメタタグデータのうち、ユーザーが生成可能な領域のメタタグデータに同一のメタタグデータを記入する手法が挙げられる。この場合、このメタタグデータが記憶部２１に格納される関連付けデータ５４となる。他にも、画像データ５０と参照画像データ５１とのファイル名をテーブル化する手法が挙げられ、この場合、このテーブルが関連付けデータ５４となる。 The association unit 31 accepts the input of the association between the image data 50 and the reference image data 51 obtained by imaging the same structure. As a specific mode of associating the image data 50 with the reference image data 51, a known method can be preferably applied. As an example, if the format of the image data 50 and the reference image data 51 is Exif (Exchangeable image file format), the meta tag data of the area that can be generated by the user among the meta tag data attached to the image data 50 and the reference image data 51. There is a method of entering the same meta tag data in. In this case, the meta tag data becomes the association data 54 stored in the storage unit 21. Another method is to create a table of the file names of the image data 50 and the reference image data 51. In this case, this table becomes the association data 54.
また、関連付け部３１による関連付けの入力の受付手法も任意であり、一例として、検査装置１０のオペレーターが、関連付けをしようとする画像データ５０及び参照画像データ５１を表示装置１２に表示させ、入力装置１１により関連付けの入力を行う手法が挙げられる。 Further, the method of accepting the input of the association by the association unit 31 is also arbitrary. As an example, the operator of the inspection device 10 displays the image data 50 and the reference image data 51 to be associated on the display device 12, and the input device. A method of inputting the association according to No. 11 can be mentioned.
パラメータ取得部３２は、記憶部２１にある画像データ５０に基づいて、画像データ５０が撮像された際の撮像装置に関するパラメータ５２を取得する。パラメータ取得部３２により取得されたパラメータ５２は、記憶部２１に一時的に格納されることが好ましい。ここで、パラメータ５２は、画像データ５０が撮像された際の撮像装置の撮像位置、姿勢及び画角を含む。 The parameter acquisition unit 32 acquires the parameter 52 related to the image pickup device when the image data 50 is imaged, based on the image data 50 in the storage unit 21. The parameter 52 acquired by the parameter acquisition unit 32 is preferably temporarily stored in the storage unit 21. Here, the parameter 52 includes an image pickup position, a posture, and an angle of view of the image pickup apparatus when the image data 50 is imaged.
撮像装置の撮像位置は、構造物を基準とする相対座標系の座標値として与えられうる。あるいは、この相対座標系の原点の緯度、経度及び高度が与えられるならば、絶対座標系の座標値である緯度、経度及び高度として与えられうる。また、撮像装置の姿勢は、上述した撮像位置（相対座標系または絶対座標系の座標値）で特定される位置（座標点）において、撮像装置の撮像系の光軸と、この座標点を原点とする直交座標系の各座標軸とがなす角度として与えられうる。さらに、撮像装置の画角は、撮像装置の撮像位置と特徴点データ５３から算出することができ、画像データ５０のフォーマットがＥｘｉｆ（Exchangeable image file format）であれば画像データ５０に付随するメタタグデータから算出することができる。 The imaging position of the imaging device can be given as a coordinate value in a relative coordinate system with respect to the structure. Alternatively, if the latitude, longitude and altitude of the origin of this relative coordinate system are given, they can be given as the latitude, longitude and altitude which are the coordinate values of the absolute coordinate system. Further, the posture of the imaging device is the origin of the optical axis of the imaging system of the imaging device and the origin at the position (coordinate point) specified by the above-mentioned imaging position (coordinate value of the relative coordinate system or absolute coordinate system). It can be given as an angle formed by each coordinate axis of the Cartesian coordinate system. Further, the angle of view of the image pickup device can be calculated from the image pickup position of the image pickup device and the feature point data 53, and if the format of the image data 50 is Exif (Exchangeable image file format), the meta tag data attached to the image data 50. It can be calculated from.
特徴点取得部３３は、記憶部２１にある画像データ５０に基づいて、画像データ５０の特徴点データ５３を取得する。画像データ５０の特徴点データ５３を取得する手法は周知であり、ここでは特段詳細な説明を行わない。一例として、ＳＩＦＴ（Scale-Invariant Feature Transformation）法やＳＵＲＦ（Speed-Up Robust Features）法により画像データ５０の特徴点を抽出し、この特徴点に関するデータ（画像データ５０中の位置データなど）を取得することができる。特徴点取得部３３により取得された特徴点データ５３は、記憶部２１に一時的に格納されることが好ましい。 The feature point acquisition unit 33 acquires the feature point data 53 of the image data 50 based on the image data 50 in the storage unit 21. The method of acquiring the feature point data 53 of the image data 50 is well known, and no particular description will be given here. As an example, feature points of image data 50 are extracted by the SIFT (Scale-Invariant Feature Transformation) method or SURF (Speed-Up Robust Features) method, and data related to these feature points (position data in the image data 50, etc.) are acquired. can do. The feature point data 53 acquired by the feature point acquisition unit 33 is preferably temporarily stored in the storage unit 21.
パラメータ取得部３２によるパラメータ５２の取得処理及び特徴点取得部３３による特徴点データ５３の取得処理は、上述したＳｆＭにより行うことが好ましい。これら技術によれば、複数の画像データ５０を入力として、複数の画像データ５０に共通する構造物の特徴点を複数取得し、これら特徴点及び画像データ５０から、各画像データ５０を撮像した撮像装置の撮像位置、姿勢及び画角を含むパラメータ５２を算出する一方、特徴点の三次元位置を算出することができる。 The parameter 52 acquisition process by the parameter acquisition unit 32 and the feature point data 53 acquisition process by the feature point acquisition unit 33 are preferably performed by the above-mentioned SfM. According to these techniques, a plurality of feature points of a structure common to the plurality of image data 50 are acquired by inputting a plurality of image data 50, and each image data 50 is imaged from these feature points and the image data 50. While calculating the parameter 52 including the imaging position, orientation and angle of view of the device, the three-dimensional position of the feature point can be calculated.
ＳｆＭそのものは周知の手法であるので、ここでは特段詳細な説明を行わない。これら技術は既にオープンソースとして公開されているものもあり（例えばＯｐｅｎＭＶＧ：http://imagine.enpc.fr/~moulonp/openMVG/）、本実施の形態の検査装置１０においても好適に適用可能である。 Since SfM itself is a well-known method, no particular detailed description will be given here. Some of these technologies have already been released as open source (for example, OpenMVG: http://imagine.enpc.fr/~moulonp/openMVG/), and can be suitably applied to the inspection device 10 of the present embodiment. is there.
三次元モデル生成部３４は、画像データ５０、パラメータ５２及び特徴点データ５３に基づいて、構造物の三次元モデルを生成する。三次元モデル生成部３４による三次元モデル生成処理の具体的手法は、既知のＳｆＭによればよいので、ここでは特段詳細な説明を行わない。三次元モデル生成部３４により生成された三次元モデルは、記憶部２１に一時的に格納されることが好ましい。 The three-dimensional model generation unit 34 generates a three-dimensional model of the structure based on the image data 50, the parameter 52, and the feature point data 53. Since the specific method of the three-dimensional model generation processing by the three-dimensional model generation unit 34 may be based on the known SfM, no particular detailed description will be given here. The three-dimensional model generated by the three-dimensional model generation unit 34 is preferably temporarily stored in the storage unit 21.
そして、表示制御部３０は、三次元モデル生成部３４により生成された三次元モデルを表示装置１２の表示画面に表示するための表示制御信号を生成して、この表示制御信号を出力インタフェース２３を介して表示装置１２に出力する。 Then, the display control unit 30 generates a display control signal for displaying the three-dimensional model generated by the three-dimensional model generation unit 34 on the display screen of the display device 12, and outputs the display control signal to the output interface 23. It is output to the display device 12 via.
位置指定部３５は、表示装置１２の表示画面に表示された三次元モデルに基づき、三次元モデルが生成された構造物の特定位置の入力指定を受け入れる。位置指定部３５による位置の入力指定の受け入れ手法も任意であり、一例として、検査装置１０のオペレーターが、表示装置１２に表示されている三次元モデルの特定の座標位置を入力装置１１により指定することで構造物の特定の位置の指定入力を行う手法が挙げられる。 The position designation unit 35 accepts an input designation of a specific position of the structure in which the three-dimensional model is generated based on the three-dimensional model displayed on the display screen of the display device 12. The method of accepting the input designation of the position by the position designation unit 35 is also arbitrary. As an example, the operator of the inspection device 10 designates a specific coordinate position of the three-dimensional model displayed on the display device 12 by the input device 11. Therefore, there is a method of inputting a specific position of the structure.
画像データ取得部３６は、位置指定部３５により指定された構造物の位置が含まれる画像データ５０を取得する。より詳細には、画像データ取得部３６は、記憶部２１に格納されているパラメータ５２に基づき、このパラメータ５２に含まれる撮影位置、姿勢を用いて、位置指定部３５により指定された構造物の位置が含まれる可能性が高い画像データ５０を記憶部２１から抽出し、取得する。 The image data acquisition unit 36 acquires the image data 50 including the position of the structure designated by the position designation unit 35. More specifically, the image data acquisition unit 36 uses the shooting position and posture included in the parameter 52 based on the parameter 52 stored in the storage unit 21, and the structure designated by the position designation unit 35. Image data 50, which is likely to include a position, is extracted from the storage unit 21 and acquired.
参照画像データ取得部３７は、関連付け部３１により受け入れられた関連付けに基づいて、位置指定部３５により指定された構造物の位置が含まれる参照画像データ５１を取得する。より詳細には、参照画像データ取得部３７は、記憶部２１に格納された関連付けデータ５４に基づいて、画像データ取得部３６が取得した画像データ５０と関連付けられた参照画像データ５１を記憶部２１から抽出し、取得する。 The reference image data acquisition unit 37 acquires the reference image data 51 including the position of the structure designated by the position designation unit 35 based on the association accepted by the association unit 31. More specifically, the reference image data acquisition unit 37 stores the reference image data 51 associated with the image data 50 acquired by the image data acquisition unit 36 based on the association data 54 stored in the storage unit 21. Extract from and get.
そして、表示制御部３０は、参照画像データ取得部３７及び画像データ取得部３６により取得された参照画像データ５１及び画像データ５０を表示装置１２の表示画面に表示するための表示制御信号を生成して、この表示制御信号を出力インタフェース２３を介して表示装置１２に出力する。 Then, the display control unit 30 generates a display control signal for displaying the reference image data 51 and the image data 50 acquired by the reference image data acquisition unit 37 and the image data acquisition unit 36 on the display screen of the display device 12. Then, this display control signal is output to the display device 12 via the output interface 23.
次に、図２のフローチャート及び図５を参照して、本実施の形態である構造物検査システムＳの動作について説明する。なお、制御部２０を構成する各部の説明について詳述した内容については繰り返しの説明を省略することがある。 Next, the operation of the structure inspection system S according to the present embodiment will be described with reference to the flowchart of FIG. 2 and FIG. It should be noted that repetitive explanations may be omitted for the contents detailing the description of each part constituting the control unit 20.
構造物検査システムＳの動作が開始されると、まず、ステップＳ１０において、関連付け部３１による関連付けの受け入れ処理が行われる。 When the operation of the structure inspection system S is started, first, in step S10, the association unit 31 performs the association acceptance process.
次に、ステップＳ１１において、パラメータ取得部３２によりパラメータ５２の取得動作が行われ、ステップＳ１２において、特徴点取得部３３により特徴点データ５３の取得動作が行われる。そして、ステップＳ１３において、画像データ５０、及びステップＳ１１、Ｓ１２で取得されたパラメータ５２、特徴点データ５３に基づいて、三次元モデル生成部３４が構造物の三次元モデルを生成する。 Next, in step S11, the parameter acquisition unit 32 performs an operation of acquiring the parameter 52, and in step S12, the feature point acquisition unit 33 performs an operation of acquiring the feature point data 53. Then, in step S13, the three-dimensional model generation unit 34 generates a three-dimensional model of the structure based on the image data 50, the parameters 52 acquired in steps S11 and S12, and the feature point data 53.
ステップＳ１４では、位置指定部３５が、検査装置１０のオペレーターが入力装置１１を操作することによる構造物の特定位置の入力指定を待ち、入力指定があると（ステップＳ１４においてＹＥＳ）、プログラムはステップＳ１５に進み、入力装置１１を経由して指定された構造物の特定位置を受け入れる。 In step S14, the position designation unit 35 waits for the input designation of the specific position of the structure by the operator of the inspection device 10 operating the input device 11, and if there is an input designation (YES in step S14), the program steps. Proceed to S15 and accept a specific position of the designated structure via the input device 11.
次いで、ステップＳ１６では、ステップＳ１５において位置指定部３５が受け入れた構造物の特定位置に基づき、この位置が含まれる画像データ５０を画像データ取得部３６が取得し、ステップＳ１７では、ステップＳ１６において画像データ取得部３６が取得した画像データ５０に基づいて、参照画像データ取得部３７がこの画像データ５０に関連付けられた参照画像データ５１を取得する。 Next, in step S16, the image data acquisition unit 36 acquires the image data 50 including this position based on the specific position of the structure received by the position designation unit 35 in step S15, and in step S17, the image in step S16. Based on the image data 50 acquired by the data acquisition unit 36, the reference image data acquisition unit 37 acquires the reference image data 51 associated with the image data 50.
そして、ステップＳ１８では、表示制御部３０が、これら画像データ取得部３６及び参照画像データ取得部３７が取得した画像データ５０及び参照画像データ５１を表示装置１２の表示画面に表示する。 Then, in step S18, the display control unit 30 displays the image data 50 and the reference image data 51 acquired by the image data acquisition unit 36 and the reference image data acquisition unit 37 on the display screen of the display device 12.
表示制御部３０により表示装置１２の表示画面に表示された画像データ５０及び参照画像データ５１の一例を図５に示す。画像データ５０は橋梁Ｂの橋脚Ｐ全体を撮像しているのに対して、参照画像データ５１はこの橋脚Ｐの一部を拡大して撮像している。 FIG. 5 shows an example of the image data 50 and the reference image data 51 displayed on the display screen of the display device 12 by the display control unit 30. The image data 50 captures the entire pier P of the bridge B, whereas the reference image data 51 images a part of the pier P in an enlarged manner.
このように構成された本実施の形態である構造物検査システムＳでは、構造物検査装置１０が、同一の構造物を撮像して得られた画像データ５０及び参照画像データ５１の関連付けの入力を受け入れる関連付け部３１と、画像データ５０に基づいて構造物の三次元モデルを生成する三次元モデル生成部３４と、三次元モデル生成部３４により生成された三次元モデルを表示装置１２に表示させる表示制御部３０と、構造物の位置の入力指定を受け入れる位置指定部３５と、関連付け部３１により受け入れられた関連付けに基づいて位置指定部３５により指定された構造物の位置が含まれる参照画像データ５１を取得する参照画像データ取得部３７とを有する。 In the structure inspection system S of the present embodiment configured in this way, the structure inspection device 10 inputs the association between the image data 50 and the reference image data 51 obtained by imaging the same structure. A display that causes the display device 12 to display the associating unit 31 that accepts, the three-dimensional model generation unit 34 that generates a three-dimensional model of the structure based on the image data 50, and the three-dimensional model generated by the three-dimensional model generation unit 34. Reference image data 51 including the control unit 30, the position designation unit 35 that accepts the input designation of the position of the structure, and the position of the structure designated by the position designation unit 35 based on the association accepted by the association unit 31. It has a reference image data acquisition unit 37 for acquiring the data.
このようにすることで、位置指定部３５により構造物の位置の入力指定が受け入れられると、参照画像データ取得部３７により指定された構造物の位置が含まれる参照画像データ５１が取得され、これにより、三次元モデルから近景の参照画像データ５１が容易に検索可能となる。 By doing so, when the position designation unit 35 accepts the input designation of the position of the structure, the reference image data 51 including the position of the structure designated by the reference image data acquisition unit 37 is acquired. As a result, the reference image data 51 of the near view can be easily searched from the three-dimensional model.
ここで、構造物検査装置１０は、位置指定部３５により指定された構造物の位置が含まれる画像データ５０を取得する画像データ取得部３６を有するので、参照画像データ５１に加えて、指定された構造物の位置が含まれる画像データ５０が容易に検索可能となる。 Here, since the structure inspection device 10 has an image data acquisition unit 36 that acquires image data 50 including the position of the structure designated by the position designation unit 35, it is designated in addition to the reference image data 51. The image data 50 including the position of the structure can be easily searched.
また、表示制御部３０は、参照画像データ取得部３７及び画像データ取得部３６により取得された参照画像データ５１及び画像データ５０を表示装置１２に表示させるので、これら参照画像データ取得部３７及び画像データ取得部３６により取得された参照画像データ５１及び画像データ５０を容易に確認することができる。 Further, since the display control unit 30 causes the display device 12 to display the reference image data 51 and the image data 50 acquired by the reference image data acquisition unit 37 and the image data acquisition unit 36, the reference image data acquisition unit 37 and the image The reference image data 51 and the image data 50 acquired by the data acquisition unit 36 can be easily confirmed.
以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to the embodiments and examples, and design changes are made to the extent that the gist of the present invention is not deviated. Is included in the present invention.
例えば、上述の実施の形態である構造物検査システムＳでは、参照画像データ５１は、画像データ５０が撮像された際の構造物と撮像装置との間の距離よりも近接した距離で同一の構造物の少なくとも一部を撮像装置により撮像して得られたものであったが、画像データ５０が撮像された際の構造物と撮像装置との間の距離よりも離間した距離で、いわばより遠景で同一の構造物の少なくとも一部を撮像装置により撮像して得られたものであってもよく、要は、画像データ５０と異なる距離で撮像されたものであればよい。 For example, in the structure inspection system S according to the above-described embodiment, the reference image data 51 has the same structure at a distance closer than the distance between the structure and the image pickup device when the image data 50 is imaged. It was obtained by imaging at least a part of an object with an imaging device, but it is a distance farther than the distance between the structure and the imaging device when the image data 50 was imaged, so to speak, a distant view. It may be obtained by imaging at least a part of the same structure with an imaging device, and in short, it may be an image taken at a distance different from that of the image data 50.
また、上述の実施の形態である構造物検査システムＳでは、検査装置１０内に記憶部２１を設けていたが、記憶部２１を検査装置１０とは別体に構成することも可能である。 Further, in the structure inspection system S according to the above-described embodiment, the storage unit 21 is provided in the inspection device 10, but the storage unit 21 can be configured separately from the inspection device 10.
さらに、上述の実施の形態である構造物検査システムＳでは鉄道構造物を含む構造物を撮像した画像データ５０及び参照画像データ５１が記憶部２１に格納されていたが、構造物の種類に特段の限定はなく、三次元的外形を管理すべき構造物であれば本発明の構造物検査システムＳ等の適用が可能である。 Further, in the structure inspection system S according to the above-described embodiment, the image data 50 and the reference image data 51 obtained by imaging the structure including the railway structure are stored in the storage unit 21, but the type of the structure is particularly different. The structure inspection system S or the like of the present invention can be applied to any structure whose three-dimensional outer shape should be managed.
そして、上述の実施例において、検査装置１０を動作させるプログラムは記憶部２１に格納されて提供されていたが、不図示の光学ディスクドライブ等を用いて、プログラムが格納されたＤＶＤ（Digital Versatile Disc）、ＵＳＢ外部記憶装置、メモリーカード等を接続し、このＤＶＤ等からプログラムを検査装置１０に読み込んで動作させてもよい。また、インターネット上のサーバ装置内にプログラムを格納しておき、検査装置１０に通信部を設けてこのプログラムを検査装置１０に読み込んで動作させてもよい。さらに、上述の実施例において、検査装置１０は複数のハードウェア要素により構成されていたが、これらハードウェア要素の一部の動作を制御部２０がプログラムの動作により実現することも可能である。 Then, in the above-described embodiment, the program for operating the inspection device 10 is stored and provided in the storage unit 21, but a DVD (Digital Versatile Disc) in which the program is stored is stored by using an optical disc drive or the like (not shown). ), A USB external storage device, a memory card, or the like may be connected, and the program may be read into the inspection device 10 from the DVD or the like and operated. Alternatively, a program may be stored in a server device on the Internet, a communication unit may be provided in the inspection device 10, and the program may be read into the inspection device 10 and operated. Further, in the above-described embodiment, the inspection device 10 is composed of a plurality of hardware elements, but it is also possible for the control unit 20 to realize the operation of a part of these hardware elements by the operation of the program.
Ｓ 構造物検査システム
１０ 構造物検査装置
１１ 入力装置
１２ 表示装置
２０ 制御部
２１ 記憶部（記憶装置）
３０ 表示制御部
３１ 関連付け部
３４ 三次元モデル生成部
３５ 位置指定部
３６ 画像データ取得部
３７ 参照画像データ取得部
５０ 画像データ
５１ 参照画像データ
５４ 関連付けデータ
S Structure inspection system 10 Structure inspection device 11 Input device 12 Display device 20 Control unit 21 Storage unit (storage device)
30 Display control unit 31 Association unit 34 Three-dimensional model generation unit 35 Position designation unit 36 Image data acquisition unit 37 Reference image data acquisition unit 50 Image data 51 Reference image data 54 Association data
Claims (5)
前記構造物検査装置は、
前記同一の前記構造物を撮像して得られた前記画像データ及び前記参照画像データの関連付けの入力を受け入れる関連付け部と、前記画像データに基づいて前記構造物の三次元モデルを生成する三次元モデル生成部と、前記三次元モデル生成部により生成された前記三次元モデルを前記表示装置に表示させる表示制御部と、前記構造物の位置の入力指定を受け入れる位置指定部と、前記関連付け部により受け入れられた関連付けに基づいて前記位置指定部により指定された前記構造物の位置が含まれる前記参照画像データを取得する参照画像データ取得部とを有することを特徴とする構造物検査システム。 A plurality of image data obtained by imaging a structure with an image pickup device, and at least a part of the image data are different from the distance between the structure and the image pickup device when the image data is captured. A storage device that stores reference image data obtained by imaging at least a part of the same structure at a distance with the imaging device, a structure inspection device, and output instruction information to the structure inspection device. A structure inspection system including an input device for displaying a display screen based on a display signal output from the structure inspection device.
The structure inspection device is
An association unit that accepts an input of association between the image data and the reference image data obtained by imaging the same structure, and a three-dimensional model that generates a three-dimensional model of the structure based on the image data. The generation unit, the display control unit that displays the three-dimensional model generated by the three-dimensional model generation unit on the display device, the position designation unit that accepts the input designation of the position of the structure, and the association unit accepts the input designation. A structure inspection system comprising a reference image data acquisition unit that acquires the reference image data including the position of the structure designated by the position designation unit based on the association.
前記同一の前記構造物を撮像して得られた前記画像データ及び前記参照画像データの関連付けの入力を受け入れる関連付け部と、前記画像データに基づいて前記構造物の三次元モデルを生成する三次元モデル生成部と、前記三次元モデル生成部により生成された前記三次元モデルを表示させる表示制御部と、前記構造物の位置の入力指定を受け入れる位置指定部と、前記関連付け部により受け入れられた関連付けに基づいて前記位置指定部により指定された前記構造物の位置が含まれる前記参照画像データを取得する参照画像データ取得部とを有することを特徴とする構造物検査装置。 A plurality of image data obtained by imaging a structure with an image pickup device, and at least a part of the image data are different from the distance between the structure and the image pickup device when the image data is captured. A structure inspection device having a storage unit in which reference image data obtained by imaging at least a part of the same structure at a distance with the image pickup device is stored.
An association unit that accepts an input of association between the image data and the reference image data obtained by imaging the same structure, and a three-dimensional model that generates a three-dimensional model of the structure based on the image data. The generation unit, the display control unit that displays the three-dimensional model generated by the three-dimensional model generation unit, the position designation unit that accepts the input designation of the position of the structure, and the association accepted by the association unit. A structure inspection apparatus having a reference image data acquisition unit that acquires the reference image data including the position of the structure designated by the position designation unit based on the above.
前記同一の前記構造物を撮像して得られた前記画像データ及び前記参照画像データの関連付けの入力を受け入れる工程と、前記画像データに基づいて前記構造物の三次元モデルを生成する工程と、生成された前記三次元モデルを表示させる工程と、前記構造物の位置の入力指定を受け入れる工程と、前記関連付けに基づいて前記入力指定された前記構造物の位置が含まれる前記参照画像データを取得する工程とを有することを特徴とする構造物検査方法。 A plurality of image data obtained by imaging a structure with an image pickup device, and at least a part of the image data are different from the distance between the structure and the image pickup device when the image data is captured. A structure inspection method using a structure inspection device having a storage unit in which reference image data obtained by imaging at least a part of the same structure at a distance with the image pickup device is stored.
A step of accepting an input of association between the image data and the reference image data obtained by imaging the same structure, and a step of generating a three-dimensional model of the structure based on the image data. Acquire the reference image data including the step of displaying the three-dimensional model, the step of accepting the input designation of the position of the structure, and the position of the structure designated by the input based on the association. A structure inspection method characterized by having a process.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018065749A JP6833753B2 (en) | 2018-03-29 | 2018-03-29 | Structure inspection system, structure inspection equipment and structure inspection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018065749A JP6833753B2 (en) | 2018-03-29 | 2018-03-29 | Structure inspection system, structure inspection equipment and structure inspection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019175350A JP2019175350A (en) | 2019-10-10 |
| JP6833753B2 true JP6833753B2 (en) | 2021-02-24 |
Family
ID=68170391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018065749A Active JP6833753B2 (en) | 2018-03-29 | 2018-03-29 | Structure inspection system, structure inspection equipment and structure inspection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6833753B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7526269B2 (en) | 2020-07-30 | 2024-07-31 | 富士フイルム株式会社 | Structure survey support device, structure survey support method, and program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9070216B2 (en) * | 2011-12-14 | 2015-06-30 | The Board Of Trustees Of The University Of Illinois | Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring |
| JP6723748B2 (en) * | 2016-01-22 | 2020-07-15 | キヤノン株式会社 | Image management apparatus, image management method and program |
-
2018
- 2018-03-29 JP JP2018065749A patent/JP6833753B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019175350A (en) | 2019-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10964108B2 (en) | Augmentation of captured 3D scenes with contextual information | |
| JP7058277B2 (en) | Reconstruction method and reconfiguration device | |
| CN110555795A (en) | High resolution style migration | |
| US20150279075A1 (en) | Recording animation of rigid objects using a single 3d scanner | |
| US20160284092A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| EP2987322A1 (en) | Handheld portable optical scanner and method of using | |
| US12106460B2 (en) | Information processing apparatus, information processing method, and non- transitory computer-readable storage medium | |
| JP6765353B2 (en) | Structure inspection system, structure inspection equipment and structure inspection method | |
| WO2019093457A1 (en) | Information processing device, information processing method and program | |
| JP2016212784A (en) | Image processing apparatus and image processing method | |
| JP2018206252A (en) | Image processing system, evaluation model construction method, image processing method, and program | |
| JP6833753B2 (en) | Structure inspection system, structure inspection equipment and structure inspection method | |
| JP7003617B2 (en) | Estimator, estimation method, and estimation program | |
| JP7027776B2 (en) | Movement vector calculation method, device, program, and movement vector calculation method including noise reduction processing. | |
| JP2023063324A (en) | Image processing device, image processing method, and program | |
| US11922659B2 (en) | Coordinate calculation apparatus, coordinate calculation method, and computer-readable recording medium | |
| JP2015060421A (en) | Similar image search method, and similar image search device | |
| EP3588375A1 (en) | Information processing apparatus, control method, and program | |
| JP5563390B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP5208043B2 (en) | Image processing apparatus, image processing method, and program | |
| US20180137111A1 (en) | Metadata analyzing | |
| WO2021176877A1 (en) | Image processing device, image processing method, and image processing program | |
| JP2016085694A (en) | Image processing device, control method of the same, and program | |
| JP2020004166A (en) | Region specification device and program | |
| JP5636966B2 (en) | Error detection apparatus and error detection program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200227 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201228 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210119 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210203 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6833753 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |