JP7506627B2 - On-site work support device and on-site work support program - Google Patents
On-site work support device and on-site work support program Download PDFInfo
- Publication number
- JP7506627B2 JP7506627B2 JP2021048747A JP2021048747A JP7506627B2 JP 7506627 B2 JP7506627 B2 JP 7506627B2 JP 2021048747 A JP2021048747 A JP 2021048747A JP 2021048747 A JP2021048747 A JP 2021048747A JP 7506627 B2 JP7506627 B2 JP 7506627B2
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- information
- inspection information
- buried
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 claims description 138
- 238000010276 construction Methods 0.000 claims description 47
- 238000013461 design Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 238000009434 installation Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 239000000463 material Substances 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 238000009412 basement excavation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 239000002689 soil Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 238000009430 construction management Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、ガス導管工事の現場業務支援装置、及び現場業務支援プログラムに関する。詳しくは、３Ｄ画像測量技術を活用して、画像から導管の測量結果、導管の管種、及び口径等の設計業務、及び検収業務に必要な情報を検出し、設計図面、及び検収資料を作成して業務の支援を行う現場業務支援装置、及び現場業務支援プログラムに関するものである。 The present invention relates to an on-site work support device and on-site work support program for gas pipeline construction. More specifically, the present invention relates to an on-site work support device and on-site work support program that utilizes 3D image surveying technology to detect information required for design work and inspection work, such as the survey results of pipelines, the pipe type and diameter of the pipelines, from images, and creates design drawings and inspection materials to support the work.
現状のガス導管工事において、施工会社は他埋設物輻輳による調査試掘や設計変更協議に必要な計測、作図等の間接業務に長時間を要している。中でも、施工環境が厳しいエリア（都心部・幹線道路の交差点など）では、とりわけその傾向は顕著であり、状況によっては施工の中断を余儀なくされることがある。上記の課題に対して、業務を支援する技術として、ガス導管を撮影する共にガス導管に貼付された２次元コードを読み取り、２次元コードに関連付けられている導管の情報を取得して、設計図の作成を支援する技術について提案されている（特許文献１参照）。 In current gas pipeline construction, construction companies spend a lot of time on indirect tasks such as survey and trial excavation due to congestion of other buried objects, measurements required for design change negotiations, and drawing drawings. This tendency is particularly noticeable in areas with harsh construction environments (such as urban centers and intersections of major roads), and construction may have to be suspended depending on the situation. In response to the above issues, a technology has been proposed to support work by photographing gas pipelines and reading two-dimensional codes affixed to the gas pipelines, obtaining information on the pipeline associated with the two-dimensional codes, and supporting the creation of design drawings (see Patent Document 1).
特許文献１に記載の従来技術では、位置情報に関連付けられている埋設物の３Ｄモデルを表示する技術について提案されている。 The conventional technology described in Patent Document 1 proposes a technology for displaying a 3D model of buried objects associated with location information.
しかしながら、特許文献１に記載の従来技術では、ガス導管の情報を取得するためには、２次元コードを読み取ることが必要であるが、経年劣化等によって必ずしも２次元コードが読み取れるとは限らなかった。また、施工環境が厳しいエリアでは、発注通り工事が完了したかを確認する検収業務にも時間を要し、負担が増大することがある。従来技術は、設計図を作成して設計業務を支援するに留まり、検収業務の支援を行い、負担を軽減できるとは限らなかった。 However, with the conventional technology described in Patent Document 1, it is necessary to read a two-dimensional code to obtain information about the gas pipeline, but the two-dimensional code cannot always be read due to deterioration over time, etc. Furthermore, in areas with harsh construction environments, the inspection work of confirming that the work has been completed as ordered can take time, increasing the burden. Conventional technology is limited to supporting design work by creating blueprints, and was not necessarily able to support inspection work or reduce the burden.
本発明は、上記事情を鑑みて成されたものであり、検収業務の負担を軽減することができる現場業務支援装置、及び現場業務支援プログラムを提供することを目的とする。 The present invention was made in consideration of the above circumstances, and aims to provide a field work support device and a field work support program that can reduce the burden of inspection work.
上記目的を達成するために、本発明の現場業務支援装置は、施工により地中に埋設された埋設物を撮影した複数の画像、及び前記埋設物が設置された位置の情報である位置情報を取得する取得部と、前記画像から前記埋設物の特徴を抽出して、前記埋設物が設置された状況を示す空間モデルを生成するモデル生成部と、前記画像、及び前記空間モデルを用いて前記埋設物を識別し、前記埋設物の設置に係る検収を行うための情報である検収情報を抽出する検収情報抽出部と、前記位置情報に対応する施工前後の前記検収情報を用いて検収を行う検収実行部とを含んで構成される。 To achieve the above object, the on-site work support device of the present invention includes an acquisition unit that acquires multiple images of buried objects buried in the ground by construction and location information that is information on the location where the buried objects are installed, a model generation unit that extracts features of the buried objects from the images and generates a spatial model that shows the situation in which the buried objects are installed, an inspection information extraction unit that identifies the buried objects using the images and the spatial model and extracts inspection information that is information for inspecting the installation of the buried objects, and an inspection execution unit that performs inspection using the inspection information before and after construction that corresponds to the location information.
本発明の現場業務支援装置、及び現場業務支援プログラムによれば、検収業務の負担を軽減することができる、という効果が得られる。 The on-site work support device and on-site work support program of the present invention have the effect of reducing the burden of inspection work.
以下、図面を参照して本発明の実施形態を詳細に説明する。 The following describes in detail an embodiment of the present invention with reference to the drawings.
本発明の実施形態の手法は、上記の従来技術に対し、画像から３Ｄモデルを生成し、２次元コード等を用いずに、３Ｄモデルから検収に必要なガス導管の管種、及び口径等を取得できる点が新しく、作図の作成支援のみに留まらず、検収業務の支援ができる点で大きく進歩している。 The method of the embodiment of the present invention is new compared to the above-mentioned conventional techniques in that it generates a 3D model from an image and can obtain the type and diameter of the gas pipeline required for inspection from the 3D model without using a 2D code, etc., and is a major advancement in that it not only supports the creation of drawings but also supports inspection work.
以下、本発明の実施形態の手法を実現する現場業務支援システムについて、構成及び作用を説明する。 The following describes the configuration and operation of a field work support system that realizes the method of an embodiment of the present invention.
図１は、本発明の実施形態の現場業務支援システム１の構成を示す図である。図１に示されるように、本実施形態に係る現場業務支援システム１は、ユーザが操作を行う端末２Ａと、ユーザが操作を行う携帯端末２Ｂと、現場業務支援装置１０とによって構成される。以下では、現場業務支援装置１０は、端末２Ａ、又は携帯端末２Ｂから画像、及び位置情報を取得し、３Ｄモデルの提示を行うサーバとして実現する場合の態様について説明する。 Fig. 1 is a diagram showing the configuration of a field work support system 1 according to an embodiment of the present invention. As shown in Fig. 1, the field work support system 1 according to this embodiment is composed of a terminal 2A operated by a user, a mobile terminal 2B operated by a user, and a field work support device 10. Below, we will explain an aspect in which the field work support device 10 is realized as a server that acquires images and position information from the terminal 2A or the mobile terminal 2B and presents a 3D model.
端末２Ａは、施工管理者が施工管理を行うためのＰＣ等の端末である。施工管理者は、端末２Ａを操作することにより、工事竣工図、及び管理システム等を利用する。また、端末２Ａは、現場業務支援装置１０から受け付けた検収情報、及び検収情報に関する各種通知等を表示する表示部（図示省略）を備える。端末２Ａが、本発明の表示装置の一例である。 Terminal 2A is a terminal such as a PC that the construction manager uses to manage construction. The construction manager operates terminal 2A to use construction completion drawings and management systems. Terminal 2A also includes a display unit (not shown) that displays the inspection information received from the on-site work support device 10 and various notifications related to the inspection information. Terminal 2A is an example of a display device of the present invention.
携帯端末２Ｂは、現場担当者が保有し、施工により地中に埋設された埋設物を撮影する端末である。携帯端末２Ｂは撮影部（図示省略）を搭載しており、撮影部により動画（複数の画像）を撮影することが可能である。本実施形態では、現場業務支援装置１０は、埋設物を撮影した複数の画像と、埋設物が設置された位置の情報である位置情報とを携帯端末２Ｂから取得する。なお、画像、及び位置情報を取得する手段は携帯端末２Ｂに限られない。携帯端末２Ｂ以外の手段については後述する。 The mobile terminal 2B is a terminal held by the on-site worker and photographs buried objects buried underground during construction. The mobile terminal 2B is equipped with a photographing unit (not shown) that can capture video (multiple images). In this embodiment, the on-site work support device 10 acquires multiple images of the buried objects and location information, which is information on the location where the buried objects are installed, from the mobile terminal 2B. Note that the means for acquiring the images and location information is not limited to the mobile terminal 2B. Means other than the mobile terminal 2B will be described later.
現場業務支援装置１０で実現される機能の概要について説明する。現場業務支援装置１０は、取得した画像を用いて、埋設物の３Ｄモデルを生成し、画像、及び３Ｄモデルを用いて埋設物に係る材料の検収情報を抽出する。現場業務支援装置１０は、検収情報を用いて、検収を行う。例えば、施工前の検収情報と、施工後の検収情報と、に差異がある場合、差異を提示し、差異がある旨を通知することによって検収を行う。３Ｄモデルは、本発明の空間モデルの一例であり、埋設物が設置された状況を立体で表すモデルである。また、空間モデルを２Ｄモデルとして、埋設物が設置された状況を平面で表すモデルとしてもよい。なお、検収の内容に応じて、生成する対象を３Ｄモデル、又は２Ｄモデルに振り分けてもよい。 The following describes an overview of the functions realized by the on-site work support device 10. The on-site work support device 10 uses the acquired image to generate a 3D model of the buried object, and uses the image and the 3D model to extract inspection information for the material related to the buried object. The on-site work support device 10 performs an inspection using the inspection information. For example, if there is a difference between the inspection information before construction and the inspection information after construction, the difference is presented and the inspection is performed by notifying the user that there is a difference. The 3D model is an example of the spatial model of the present invention, and is a model that represents the situation in which the buried object is installed in three dimensions. The spatial model may also be a 2D model that represents the situation in which the buried object is installed in two dimensions. The objects to be generated may be divided into 3D models and 2D models depending on the content of the inspection.
次に、現場業務支援装置１０のハードウェア構成について説明する。図２は、現場業務支援装置１０のハードウェア構成を示すブロック図である。図２に示すように、現場業務支援装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、モニタ１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１８を介して相互に通信可能に接続されている。 Next, the hardware configuration of the field operation support device 10 will be described. FIG. 2 is a block diagram showing the hardware configuration of the field operation support device 10. As shown in FIG. 2, the field operation support device 10 has a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, storage 14, an input unit 15, a monitor 16, and a communication interface (I/F) 17. Each component is connected to each other so as to be able to communicate with each other via a bus 18.
ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、現場業務支援処理プログラムが格納されている。 The CPU 11 is a central processing unit that executes various programs and controls each part. That is, the CPU 11 reads a program from the ROM 12 or storage 14, and executes the program using the RAM 13 as a working area. The CPU 11 controls each of the above components and performs various calculation processes according to the program stored in the ROM 12 or storage 14. In this embodiment, the field work support processing program is stored in the ROM 12 or storage 14.
ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。 The ROM 12 stores various programs and various data. The RAM 13 temporarily stores programs or data as a working area. The storage 14 is composed of a storage device such as a HDD (Hard Disk Drive) or SSD (Solid State Drive), and stores various programs including the operating system, and various data.
入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。 The input unit 15 includes a pointing device such as a mouse and a keyboard, and is used to perform various inputs.
モニタ１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。モニタ１６は、タッチパネル方式を採用して、入力部１５として機能してもよい。 The monitor 16 is, for example, a liquid crystal display that displays various information. The monitor 16 may be a touch panel type and function as the input unit 15.
通信インタフェース１７は、端末等の他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。 The communication interface 17 is an interface for communicating with other devices such as terminals, and uses standards such as Ethernet (registered trademark), FDDI, and Wi-Fi (registered trademark).
以上が、現場業務支援装置１０のハードウェア構成である。 The above is the hardware configuration of the field operation support device 10.
次に、現場業務支援装置１０の機能を実現するための機能的な構成について説明する。図３は、現場業務支援装置１０の機能的な構成を示すブロック図である。図３に示すように、現場業務支援装置１０は、学習部１０２と、取得部１１０と、モデル生成部１１２と、検収情報抽出部１１４と、検収情報記憶部１１６と、検収実行部１１８と、資料生成部１２０とを含んで構成される。 Next, the functional configuration for realizing the functions of the field operation support device 10 will be described. FIG. 3 is a block diagram showing the functional configuration of the field operation support device 10. As shown in FIG. 3, the field operation support device 10 includes a learning unit 102, an acquisition unit 110, a model generation unit 112, an inspection information extraction unit 114, an inspection information storage unit 116, an inspection execution unit 118, and a document generation unit 120.
学習部１０２は、予め機械学習による生成モデルの学習、及び検収情報モデルの学習を行う。生成モデルは、埋設物を含む複数の画像を入力として３Ｄモデルを出力するように学習を行えばよい。生成モデルの学習は、所定の解析ソフトを用いて、学習用の画像から検出される埋設物を表す三次元点群を生成して生成モデルに入力し、機械学習させることにより、３Ｄモデルを出力するように学習させる。学習部１０２は、このようにして検収情報を抽出するための学習済み生成モデルを得る。また、検収情報モデルの学習は、過去に設置された埋設物に係る画像、及び過去に設置された埋設物に係る空間モデルを学習データとして検収情報モデルに入力し、機械学習を行うことにより、対応する過去に設置された埋設物に係る検収情報を出力するように学習させる。検収情報とは、埋設物の設置に係る検収を行うための情報である。 The learning unit 102 performs learning of the generative model and learning of the inspection information model in advance by machine learning. The generative model may be trained to output a 3D model using multiple images including buried objects as input. The generative model is trained to output a 3D model by using a specific analysis software to generate a three-dimensional point cloud representing buried objects detected from the learning image and inputting it to the generative model, and machine learning is performed. In this way, the learning unit 102 obtains a trained generative model for extracting inspection information. Furthermore, the inspection information model is trained by inputting images related to buried objects installed in the past and a spatial model related to buried objects installed in the past as learning data to the inspection information model, and by machine learning, it is trained to output inspection information related to the corresponding buried objects installed in the past. Inspection information is information for inspecting the installation of buried objects.
学習に用いる検収情報としては、例えば、土被り、管の種別、使用材料、採掘幅、及び口径等が挙げられる。管の種別であれば、例えば、管に判別シールを貼付し、画像に写った判別シールにより識別することができる。判別シールは、例えば、水道であれば青、ガス管であれば緑等とする。また、判別シールによる管の種別は所属を表しており、自企業の管であるか他企業の管であるかを判別することができる。学習部１０２は、このような検収情報を用いて学習を行い、学習済み検収情報モデルを得る。 Examples of inspection information used for learning include soil cover, type of pipe, material used, mining width, and diameter. In the case of pipe type, for example, a discrimination sticker is affixed to the pipe and it can be identified by the discrimination sticker that appears in the image. The discrimination sticker may be, for example, blue for water pipes and green for gas pipes. Furthermore, the type of pipe identified by the discrimination sticker indicates affiliation, and it is possible to determine whether the pipe belongs to the same company or another company. The learning unit 102 learns using such inspection information and obtains a learned inspection information model.
このほか、学習部１０２は、その時点で検収情報記憶部１１６に格納されているデータを用いて所定のタイミングで、学習済み生成モデル、及び学習済み検収情報モデルの再学習を行ってもよい。 In addition, the learning unit 102 may re-learn the trained generative model and the trained inspection information model at a predetermined timing using the data stored in the inspection information storage unit 116 at that time.
取得部１１０は、携帯端末２Ｂから、埋設物を撮影した複数の画像、及び埋設物が設置された位置の情報である位置情報（緯度、経度、及び高さ情報）を取得する。なお、携帯端末２Ｂにより、埋設物を撮影する際には、ものさし、又は基準点（官民境界等）を現場の埋設物付近に設置し、画像から長さ情報を読み取れるようにしてもよい。これにより、画像に長さの情報を持たせることができ、把握しやすい３Ｄモデルを生成することができる。 The acquisition unit 110 acquires from the mobile terminal 2B a number of images of the buried object, and location information (latitude, longitude, and altitude information) that is information on the location where the buried object is installed. When the buried object is photographed using the mobile terminal 2B, a ruler or a reference point (such as the public/private boundary) may be placed near the buried object at the site so that length information can be read from the image. This allows the image to have length information, making it possible to generate a 3D model that is easy to understand.
モデル生成部１１２は、複数の画像の各々について、学習済み生成モデルに入力し、学習済み生成モデルからの出力により、埋設物に係る３Ｄモデルを生成する。画像の入力は、所定の解析ソフトを用いて、画像の各々について三次元点群を生成し、学習済み生成モデルに入力することにより行う。図４に埋設物の画像と、３Ｄモデルとを表すイメージを示す。埋設物の状況を３Ｄモデルで表すことにより、立体的な情報を取得し、３６０°で掘削溝内部を確認、距離の算出が可能となる。３Ｄモデルとしては、三次元の空間上に一つ以上の埋設物が描画される。なお、図４に示した３Ｄモデルには、画像に含まれる長さ情報が反映されている。生成した空間モデルは、検収情報記憶部１１６に格納する。 The model generation unit 112 inputs each of the multiple images into a trained generative model, and generates a 3D model of the buried object based on the output from the trained generative model. Images are input by using a specified analysis software to generate a three-dimensional point cloud for each image, and inputting the cloud into the trained generative model. Figure 4 shows an image of a buried object and a 3D model. By expressing the situation of the buried object in a 3D model, it is possible to obtain three-dimensional information, check the inside of the excavation trench in 360°, and calculate distances. As a 3D model, one or more buried objects are drawn in a three-dimensional space. Note that the 3D model shown in Figure 4 reflects the length information contained in the image. The generated spatial model is stored in the inspection information storage unit 116.
検収情報抽出部１１４は、学習済み検収情報モデルに、取得した複数の画像、及びモデル生成部１１２で生成した空間モデルを入力して埋設物を識別し、学習済み検収情報モデルの出力として、埋設物に係る検収情報を抽出する。具体的には、検収情報抽出部１１４は、取得した位置情報に応じて、施工前の検収情報があるか否かを判定する。施工前の検収情報がある場合には、抽出した検収情報を施工後の検収情報として検収情報記憶部１１６に格納する。施工前の検収情報がない場合には、抽出した検収情報を施工前の検収情報として検収情報記憶部１１６に格納する。 The inspection information extraction unit 114 inputs the acquired multiple images and the spatial model generated by the model generation unit 112 into the trained inspection information model to identify buried objects, and extracts inspection information related to the buried objects as the output of the trained inspection information model. Specifically, the inspection information extraction unit 114 determines whether or not there is pre-construction inspection information according to the acquired position information. If there is pre-construction inspection information, the extracted inspection information is stored in the inspection information storage unit 116 as post-construction inspection information. If there is no pre-construction inspection information, the extracted inspection information is stored in the inspection information storage unit 116 as pre-construction inspection information.
検収情報記憶部１１６には、抽出された施工前又は施工後の検収情報が格納される。図５は、検収情報記憶部１１６に格納される検収情報のデータの一例を示す図である。検収情報は、識別ＩＤ、及び位置情報ごとに格納される。状態として、施工前、及び施工後を有し、それぞれに検収情報の各項目（図５の例では、管種、口径、土被り厚、及び掘削幅等）のデータが格納される。なお、状態は、施工前、及び施工後の２つの状態に限らず、施工段階ごとに検収情報を抽出して格納するようにしてもよい。 The inspection information storage unit 116 stores the extracted inspection information before or after construction. FIG. 5 is a diagram showing an example of the inspection information data stored in the inspection information storage unit 116. The inspection information is stored for each identification ID and location information. There are states before construction and after construction, and data for each item of the inspection information (in the example of FIG. 5, pipe type, diameter, soil covering thickness, excavation width, etc.) is stored for each state. Note that the state is not limited to the two states before construction and after construction, and inspection information may be extracted and stored for each construction stage.
検収実行部１１８は、施工前後の検収情報を用いて検収を行う。検収としては、端末２Ａの表示部に、施工前後の検収情報を表示して、検収情報の確認を指示する。また、検収実行部１１８は、施工前後の検収情報に差異がある場合、差異がある旨を端末２Ａに通知する。 The inspection execution unit 118 performs an inspection using the inspection information before and after construction. As an inspection, the inspection information before and after construction is displayed on the display unit of the terminal 2A, and an instruction is given to confirm the inspection information. Furthermore, if there is a difference between the inspection information before and after construction, the inspection execution unit 118 notifies the terminal 2A of the difference.
資料生成部１２０は、モデル生成部１１２で生成した空間モデル及び検収情報抽出部１１４で抽出した検収情報を用いて、検収に係る資料である検収資料、及び埋設物の設置に係る設計資料を生成する。検収資料は、検収情報の項目ごとの材料費等の費用資料、及び検収に係る写真資料である。費用は、土被り、掘削幅、口径、及び管種等から計算できる。写真資料としては、位置情報に対応した、施工前、使用材料、転圧、仮復旧、検漏、路盤、路床、表層の材料、厚さ等、適宜必要な写真を収集して作成する。設計資料は、３Ｄモデルを元にして寸法表記されたＣＡＤデータの竣工図である。竣工図には、施工前後の検収情報を元に自動的に変更点を反映する。 The document generation unit 120 uses the spatial model generated by the model generation unit 112 and the inspection information extracted by the inspection information extraction unit 114 to generate inspection documents, which are documents related to the inspection, and design documents related to the installation of buried objects. The inspection documents are cost documents such as material costs for each item of the inspection information, and photographic documents related to the inspection. The cost can be calculated from the soil cover, excavation width, diameter, and pipe type. The photographic documents are created by collecting necessary photographs such as before construction, materials used, compaction, temporary restoration, leakage detection, roadbed, roadbed, surface material, thickness, etc., corresponding to the location information. The design documents are CAD data completion drawings with dimensions written based on the 3D model. The completion drawings automatically reflect changes based on the inspection information before and after construction.
次に、本発明の実施形態に係る現場業務支援装置１０における作用について説明する。以下に説明するフローチャートによる検収処理は、ＣＰＵ１１が現場業務支援装置１０の各部として処理を実行することにより実現される。 Next, the operation of the on-site operation support device 10 according to an embodiment of the present invention will be described. The inspection process according to the flowchart described below is realized by the CPU 11 executing the processes of each part of the on-site operation support device 10.
図６は、検収処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から現場業務支援処理プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、検収処理が行なわれる。なお、予め学習部１０２により学習済み生成モデル、及び学習済み検収情報モデルが得られているとする。 Figure 6 is a flowchart showing the flow of the inspection process. The inspection process is performed by the CPU 11 reading the field work support processing program from the ROM 12 or storage 14, expanding it into the RAM 13, and executing it. It is assumed that the learned generative model and the learned inspection information model have been obtained in advance by the learning unit 102.
ステップＳ１００では、ＣＰＵ１１が、携帯端末２Ｂから、埋設物を撮影した複数の画像、及び埋設物が設置された位置の情報である位置情報を取得する。 In step S100, the CPU 11 acquires from the mobile terminal 2B a number of images of the buried object and location information indicating the location where the buried object is located.
ステップＳ１０２では、ＣＰＵ１１が、複数の画像の各々について、三次元点群を生成する。 In step S102, the CPU 11 generates a three-dimensional point cloud for each of the multiple images.
ステップＳ１０４では、ＣＰＵ１１が、生成した三次元点群を学習済み生成モデルに入力し、学習済み生成モデルからの出力により、埋設物に係る３Ｄモデルを生成する。 In step S104, the CPU 11 inputs the generated three-dimensional point cloud into a trained generative model, and generates a 3D model of the buried object based on the output from the trained generative model.
ステップＳ１０６では、ＣＰＵ１１が、学習済み検収情報モデルに、取得した複数の画像、及びモデル生成部１１２で生成した空間モデルを入力して埋設物を識別し、学習済み検収情報モデルの出力として、埋設物に係る検収情報を抽出する。 In step S106, the CPU 11 inputs the acquired images and the spatial model generated by the model generation unit 112 into the trained inspection information model to identify buried objects, and extracts inspection information related to the buried objects as the output of the trained inspection information model.
ステップＳ１０８では、ＣＰＵ１１が、抽出した検収情報について、取得した位置情報に応じて、過去の施工前の検収情報があるか否かを判定する。施工前の検収情報がある場合にはステップＳ１１２へ移行し、施工前の検収情報がない場合にはステップＳ１１０へ移行する。 In step S108, the CPU 11 determines whether or not there is past pre-construction inspection information for the extracted inspection information, based on the acquired location information. If there is pre-construction inspection information, the process proceeds to step S112, and if there is no pre-construction inspection information, the process proceeds to step S110.
ステップＳ１１０では、ＣＰＵ１１が、抽出した検収情報を施工前の検収情報として検収情報記憶部１１６に格納し、処理を終了する。 In step S110, the CPU 11 stores the extracted inspection information in the inspection information storage unit 116 as pre-construction inspection information, and ends the process.
ステップＳ１１２では、ＣＰＵ１１が、抽出した検収情報を施工後の検収情報として検収情報記憶部１１６に格納する。 In step S112, the CPU 11 stores the extracted inspection information in the inspection information storage unit 116 as post-construction inspection information.
ステップＳ１１４では、ＣＰＵ１１が、生成した空間モデル及び検収情報抽出部１１４で抽出した検収情報を用いて、検収に係る資料である検収資料、及び埋設物の設置に係る設計資料を生成する。 In step S114, the CPU 11 uses the generated spatial model and the inspection information extracted by the inspection information extraction unit 114 to generate inspection materials, which are materials related to the inspection, and design materials related to the installation of buried objects.
ステップＳ１１６では、ＣＰＵ１１が、施工前後の検収情報を用いて検収を実行する。検収としては、端末２Ａの表示部に、施工前後の検収情報を表示して、検収情報の確認を指示する。 In step S116, the CPU 11 performs an inspection using the inspection information before and after construction. As the inspection, the CPU 11 displays the inspection information before and after construction on the display unit of the terminal 2A and instructs the user to confirm the inspection information.
ステップＳ１１８では、ＣＰＵ１１が、施工前の検収情報と、施工後の検収情報と、に差異があるか否かを判定する。差異があると判定した場合にはステップＳ１１８へ移行し、差異がないと判定した場合には処理を終了する。 In step S118, the CPU 11 determines whether there is a difference between the inspection information before construction and the inspection information after construction. If it is determined that there is a difference, the process proceeds to step S118, and if it is determined that there is no difference, the process ends.
ステップＳ１２０では、ＣＰＵ１１が、施工前後の検収情報の差異を端末２Ａに通知する。なお、検収の実行の前に差異の判定を行い、検収情報の確認の指示と共に、差異を通知してもよい。以上が検収処理の説明である。 In step S120, the CPU 11 notifies the terminal 2A of the difference between the inspection information before and after construction. Note that the difference may be determined before the inspection is performed, and the difference may be notified together with an instruction to confirm the inspection information. This concludes the explanation of the inspection process.
以上説明したように、本発明の実施形態に係る現場業務支援システム１によれば、検収業務の負担を軽減することができる。 As described above, the on-site work support system 1 according to an embodiment of the present invention can reduce the burden of inspection work.
また、検収情報の差異が通知されるため、検収情報の差異による注意を促すことができる。また、画像から３Ｄモデルを生成するため、設計資料及び検収資料の作成に係る負担を軽減することができる。 In addition, differences in inspection information are notified, so it is possible to call attention to differences in inspection information. Also, because 3D models are generated from images, the burden of creating design documents and inspection documents can be reduced.
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications are possible without departing from the spirit of the invention.
例えば、複数の画像は、携帯端末２Ｂ以外から取得してもよい。例えば、ドローン（図示省略）等の管の周囲を旋回可能な移動体によって、掘削溝内を撮影して複数の画像を取得してもよい。この場合に管周りのドローンの周回方法は、例えば、上面→側面→底部の順に管軸方向に飛行させることが想定される。また、ウェアラブルデバイス（スマートグラス等）のカメラで撮影した複数の画像を取得してもよい。 For example, the multiple images may be acquired from a source other than the mobile terminal 2B. For example, the multiple images may be acquired by photographing the inside of the excavation trench using a mobile object capable of rotating around the pipe, such as a drone (not shown). In this case, the method of orbiting the drone around the pipe is assumed to be, for example, flying it in the axial direction of the pipe, in the order of top surface → side surface → bottom. Also, the multiple images may be acquired by photographing with a camera of a wearable device (such as smart glasses).
また、取得する複数の画像の測量をより広い範囲で行って、地図を作成してもよい。例えば、設計図の他埋設物、ガス管の位置、予備路面標示物の情報を住宅地図に落とし込み、測量情報図を作成してもよい。また、測量情報図として得られた結果を他の工事管理業務時に用いてもよいし、埋設インフラ企業に対して販売してもよい。 Maps can also be created by surveying a wider area using multiple images obtained. For example, information on buried objects, gas pipe locations, and preliminary road surface markers, in addition to design drawings, can be incorporated into a residential map to create a survey information map. The results obtained as a survey information map can also be used for other construction management tasks, or can be sold to buried infrastructure companies.
１ 現場業務支援システム
２Ａ 端末
２Ｂ 携帯端末
１０ 現場業務支援装置
１０２ 学習部
１１０ 取得部
１１２ モデル生成部
１１４ 検収情報抽出部
１１６ 検収情報記憶部
１１８ 検収実行部
１２０ 資料生成部
REFERENCE SIGNS LIST 1 Field operation support system 2A Terminal 2B Mobile terminal 10 Field operation support device 102 Learning unit 110 Acquisition unit 112 Model generation unit 114 Inspection information extraction unit 116 Inspection information storage unit 118 Inspection execution unit 120 Document generation unit
Claims (7)
前記画像から前記埋設物の特徴を抽出して、前記埋設物が設置された状況を示す空間モデルを生成するモデル生成部と、
前記画像、及び前記空間モデルを用いて前記埋設物を識別し、前記埋設物の設置に係る検収を行うための情報である検収情報を抽出する検収情報抽出部と、
前記位置情報に対応する施工前後の前記検収情報を用いて検収を行う検収実行部と、
を備えた現場業務支援装置。 an acquisition unit that acquires a plurality of images of buried objects buried in the ground by construction and location information that is information on the location where the buried objects are installed;
a model generation unit that extracts features of the buried object from the image and generates a spatial model that shows a situation in which the buried object is installed;
an inspection information extraction unit that identifies the buried object using the image and the spatial model and extracts inspection information that is information for inspecting the installation of the buried object;
an inspection execution unit that performs an inspection using the inspection information before and after construction corresponding to the position information;
Field operation support device equipped with
前記学習済み検収情報モデルは、過去に設置された埋設物に係る画像、及び前記過去に設置された埋設物に係る空間モデルを学習データとして検収情報モデルに入力し、機械学習を行うことにより、対応する前記過去に設置された埋設物に係る検収情報を出力するように学習されている請求項１又は請求項２に記載の現場業務支援装置。 The inspection information is extracted by using a trained inspection information model, and
The field work support device of claim 1 or claim 2, wherein the learned inspection information model is trained to output inspection information relating to the corresponding buried objects installed in the past by inputting images of buried objects installed in the past and a spatial model of the buried objects installed in the past as learning data into the inspection information model and performing machine learning.
施工により地中に埋設された埋設物を撮影した複数の画像、及び前記埋設物が設置された位置の情報である位置情報を取得し、
前記画像から前記埋設物の特徴を抽出して、前記埋設物が設置された状況を示す空間モデルを生成し、
前記画像、及び前記空間モデルを用いて前記埋設物を識別し、前記埋設物の設置に係る検収を行うための情報である検収情報を抽出し、
前記位置情報に対応する施工前後の前記検収情報を用いて検収を行う、
ことを実行させるための現場業務支援プログラム。 A computer acquires a plurality of images of buried objects buried in the ground by construction and location information which is information on the location where the buried objects are installed,
Extracting features of the buried object from the image and generating a spatial model showing the situation in which the buried object is installed;
Identifying the buried object using the image and the spatial model, and extracting inspection information which is information for inspecting the installation of the buried object;
An inspection is performed using the inspection information before and after construction corresponding to the location information.
A field operations support program to help make this happen.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021048747A JP7506627B2 (en) | 2021-03-23 | 2021-03-23 | On-site work support device and on-site work support program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021048747A JP7506627B2 (en) | 2021-03-23 | 2021-03-23 | On-site work support device and on-site work support program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022147490A JP2022147490A (en) | 2022-10-06 |
| JP7506627B2 true JP7506627B2 (en) | 2024-06-26 |
Family
ID=83462627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021048747A Active JP7506627B2 (en) | 2021-03-23 | 2021-03-23 | On-site work support device and on-site work support program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7506627B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006268765A (en) | 2005-03-25 | 2006-10-05 | Osaka Gas Co Ltd | Civil engineering support system |
| US20140346223A1 (en) | 2013-05-21 | 2014-11-27 | Jan Lee Van Sickle | Open-Ditch Pipeline As-Built Process |
| JP2015075927A (en) | 2013-10-09 | 2015-04-20 | 株式会社クボタ | Pipeline completion drawing generation method, pipeline completion drawing generation support system and pipe joint connection device |
-
2021
- 2021-03-23 JP JP2021048747A patent/JP7506627B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006268765A (en) | 2005-03-25 | 2006-10-05 | Osaka Gas Co Ltd | Civil engineering support system |
| US20140346223A1 (en) | 2013-05-21 | 2014-11-27 | Jan Lee Van Sickle | Open-Ditch Pipeline As-Built Process |
| JP2015075927A (en) | 2013-10-09 | 2015-04-20 | 株式会社クボタ | Pipeline completion drawing generation method, pipeline completion drawing generation support system and pipe joint connection device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022147490A (en) | 2022-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Dynamic BIM-augmented UAV safety inspection for water diversion project | |
| KR102032974B1 (en) | Mobile terminal, management server for underground facility and system for managing underground facility based on 3d spatial information | |
| Golparvar-Fard et al. | D4AR–a 4-dimensional augmented reality model for automating construction progress monitoring data collection, processing and communication | |
| US9424371B2 (en) | Click to accept as built modeling | |
| CA2821107C (en) | Methods and apparatus for indicating a planned excavation | |
| Sadhu et al. | A review of data management and visualization techniques for structural health monitoring using BIM and virtual or augmented reality | |
| Bae et al. | Image-based localization and content authoring in structure-from-motion point cloud models for real-time field reporting applications | |
| EP3798993A1 (en) | Design engineering tools for visualizing existing utility lines within a land area and validating placement of new utility lines | |
| KR20200078074A (en) | Server and method for 3d city modeling based on object, and system using the same | |
| CN106846478A (en) | Edit and record charting system in water power hydraulic engineering geology three-dimensional live field | |
| CA2846173A1 (en) | System and method for integration and correlation of gis data | |
| KR102264219B1 (en) | Method and system for providing mixed reality contents related to underground facilities | |
| KR101958441B1 (en) | System for digging, construction, safety management of country life line using electronic display device and AR | |
| Hansen et al. | Augmented reality for subsurface utility engineering, revisited | |
| Xu et al. | Photo-realistic visualization of seismic dynamic responses of urban building clusters based on oblique aerial photography | |
| KR20190114696A (en) | An augmented reality representation method for managing underground pipeline data with vertical drop and the recording medium thereof | |
| KR20200033653A (en) | Method and apparatus for inspecting error of underground facilities maps | |
| EP3640895A1 (en) | Smart city management and navigation tool | |
| Hsu et al. | Defect inspection of indoor components in buildings using deep learning object detection and augmented reality | |
| KR101280210B1 (en) | Method for providing Information based on Augmented Reality in Mobile Terminal | |
| JP7506627B2 (en) | On-site work support device and on-site work support program | |
| KR20160120955A (en) | Module for multi diensional vedio information visualization | |
| Escoto et al. | Development of a digital twin for the monitoring of smart cities using open-source software | |
| Verykokou et al. | Multi-scale 3D modelling of damaged cultural sites: use cases and image-based workflows | |
| Li et al. | Development of Augmented Reality Pipeline Visualiser (ARPV) Application for Visualising Underground Water Pipeline |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230901 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240604 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240614 |