JP7469987B2 - Information processing device, information processing method, and program - Google Patents
Information processing device, information processing method, and program Download PDFInfo
- Publication number
- JP7469987B2 JP7469987B2 JP2020134335A JP2020134335A JP7469987B2 JP 7469987 B2 JP7469987 B2 JP 7469987B2 JP 2020134335 A JP2020134335 A JP 2020134335A JP 2020134335 A JP2020134335 A JP 2020134335A JP 7469987 B2 JP7469987 B2 JP 7469987B2
- Authority
- JP
- Japan
- Prior art keywords
- intersections
- image data
- intersection
- reinforcement
- reinforcing bar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 48
- 238000003672 processing method Methods 0.000 title claims description 15
- 230000003014 reinforcing effect Effects 0.000 claims description 183
- 230000002787 reinforcement Effects 0.000 claims description 124
- 238000001514 detection method Methods 0.000 claims description 99
- 238000012545 processing Methods 0.000 claims description 48
- 239000011150 reinforced concrete Substances 0.000 claims description 35
- 238000010801 machine learning Methods 0.000 claims description 8
- 229910001294 Reinforcing steel Inorganic materials 0.000 claims 2
- 238000007689 inspection Methods 0.000 description 56
- 238000000034 method Methods 0.000 description 38
- 238000003384 imaging method Methods 0.000 description 37
- 230000015654 memory Effects 0.000 description 27
- 230000008569 process Effects 0.000 description 15
- 239000000284 extract Substances 0.000 description 9
- 238000005259 measurement Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000009430 construction management Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Description
本発明は、配筋検査に用いる情報処理装置、情報処理方法、およびプログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program for use in reinforcement inspection.
従来、鉄筋コンクリート構造物の工事において、鉄筋が正しく配置されているかどうかを確認する配筋検査が行われる。配筋検査における検査項目には、鉄筋径種、表面加工種、配置本数、配筋ピッチなどがある。この配筋検査においては、配筋位置でスケールを用いて配筋ピッチなどを計測している。具体的に、土木工事施工管理基準においては、鉄筋間隔を規格値として±20mm、測定基準は、1径間当たり両端および中央の3ヶ所測定し、1ヶ所の測定は、橋軸方向の鉄筋を全数、橋軸方向に対して直角方向の鉄筋を加工形状ごとに2mの範囲で測定している。従来の配筋検査方法においては、これらの指定区間および指定範囲において、複数の作業者が1本ずつ鉄筋の間隔を測定している。 Traditionally, in the construction of reinforced concrete structures, a rebar inspection is carried out to check whether rebars are correctly arranged. Inspection items in a rebar inspection include rebar diameter type, surface treatment type, number of bars arranged, and rebar pitch. In this rebar inspection, a scale is used to measure the rebar pitch at the rebar position. Specifically, in the civil engineering construction management standards, the standard value for rebar spacing is ±20 mm, and the measurement standard is to measure three locations per span, at both ends and in the center, and at one measurement location, all rebars in the bridge axis direction and rebars perpendicular to the bridge axis direction are measured within a 2m range for each processing shape. In conventional rebar inspection methods, multiple workers measure the spacing of rebars one by one in these designated sections and ranges.
また、特許文献1には、鉄筋の長さおよび太さの基準となる基準データを付与して撮影範囲を設定し、設定された撮影範囲で配筋状態を撮影して配筋状態の撮影データに対して、パターンマッチングまたは機械学習の少なくとも一方の手法を用いて配筋状態を認識して配筋状態データを生成する技術が開示されている。
上述した従来の配筋検査方法においては、測定対象外の範囲における鉄筋の状態については、測定できないという問題がある。また、鉄筋の間隔を作業者がメジャーなどを用いて手作業で測定していることから、多大な労力を要し、手作業による測定ミスなどの発生する可能性がある。さらに、測定した結果のデータを作業者が手作業で情報処理装置に入力しているため、データの入力ミスなどの問題も生じる可能性があった。そこで、上述した特許文献1に記載の技術を採用しようとすると、処理すべきデータが大きくなってしまい、画像処理などに時間を要するという問題が新たに生じる。そのため、配筋検査において、処理すべきデータを低減でき、省人化を実現しつつ信頼性を向上できる技術が求められていた。
The conventional reinforcing bar inspection method described above has a problem in that it is not possible to measure the condition of reinforcing bars in areas outside the measurement target. In addition, because the spacing between reinforcing bars is measured manually by an operator using a tape measure or the like, this requires a great deal of effort and there is a possibility of manual measurement errors. Furthermore, because the operator manually inputs the data of the measurement results into an information processing device, there is a possibility of problems such as data input errors. Therefore, if an attempt is made to adopt the technology described in the above-mentioned
本発明は、上記に鑑みてなされたものであって、その目的は、配筋検査において、処理すべきデータを低減でき、省人化を実現しつつ信頼性を向上することができる情報処理装置、情報処理方法、およびプログラムを提供することにある。 The present invention has been made in consideration of the above, and its purpose is to provide an information processing device, information processing method, and program that can reduce the amount of data to be processed in reinforcement inspection, thereby improving reliability while reducing manpower.
上述した課題を解決し、目的を達成するために、本発明の一態様に係る情報処理装置は、複数の鉄筋が交差して設けられる鉄筋構造物における前記鉄筋が撮像されて得られた配筋画像データに対して画像処理を施す制御部を備える情報処理装置であって、前記制御部は、前記撮像された配筋画像データを取得して記憶部に記憶させ、前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、前記識別された複数の交点の座標情報を含む交点データを生成する。 In order to solve the above-mentioned problems and achieve the object, an information processing device according to one aspect of the present invention is an information processing device that includes a control unit that performs image processing on reinforcement image data obtained by imaging reinforcing bars in a reinforced concrete structure in which the reinforcing bars are arranged at their intersections, and the control unit acquires the captured reinforcement image data and stores it in a memory unit, identifies multiple intersections where the reinforcing bars intersect for the reinforcement image data read from the memory unit, and generates intersection data including coordinate information for the identified multiple intersections.
本発明の一態様に係る情報処理装置は、上記の発明において、前記制御部は、前記記憶部から前記配筋画像データを入力パラメータとして取得して、前記記憶部から読み出した前記配筋画像データを交点識別学習モデルに入力し、前記配筋画像データに対して前記交点を抽出した検出枠が付加された交点画像データを出力パラメータとして出力し、出力した前記交点画像データに基づいて、前記交点データを生成し、前記交点識別学習モデルは、前記配筋画像データを学習用入力パラメータとし、前記配筋画像データに対して前記交点を示す検出枠が付加された交点画像データを学習用出力パラメータとして、機械学習によって生成された学習モデルである。 In the information processing device according to one aspect of the present invention, in the above invention, the control unit acquires the reinforcement image data from the storage unit as an input parameter, inputs the reinforcement image data read from the storage unit into an intersection identification learning model, outputs intersection image data in which a detection frame that extracts the intersection is added to the reinforcement image data as an output parameter, and generates the intersection data based on the output intersection image data, and the intersection identification learning model is a learning model generated by machine learning using the reinforcement image data as a learning input parameter and the intersection image data in which a detection frame indicating the intersection is added to the reinforcement image data as a learning output parameter.
本発明の一態様に係る情報処理装置は、上記の発明において、前記鉄筋構造物は、連続した鉄筋を複数本備え、前記連続した鉄筋に固有の鉄筋番号が、前記連続した鉄筋ごとに設定され、前記制御部は、前記交点データに含まれる複数の交点の座標情報に基づいてクラスタリングを実行することにより、前記識別された複数の交点に対して、互いに同一の鉄筋番号であると判定した複数の交点を分割して部分集合化する。 In one aspect of the present invention, the information processing device is the above invention, in which the reinforced concrete structure comprises a plurality of consecutive reinforcing bars, a unique reinforcing bar number is set for each of the consecutive reinforcing bars, and the control unit performs clustering based on coordinate information of the plurality of intersections included in the intersection data, thereby dividing and forming subsets of the plurality of identified intersections that are determined to have the same reinforcing bar number.
本発明の一態様に係る情報処理装置は、この構成において、前記鉄筋構造物は、連続した鉄筋を複数本備え、前記連続した鉄筋に固有の鉄筋番号が、前記連続した鉄筋ごとに設定され、前記制御部は、前記識別された複数の交点に対して、互いに同一の鉄筋番号であると判定した複数の交点を抽出して、前記同一の鉄筋番号であると判定した複数の交点に近似する鉄筋式を、前記鉄筋番号ごとに導出し、前記鉄筋番号ごとに導出した複数の鉄筋式と、前記互いに同一の鉄筋番号であると判定した複数の交点のそれぞれの座標情報とに基づいて、前記互いに同一の鉄筋番号であると判定した複数の交点における該交点ごとに鉄筋番号の正否を判定する。 In the information processing device according to one aspect of the present invention, in this configuration, the reinforced concrete structure comprises multiple consecutive reinforcing bars, and a unique reinforcing bar number is set for each consecutive reinforcing bar, and the control unit extracts multiple intersections determined to have the same reinforcing bar number from the multiple identified intersections, derives a reinforcing bar formula for each reinforcing bar number that approximates the multiple intersections determined to have the same reinforcing bar number, and determines whether the reinforcing bar number is correct for each of the multiple intersections determined to have the same reinforcing bar number based on the multiple reinforcing bar formulas derived for each reinforcing bar number and the coordinate information of each of the multiple intersections determined to have the same reinforcing bar number.
本発明の一態様に係る情報処理装置は、この構成において、前記制御部は、前記交点の鉄筋番号が異なると判定した場合、該交点が判定された鉄筋番号に対して前または後の鉄筋番号の鉄筋式に基づいて、該交点の鉄筋番号を補正する。 In this configuration of an information processing device according to one aspect of the present invention, when the control unit determines that the rebar number of the intersection is different, it corrects the rebar number of the intersection based on the rebar formula of the rebar number before or after the rebar number at which the intersection was determined.
本発明の一態様に係る情報処理装置は、上記の発明において、前記制御部は、識別した複数の交点においてそれぞれの交点間の距離を算出し、前記交点間の距離が所定距離以下の2つの交点を抽出し、前記2つの交点を前記鉄筋の継手部分の交点であると判定する。 In the information processing device according to one aspect of the present invention, in the above invention, the control unit calculates the distance between each of the identified intersections, extracts two intersections whose distance between the intersections is equal to or less than a predetermined distance, and determines that the two intersections are intersections of the joint portion of the reinforcing bar.
本発明の一態様に係る情報処理装置は、この構成において、前記鉄筋構造物は、連続した鉄筋を備え、前記連続した鉄筋は少なくとも2本の鉄筋が長さ方向に沿って固着された継手部分を有し、前記継手部分に固有の継手番号が、前記継手部分ごとに設定され、前記制御部は、複数の前記継手部分の交点の座標情報に基づいてクラスタリングを実行することにより、複数の前記継手部分の交点に対して、互いに同一の継手番号であると判定した複数の交点を抽出して集合化し、前記継手番号ごとに継手長を導出する。 In the information processing device according to one aspect of the present invention, in this configuration, the reinforced concrete structure comprises continuous reinforcing bars, the continuous reinforcing bars have joint parts where at least two reinforcing bars are fixed along the length direction, a joint number unique to the joint part is set for each joint part, and the control unit performs clustering based on coordinate information of the intersections of the multiple joint parts, extracts and groups multiple intersections of the multiple joint parts that are determined to have the same joint number, and derives the joint length for each joint number.
本発明の一態様に係る情報処理方法は、複数の鉄筋が交差して設けられる鉄筋構造物における前記鉄筋が撮像されて得られた配筋画像データに対して画像処理を施す制御部を備える情報処理装置が実行する情報処理方法であって、前記撮像された配筋画像データを取得して記憶部に記憶させ、前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、前記識別された複数の交点の座標情報を含む交点データを生成する。 An information processing method according to one aspect of the present invention is an information processing method executed by an information processing device having a control unit that performs image processing on reinforcement image data obtained by imaging reinforcing bars in a reinforced concrete structure in which the reinforcing bars are arranged at an intersection, and the information processing device acquires the captured reinforcement image data and stores it in a memory unit, identifies multiple intersections where the reinforcing bars intersect for the reinforcement image data read from the memory unit, and generates intersection data including coordinate information for the identified multiple intersections.
本発明の一態様に係るプログラムは、複数の鉄筋が交差して設けられる鉄筋構造物における前記鉄筋が撮像されて得られた配筋画像データに対して画像処理を施す制御部に、前記撮像された配筋画像データを取得して記憶部に記憶させ、前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、前記識別された複数の交点の座標情報を含む交点データを生成することを実行させる。 A program according to one aspect of the present invention causes a control unit, which performs image processing on reinforcement image data obtained by imaging reinforcing bars in a reinforced concrete structure in which the reinforcing bars are arranged at different angles, to acquire the captured reinforcement image data and store it in a memory unit, identify multiple intersections where the reinforcing bars intersect for the reinforcement image data read from the memory unit, and generate intersection data including coordinate information for the identified multiple intersections.
本発明に係る情報処置装置、情報処理方法、およびプログラムによれば、配筋検査において、処理すべきデータを低減でき、省人化を実現しつつ信頼性を向上することが可能になる。 The information processing device, information processing method, and program of the present invention can reduce the amount of data to be processed in reinforcement inspection, making it possible to improve reliability while reducing manpower requirements.
以下、本発明の一実施形態について図面を参照しつつ説明する。なお、以下の一実施形態の全図においては、同一または対応する部分には同一の符号を付す。また、本発明は以下に説明する一実施形態によって限定されるものではない。 One embodiment of the present invention will be described below with reference to the drawings. Note that in all the drawings of the embodiment below, the same or corresponding parts are given the same reference numerals. Furthermore, the present invention is not limited to the embodiment described below.
(配筋検査システム)
図1は、本発明の一実施形態による情報処理装置を適用した配筋検査システム1を模式的に示す全体構成図である。図1に示す配筋検査システム1は、床版配筋の画像を撮影し、画像認識処理が可能な情報処理装置を用いて、鉄筋間隔、鉄筋本数、継手長などの測定を行うシステムである。なお、配筋とは、鉄筋コンクリート構造物における鉄筋の配置を意味し、配筋検査とは、それぞれの鉄筋の配置、寸法、数量、および種別などを示した配筋図に基づいて、鉄筋が正確に配置されているか否かの検査を意味する。
(Reinforcement inspection system)
Fig. 1 is an overall configuration diagram showing a schematic diagram of a reinforcing
図1に示すように、配筋検査システム1は、配筋検査装置10および撮像装置20を備え、配力筋である縦鉄筋31および主筋である横鉄筋32が格子状に並べられて構成された鉄筋構造物30を検査可能に構成される。
As shown in FIG. 1, the reinforcing
配筋検査装置10と撮像装置20とは、ネットワーク2を介して接続されている。ネットワーク2は、例えば、専用線、近距離無線通信装置、インターネットなどの公衆通信網、例えばLAN(Local Area Network)、WAN(Wide Area Network)、および携帯電話などの電話通信網や公衆回線、VPN(Virtual Private Network)などの一または複数の組み合わせからなる。
The rebar inspection device 10 and the imaging device 20 are connected via a
情報処理装置としての配筋検査装置10は、制御部11、記憶部12、入力部13、および出力部14を備える。
The reinforcing bar inspection device 10, which serves as an information processing device, includes a
図1に示すように、配筋検査制御部としての制御部11は、具体的に、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field-Programmable Gate Array)などのプロセッサ、およびRAM(Random Access Memory)やROM(Read Only Memory)などの主記憶部(いずれも図示せず)を備える。
As shown in FIG. 1, the
記憶部12は、RAMなどの揮発性メモリ、ROMなどの不揮発性メモリ、EPROM(Erasable Programmable ROM)、ハードディスクドライブ(HDD、Hard Disk Drive)、およびリムーバブルメディアなどから選ばれた記憶媒体から構成される。なお、リムーバブルメディアは、例えば、USB(Universal Serial Bus)メモリ、または、CD(Compact Disc)、DVD(Digital Versatile Disc)、もしくはBD(Blu-ray(登録商標) Disc)のようなディスク記録媒体である。また、外部から装着可能なメモリカードなどのコンピュータ読み取り可能な記録媒体を用いて記憶部12を構成してもよい。
The
記憶部12には、配筋検査装置10の動作を実行するための、オペレーティングシステム(Operating System:OS)、各種プログラム、各種テーブル、各種データベースなどが記憶可能である。ここで、各種プログラムには、本実施形態による学習モデルや学習済みモデルなどのモデルに基づいた処理を実現する、情報処理プログラムも含まれる。これらの各種プログラムは、ハードディスク、フラッシュメモリ、CD-ROM、DVD-ROM、フレキシブルディスクなどのコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。
The
記憶部12には、配筋検査装置10の動作を実行するためのOS、各種プログラム、各種テーブル、各種データベースなどが記憶可能である。ここで、各種プログラムには、本実施形態による交点識別学習モデル121を用いた情報処理プログラムや、階層的クラスタリングを実現する情報処理プログラムが含まれる。具体的に、記憶部12には、交点識別学習モデル121、クラスタリングコード122、画像データ123、推論データ124、および交点データ125が格納されている。交点識別学習モデル121は、必要に応じて更新可能なモデルであるが、更新を行わない場合には、学習済みの配筋検査学習済みモデルとなる。また、記憶部12はネットワーク2を介して通信可能な他のサーバに設けてもよい。すなわち、画像データ123を格納する記憶部や、推論データ124や交点データ125を格納する記憶部を、配筋検査装置10とネットワーク2を介して通信可能な他のサーバに設けてもよい。これらの各種プログラムや各種データは、ハードディスク、フラッシュメモリ、CD-ROM、DVD-ROM、フレキシブルディスクなどのコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。
The
制御部11は、記憶部12に記憶されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部などを制御することによって、所定の目的に合致した機能を実現できる。本実施形態においては、制御部11は、記憶部12に格納されたプログラムの実行によって、画像取得部111、画像処理部112、交点検出部113、継手検出部114、クラスタリング処理部115、および学習部116の機能を実行する。
The
具体的に例えば、制御部11は、記憶部12からプログラムである交点識別学習モデル121を読み込むことによって、画像取得部111、画像処理部112、交点検出部113、および継手検出部114の全部または少なくとも一部の機能を実行できる。制御部11は、記憶部12からクラスタリングコード122を読み込むことによって、取得したデータに対してクラスタリング処理部115の機能を実現できる。なお、画像処理部112、交点検出部113、および継手検出部114のそれぞれに対応する学習モデルまたは学習済みモデルを生成して、記憶部12に格納することも可能である。画像取得部111、画像処理部112、交点検出部113、継手検出部114、クラスタリング処理部115、および学習部116の機能の詳細については、後述する。
Specifically, for example, the
入力手段としての入力部13は、キーボードや入力用のボタン、レバーや、液晶などのディスプレイに重畳して設けられる手入力のためのタッチパネル、または音声認識のためのマイクロホンなどの、ユーザインターフェースを用いて構成される。ユーザなどが入力部13を操作することによって、制御部11に所定の情報を入力可能に構成される。出力手段としての出力部14は、所定の情報を外部に通知可能に構成される。出力部14は、制御部11による制御に従って、ディスプレイモニタに鉄筋構造物30の廃棄物の画像などを表示したり、タッチパネルディスプレイの画面上に文字や図形などを表示したり、スピーカから音声を出力したりする。なお、入力部13および出力部14を一体とした入出力部とし、入出力部をタッチパネルディスプレイやスピーカマイクロホンなどから構成してもよい。
The
(撮像装置)
撮像手段としての撮像装置20は、鉄筋構造物30の上方から、格子状に並べられた縦鉄筋31および横鉄筋32を撮像可能に構成される。撮像装置20は、典型的には、撮像部21が移動体に搭載されて構成されるが、必ずしも移動体に限定されるものではない。なお、移動体は例えば、ドローンなどの無人航空機(Unmanned Aerial Vehicle:UAV)や、ヘリコプター、飛行機、または飛行船などの有人航空機などの大気圏内を移動する移動体や、人工衛星や探査機などの大気圏外を移動する宇宙移動体である。撮像部21は、例えば高解像度の撮像カメラから構成されるが、鉄筋構造物30における複数の縦鉄筋31や複数の横鉄筋32を互いに識別可能であれば、種々のカメラを使用することが可能である。また、撮像装置20は、撮像部21と撮影対象との距離を計測可能な測距センサを備えてもよい。撮像装置20が測距センサを備える場合、鉄筋構造物30が、格子状に配列された縦鉄筋31および横鉄筋32からなる鉄筋の層を複数層有していた場合であっても、撮像装置20によって、複数の鉄筋のそれぞれの層までの距離の情報を取得できる。
(Imaging device)
The imaging device 20 as an imaging means is configured to be able to image the vertical reinforcing
(交点識別学習モデルおよびその生成方法)
次に、記憶部12に記憶されているプログラムである交点識別学習モデル121およびその生成方法について説明する。すなわち、交点識別学習モデル121は、撮像装置20が鉄筋構造物30を撮像した画像データ(以下、配筋画像データ)に対して、縦鉄筋31と横鉄筋32との交差部(以下、交点33)を抽出する処理を実行可能な学習モデルである。図2(a)は、撮像部21により撮像された鉄筋構造物30の配筋画像データの一例を示す平面図である。図2(b)は、配筋画像データに対して、縦鉄筋31と横鉄筋32との交点33の部分に画像アノテーションが実施された状態の例を示す平面図である。
(Intersection identification learning model and its generation method)
Next, the intersection
交点識別学習モデル121を生成する際の入出力データセットとしては、学習用入力パラメータとして、図2(a)に示す撮像装置20が撮像した配筋画像データが用いられ、学習用出力パラメータとして、図2(b)に示す交点33の検出枠33aが付加された状態の画像データ(以下、交点画像データ)が用いられる。
As input/output data sets for generating the intersection
ここで、配筋画像データを取得するための撮像装置20による撮像の条件の一例を挙げると、撮像時における撮像装置20の高さ、すなわち鉄筋構造物30との距離は、測定誤差の低減のために、取得する配筋画像データの1画素が実寸法の1mm未満になる高さになるように決定することができる。また、配筋画像データとしては、日射条件、背景、または鉄筋状態などの条件を変えた配筋画像データを用いることが好ましい。また、撮像装置20が撮像した複数の画像データをつなぎ合わせて、鉄筋構造物30の全体の配筋画像データを得るために、撮像した画像データのリサイズや、所定の被り量が設定された画像データの分割などを行ってもよい。画像データの分割を行う場合、所定の被り量としては、鉄筋31,32の幅の途中で分割されることを考慮して、鉄筋31,32の径の半分以上の大きさが好ましい。さらに、配筋画像データに対して、色の標準化処理、スケール変換処理、フリップ処理(反転処理)などの画像処理を行うことによって、撮像した配筋画像データに比して、学習用入力パラメータとして用いられる配筋画像データの数を増やすことも可能である。このように、学習用入力パラメータの数を増加させることによって、種々の環境下で撮像された配筋画像データに対しても、交点33の抽出を高精度に行うことが可能になる。
Here, as an example of the conditions for imaging by the imaging device 20 to obtain the reinforcement image data, the height of the imaging device 20 at the time of imaging, i.e., the distance from the reinforced
交点画像データとしては、図2(b)に示すように、配筋画像データに対して交点33を抽出する画像アノテーションが実行された画像データが用いられる。図2(b)に示す例においては、画像アノテーションとして、配筋画像データに対して交点33を囲ったバウンディングボックスと言われる検出枠33aが描画されている。検出枠33aは、左上の座標(x1,y1)および右下の座標(x2,y2)が指定される。検出枠33aの左上の座標(x1,y1)および右下の座標(x2,y2)が導出できれば、検出枠33aの中心座標、すなわち交点33の中心座標(x0,y0)を導出可能である。これにより、交点画像データから、交点33の例えば中心座標などの座標情報が導出でき、交点33ごとの座標情報を含む交点データ125を得ることができる。なお、交点データ125に、交点画像データを含めても含めなくてもよい。また、図示省略するが、画像アノテーションとして、縦鉄筋31や横鉄筋32における継手長部分の四隅の座標を指定する作業も併せて実行してもよい。また、本実施形態において、鉄筋どうしの間隔をミリオーダーで算出する場合には、配筋画像データにおける算出も画素単位で測定する必要が生じる。そのため、交点33のアノテーションにおいては、検出枠33aの画素の誤差が3画素以内に収まることが好ましい。
As shown in FIG. 2B, image data in which image annotation is performed on the reinforcement image data to extract the
制御部11の学習部116は、上述した学習用入力パラメータおよび学習用出力パラメータを教師データとして、例えばニューラルネットワークを用いたディープラーニング(深層学習)などの機械学習によって、交点識別学習モデル121を生成する。制御部11は、学習部116により学習された内容に基づいて、配筋画像データから交点画像データを生成する。また、学習部116は、必要に応じて、入力された配筋画像データおよび、作業者が検出枠33aを修正した交点画像データを用いて、交点識別学習モデル121を適宜更新してもよい。
The
また、同一の縦鉄筋31と横鉄筋32との交点33に対して、複数の推論結果(認識結果ともいう)として得られた複数の検出枠33aに対して、NMS(Non-Maximum Suppression)を実行することによって、交点33の検出精度を向上させる。すなわち、画像の重なりの割合を表す値であるIoU値が所定値以上の確信度が最も高い推論結果の検出枠33aを残し、他の確信度が低い検出枠33aを除去する。IoU値の所定値は、例えば0.63~0.65程度に設定できる。これにより、交点33の検出枠33aの信頼性を向上できる。
In addition, the detection accuracy of the
(配筋検査方法)
次に、本実施形態による情報処理方法としての配筋検査方法について説明する。図3は、一実施形態による配筋検査方法を説明するためのフローチャートである。なお、ステップST1は撮像装置20、ステップST2~ST11は配筋検査装置10が行う処理である。
(Reinforcement inspection method)
Next, a method for inspecting a bar arrangement as an information processing method according to the present embodiment will be described. Fig. 3 is a flow chart for explaining the method for inspecting a bar arrangement according to one embodiment. Note that step ST1 is a process performed by the imaging device 20, and steps ST2 to ST11 are a process performed by the bar arrangement inspection device 10.
図3に示すように、ステップST1において撮像装置20は、鉄筋構造物30を撮像する。撮像装置20は、視野内における鉄筋構造物30の状況を複数の画像からなる映像として撮像する。これにより、撮像装置20は、図2(a)に示す配筋画像データを撮像できる。制御部11の画像取得部111は、撮像装置20が撮像した配筋画像データを、ネットワーク2を介して取得する。なお、撮像装置20において外部記録媒体に配筋画像データを格納して、外部記録媒体を用いて記憶部12に画像データ123として格納してもよい。
As shown in FIG. 3, in step ST1, the imaging device 20 captures an image of the reinforced
次に、ステップST2に移行して制御部11の画像処理部112は、取得した配筋画像データに対して、所定の画像処理を行う。画像処理部112は、具体的に例えば、取得した配筋画像データに対して、リサイズ処理、分割処理、色の標準化処理、スケール変換処理、およびフリップ処理などから必要な処理を実行する。なお、ステップST2を実行せずに、配筋画像データに対する画像処理を実行しないことも可能である。
Next, the process proceeds to step ST2, where the
次に、ステップST3に移行して制御部11の交点検出部113は、交点識別学習モデル121に基づいて、取得した配筋画像データに対して鉄筋構造物30における縦鉄筋31と横鉄筋32との交点33を抽出する。具体的に、交点検出部113は、交点識別学習モデル121に基づいて、抽出した交点33のそれぞれに対して、検出枠33aを付与する。交点検出部113は、付与した検出枠33aに基づいて、それぞれの検出枠33aの中心点の座標(x0,y0)(図2参照)を導出して、記憶部12に交点データ125として格納する。
Next, proceeding to step ST3, the
次に、ステップST4に移行して制御部11のクラスタリング処理部115は、導出された複数の検出枠33aの中心点の座標(x0,y0)の座標情報を含む交点データ125を記憶部12から読み出す。クラスタリング処理部115は、読み出した交点データ125の座標情報に基づいて、例えば凝集型階層的クラスタリング(agglomerative hierarchical clustering)などの階層クラスタリングを用いて、それぞれの交点33が所属する鉄筋番号(以下、所属鉄筋番号)を判定する。すなわち、まず、縦鉄筋31の交点33をx軸方向に射影し、横鉄筋32の交点33をy軸方向に射影する。なお、個々の座標データはそれぞれ、孤立したクラスタを形成している状態である。すなわち、初期状態では個々の座標データの数は、クラスタの数と一致する。次に、例えば単リンク法や最小距離法などによって、x軸方向に沿った交点33のx座標x0どうしの距離を算出して、それらの中の最小値をクラスタ間の距離とする。同様に、y軸方向に沿った交点33のy座標y0についても同様にクラスタ間の距離を算出する。次に、距離の近いクラスタどうしをまとめて新たなクラスタを作成する。以上の処理を繰り返し行うことによって、デンドログラムを取得できる。その後、鉄筋31,32の鉄筋径を閾値としてクラスタを分割して部分集合化させる。最終的に分割されたクラスタに含まれる推論結果を、同一の鉄筋31,32上の交点であると判定して、それらの交点33は同一の所属鉄筋番号jであると判定する。同一の鉄筋31,32の交点33と判定された検出枠33aの座標情報は、所属鉄筋番号jに関連付けされて、推論データ124として記憶部12に格納される。
Next, proceeding to step ST4, the
次に、ステップST5に移行して交点検出部113は、同一の所属鉄筋番号jに関連付けされた複数の交点33のそれぞれの中心座標(xi,yi)(i=1,2,…,n)に基づいて、例えば、以下の(1)式および(1-1)式に示す最小二乗法などによって鉄筋式f(x)を導出する。なお、個数nは、同一の所属鉄筋番号jに関連付けされた交点33の個数nである。また、鉄筋式f(x)は、所属鉄筋番号jの数だけ導出される。すなわち、鉄筋式f(x)は、継手された鉄筋31,32を1本の鉄筋31,32とした場合に、少なくとも鉄筋31,32の本数分導出される。
Next, proceeding to step ST5, the
f(x)=ax+b …(1)
次に、ステップST6に移行して交点検出部113は、ステップST4において判定された同一の所属鉄筋番号jの検出枠33aの中心座標(xji,yji)と、ステップST5において導出された鉄筋31,32における、所属鉄筋番号jの鉄筋式fj(x)、および前後の所属鉄筋番号j+1,j-1のそれぞれの鉄筋式fj-1(x),fj+1(x)との比較を行う。図4Aおよび図4Bは、本実施形態による配筋検査方法において、鉄筋式による推論結果の補正を説明するための平面図である。
Next, the process proceeds to step ST6, where the
図4Aに示すように、交点検出部113は、所属鉄筋番号j(図4A中、ラインL1)のm番目の検出枠33aの中心座標(xjm,yjm)と鉄筋式fj(x)との距離d0
j,mを算出する。また、交点検出部113は、検出枠33aの中心座標(xjm,yjm)と所属鉄筋番号j-1の鉄筋式fj-1(x)との距離d-1
j,mを算出する。さらに、交点検出部113は、検出枠33aの中心座標(xjm,yjm)と所属鉄筋番号j+1(図4A中、ラインL2)の鉄筋式fj+1(x)との距離d+1
j,mを算出する。なお、図4A中、ラインL2を鉄筋式fj(x)とした場合、ラインL1が鉄筋式fj-1(x)となる。
As shown in FIG. 4A, the
次に、ステップST7に移行して交点検出部113は、ステップST6において算出した種々の距離に基づいて、検出枠33aが正確であるか否か、換言すると交点識別学習モデル121に基づいて推論された交点33の推論結果が正確であるか否かを判定する。交点検出部113は、具体的に例えば、以下の(2)式または(3)式が成立するか否かを判定する。交点検出部113は、(2)式または(3)式が成立した場合に、交点33の検出枠33aの推論結果は正確ではない(ステップST7:No)と判定する。交点検出部113は、(2)式および(3)式がいずれも成立しなかった場合に、交点33の検出枠33aの推論結果は正確である(ステップST7:Yes)と判定する。なお、以下の(2)式および(3)式は推論結果の判定式の一例であり、その他の数式や条件を用いてもよい。
Next, the process proceeds to step ST7, where the
交点検出部113が、交点識別学習モデル121に基づいて推論された検出枠33aの推論結果は正確ではないと判定した場合(ステップST7:No)、ステップST8に移行する。ステップST8において交点検出部113は、検出枠33aの推論結果に対して、所属鉄筋番号jの補正を行う。具体的に例えば、交点検出部113は、正確ではないと判定された検出枠33aの中心座標(xjm,yjm)において、(2)式および(3)式のいずれが成立するかに基づいて、所属鉄筋番号jの補正を行う。すなわち、検出枠33aの中心座標(xjm,yjm)において(2)式が成立した場合、この検出枠33aの交点33の所属鉄筋番号jを所属鉄筋番号j-1に補正する。同様に、検出枠33aの中心座標(xjm,yjm)において(3)式が成立した場合、この検出枠33aの交点33の所属鉄筋番号jを所属鉄筋番号j+1に補正する。これにより、図4Bに示すように、鉄筋式f(x)と検出枠33aとが統合される。なお、鉄筋式fj-1(x),fj(x),fj+1(x)と検出枠33aの中心座標(xjm,yjm)との比較を行うことによって、検出枠33aが生成されていない交点33、すなわち未検出の交点33を検出することができる。推論された検出枠33aの座標情報は、交点データ125の一部として記憶部12に格納される。その後、ステップST9に移行する。
If the
また、交点検出部113が、交点識別学習モデル121に基づいて推論された交点33の推論結果が正確であると判定した場合(ステップST7:Yes)、ステップST9に移行する。
Furthermore, if the
ステップST9に移行すると制御部11の継手検出部114は、クラスタリング処理部115によってクラスタリングされた検出枠33aのなかから、継手部分の検出枠33aを抽出して、継手の位置および継手長を導出する。図5A、図5B、および図5Cはそれぞれ、本実施形態による配筋検査方法において、継手の検出方法を説明するための平面図である。
When the process proceeds to step ST9, the
すなわち、図5Aに示すように、継手の交点33には一般の交点には見られない連続する検出枠33aが存在する。図5Aに示す例では、縦鉄筋31と横鉄筋32aとの交点部分に検出枠33aaが付与され、縦鉄筋31と横鉄筋32bとの交点部分に検出枠33abが付与されている。継手検出部114は、交点33と推論されたそれぞれの検出枠33a(33aa,33ab)の中心座標(x0,y0)に対して、中心間距離dcを算出する。なお、中心間距離dcの算出は、推論された全ての検出枠33aに対して行うことが可能である。次に、継手検出部114は、複数の検出枠33aの中から、算出した中心間距離dcが所定距離以下、具体的には鉄筋31,32の鉄筋径の約2倍以下、すなわち2本程度以下になる少なくとも2つの検出枠33aa,33abを抽出する。
That is, as shown in FIG. 5A, at the
次に、図5Bに示すように、クラスタリング処理部115によってクラスタリングされて推論された交点33の連続する検出枠33aa,33abに対して、継手検出部114は、所属する継手番号(以下、所属継手番号)を判定する。図5Bに示す例では、所属継手番号として「1」,「2」が設定されている。推論された検出枠33aa,33abのそれぞれの座標データは、所属継手番号に関連付けされて、記憶部12に推論データ124として格納される。
Next, as shown in FIG. 5B, for the consecutive detection frames 33aa, 33ab of the
次に、図5Cに示すように、継手検出部114は、同じ所属継手番号に関連付けされた検出枠33aa,33abに基づいて、継手部分を抽出する。図5Cに示す例では、所属継手番号が「1」の領域A1と所属継手番号が「2」の領域A2とが、継手部分として抽出される。継手検出部114は、具体的に、例えば所属継手番号が「1」の検出枠33aの座標のうちから、最大のx座標およびy座標(例えば、座標(x11,y11))と、最小のx座標およびy座標(例えば、座標(x12,y12))によって規定された領域A1を抽出する。継手検出部114は、領域A1を、所属継手番号が「1」の継手部分と推論する。これにより、継手部分の検出誤差を、鉄筋31,32どうしの間隔未満にすることが可能になる。
Next, as shown in FIG. 5C, the
次に、ステップST10に移行して交点検出部113は、ステップST2~ST9によって得られた複数の交点画像データの座標情報を含む交点データ125を記憶部12から読み出して、相互に結合させる。交点検出部113は、結合させた座標情報を含む交点データ125を記憶部12に格納する。また、交点検出部113は、鉄筋構造物30における複数の交点33の座標情報として、出力部14から出力してもよい。
Next, the process proceeds to step ST10, where the
その後、ステップST11に移行して画像処理部112は、交点33の座標情報に基づいて、設計データとしてのCIM(Construction Information Modeling/Management)モデルに対して誤差量の属性を付与する。図6は、本実施形態による配筋検査装置10から出力されたCIMモデルの出来形帳票の一例を示す斜視図である。図6に示すように、画像処理部112は、交点データ125の座標情報とCIMモデルの情報とに基づいて、CIMモデルにおける鉄筋31,32の設計上の配置からの誤差量を算出する。画像処理部112は、誤差量の大きさに応じて、鉄筋31,32を区別可能にCIMモデルに描画する。図6に示す例では、誤差量が極めて小さい正常値である場合には「細実線」、誤差量が小さい微ずれの場合には「一点鎖線」、誤差量がやや大きいずれの場合には「二点鎖線」、誤差量が極めて大きい異常値である場合には「太線」などとしている。また、例えば、正常値の「細実線」を灰色、微ずれの「一点鎖線」を緑色、ずれの「二点鎖線」を黄色、異常値の「太線」を赤色などにして、誤差量の大きさに応じてCIMモデルにおける鉄筋の色を変更することで、出来形管理することも可能である。これにより、鉄筋31,32の出来形帳票によって、鉄筋の配筋検査の結果を作業者が視覚的に認識することが可能になる。
Then, the process proceeds to step ST11, where the
さらに、撮像装置20が測距センサを備えている場合においては、格子状に配置された鉄筋31,32を1つの鉄筋層として複数の鉄筋層が設けられていた場合、画像処理部112が出来形帳票を作成する場合においても、深さ方向に沿った複数の鉄筋層を描画可能になる。
Furthermore, if the imaging device 20 is equipped with a distance measurement sensor, and multiple reinforcing bar layers are provided with reinforcing
従来、配筋検査においては、配筋位置において複数の作業者がスケールを用いて配筋ピッチなどの鉄筋31,32の検査項目を1本ずつ測定していた。これに対し、以上説明した一実施形態においては、撮像装置20が撮像した配筋画像データを取得して、交点識別学習モデル121に基づいて交点33を抽出した検出枠33aを配筋画像データに付与して交点画像データを生成し、交点画像データにおける交点33の座標情報を導出して鉄筋31,32の配置情報を確定している。すなわち、一実施形態によれば、作業者が手動で計測を行う必要がなく、撮像装置20によって撮像した配筋画像データに基づいて、鉄筋31,32において交差する交点33を全体に亘って抽出して座標情報を導出し、交点33の座標情報に基づいて、鉄筋31,32に関する各種の項目を測定可能になるので、配筋検査において、処理すべきデータを低減でき、省人化を実現しつつ信頼性を向上することが可能となる。また、本発明者が上述した一実施形態による配筋検査装置10を用いて配筋検査処理を行ったところ、75%の時間短縮および省人化効果が確認された。
Conventionally, in a reinforcement inspection, a plurality of workers used a scale at the reinforcement position to measure the inspection items of the reinforcing
以上、本発明の一実施形態について具体的に説明したが、本発明は、上述の一実施形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。例えば、上述の一実施形態において挙げた数値はあくまでも例に過ぎず、必要に応じてこれと異なる数値を用いてもよく、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。 Although one embodiment of the present invention has been specifically described above, the present invention is not limited to the above-described embodiment, and various modifications based on the technical concept of the present invention are possible. For example, the numerical values given in the above-described embodiment are merely examples, and numerical values different from these may be used as necessary, and the present invention is not limited by the description and drawings that form part of the disclosure of the present invention according to this embodiment.
例えば、上述した一実施形態においては、記憶部12に交点識別学習モデル121を格納しているが、交点識別学習モデル121を、ネットワーク2を介して配筋検査装置10と通信可能な配筋画像サーバの記憶部に格納しておくことも可能である。この場合、撮像装置20が撮像した配筋画像データは、ネットワーク2を介して配筋画像サーバに送信されて記憶部に格納される。その後、配筋画像サーバの制御部は、配筋検査装置10からの要求に対応して、配筋画像データに対して検出枠33aを付与して交点画像データを生成して、配筋検査装置10に送信する。配筋検査装置10においては、受信した配筋画像データに対して、上述した配筋検査処理を実行することができる。
For example, in the embodiment described above, the intersection
記憶部12を、ネットワーク2を介して通信可能な記憶サーバに格納することも可能である。この場合、配筋検査装置10から記憶サーバへの要求に対応して、配筋画像データや交点画像データ、交点データや推論データを配筋検査装置10に送信することができる。
The
配筋検査装置10の制御部11における、画像取得部111、画像処理部112、交点検出部113、継手検出部114、クラスタリング処理部115、および学習部116のそれぞれを、互いにネットワーク2を介して通信可能な個別の装置に設けてもよく、必要な処理部を組み合わせて、ネットワーク2を介して別々の装置に設けてもよい。
The
また、例えば、上述した一実施形態においては、交点識別学習モデル121を生成するための機械学習の一例として、ニューラルネットワークを用いたディープラーニング(深層学習)を用いたが、それ以外の方法に基づく機械学習を行ってもよい。例えば、サポートベクターマシン、決定木、単純ベイズ、k近傍法など、他の教師あり学習を用いてもよい。また、教師あり学習に代えて半教師あり学習を用いてもよい。また、クラスタリング処理は、階層クラスタリング以外にも、k-means法などの公知のクラスタリング処理手法を用いることが可能である。
In addition, for example, in the above-described embodiment, deep learning using a neural network is used as an example of machine learning for generating the intersection
(記録媒体)
上述の一実施形態において、配筋検査装置10、または配筋検査装置10が実行する処理方法を実行させるプログラムを、コンピュータその他の機械やウェアラブルデバイスなどの装置(以下、コンピュータなど、という)が読み取り可能な記録媒体に記録することができる。コンピュータなどに、この記録媒体のプログラムを読み込ませて実行させることにより、当該コンピュータなどが移動体制御装置として機能する。ここで、コンピュータなどが読み取り可能な記録媒体とは、データやプログラムなどの情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータなどから読み取ることができる非一時的な記録媒体をいう。このような記録媒体のうちのコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、BD、DAT、磁気テープ、フラッシュメモリなどのメモリカードなどがある。また、コンピュータなどに固定された記録媒体としてハードディスク、ROMなどがある。さらに、SSDは、コンピュータなどから取り外し可能な記録媒体としても、コンピュータなどに固定された記録媒体としても利用可能である。
(recoding media)
In the above-described embodiment, the program for executing the reinforcing bar inspection device 10 or the processing method executed by the reinforcing bar inspection device 10 can be recorded on a recording medium readable by a computer or other machine or device such as a wearable device (hereinafter referred to as a computer, etc.). By having a computer, etc. read and execute the program from the recording medium, the computer, etc. functions as a mobile object control device. Here, a recording medium readable by a computer, etc. refers to a non-transient recording medium that accumulates information such as data and programs by electrical, magnetic, optical, mechanical, or chemical action and can be read by a computer, etc. Among such recording media, those that can be removed from a computer, etc. include, for example, a flexible disk, a magneto-optical disk, a CD-ROM, a CD-R/W, a DVD, a BD, a DAT, a magnetic tape, and a memory card such as a flash memory. In addition, a hard disk, a ROM, etc. are examples of recording media fixed to a computer, etc. Furthermore, an SSD can be used as a recording medium that can be removed from a computer, etc., and as a recording medium fixed to a computer, etc.
また、一実施形態による配筋検査装置10、および配筋検査装置10に実行させるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。 In addition, the reinforcing bar inspection device 10 according to one embodiment and the program executed by the reinforcing bar inspection device 10 may be stored on a computer connected to a network such as the Internet and provided by downloading via the network.
(その他の実施形態)
一実施形態においては、上述した「部」を、「回路」などに読み替えることができる。例えば、制御部は、制御回路に読み替えることができる。
Other Embodiments
In one embodiment, the above-mentioned "unit" can be read as a "circuit" etc. For example, the control unit can be read as a control circuit.
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」などの表現を用いてステップ間の処理の前後関係を明示していたが、本実施の形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。 Note that in the explanation of the flowcharts in this specification, the order of processing between steps is clearly indicated using expressions such as "first," "then," and "continue." However, the order of processing required to implement this embodiment is not uniquely determined by these expressions. In other words, the order of processing in the flowcharts described in this specification can be changed as long as there are no contradictions.
さらなる効果や変形例は、当業者によって容易に導き出すことができる。本開示のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。 Further advantages and modifications may be readily derived by those skilled in the art. The broader aspects of the present disclosure are not limited to the specific details and representative embodiments shown and described above. Thus, various modifications may be made without departing from the spirit or scope of the general inventive concept as defined by the appended claims and equivalents thereof.
1 配筋検査システム
2 ネットワーク
10 配筋検査装置
11 制御部
12 記憶部
13 入力部
14 出力部
20 撮像装置
21 撮像部
30 鉄筋構造物
31 縦鉄筋
32,32a,32b 横鉄筋
33 交点
33a,33aa,33ab 検出枠
111 画像取得部
112 画像処理部
113 交点検出部
114 継手検出部
115 クラスタリング処理部
116 学習部
121 交点識別学習モデル
122 クラスタリングコード
123 画像データ
124 推論データ
125 交点データ
REFERENCE SIGNS
Claims (14)
前記制御部は、
前記撮像された配筋画像データを取得して記憶部に記憶させ、
前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、
前記識別された複数の交点の座標情報を含む交点データを生成し、
前記記憶部から前記配筋画像データを入力パラメータとして取得して、前記記憶部から読み出した前記配筋画像データを交点識別学習モデルに入力し、
前記配筋画像データに対して前記交点を抽出した検出枠が付加された交点画像データを出力パラメータとして出力し、
出力した前記交点画像データに基づいて、前記交点データを生成し、
前記交点識別学習モデルは、前記配筋画像データを学習用入力パラメータとし、前記配筋画像データに対して前記交点を示す検出枠が付加された交点画像データを学習用出力パラメータとして、機械学習によって生成された学習モデルである
情報処理装置。 An information processing device including a control unit that performs image processing on reinforcement image data obtained by capturing an image of a plurality of reinforcing bars in a reinforced concrete structure in which the reinforcing bars are arranged crosswise,
The control unit is
The captured reinforcement image data is acquired and stored in a storage unit,
Identifying a plurality of intersections of the reinforcing bars from the reinforcing bar image data read from the storage unit;
generating intersection data including coordinate information of the identified intersections ;
acquiring the reinforcement image data from the storage unit as an input parameter, and inputting the reinforcement image data read from the storage unit into an intersection identification learning model;
Outputting intersection image data to which a detection frame for extracting the intersections is added to the reinforcement image data as an output parameter;
generating the intersection data based on the output intersection image data;
The intersection identification learning model is a learning model generated by machine learning using the reinforcement image data as a learning input parameter and intersection image data in which a detection frame indicating the intersection is added to the reinforcement image data as a learning output parameter .
前記連続した鉄筋に固有の鉄筋番号が、前記連続した鉄筋ごとに設定され、
前記制御部は、
前記交点データに含まれる複数の交点の座標情報に基づいてクラスタリングを実行することにより、前記識別された複数の交点に対して、互いに同一の鉄筋番号であると判定した複数の交点を分割して部分集合化する
請求項1に記載の情報処理装置。 The reinforced concrete structure includes a plurality of continuous reinforcement bars,
A reinforcing bar number unique to the consecutive reinforcing bars is set for each of the consecutive reinforcing bars;
The control unit is
The information processing device according to claim 1 , further comprising: performing clustering based on coordinate information of a plurality of intersections included in the intersection data, and dividing a plurality of intersections determined to have the same reinforcing bar number from the identified plurality of intersections into subsets.
前記鉄筋構造物は、連続した鉄筋を複数本備え、The reinforced concrete structure includes a plurality of continuous reinforcement bars,
前記連続した鉄筋に固有の鉄筋番号が、前記連続した鉄筋ごとに設定され、A reinforcing bar number unique to the consecutive reinforcing bars is set for each of the consecutive reinforcing bars;
前記制御部は、The control unit is
前記撮像された配筋画像データを取得して記憶部に記憶させ、The captured reinforcement image data is acquired and stored in a storage unit,
前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、Identifying a plurality of intersections of the reinforcing bars from the reinforcing bar image data read from the storage unit;
前記識別された複数の交点の座標情報を含む交点データを生成し、generating intersection data including coordinate information of the identified intersections;
前記交点データに含まれる複数の交点の座標情報に基づいてクラスタリングを実行することにより、前記識別された複数の交点に対して、互いに同一の鉄筋番号であると判定した複数の交点を分割して部分集合化するClustering is performed based on coordinate information of a plurality of intersections included in the intersection data, and a plurality of intersections determined to have the same reinforcing bar number are divided into subsets from among the identified plurality of intersections.
情報処理装置。Information processing device.
前記連続した鉄筋に固有の鉄筋番号が、前記連続した鉄筋ごとに設定され、
前記制御部は、
前記識別された複数の交点に対して、互いに同一の鉄筋番号であると判定した複数の交点を抽出して、前記同一の鉄筋番号であると判定した複数の交点に近似する鉄筋式を、前記鉄筋番号ごとに導出し、
前記鉄筋番号ごとに導出した複数の鉄筋式と、前記互いに同一の鉄筋番号であると判定した複数の交点のそれぞれの座標情報とに基づいて、前記互いに同一の鉄筋番号であると判定した複数の交点における該交点ごとに鉄筋番号の正否を判定する
請求項2または3に記載の情報処理装置。 The reinforced concrete structure includes a plurality of continuous reinforcement bars,
A reinforcing bar number unique to the consecutive reinforcing bars is set for each of the consecutive reinforcing bars;
The control unit is
Among the identified intersections, a plurality of intersections that are determined to have the same reinforcing bar number are extracted, and a reinforcing bar formula that approximates the plurality of intersections that are determined to have the same reinforcing bar number is derived for each of the reinforcing bar numbers;
The information processing device according to claim 2 or 3, further comprising: a processor that determines whether the reinforcing bar number is correct for each of a plurality of intersections that have been determined to have the same reinforcing bar number, based on a plurality of reinforcing bar formulas derived for each reinforcing bar number and the coordinate information of each of the plurality of intersections that have been determined to have the same reinforcing bar number.
前記交点の鉄筋番号が異なると判定した場合、該交点が判定された鉄筋番号に対して前または後の鉄筋番号の鉄筋式に基づいて、該交点の鉄筋番号を補正する
請求項4に記載の情報処理装置。 The control unit is
The information processing device according to claim 4 , wherein, when it is determined that the reinforcing bar number of the intersection is different, the reinforcing bar number of the intersection is corrected based on the reinforcing bar formula of the reinforcing bar number before or after the reinforcing bar number at which the intersection is determined.
識別した複数の交点においてそれぞれの交点間の距離を算出し、
前記交点間の距離が所定距離以下の2つの交点を抽出し、
前記2つの交点を前記鉄筋の継手部分の交点であると判定する
請求項1~5のいずれか1項に記載の情報処理装置。 The control unit is
Calculating the distance between each of the identified intersections;
extracting two intersections whose distance between the intersections is equal to or less than a predetermined distance;
The information processing device according to claim 1 , further comprising: determining that the two intersections are intersections of joint portions of the reinforcing bars.
前記制御部は、The control unit is
前記撮像された配筋画像データを取得して記憶部に記憶させ、The captured reinforcement image data is acquired and stored in a storage unit,
前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、Identifying a plurality of intersections of the reinforcing bars from the reinforcing bar image data read from the storage unit;
前記識別された複数の交点の座標情報を含む交点データを生成し、generating intersection data including coordinate information of the identified intersections;
識別した複数の交点においてそれぞれの交点間の距離を算出し、Calculating the distance between each of the identified intersections;
前記交点間の距離が所定距離以下の2つの交点を抽出し、extracting two intersections whose distance between the intersections is equal to or less than a predetermined distance;
前記2つの交点を前記鉄筋の継手部分の交点であると判定するThe two intersections are determined to be intersections of the joints of the reinforcing bars.
情報処理装置。Information processing device.
前記連続した鉄筋は少なくとも2本の鉄筋が長さ方向に沿って固着された継手部分を有し、
前記継手部分に固有の継手番号が、前記継手部分ごとに設定され、
前記制御部は、
複数の前記継手部分の交点の座標情報に基づいてクラスタリングを実行することにより、複数の前記継手部分の交点に対して、互いに同一の継手番号であると判定した複数の交点を抽出して集合化し、
前記継手番号ごとに継手長を導出する
請求項6または7に記載の情報処理装置。 The reinforcing steel structure includes a continuous reinforcing steel bar,
The continuous reinforcing bar has a joint portion where at least two reinforcing bars are fixed along a longitudinal direction,
A joint number unique to the joint portion is set for each of the joint portions,
The control unit is
By performing clustering based on coordinate information of the intersections of the plurality of joint parts, a plurality of intersections determined to have the same joint number are extracted and grouped together from the intersections of the plurality of joint parts;
The information processing device according to claim 6 or 7 , wherein a joint length is calculated for each of the joint numbers.
前記撮像された配筋画像データを取得して記憶部に記憶させ、
前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、
前記識別された複数の交点の座標情報を含む交点データを生成し、
前記記憶部から前記配筋画像データを入力パラメータとして取得して、前記記憶部から読み出した前記配筋画像データを交点識別学習モデルに入力し、
前記配筋画像データに対して前記交点を抽出した検出枠が付加された交点画像データを出力パラメータとして出力し、
出力した前記交点画像データに基づいて、前記交点データを生成し、
前記交点識別学習モデルは、前記配筋画像データを学習用入力パラメータとし、前記配筋画像データに対して前記交点を示す検出枠が付加された交点画像データを学習用出力パラメータとして、機械学習によって生成された学習モデルである
情報処理方法。 An information processing method executed by an information processing device having a control unit that performs image processing on reinforcement image data obtained by capturing an image of a plurality of reinforcing bars in a reinforced concrete structure in which the reinforcing bars are arranged crosswise,
The captured reinforcement image data is acquired and stored in a storage unit,
Identifying a plurality of intersections of the reinforcing bars from the reinforcing bar image data read from the storage unit;
generating intersection data including coordinate information of the identified intersections ;
acquiring the reinforcement image data from the storage unit as an input parameter, and inputting the reinforcement image data read from the storage unit into an intersection identification learning model;
Outputting intersection image data to which a detection frame for extracting the intersections is added to the reinforcement image data as an output parameter;
generating the intersection data based on the output intersection image data;
The intersection identification learning model is a learning model generated by machine learning using the reinforcement image data as a learning input parameter and intersection image data in which a detection frame indicating the intersection is added to the reinforcement image data as a learning output parameter .
前記鉄筋構造物は、連続した鉄筋を複数本備え、The reinforced concrete structure includes a plurality of continuous reinforcement bars,
前記連続した鉄筋に固有の鉄筋番号が、前記連続した鉄筋ごとに設定され、A reinforcing bar number unique to the consecutive reinforcing bars is set for each of the consecutive reinforcing bars;
前記制御部は、The control unit is
前記撮像された配筋画像データを取得して記憶部に記憶させ、The captured reinforcement image data is acquired and stored in a storage unit,
前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、Identifying a plurality of intersections of the reinforcing bars from the reinforcing bar image data read from the storage unit;
前記識別された複数の交点の座標情報を含む交点データを生成し、generating intersection data including coordinate information of the identified intersections;
前記交点データに含まれる複数の交点の座標情報に基づいてクラスタリングを実行することにより、前記識別された複数の交点に対して、互いに同一の鉄筋番号であると判定した複数の交点を分割して部分集合化するClustering is performed based on coordinate information of a plurality of intersections included in the intersection data, and a plurality of intersections determined to have the same reinforcing bar number are divided into subsets from among the identified plurality of intersections.
情報処理方法。Information processing methods.
前記制御部は、The control unit is
前記撮像された配筋画像データを取得して記憶部に記憶させ、The captured reinforcement image data is acquired and stored in a storage unit,
前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、Identifying a plurality of intersections of the reinforcing bars from the reinforcing bar image data read from the storage unit;
前記識別された複数の交点の座標情報を含む交点データを生成し、generating intersection data including coordinate information of the identified intersections;
識別した複数の交点においてそれぞれの交点間の距離を算出し、Calculating the distance between each of the identified intersections;
前記交点間の距離が所定距離以下の2つの交点を抽出し、extracting two intersections whose distance between the intersections is equal to or less than a predetermined distance;
前記2つの交点を前記鉄筋の継手部分の交点であると判定するThe two intersections are determined to be intersections of the joints of the reinforcing bars.
情報処理方法。Information processing methods.
前記撮像された配筋画像データを取得して記憶部に記憶させ、
前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、
前記識別された複数の交点の座標情報を含む交点データを生成し、
前記記憶部から前記配筋画像データを入力パラメータとして取得し、
前記配筋画像データを学習用入力パラメータとし、前記配筋画像データに対して前記交点を示す検出枠が付加された交点画像データを学習用出力パラメータとして、機械学習によって生成された学習モデルである交点識別学習モデルに、前記記憶部から読み出した前記配筋画像データを入力し、
前記配筋画像データに対して前記交点を抽出した検出枠が付加された交点画像データを出力パラメータとして出力し、
出力した前記交点画像データに基づいて、前記交点データを生成する
ことを実行させるプログラム。 A control unit that performs image processing on reinforcement image data obtained by capturing an image of a reinforced bar in a reinforced concrete structure in which a plurality of reinforced bars are intersected,
The captured reinforcement image data is acquired and stored in a storage unit,
Identifying a plurality of intersections of the reinforcing bars from the reinforcing bar image data read from the storage unit;
generating intersection data including coordinate information of the identified intersections ;
Acquire the reinforcement image data from the storage unit as an input parameter,
The reinforcement image data read from the storage unit is input to an intersection identification learning model, which is a learning model generated by machine learning, using the reinforcement image data as a learning input parameter and intersection image data in which a detection frame indicating the intersection is added to the reinforcement image data as a learning output parameter,
Outputting intersection image data to which a detection frame for extracting the intersections is added to the reinforcement image data as an output parameter;
A program for causing the computer to execute the step of generating the intersection data based on the output intersection image data .
前記撮像された配筋画像データを取得して記憶部に記憶させ、The captured reinforcement image data is acquired and stored in a storage unit,
前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、Identifying a plurality of intersections of the reinforcing bars from the reinforcing bar image data read from the storage unit;
前記識別された複数の交点の座標情報を含む交点データを生成し、generating intersection data including coordinate information of the identified intersections;
前記交点データに含まれる複数の交点の座標情報に基づいてクラスタリングを実行することにより、前記識別された複数の交点に対して、互いに同一の鉄筋番号であると判定した複数の交点を分割して部分集合化するClustering is performed based on coordinate information of a plurality of intersections included in the intersection data, and a plurality of intersections determined to have the same reinforcing bar number are divided into subsets from among the identified plurality of intersections.
ことを実行させるプログラム。A program to make that happen.
前記撮像された配筋画像データを取得して記憶部に記憶させ、The captured reinforcement image data is acquired and stored in a storage unit,
前記記憶部から読み出した前記配筋画像データに対して、前記鉄筋が交差した部分の交点を複数識別し、Identifying a plurality of intersections of the reinforcing bars from the reinforcing bar image data read from the storage unit;
前記識別された複数の交点の座標情報を含む交点データを生成し、generating intersection data including coordinate information of the identified intersections;
識別した複数の交点においてそれぞれの交点間の距離を算出し、Calculating the distance between each of the identified intersections;
前記交点間の距離が所定距離以下の2つの交点を抽出し、extracting two intersections whose distance between the intersections is equal to or less than a predetermined distance;
前記2つの交点を前記鉄筋の継手部分の交点であると判定するThe two intersections are determined to be intersections of the joints of the reinforcing bars.
ことを実行させるプログラム。A program to make that happen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020134335A JP7469987B2 (en) | 2020-08-07 | 2020-08-07 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020134335A JP7469987B2 (en) | 2020-08-07 | 2020-08-07 | Information processing device, information processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022030356A JP2022030356A (en) | 2022-02-18 |
JP7469987B2 true JP7469987B2 (en) | 2024-04-17 |
Family
ID=80324134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020134335A Active JP7469987B2 (en) | 2020-08-07 | 2020-08-07 | Information processing device, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7469987B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115203801B (en) * | 2022-07-15 | 2023-04-25 | 中国建筑西南设计研究院有限公司 | Plate reinforcement dynamic association method and device based on intersection line identification |
WO2024084673A1 (en) * | 2022-10-21 | 2024-04-25 | 三菱電機株式会社 | Reinforcement inspection device, learning device, reinforcement inspection system, and reinforcement inspection method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014186633A (en) | 2013-03-25 | 2014-10-02 | Junko Seimitsu Kotei Jigyo Kofun Yugenkoshi | Welding method of reinforcing-bar and reinforcing-bar welding regulation system |
JP2020095009A (en) | 2018-07-02 | 2020-06-18 | エスアールアイ インターナショナルSRI International | Measurement inspection system for iron reinforcing bar by computer |
JP2020115116A (en) | 2019-01-18 | 2020-07-30 | 株式会社トプコン | Measuring apparatus and method of controlling measuring apparatus |
-
2020
- 2020-08-07 JP JP2020134335A patent/JP7469987B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014186633A (en) | 2013-03-25 | 2014-10-02 | Junko Seimitsu Kotei Jigyo Kofun Yugenkoshi | Welding method of reinforcing-bar and reinforcing-bar welding regulation system |
JP2020095009A (en) | 2018-07-02 | 2020-06-18 | エスアールアイ インターナショナルSRI International | Measurement inspection system for iron reinforcing bar by computer |
JP2020115116A (en) | 2019-01-18 | 2020-07-30 | 株式会社トプコン | Measuring apparatus and method of controlling measuring apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2022030356A (en) | 2022-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7524386B2 (en) | IMAGE PROCESSING DEVICE, IMAGE PROCESSING SYSTEM, OPERATION METHOD OF IMAGE PROCESSING DEVICE, AND IMAGE PROCESSING PROGRAM | |
JP7469987B2 (en) | Information processing device, information processing method, and program | |
CN112669275B (en) | YOLOv3 algorithm-based PCB surface defect detection method and device | |
CN111105495A (en) | Laser radar mapping method and system fusing visual semantic information | |
US11663713B2 (en) | Image generation system | |
Guo et al. | Evaluation-oriented façade defects detection using rule-based deep learning method | |
EP3709264B1 (en) | Information processing apparatus and accumulated images selecting method | |
KR102299586B1 (en) | Method, device and system for deriving building construction method based on artificial intelligence using big data of video taken with drone | |
JPWO2017221706A1 (en) | Damage diagram editing apparatus and damage diagram editing method | |
Mirzaei et al. | End-to-end point cloud-based segmentation of building members for automating dimensional quality control | |
CN114565722A (en) | Three-dimensional model monomer realization method | |
JP2016177718A (en) | Object detection apparatus, object detection method, and information processing program | |
TW201941598A (en) | Display device, display system, display screen generation method | |
Awadallah et al. | Automated multiclass structural damage detection and quantification using augmented reality | |
CN113920254A (en) | Monocular RGB (Red Green blue) -based indoor three-dimensional reconstruction method and system thereof | |
CN116433755B (en) | Structure dense displacement recognition method and system based on deformable three-dimensional model and optical flow representation learning | |
CN114494323A (en) | Obstacle detection method, device, equipment and storage medium | |
CN117058338A (en) | CAD-based three-dimensional building model construction method, system, equipment and medium | |
CN116229236A (en) | Bacillus tuberculosis detection method based on improved YOLO v5 model | |
CN114140608B (en) | Photovoltaic panel marking method and device, electronic equipment and storage medium | |
JP2020170257A (en) | Image processing device and control method thereof | |
CN114627371A (en) | Bridge health monitoring method based on attention mechanism | |
US11922659B2 (en) | Coordinate calculation apparatus, coordinate calculation method, and computer-readable recording medium | |
US20220254173A1 (en) | Mesh structure equipment detection apparatus, mesh structure equipment detection method and program | |
CN114202631A (en) | Method for determining rock working face and working point in secondary rock crushing operation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230706 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7469987 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |