JP2025104264A - コンピュータビジョンに基づく鉄筋配列状態提供方法及びシステム - Google Patents

コンピュータビジョンに基づく鉄筋配列状態提供方法及びシステム Download PDF

Info

Publication number
JP2025104264A
JP2025104264A JP2024202618A JP2024202618A JP2025104264A JP 2025104264 A JP2025104264 A JP 2025104264A JP 2024202618 A JP2024202618 A JP 2024202618A JP 2024202618 A JP2024202618 A JP 2024202618A JP 2025104264 A JP2025104264 A JP 2025104264A
Authority
JP
Japan
Prior art keywords
rebar
mask
image
group
mask regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2024202618A
Other languages
English (en)
Other versions
JP7807834B2 (ja
Inventor
バブ ルイヤー キム
Ruyr Kim Bub
ドンウン イ
Dong Eun Lee
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of KNU
Original Assignee
Industry Academic Cooperation Foundation of KNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of KNU filed Critical Industry Academic Cooperation Foundation of KNU
Publication of JP2025104264A publication Critical patent/JP2025104264A/ja
Application granted granted Critical
Publication of JP7807834B2 publication Critical patent/JP7807834B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/38Concrete; Lime; Mortar; Gypsum; Bricks; Ceramics; Glass
    • G01N33/383Concrete or cement
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00Two-dimensional [2D] image generation
    • G06T11/60Creating or editing images; Combining images with text
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765Method using an image detector and processing of image signal
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30132Masonry; Concrete
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Ceramic Engineering (AREA)
  • Mathematical Physics (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】コンピュータビジョンに基づき、鉄筋配列を撮影した画像において鉄筋間に形成された空間を検出する鉄筋配列状態提供方法及びシステムを提供する。【解決手段】方法は、複数の鉄筋間の空間に対応するマスク領域を推定するように予め学習された空間検出モデルに鉄筋画像を入力することと、複数のマスク領域を取得することと、複数のマスク領域間のサイズに対する類似度に基づいて、複数のマスク領域を類似グループ及び非類似グループに分類することと、鉄筋画像に、類似グループ及び非類似グループのうち少なくとも一方に対応する複数のマスク領域を表示することと、を含む。【選択図】図7

Description

本発明は、コンピュータビジョンに基づく鉄筋配列状態提供方法及びシステムに関する。
本研究は、国土交通部の支援を受けた国土交通科学技術振興院(KAIA)の研究費(RS-2023-00251002)で実施された。
構造的耐久性は、建物や橋梁及びその他の土木工学構造物の設計及び施工時に安全を確保するための非常に重要な要素であり、特に、構造的耐久性は、鉄筋の配置及び分布によって大きく異なる。
具体的には、鉄筋が配列される間隔は、構造物の荷重を効果的に分散し、特定の地点に応力が集中する現象を緩和して構造的耐久性を高めるが、鉄筋が揃っていない場合には、構造物に対する支持力に重大な影響を及ぼし、危険を招く。
これによって、従来は様々な方式で鉄筋の配列状態を検査していた。代表的に、検査員が視覚補助装置を用いて鉄筋の配列状態を直接検査する方法を用いることができる。
また、最近では、固定装置、センサベース装置、画像及びコンピュータビジョンに基づいて鉄筋間の間隔を測定する方法に対する研究が活発に行われている。特に、畳み込みニューラルネットワーク(CNN、Convolutional Neural Network)などのディープラーニングモデルを活用して鉄筋の配列パターン及び特徴を検出する方法が開発されている。
本発明は、鉄筋配列を撮影した画像において鉄筋間に形成された空間を検出する鉄筋配列状態提供方法及びシステムに関する。
また、本発明は、画像で検出した空間をサイズに応じて分類し、鉄筋の配列状態を提供する鉄筋配列状態提供方法及びシステムに関する。
上記課題を解決するために、本発明に係る鉄筋配列状態提供方法は、複数の鉄筋が配列されている空間を撮影した鉄筋画像を受信するステップと、前記複数の鉄筋間の空間に対応するマスク領域を推定するように予め学習された空間検出モデルに前記鉄筋画像を入力し、前記鉄筋画像で示される複数のマスク領域を取得するステップと、前記複数のマスク領域間のサイズに対する類似度に基づいて、前記複数のマスク領域を類似グループ及び非類似グループに分類するステップと、前記鉄筋画像に、前記類似グループ及び非類似グループのうち少なくとも一方に対応する前記複数のマスク領域を表示することで、前記複数の鉄筋の配列状態を提供するステップと、を含んでもよい。
また、本発明に係る鉄筋配列状態提供システムは、複数の鉄筋が配列されている空間を撮影した鉄筋画像が格納される格納部と、前記複数の鉄筋間の空間に対応するマスク領域を推定するように予め学習された空間検出モデルに前記鉄筋画像を入力し、前記鉄筋画像で示される複数のマスク領域を取得する制御部と、を含み、前記制御部は、前記複数のマスク領域間のサイズに対する類似度に基づいて、前記複数のマスク領域を類似グループ及び非類似グループに分類し、前記鉄筋画像に、前記類似グループ及び非類似グループのうち少なくとも一方に対応する前記複数のマスク領域を表示することで、前記複数の鉄筋の配列状態を提供することができる。
また、本発明に係るコンピュータで読み取り可能な記録媒体に格納されたプログラムは、電子機器で1つ以上のプロセスによって実行され、コンピュータで読み取り可能な記録媒体に格納されたプログラムであって、前記プログラムは、複数の鉄筋が配列されている空間を撮影した鉄筋画像を受信するステップと、前記複数の鉄筋間の空間に対応するマスク領域を推定するように予め学習された空間検出モデルに前記鉄筋画像を入力し、前記鉄筋画像で示される複数のマスク領域を取得するステップと、前記複数のマスク領域間のサイズに対する類似度に基づいて、前記複数のマスク領域を類似グループ及び非類似グループに分類するステップと、前記鉄筋画像に、前記類似グループ及び非類似グループのうち少なくとも一方に対応する前記複数のマスク領域を表示することで、前記複数の鉄筋の配列状態を提供するステップと、を行うための命令語を含んでもよい。
本発明の様々な実施形態によると、鉄筋配列状態提供方法及びシステムは、鉄筋配列を撮影した画像において鉄筋間に形成された空間を検出し、検出した空間をサイズに応じて分類して提供することで、鉄筋間隔の構造的配列を効率的に検証することができる。
このために、本発明の様々な実施形態によると、鉄筋配列状態提供方法及びシステムは、学習用鉄筋画像を様々な方式により増強することで、鉄筋画像において鉄筋間に形成された空間をより正確かつ精密に検出することができる。
特に、本発明の様々な実施形態によると、鉄筋配列状態提供方法及びシステムは、鉄筋間に形成された空間をサイズに応じて分類する過程を数回繰り返して行うことで、鉄筋間隔の構造的配列に誤差が発生した領域をより正確に検出することができる。
本発明に係る鉄筋配列状態提供方法の一実施形態を示す。 鉄筋画像でマスク領域を検出する一実施形態を示す。 鉄筋画像でマスク領域を検出する一実施形態を示す。 マスク領域を分類する一実施形態を示す。 マスク領域を分類する一実施形態を示す。 本発明に係る鉄筋配列状態提供システムを示す。 本発明に係る鉄筋配列状態提供方法を示すフローチャートである。 鉄筋画像でマスク領域を検出する一実施形態を示す。 マスク領域を分類する一実施形態を示す。 マスク領域を分類する一実施形態を示す。 マスク領域を分類する一実施形態を示す。 鉄筋配列状態を提供する一実施形態を示す。
以下、添付図面を参照して本明細書に開示された実施形態について詳しく説明するが、図面符号にかかわらず同一又は類似の構成要素には同一の参照番号を付し、これについての重複する説明は省略する。以下の説明で使用される構成要素に対する接尾辞「モジュール」及び「部」は、単に明細書を容易に作成するために考慮して付与又は混用されるものであり、それ自体に互いに区別される意味又は役割を有するものではない。また、本明細書に開示された実施形態を説明する際に、関連する公知技術の具体的な説明が本明細書に開示された実施形態の要旨を不明瞭にする可能性があると判断される場合には、その詳細な説明を省略する。また、添付図面は、単に本明細書に開示された実施形態の理解を容易にするためのものであり、添付図面によって本明細書に開示された技術的思想が限定されるものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物及び代替物を含むものとして理解されるべきである。
第1、第2などの序数を含む用語は、様々な構成要素を説明するために使用することができるが、上記構成要素は上記用語によって限定されない。上記用語は、ある構成要素を他の構成要素から区別する目的でのみ使用される。
ある構成要素が他の構成要素に「連結」又は「接続」されていると言及された場合には、他の構成要素に直接的に連結又は接続されていてもよいが、それらの間にまた他の構成要素が存在してもよいと理解されるべきである。一方、ある構成要素が他の構成要素に「直接連結」又は「直接接続」されていると言及された場合には、それらの間にまた他の構成要素が存在しないと理解されるべきである。
文脈上明確に示していない限り、単数の表現は複数の表現を含む。
本出願において、「含む」又は「有する」などの用語は、本明細書に記載されている特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定するものであり、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものなどの存在又は付加の可能性を予め排除するものではないと理解されるべきである。
図1は、本発明に係る鉄筋配列状態提供方法の一実施形態を示す。図2及び図3は、鉄筋画像でマスク領域を検出する一実施形態を示す。図4及び図5は、マスク領域を分類する一実施形態を示す。図6は、本発明に係る鉄筋配列状態提供システムを示す。
図1を参照すると、本発明に係る鉄筋配列状態提供システム100は、予め学習された空間検出モデルに鉄筋画像を入力し、鉄筋画像に対するマスク領域を推定することができる。
ここで、鉄筋画像は、複数の鉄筋が配列されている空間を撮影した画像であり、RGBカメラや黒白カメラなどによって撮影された画像であってもよい。
このとき、複数の鉄筋は、互いに異なる軸に沿って交差するように配列されたものであってもよい。すなわち、鉄筋画像は、複数の鉄筋が互いに交差するように配列されている空間を撮影した画像であってもよい。
また、マスク領域は、互いに交差するように配列された複数の鉄筋によって形成された空間であってもよい。例えば、マスク領域は、垂直に交差する第1軸と第2軸に沿って配列された複数の鉄筋が撮影された鉄筋画像において、第1軸に沿って隣接して配列された2本の鉄筋と、第2軸に沿って隣接して配列された2本の鉄筋とによって形成された四角形の空間であってもよい。
このとき、マスク領域は、複数の鉄筋が交差する角度や複数の鉄筋のそれぞれの形状に応じて、菱形、円形などの様々な形状に実現されてもよい。
空間検出モデルは、鉄筋画像でマスク領域を推定するように学習された人工ニューラルネットワークであってもよい。例えば、空間検出モデルは、DNN(Deep Neural Network)及びCNN(Convolutional Neural Network)に基づいて実現された人工ニューラルネットワークであってもよい。
このために、空間検出モデルは、空間検出モデル学習方法によって学習されてもよく、このような空間検出モデル学習方法は、実施形態に応じて、鉄筋配列状態提供システム100によって実行されてもよく、別の学習システム(又は装置)によって実行されてもよい。
このとき、学習システムは、学習用鉄筋画像を格納し、学習用鉄筋画像を増強して複数の学習用鉄筋画像を生成することができる。
具体的には、学習システムは、複数の鉄筋が配列されている空間を基準として互いに異なる位置に撮影装置(例えば、カメラ)を配置し、撮影された鉄筋画像を学習用鉄筋画像として格納することができる。
例えば、学習システムは、複数の鉄筋が配列された空間に対して互いに異なる距離だけ離隔した位置で撮影された複数の学習用鉄筋画像11を格納することができる。
他の例として、学習システムは、複数の鉄筋が配列された空間に対して互いに異なる角度で所定距離だけ離隔した位置で撮影された複数の学習用鉄筋画像12を格納することができる。
また他の例として、学習システムは、複数の鉄筋が配列された空間に対して互いに異なる照明状態で撮影された複数の学習用鉄筋画像を格納することもできる。
他の例として、学習システムは、互いに異なる寸法を有する複数の鉄筋が配列されている空間を撮影するか、又は互いに異なる間隔で複数の鉄筋が配列されている空間を撮影した複数の学習用鉄筋画像を格納することもできる。
さらに、学習システムは、学習用鉄筋画像を編集して互いに異なる形状に増強(Augmentation)した複数の学習用鉄筋画像13を生成することができる。
例えば、学習システムは、学習用鉄筋画像が水平方向に反転(Flip)するように編集し、反転された学習用鉄筋画像を生成することができる。これにより、学習システムは、様々な方向及び位置に存在するマスク領域を推定するように空間検出モデルを学習させることができる。
他の例として、学習システムは、学習用鉄筋画像が予め定められた角度(例えば、45度又は135度など)で回転(Rotate)するように編集し、回転された学習用鉄筋画像を生成することができる。これにより、学習システムは、鉄筋画像において、より広い方向に対してマスク領域を正確に推定するように空間検出モデルを学習させることができる。
また他の例として、学習システムは、学習用鉄筋画像に対するコントラスト(Contrast)を調整するように編集し、コントラストが調整された学習用鉄筋画像を生成することができる。このために、学習システムは、学習用鉄筋画像に属する複数のピクセルに対して、最大ピクセル強度及び最小ピクセル強度を算出し、算出結果に基づいて複数のピクセルの値を正規化することで、学習用鉄筋画像において、複数の鉄筋に対応するオブジェクトの可視性及び鮮明度を向上させることができる。これにより、学習システムは、鉄筋画像に含まれたノイズ及びアーティファクトの影響を軽減し、マスク領域を細分化するように空間検出モデルを学習させることができる。
他の例として、学習システムは、学習用鉄筋画像に対する彩度(Saturation)を調整するように編集し、彩度が調整された学習用鉄筋画像を生成することができる。このために、学習システムは、学習用鉄筋画像に属する複数のピクセルに対して、ピクセル強度を調整することで、学習用鉄筋画像の彩度を調整することができる。これにより、学習システムは、鉄筋画像において鉄筋に対応する領域とマスク領域をより正確に区分するように空間検出モデルを学習させることができる。
上記の構成を通じて、学習システムは、特定の学習用鉄筋画像に対して、反転、回転、コントラスト調整、及び彩度調整のうち少なくとも1つによる編集が行われた複数の学習用鉄筋画像13を生成することができる。
さらに、学習システムは、複数の学習用鉄筋画像13のそれぞれに対して、複数の鉄筋間の空間に対応する学習用マスク領域をラベル付けすることができる(14)。
具体的には、学習システムは、複数の学習用鉄筋画像のそれぞれに対して、マスク領域に対応するバウンディングボックスを学習用マスク領域として入力し、各学習用鉄筋画像に、上記で入力された学習用マスク領域をラベル付けすることができる。
これにより、学習システムは、複数の学習用鉄筋画像及び複数の学習用鉄筋画像のそれぞれにラベル付けされた学習用マスク領域を用いて、鉄筋画像でマスク領域を推定するように空間検出モデルを学習させることができる(15)。
図2を参照すると、一実施形態において、空間検出モデルは、DVNet(Deep Vision Net)、SPPNet(Segmentation Pyramid Pooling Network)、及びDCNet(Deep CNN Network)に基づいて、鉄筋画像でマスク領域を検出するように学習することができる。
これと関連して、図3を参照すると、一実施形態に係る空間検出モデルが実現される形態を確認することができる。
図1を再び参照すると、本発明に係る鉄筋配列状態提供システム100は、鉄筋画像に対して推定された複数のマスク領域を、各マスク領域間のサイズに対する類似度に基づいて類似グループ及び非類似グループに分類し(16)、分類結果に応じる鉄筋配列状態を提供することができる(17)。
ここで、類似グループは、複数の鉄筋の配列が均一であり、複数の鉄筋間の空間のサイズが類似しているグループであってもよい。すなわち、類似グループには、鉄筋画像で検出された複数のマスク領域のうち、サイズが類似している複数のマスク領域が含まれていてもよい。
例えば、類似グループには、複数のマスク領域に対する平均サイズ値から予め定められた範囲に属する複数のマスク領域が含まれてもよい。
他の例として、類似グループには、複数のマスク領域に対する平均サイズ値を基準として最大サイズ値(又は最小サイズ値)から予め定められた範囲(例えば、マスク領域の数又は全体マスク領域に対するの割合)に属する複数のマスク領域が含まれてもよい。
非類似グループは、複数の鉄筋の配列が不均一であり、複数の鉄筋間の空間のサイズが異なるグループであってもよく、類似グループに属する複数のマスク領域を除くマスク領域が含まれたグループであってもよい。すなわち、非類似グループには、鉄筋画像で検出された複数のマスク領域のうち、類似グループに属する複数のマスク領域を除く、複数のマスク領域が含まれてもよい。
図4を参照すると、一実施形態において、鉄筋配列状態提供システム100は、鉄筋画像で検出された複数のマスク領域のそれぞれのピクセル数に基づいて、複数のマスク領域を第1グループ(例えば、A、B、C)及び第2グループ(例えば、P、Q、R、S、T、U、X、Y、Z)に分類することができる。
次いで、鉄筋配列状態提供システム100は、第1グループ及び第2グループのうち、より多くのマスク領域が属するグループ(例えば、第2グループ)を特定し、特定したグループをさらに第1下位グループ(例えば、P、Q、R、S、T、U)及び第2下位グループ(例えば、X、Y、Z)に分類することができる。
これによって、鉄筋配列状態提供システム100は、第1下位グループ及び第2下位グループのうち、より多くのマスク領域が属するグループ(例えば、第1下位グループ)を類似グループとして特定し、類似グループに含まれた複数のマスク領域を除く、他のマスク領域を非類似グループとして特定することができる。
これと関連して、図5を参照すると、一実施形態によって、鉄筋配列状態提供システム100が複数のマスク領域を類似グループ及び非類似グループに分類する方法を確認することができる。
一方、図6を参照すると、本発明に係る鉄筋配列状態提供システム100は、入力部110、格納部120、出力部130、及び制御部140を含んでもよい。
入力部110は、鉄筋画像を入力することができる。このために、入力部110は、鉄筋画像が備えられる別の装置、システム及びサーバなどと無線又は有線ネットワークを介して接続され、前記装置及びサーバなどから鉄筋画像を受信することができる。或いは、入力部110は、カメラなどの撮影装置と無線又は有線ネットワークを介して接続され、撮影装置によって撮影された鉄筋画像が入力されてもよい。
格納部120は、本発明に係る鉄筋配列状態提供システム100の動作に必要なデータ及び命令語を格納することができる。例えば、格納部120は、鉄筋画像、及び鉄筋画像に対して生成された鉄筋配列状態に関する情報(例えば、類似グループ及び非類似グループ)を格納することができる。また、格納部120は、予め学習された空間検出モデルを格納することができる。
出力部130は、鉄筋画像、及び鉄筋画像に対して生成された鉄筋配列状態に関する情報のうち少なくとも1つを出力することができる。このために、出力部130は、ディスプレイ装置などの出力装置と無線又は有線ネットワークを介して接続することができる。したかって、出力部130は、鉄筋画像、及び鉄筋配列状態に関する情報をユーザが視覚的に確認可能なように出力することができる。
一方、出力部130は、別の装置、システム及びサーバと無線又は有線ネットワークを介して接続することもできる。このような場合に、出力部130は、鉄筋画像、及び鉄筋配列状態に関する情報のうち少なくとも1つを、前記装置、システム及びサーバに送信することができる。
制御部140は、本発明に係る鉄筋配列状態提供システム100の全体動作を制御することができる。例えば、制御部140は、空間検出モデルに鉄筋画像を入力して複数のマスク領域を取得し、複数のマスク領域を類似グループ及び非類似グループに分類し、類似グループ及び非類似グループのうち少なくとも一方による鉄筋配列状態を出力することができる。
上記の鉄筋配列状態提供システム100の構成に基づいて、以下では鉄筋配列状態提供方法についてより具体的に説明する。
図7は、本発明に係る鉄筋配列状態提供方法を示すフローチャートである。図8は、鉄筋画像でマスク領域を検出する一実施形態を示す。図9から図11は、マスク領域を分類する一実施形態を示す。図12は、鉄筋配列状態を提供する一実施形態を示す。
図7を参照すると、本発明に係る鉄筋配列状態提供システム100は、複数の鉄筋が配列されている空間を撮影した鉄筋画像を受信し(S100)、複数の鉄筋間の空間に対応するマスク領域を推定するように予め学習された空間検出モデルに鉄筋画像を入力し、鉄筋画像で示される複数のマスク領域を取得することができる(S200)。
具体的には、鉄筋配列状態提供システム100は、複数の鉄筋が格子状に配列されている空間を撮影した鉄筋画像を受信し、予め学習された空間検出モデルに上記で受信した鉄筋画像を入力し、格子状に配列された複数の鉄筋によって形成された複数の鉄筋間の空間に対応する複数の領域のそれぞれを、マスク領域として取得することができる。
図8を参照すると、例えば、鉄筋配列状態提供システム100は、空間検出モデルに鉄筋画像を入力することで、第1軸21に沿って配列された複数の鉄筋と、第2軸22に沿って配列された複数の鉄筋とによって形成された格子状の鉄筋配列23に対する鉄筋画像20において、第1軸21に沿って配列された複数の鉄筋のうち隣接する2本の鉄筋と、第2軸22に沿って配列された複数の鉄筋のうち隣接する2本の鉄筋とによって形成された四角形の空間をマスク領域24として取得することができる。
図7を再び参照すると、本発明に係る鉄筋配列状態提供システム100は、複数のマスク領域間のサイズに対する類似度に基づいて、複数のマスク領域を類似グループ及び非類似グループに分類することができる(S300)。
具体的には、鉄筋配列状態提供システム100は、複数のマスク領域のそれぞれに属する複数のピクセルの数をカウントし、カウントした複数のピクセルの数に基づいて、複数のマスク領域を第1グループ及び第2グループに分類することができる。
図9を参照すると、例えば、鉄筋配列状態提供システム100は、鉄筋画像30に対して取得された複数のマスク領域31のそれぞれに属する複数のピクセルの数に基づいて、複数のマスク領域31に対する平均ピクセル数を算出することができる。
これによって、鉄筋配列状態提供システム100は、複数のマスク領域31のうり、平均ピクセル数よりもピクセルの数が多い複数のマスク領域(例えば、第1マスク領域31a及び第3マスク領域31cなど)を第1グループ41(又は第2グループ42)として特定し、平均ピクセル数よりもピクセルの数が少ない複数のマスク領域(例えば、第2マスク領域31bなど)を第2グループ42(又は第1グループ41)として特定することができる。
他の例として、鉄筋配列状態提供システム100は、K-平均(K-Means)群集化技術を用いて、鉄筋画像に対して取得された複数のマスク領域を第1グループ及び第2グループに分類(又はクラスタリング(Clustering))することができる。
さらに、鉄筋配列状態提供システム100は、第1グループ及び第2グループにそれぞれ分類された複数のマスク領域の数をカウントし、第1グループ及び第2グループのうち、上記でカウントした複数のマスク領域の数が最も多いいずれか一方のグループを特定し、上記で特定したグループに属する複数のマスク領域のそれぞれに対するピクセル数に基づいて、複数のマスク領域を第1下位グループ及び第2下位グループに分類することができる。
図10を参照すると、例えば、鉄筋配列状態提供システム100は、第1グループ41及び第2グループのうち、第1グループ41に含まれたマスク領域の数が第2グループに含まれたマスク領域の数よりも多い場合、第1グループ41に属する複数のマスク領域(例えば、41a、41b、41c、41d)を第1下位グループ45及び第2下位グループ46に分類することができる。
或いは、鉄筋配列状態提供システム100は、第1グループ41及び第2グループのうち、第1グループ41に含まれたマスク領域の数が第2グループに含まれたマスク領域の数よりも少ない場合、第2グループに属する複数のマスク領域を第1下位グループ45及び第2下位グループ46に分類することもできる。
このとき、鉄筋配列状態提供システム100は、第1グループ41(又は第2グループ)に含まれた複数のマスク領域のそれぞれに対するピクセル数に基づいて、第1グループ41(又は第2グループ)に含まれた複数のマスク領域に対する平均ピクセル数を算出し、第1グループ41(又は第2グループ)に含まれた複数のマスク領域のうち、平均ピクセル数よりもピクセルの数が多い複数のマスク領域(例えば、第1マスク領域41a、第3マスク領域41b、及び第7マスク領域41dなど)を第1下位グループ45(又は第2下位グループ46)として特定し、平均ピクセル数よりもピクセルの数が少ない複数のマスク領域(例えば、第6マスク領域41cなど)を第2下位グループ46(又は第1下位グループ45)として特定することができる。
或いは、鉄筋配列状態提供システム100は、K-平均(K-Means)群集化技術を用いて、第1グループ41(又は第2グループ)に含まれた複数のマスク領域を第1下位グループ45及び第2下位グループ46に分類(又はクラスタリング)することができる。
他の例として、鉄筋配列状態提供システム100は、第1グループ及び第2グループに分類された複数のマスク領域のうち、上記でカウントしたピクセル数が最も多い(又は最も少ない)いずれか一方のマスク領域が属するグループを特定し、特定したグループに属する複数のマスク領域を第1下位グループ及び第2下位グループに分類することもできる。
さらには、鉄筋配列状態提供システム100は、第1下位グループ及び第2下位グループにそれぞれ分類された複数のマスク領域の数をカウントし、第1下位グループ及び第2下位グループのうち、上記でカウントした複数のマスク領域の数が最も多いいずれか一方の下位グループを類似グループとして特定し、鉄筋画像から取得した複数のマスク領域のうち、類似グループに属する複数のマスク領域を除く他のマスク領域を非類似グループとして特定することができる。
図11を参照すると、例えば、鉄筋配列状態提供システム100は、第1下位グループ45及び第2下位グループ46のうち、第1下位グループ45(又は第2下位グループ46)に含まれたマスク領域の数が第2下位グループ46(又は第1下位グループ45)に含まれたマスク領域の数よりも多い場合、第1下位グループ45(又は第2下位グループ46)を類似グループ47として特定することができる。
また、鉄筋配列状態提供システム100は、第1下位グループ45及び第2下位グループ46のうち、類似グループ47として特定したいずれか一方の下位グループ(例えば、第1下位グループ45)と、他方の下位グループ(例えば、第2下位グループ46)を非類似グループとして特定することができる。
すなわち、鉄筋配列状態提供システム100は、第1下位グループ45及び第2下位グループ46のうち、マスク領域の数がより多いいずれか一方の下位グループ(例えば、第1下位グループ45)に含まれた複数のマスク領域(例えば、第1マスク領域45a、第3マスク領域45b、及び第7マスク領域45c)を類似グループ47として特定し、他方の下位グループ(例えば、第2下位グループ46)に含まれた複数のマスク領域(例えば、第6マスク領域46a及び第8マスク領域46b)を非類似グループ48として特定することができる。
図7を再び参照すると、本発明に係る鉄筋配列状態提供システム100は、鉄筋画像に、類似グループ及び非類似グループのうち少なくとも一方に対応する複数のマスク領域を表示することで、複数の鉄筋の配列状態を提供することができる(S400)。
具体的には、鉄筋配列状態提供システム100は、鉄筋画像から取得した複数のマスク領域のうち、非類似グループに属する複数のマスク領域に対して、他のマスク領域と区分されるように強調表示を生成することができる。
図12を参照すると、例えば、鉄筋配列状態提供システム100は、鉄筋画像50に、非類似グループとして特定した複数のマスク領域51を第1色(例えば、赤色)と指定して表示し、類似グループとして特定した複数のマスク領域52を第2色(例えば、緑色)と指定して表示することができる。
他の例として、鉄筋配列状態提供システム100は、鉄筋画像に、非類似グループとして特定した複数のマスク領域、及び類似グループとして特定した複数のマスク領域のうちいずれか一方のみを選択的に表示することもできる。
上記の構成を通じて、本発明に係る鉄筋配列状態提供システム100は、鉄筋配列を撮影した画像において鉄筋間に形成された空間を検出し、検出した空間をサイズに応じて分類して提供することで、鉄筋間隔の構造的配列を効率的に検証することができる。
このために、本発明に係る鉄筋配列状態提供システム100は、学習用鉄筋画像を様々な方式により増強することで、鉄筋画像において鉄筋間に形成された空間をより正確かつ精密に検出することができる。
特に、本発明に係る鉄筋配列状態提供システム100は、鉄筋間に形成された空間をサイズに応じて分類する過程を数回繰り返して行うことで、鉄筋間隔の構造的配列に誤差が発生した領域をより正確に検出することができる。
さらに、上記で説明した本発明は、電子機器で1つ以上のプロセスによって実行され、コンピュータで読み取り可能な記録媒体に格納されたプログラムとして実現することができる。
したがって、本発明は、プログラムが記録された媒体にコンピュータが読み取り可能なコード又は命令語として実現することができる。すなわち、本発明に係る様々な制御方法は、統合した又は個別のプログラムの形態で提供することができる。
一方、コンピュータが読み取り可能な媒体は、コンピュータシステムによって読み取り可能なデータが格納されるあらゆる種類の記録装置を含む。コンピュータが読み取り可能な媒体の例としては、HDD(Hard Disk Drive)、SSD(Solid State Disk)、SDD(Silicon Disk Drive)、ROM、RAM、CD-ROM、磁気テープ、フロッピーディスクディスク、光データ格納装置などがある。
さらには、コンピュータが読み取り可能な媒体は、ストレージを含み、電子機器が通信を介してアクセス可能なサーバ又はクラウドストレージであってもよい。この場合、コンピュータは、有線又は無線通信を介して、サーバ又はクラウドストレージから本発明に係るプログラムをダウンロードすることができる。
さらに、本発明では、上記で説明したコンピュータは、プロセッサ、すなわちCPU(Central Processing Unit、中央処理装置)を搭載した電子機器であり、その種類は特に限定されない。
一方、上記詳細な説明は、すべての点で限定的なものとして解釈されるべきではなく、例として考慮されるべきである。本発明の範囲は、添付の特許請求の範囲の合理的な解釈によって決定されるべきであり、本発明の均等範囲内におけるすべての変更は、本発明の範囲に含まれる。

Claims (10)

  1. 複数の鉄筋が配列されている空間を撮影した鉄筋画像を受信するステップと、
    前記複数の鉄筋間の空間に対応するマスク領域を推定するように予め学習された空間検出モデルに前記鉄筋画像を入力し、前記鉄筋画像で示される複数のマスク領域を取得するステップと、
    前記複数のマスク領域間のサイズに対する類似度に基づいて、前記複数のマスク領域を類似グループ及び非類似グループに分類するステップと、
    前記鉄筋画像に、前記類似グループ及び非類似グループのうち少なくとも一方に対応する前記複数のマスク領域を表示することで、前記複数の鉄筋の配列状態を提供するステップと、を含む、鉄筋配列状態提供方法。
  2. 前記複数のマスク領域を類似グループ及び非類似グループに分類するステップは、
    前記複数のマスク領域のそれぞれに属する複数のピクセルの数をカウントするステップと、
    前記カウントした複数のピクセルの数に基づいて、前記複数のマスク領域を第1グループ及び第2グループに分類するステップと、を含む、請求項1に記載の鉄筋配列状態提供方法。
  3. 前記複数のマスク領域を類似グループ及び非類似グループに分類するステップは、
    前記第1グループ及び前記第2グループにそれぞれ分類された複数のマスク領域の数をカウントするステップと、
    前記第1グループ及び前記第2グループのうち、前記カウントした複数のマスク領域の数が最も多いいずれか一方のグループを特定するステップと、
    前記特定したグループに属する複数のマスク領域のそれぞれに対するピクセル数に基づいて、前記特定したグループに属する複数のマスク領域を第1下位グループ及び第2下位グループに分類するステップと、を含む、請求項2に記載の鉄筋配列状態提供方法。
  4. 前記複数のマスク領域を類似グループ及び非類似グループに分類するステップは、
    前記第1下位グループ及び前記第2下位グループにそれぞれ分類された複数のマスク領域の数をカウントするステップと、
    前記第1下位グループ及び前記第2下位グループのうち、前記カウントした複数のマスク領域の数が最も多いいずれか一方の下位グループを前記類似グループとして特定し、前記鉄筋画像から取得した前記複数のマスク領域のうち、前記類似グループに属する複数のマスク領域を除く他のマスク領域を前記非類似グループとして特定するステップと、を含む、請求項3に記載の鉄筋配列状態提供方法。
  5. 前記鉄筋画像で示される複数のマスク領域を取得するステップは、
    格子状に配列された前記複数の鉄筋によって形成された前記複数の鉄筋間の空間に対応する複数の領域のそれぞれを前記マスク領域として取得する、請求項1に記載の鉄筋配列状態提供方法。
  6. 前記予め学習された空間検出モデルは、
    空間検出モデル学習方法に基づいて学習され、
    前記空間検出モデル学習方法は、
    学習用鉄筋画像が格納されるステップと、
    前記学習用鉄筋画像を増強して複数の学習用鉄筋画像を生成するステップと、
    前記複数の学習用鉄筋画像のそれぞれに対して、前記複数の鉄筋間の空間に対応する学習用マスク領域をラベル付けするステップと、
    前記複数の学習用鉄筋画像、及び前記複数の学習用鉄筋画像のそれぞれにラベル付けされた前記学習用マスク領域を用いて、前記鉄筋画像において前記マスク領域を推定するように前記空間検出モデルを学習させるステップと、を含む、請求項1に記載の鉄筋配列状態提供方法。
  7. 前記学習用鉄筋画像は、
    前記複数の鉄筋が配列されている空間を基準として互いに異なる位置に撮影装置を配置して撮影された鉄筋画像である、請求項6に記載の鉄筋配列状態提供方法。
  8. 複数の学習用鉄筋画像を生成するステップは、
    前記学習用鉄筋画像に対して、反転、回転、コントラスト調整及び彩度調整のうち少なくとも1つによる編集が行われた前記複数の学習用鉄筋画像を生成する、請求項6に記載の鉄筋配列状態提供方法。
  9. 複数の鉄筋が配列されている空間を撮影した鉄筋画像が格納される格納部と、
    前記複数の鉄筋間の空間に対応するマスク領域を推定するように予め学習された空間検出モデルに前記鉄筋画像を入力し、前記鉄筋画像で示される複数のマスク領域を取得する制御部と、を含み、
    前記制御部は、
    前記複数のマスク領域間のサイズに対する類似度に基づいて、前記複数のマスク領域を類似グループ及び非類似グループに分類し、前記鉄筋画像に、前記類似グループ及び非類似グループのうち少なくとも一方に対応する前記複数のマスク領域を表示することで、前記複数の鉄筋の配列状態を提供する、鉄筋配列状態提供システム。
  10. 電子機器で1つ以上のプロセスによって実行され、コンピュータで読み取り可能な記録媒体に格納されたプログラムであって、
    前記プログラムは、
    複数の鉄筋が配列されている空間を撮影した鉄筋画像を受信するステップと、
    前記複数の鉄筋間の空間に対応するマスク領域を推定するように予め学習された空間検出モデルに前記鉄筋画像を入力し、前記鉄筋画像で示される複数のマスク領域を取得するステップと、
    前記複数のマスク領域間のサイズに対する類似度に基づいて、前記複数のマスク領域を類似グループ及び非類似グループに分類するステップと、
    前記鉄筋画像に、前記類似グループ及び非類似グループのうち少なくとも一方に対応する前記複数のマスク領域を表示することで、前記複数の鉄筋の配列状態を提供するステップと、を行うための命令語を含むことを特徴とする、コンピュータで読み取り可能な記録媒体に格納されたプログラム。
JP2024202618A 2023-12-27 2024-11-20 コンピュータビジョンに基づく鉄筋配列状態提供方法及びシステム Active JP7807834B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2023-0192844 2023-12-27
KR1020230192844A KR20250101318A (ko) 2023-12-27 2023-12-27 컴퓨터 비전 기반의 철근 배열 상태 제공 방법 및 시스템

Publications (2)

Publication Number Publication Date
JP2025104264A true JP2025104264A (ja) 2025-07-09
JP7807834B2 JP7807834B2 (ja) 2026-01-28

Family

ID=93607874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024202618A Active JP7807834B2 (ja) 2023-12-27 2024-11-20 コンピュータビジョンに基づく鉄筋配列状態提供方法及びシステム

Country Status (4)

Country Link
US (1) US20250217958A1 (ja)
EP (1) EP4579587A1 (ja)
JP (1) JP7807834B2 (ja)
KR (1) KR20250101318A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020027058A (ja) * 2018-08-14 2020-02-20 前田建設工業株式会社 配筋出来形管理システム及び配筋出来形管理方法
JP2023013544A (ja) * 2021-07-16 2023-01-26 三菱電機エンジニアリング株式会社 配筋検査装置、配筋検査方法およびプログラム
CN115965850A (zh) * 2022-12-20 2023-04-14 深圳须弥云图空间科技有限公司 钢筋检测模型的训练方法及装置
CN116703835A (zh) * 2023-05-22 2023-09-05 浙江大学 基于卷积神经网络与双目视觉的智能配筋检测方法及系统
JP2023166059A (ja) * 2022-05-09 2023-11-21 三菱電機エンジニアリング株式会社 配筋検査装置、配筋検査方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448044A (zh) * 2018-11-30 2019-03-08 重庆大学 一种用于钢筋笼中钢筋间距的辅助检测方法及系统
CN114373123A (zh) * 2021-12-06 2022-04-19 广州大学 一种检测钢筋质量的系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020027058A (ja) * 2018-08-14 2020-02-20 前田建設工業株式会社 配筋出来形管理システム及び配筋出来形管理方法
JP2023013544A (ja) * 2021-07-16 2023-01-26 三菱電機エンジニアリング株式会社 配筋検査装置、配筋検査方法およびプログラム
JP2023166059A (ja) * 2022-05-09 2023-11-21 三菱電機エンジニアリング株式会社 配筋検査装置、配筋検査方法およびプログラム
CN115965850A (zh) * 2022-12-20 2023-04-14 深圳须弥云图空间科技有限公司 钢筋检测模型的训练方法及装置
CN116703835A (zh) * 2023-05-22 2023-09-05 浙江大学 基于卷积神经网络与双目视觉的智能配筋检测方法及系统

Also Published As

Publication number Publication date
US20250217958A1 (en) 2025-07-03
EP4579587A1 (en) 2025-07-02
KR20250101318A (ko) 2025-07-04
JP7807834B2 (ja) 2026-01-28

Similar Documents

Publication Publication Date Title
RU2635066C2 (ru) Способ обнаружения человеческих объектов в видео (варианты)
EP3333768B1 (en) Method and apparatus for detecting target
US11048948B2 (en) System and method for counting objects
CN116343077B (zh) 一种基于注意力机制与多尺度特征的火灾检测预警方法
US7221779B2 (en) Object measuring apparatus, object measuring method, and program product
US7853038B2 (en) Systems and methods for object dimension estimation
JP4613994B2 (ja) 動態推定装置、動態推定方法、プログラム
CN113724259B (zh) 井盖异常检测方法、装置及其应用
CN105787923A (zh) 用于平面表面分割的视觉系统和分析方法
CN112562005A (zh) 一种空间标定方法和系统
CN110781853B (zh) 人群异常检测方法以及相关装置
CN111091023B (zh) 一种车辆检测方法、装置及电子设备
CN112950717A (zh) 一种空间标定方法和系统
CN107153819A (zh) 一种排队长度自动检测方法及排队长度控制方法
WO2024146507A1 (zh) 景区人群密度预测方法、装置、电子设备和介质
CN116030400B (zh) 基于深度学习的道路落叶检测方法、装置及相关组件
CN120182873B (zh) 基于无人机巡检的视频流分析方法及系统
CN110059668A (zh) 行为预测处理方法、装置及电子设备
CN110909625A (zh) 一种计算机视觉基础网络训练识别构建方法及装置
CN119515879A (zh) 建筑剪力墙的裂缝识别分析方法及系统
JP7203277B2 (ja) 車両ナンバープレートの認識率をモニタリングする方法及び装置、並びにコンピュータ読み取り可能な格納媒体
KR101529620B1 (ko) 이동 방향별 보행자 계수 방법 및 장치
CN102867214B (zh) 区域范围内人数统计管理方法
JP7807834B2 (ja) コンピュータビジョンに基づく鉄筋配列状態提供方法及びシステム
CN114494845A (zh) 一种用于施工项目现场人工智能隐患排查系统及其排查方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260108

R150 Certificate of patent or registration of utility model

Ref document number: 7807834

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150