JP7274675B1 - 資材自動計数システム及び資材自動計数方法 - Google Patents
資材自動計数システム及び資材自動計数方法 Download PDFInfo
- Publication number
- JP7274675B1 JP7274675B1 JP2023046977A JP2023046977A JP7274675B1 JP 7274675 B1 JP7274675 B1 JP 7274675B1 JP 2023046977 A JP2023046977 A JP 2023046977A JP 2023046977 A JP2023046977 A JP 2023046977A JP 7274675 B1 JP7274675 B1 JP 7274675B1
- Authority
- JP
- Japan
- Prior art keywords
- image information
- automatic
- data
- counting
- materials
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000463 material Substances 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012937 correction Methods 0.000 claims abstract description 69
- 238000004458 analytical method Methods 0.000 claims abstract description 41
- 239000000284 extract Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 32
- 238000007405 data analysis Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000007476 Maximum Likelihood Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
この発明は上述した事情に鑑みてなされたものであり、資材の物体位置または個数を適切に推定できる資材自動計数システム及び資材自動計数方法を提供することを目的とする。
一般的には、画像解析AIによる物体の自動計数は、目標精度を達成するまで、データの再収集・再学習を行う必要があり、非常に大きな工数がかかる。また、上述した特許文献1では、計数対象物体が一枚の画像に収まらない場合の対策をしていないため、撮影の方法や対象の物体が限定される。そこで、後述する実施形態では、2次元の画像データと3次元の点群データとを同期して(より好ましくは同時に)取得することで、2次元の画像データに基づく計数結果(境界ボックス)と、3次元の点群情報とを相互参照し、計数対象物体が一枚の画像に収まらない場合であっても、計数対象物体の数を適切に計数するものである。そして、実施形態の資材自動計数システムでは、自動的に計数した結果を遠隔地から修正できるようしている。
〈第1実施形態の構成〉
図1は、第1実施形態による資材自動計数システム10のブロック図である。
資材自動計数システム10は、物体群20に含まれる認識対象物体22の位置を推定し、かつ数量を計数するものであり、ネットワークNWで接続された、データ取得装置1と物体自動計数装置2とデータ修正装置3を備えている。なお、図示の例におい各認識対象物体22は、建築現場の足場資材である円筒状の物体(パイプ)である。
また、計数結果登録・通知部205は、認識対象物体22のカウント値CNTを、予め設定されたシステムに通知する。
計算値修正部108は、全体画像データIGDの表示に基づいてユーザが操作入力したカウンタ値CNTの修正指示、または検出すべき認識対象物体22の境界ボックスの追加
を、物体自動計数装置2に通知する。これにより、カウント値CNTが全体画像データIGDとして表示された認識対象物体22の数と相違する場合に、ユーザは、カウント値CNTの修正、または検出すべき認識対象物体22の追加を指令することができる。
図2には、あるフレーム番号na,nbにおける2次元フレーム画像DG(na),DG(nb)を示す。これら画像においては、認識対象物体22の像である複数の物体像32が含まれている。また、図2には、各画像から抽出された境界ボックスBBの例も併せて表記している。但し、図示の2次元フレーム画像DG(na)には、実際には認識対象物体22の端面の像が含まれていないにもかかわらず、境界ボックスとして誤って抽出した誤抽出境界ボックス38も含まれている。例えば、物体群20(図1参照)の周辺に円環状の形状を有する異物が存在し、認識対象物体22がその異物を認識対象物体22の端面であると誤認した場合に、誤抽出境界ボックス38が現れる。
図1に示したデータ取得装置1および物体自動計数装置2は、何れも図1に示すコンピュータ980を、1台または複数台備えている。図3において、コンピュータ980は、CPU981と、記憶部982と、通信I/F(インタフェース)983と、入出力I/F984と、メディアI/F985と、を備える。ここで、記憶部982は、RAM982aと、ROM982bと、HDD982cと、を備える。通信I/F983は、通信回路986に接続される。入出力I/F984は、入出力装置987に接続される。メディアI/F985は、記録媒体988からデータを読み書きする。
(データ取得処理)
次に、本実施形態の動作を説明する。
図4は、データ取得装置1において実行されるデータ取得処理ルーチンのフローチャートである。
図4において処理がステップS201に進むと、データ取得部101は、IMUデータDIを取得する。次に、処理がステップS202に進むと、データ分析部102は、3次元点群データTPに基づいて、デプスデータDPを取得する。
図5は、物体自動計数装置2において実行される計数処理ルーチンのフローチャートである。
図5において処理がステップS301に進むと、物体計数部202は、各々の2次元フレーム画像DG(n)において、境界ボックスBB(図2参照)を推定し、各フレームにおける境界ボックス数k_maxを取得する。次に、処理がステップS302に進むと、物体計数部202は、全てのフレーム番号の中で、(後述するステップS303の処理において)未だ選択されていないフレーム番号が存在するか否かを判定する。
図6においては、図2に示した誤抽出境界ボックス38は、評価値EV(BID)が閾値EVth未満になるため、カウント対象から除外されている。
図7は、計算値表示部106における表示画面の例を示す図である。
同図に示す表示画面310は、全体画像表示部312と、カウント値表示部314と、カーソル316と、を含んでいる。
以上のように上述の実施形態によれば、資材自動計数システム10は、複数の認識対象物体22を含む物体群20を撮影した2次元画像データ(DG)から認識対象物体22に対応する特徴領域(BB)を認識する特徴領域認識部222と、認識対象物体22の3次元形状を認識する3次元形状認識部224と、特徴領域認識部222および3次元形状認識部224における認識結果に基づいて、各々の認識対象物体22の位置を推定する物体位置推定部226と、を備える。このように、特徴領域認識部222および3次元形状認識部224における認識結果に基づいて、各々の認識対象物体22の位置を推定するため、認識対象物体22の位置を適切に推定できる。さらに、認識対象物体22の位置を適切に推定できることにより、認識対象物体22をカウントする際の精度も向上させるという効果も奏する。
物体自動計数装置2は、解析モデルの学習処理を行っている際中でも、データ取得装置1からの、解析モデルのモデル名、2次元動画データDG、3次元点群データTP、撮影位置データPSおよびデプスデータDPの受信を継続し、受信したデータを記憶部に記憶する。
また、物体自動計数装置2のオペレータに解析モデルを準備(解析モデルの機械学習)するよう通知するので、作業効率の低下を抑止できる。
このステップS93とステップS94の処理と、ステップS93とステップS94の処理とは、図5で説明した物体計数部202と計数値補正部203の処理であり、詳細な説明を省略する。
本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成に他の構成を追加してもよく、構成の一部について他の構成に置換をすることも可能である。また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、製品上で必要な全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。上記実施形態に対して可能な変形は、例えば以下のようなものである。
2 物体自動計数装置
3 データ修正装置
10 資材自動計数システム
20 物体群
22 認識対象物体
102 データ分析部
106 計算結果表示部
108 計算結果修正部
222 特徴領域認識部(特徴領域認識過程)
224 3次元形状認識部(3次元形状認識過程)
226 物体位置推定部(物体位置推定過程)
228 推定カウント値算出部
232 確信度算出部
234 修正部
BB 境界ボックス(特徴領域)
DG 2次元動画データ(2次元画像データ)
NW ネットワーク
PR 確信度
TP,TQ 3次元点群データ
CNT カウント値
CNTP 暫定カウント値
Claims (6)
- 複数の資材の画像情報と前記画像情報に対応付けた前記資材の距離画像情報とを取得するデータ取得装置と、
ネットワークを介してデータ取得装置から前記画像情報と前記距離画像情報を受信し、前記画像情報と前記距離画像情報とから、解析モデルにより前記資材を示す境界ボックスを抽出して前記境界ボックスを3次元空間に統合し、前記資材の位置または個数を求める物体自動計数装置と、
前記物体自動計数装置で求めた資材の位置または個数を、前記画像情報の各フレームを重ね合わせた全体画像データに基づいて修正し、前記物体自動計数装置に指示するデータ修正装置と、
を備えることを特徴とする資材自動計数システム。 - 請求項1に記載の資材自動計数システムにおいて、
前記物体自動計数装置は、
前記画像情報と前記距離画像情報とから、前記解析モデルとは異なる解析モデルにより前記資材を示す境界ボックスを抽出して前記境界ボックスを3次元空間に統合し、前記資材の位置または個数を求め、
前記データ修正装置により求めた前記位置または前記個数の修正時間を取得し、
取得した修正時間が、元の解析モデル時の修正時間より短縮している場合に、前記異なる解析モデルに解析モデルをアップデートする
ことを特徴とする資材自動計数システム。 - 請求項1に記載の資材自動計数システムにおいて、
前記物体自動計数装置は、
前記資材の位置または個数を求めた際に、予め登録したシステムに計数した資材の個数を通知する
ことを特徴とする資材自動計数システム。 - 請求項1に記載の資材自動計数システムにおいて、
前記物体自動計数装置は、
使用可能な前記解析モデルの一覧を前記データ取得装置に通知し、
前記画像情報と前記距離画像情報とともに前記データ取得装置から受信したモデル名が、一覧通知した前記解析モデルと異なる場合には、前記データ取得装置から受信したモデル名の解析モデルの学習を行った後に、前記資材を示す境界ボックスを抽出する
ことを特徴とする資材自動計数システム。 - 請求項1に記載の資材自動計数システムにおいて、
前記物体自動計数装置は、
使用可能な前記解析モデルの一覧を前記データ取得装置に通知し、
前記画像情報と前記距離画像情報とともに前記データ取得装置から受信したモデル名が、一覧通知した前記解析モデルと異なる場合には、前記画像情報と前記距離画像情報とを一時記憶し、他の資材の前記画像情報と前記距離画像情報を受信する
ことを特徴とする資材自動計数システム。 - データ取得装置が、複数の資材の画像情報と前記画像情報に対応付けた前記資材の距離画像情報とを取得するステップと、
物体自動計数装置が、ネットワークを介して前記データ取得装置から前記画像情報と前記距離画像情報を受信するステップと、
物体自動計数装置が、前記画像情報と前記距離画像情報とから、解析モデルにより前記資材を示す境界ボックスを抽出して前記境界ボックスを3次元空間に統合し、前記資材の位置または個数を求めるステップと、
データ修正装置が、前記画像情報の各フレームを重ね合わせた全体画像データに基づいて前記物体自動計数装置で求めた資材の位置または個数を修正し、前記物体自動計数装置に修正指示するステップと、
を含む資材自動計数方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023046977A JP7274675B1 (ja) | 2023-03-23 | 2023-03-23 | 資材自動計数システム及び資材自動計数方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023046977A JP7274675B1 (ja) | 2023-03-23 | 2023-03-23 | 資材自動計数システム及び資材自動計数方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP7274675B1 true JP7274675B1 (ja) | 2023-05-16 |
Family
ID=86327290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023046977A Active JP7274675B1 (ja) | 2023-03-23 | 2023-03-23 | 資材自動計数システム及び資材自動計数方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7274675B1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321048A (zh) * | 2018-03-30 | 2019-10-11 | 阿里巴巴集团控股有限公司 | 三维全景场景信息处理、交互方法及装置 |
JP2021026697A (ja) * | 2019-08-08 | 2021-02-22 | アルインコ株式会社 | 足場資材計数装置及び方法、並びに足場資材管理システム及び方法 |
CN115171011A (zh) * | 2022-06-30 | 2022-10-11 | 中国地质大学(武汉) | 一种多类别建材视频计数方法及系统、计数设备 |
-
2023
- 2023-03-23 JP JP2023046977A patent/JP7274675B1/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321048A (zh) * | 2018-03-30 | 2019-10-11 | 阿里巴巴集团控股有限公司 | 三维全景场景信息处理、交互方法及装置 |
JP2021026697A (ja) * | 2019-08-08 | 2021-02-22 | アルインコ株式会社 | 足場資材計数装置及び方法、並びに足場資材管理システム及び方法 |
CN115171011A (zh) * | 2022-06-30 | 2022-10-11 | 中国地质大学(武汉) | 一种多类别建材视频计数方法及系统、计数设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10810734B2 (en) | Computer aided rebar measurement and inspection system | |
US11875467B2 (en) | Processing method for combining a real-world environment with virtual information according to a video frame difference value to provide an augmented reality scene, terminal device, system, and computer storage medium | |
JP6554169B2 (ja) | 物体認識装置及び物体認識システム | |
KR101548834B1 (ko) | 클라우드 보조 증강 현실을 위한 적응적 프레임워크 | |
CN108038139B (zh) | 地图构建方法、装置和机器人定位方法、装置、计算机设备和存储介质 | |
CN107924585B (zh) | 作业辅助装置、作业辅助方法以及存储介质 | |
CN110428372B (zh) | 深度数据与2d激光数据融合方法及装置、存储介质 | |
US11494978B2 (en) | Computer vision systems and methods for modeling three-dimensional structures using two-dimensional segments detected in digital aerial images | |
CN116259003B (zh) | 施工场景中施工类别识别方法及系统 | |
WO2022237048A1 (zh) | 位姿获取方法、装置、电子设备、存储介质及程序 | |
JP4999794B2 (ja) | 静止領域検出方法とその装置、プログラム及び記録媒体 | |
JP2014102810A (ja) | 被写体認識装置、被写体認識方法および被写体認識プログラム | |
CN108875506B (zh) | 人脸形状点跟踪方法、装置和系统及存储介质 | |
JP6618349B2 (ja) | 映像検索システム | |
JP7274675B1 (ja) | 資材自動計数システム及び資材自動計数方法 | |
JP6305856B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20210042576A1 (en) | Image processing system | |
JP2019012497A (ja) | 部位認識方法、装置、プログラム、及び撮像制御システム | |
JP7324923B1 (ja) | 物体認識装置および物体認識方法 | |
JP7324956B1 (ja) | 物体認識装置および物体認識方法 | |
JP2015187769A (ja) | 物体検出装置、物体検出方法及びプログラム | |
JP2022056219A (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20220002626A (ko) | 픽쳐 기반의 다차원 정보 통합 방법 및 관련 기기 | |
CN112449701A (zh) | 学习模板表示库 | |
JP6443144B2 (ja) | 情報出力装置、情報出力プログラム及び情報出力方法、並びに情報出力システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230323 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230501 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7274675 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |