JP7536699B2 - 変形量計測装置、変形量計測方法 - Google Patents
変形量計測装置、変形量計測方法 Download PDFInfo
- Publication number
- JP7536699B2 JP7536699B2 JP2021055864A JP2021055864A JP7536699B2 JP 7536699 B2 JP7536699 B2 JP 7536699B2 JP 2021055864 A JP2021055864 A JP 2021055864A JP 2021055864 A JP2021055864 A JP 2021055864A JP 7536699 B2 JP7536699 B2 JP 7536699B2
- Authority
- JP
- Japan
- Prior art keywords
- shape
- deformation
- amount
- initial shape
- change amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims description 34
- 238000000691 measurement method Methods 0.000 title claims 2
- 230000008859 change Effects 0.000 claims description 38
- 238000004364 calculation method Methods 0.000 claims description 37
- 230000032683 aging Effects 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 22
- 238000011156 evaluation Methods 0.000 claims description 20
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013477 bayesian statistics method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Description
図1は、本発明の実施形態1に係るシステムの構成図である。本システムは、変形量計測装置1、測定対象の機械2、ネットワークを介して機械2の稼働情報などを受信して蓄積するDBサーバ3、機械2あるいはその一部の部品などの変形量の測定対象を撮影するための撮像装置4、変形量計測装置1による計測結果をユーザに提示する表示器5を備える。
学習部121と想定変形量見積部122は、それぞれ経年状態を取得する(S1601)。学習部121と想定変形量見積部122は、それぞれ変形履歴を取得する(S1602)。
想定変形量見積部122は、現在の経年状態を学習部121に対して入力することにより、想定変形量を学習部121から取得する。
画像取得部1322は、領域計算式と初期画像と実物画像を取得する(S1604)。想定変形量取得部1323は、実物画像を取得する(S1605)。
探索部131は、探索パラメータを探索する。ここでいう探索とは、現在の探索パラメータを変更して新たな探索パラメータを採用することである。探索パラメータのリストを図15のようにあらかじめ準備しておいてそれらを順次採用してもよいし、パラメータのうち一部を任意に変動させることによって新たな探索パラメータを得てもよい。あるいは任意の探索アルゴリズムを用いてもよい。
スコアリング算出部1325は、現在の探索パラメータを用いた重ね合わせのスコアを算出する。全ての探索パラメータについてスコアを算出し終えるまで、S1606~S1607を繰り返す。この繰り返しは、図13における探索部131と評価部132との間のループに相当する。
変形量計測器14は、最も良いスコアを得た探索パラメータを用いて初期画像と実物画像を重ね合わせた上で、両者の差分を変化量として算出する(S1608)。表示器5はその変化量を表示する(S1609)。
学習部121は、変形履歴と経年履歴を取得する。想定変形量見積部122は現在の経年状態を取得する。
点選択部120は、初期画像上の点Pを選択する。
学習部121は、変形履歴と経年状態との間の関係を記述した学習モデルを学習する。この学習モデルは、例えば不確実性を含めた回帰モデルを用いることによって、領域計算式のεUpを併せて取得することが有用である。不確実性を算出しない学習モデルを用いる場合は、領域計算式において例えばspとεApのみを用いてもよい。
想定変形量見積部122は、現在の経年状態を学習モデルへ入力することにより、想定変形量Spを取得する。誤差見積部124は、Spに対応する不確実性εUpを取得する。S1704からS1702へのループは、誤差見積部124から点選択部120へのループに対応する。
図面重畳器13は、以下を取得する:(a)データ出力部123が出力した初期画像上の全点における想定変形量と不確実性;(b)第2DB32が格納している初期画像と領域計算式;(c)探索部131が出力する探索パラメータ;(d)撮像装置4が出力する実物画像(形状ノイズを含む)。
点選択部1327は、初期画像上の点Pを選択する。
領域算出部1324は、点Pにおける領域計算式、想定変形量、不確実性、形状ノイズを用いて、領域Qpを算出する。
点スコアリング部1328は、点Pにおける実物画像と初期画像との間の重なりの程度をスコアリングする。S1804からS1802へのループは、点スコアリング部1328から点選択部1327へのループに対応する。
スコアリング算出部1325は、全点におけるS1804のスコアリング結果の合計値を算出し、探索パラメータに紐づける。S1805からS1801へのループは、集計部1326から探索パラメータ取得部1321へのループに対応する。
評価部132は、各探索パラメータとそれに紐づくスコアリング結果から、最大のスコアリング結果を与える探索パラメータを選定する。
本実施形態1に係る変形量計測装置1は、学習部121が物体の変形履歴と経年状態との間の関係を学習することにより、物体の想定変形量を推定し、さらに想定変形量の周辺の領域Qを算出する。物体の実物画像が領域Q内に含まれていれば、実物画像と初期画像が位置合わせされているとみなす。これにより、実物画像上の計測点と初期画像上の計測点との間の位置合わせに拘束されることなく、両者を位置合わせすることができる。したがって、例えば物体上の基準点を明確に特定することが困難な場合においても、実物画像と初期画像を正確かつ安定的に位置合わせすることができる。この手法は、基準点の有無に関わらず用いることができるので、様々な物体に対して汎用的に使用できる点も有用である。
実施形態1は、撮像装置4として、物体の奥行形状を取得可能な深度カメラ等を想定している。しかしながら撮像装置4は深度カメラに限られるものではなく、RGB画像が取得可能な撮影機能を備えるデジタルカメラ、スマートフォン等の単眼カメラや音波の振動で内部も含めた形状を捉える音響カメラ、X線や電子線を照射して反射線の検知による強度分布を取得する撮像デバイス、などであってもよい。これらの撮像デバイスを用いる場合であっても、物体の奥行方向の形状を推定する処理を組み合わせることにより、深度カメラと同様に奥行方向の形状を取得できる。この場合、撮像装置4の種類を限定しなくてよい利点がある。奥行形状を推定する処理としては、例えば奥行形状を推定する機械学習、複数角度や位置からの画像を組み合わせるモーションステレオ技術などの公知技術を用いることができる。
実施形態1において、学習部121は、被測定物体の変形履歴と経年状態との間の関係を学習することを説明した。学習部121は、これに加えてまたはこれに代えて、被測定物体と同様に変形する他の物体の変形履歴と経年状態を学習してもよい。この場合、他の物体についての学習結果を活用することにより、学習モデルの精度向上や不確実性の低減が可能である。
撮像装置4が取得した実物画像は、レンズ等の影響で歪むことがある。そこでスコアリング算出部1325は、算出したスコアの空間分布からその歪みを推定してもよい。歪みを推定した後、歪みに関する逆変換などを適用することにより、歪みを補正した画像が得られる。これにより、レンズなどによる歪みのような意図しない精度低下の要因を除くことが可能である。
図19は、変形量出力器15が表示器5に対して出力する変形量を表示するユーザインターフェースの例である。変形量出力器15は、物体の変形量に加えて、その変形量から想定される、物体の交換推奨時期(または発注推奨時期)を推定し、併せて出力してもよい。表示器5はこれらを画面上で表示する。図19における変形量や交換時期の表示形式は1例であり、その他の表示形式であってもよい。
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
(例1)建設機械が備えるトラックシューの摩耗を変形量として計測する;
(例2)建設機械が備えるドライブタンブラの孔の開口形状の広がりを変形量として計測する;
(例3)橋梁の鉛直方向のひずみを変形量として計測する。
11:撮像対象選択器
12:想定変化量見積器
13:図面重畳器
14:変形量計測器
15:変形量出力器
2:機械
3:DBサーバ
31:第1DB
32:第2DB
4:撮像装置
5:表示器
Claims (10)
- 物体の2次元平面上の初期形状からの変形量を計測する変形量計測装置であって、
前記物体が前記初期形状から変化したと推定される量を推定変化量として推定する変化量推定部、
前記初期形状と前記物体の現在形状が最も重なり合う位置合わせ条件を算出する重畳条件算出部、
前記条件の下で前記初期形状の画像と前記現在形状の画像との間の差分を算出することにより前記初期形状からの変形量を算出する変形量算出部、
を備え、
前記重畳条件算出部は、前記初期形状の計測点を前記推定変化量にしたがって移動させた変形計測点を包含し前記物体の形状よりも小さいサイズを有する領域内に前記現在形状が存在するか否かに基づき前記初期形状と前記現在形状との間の重なりの程度を表す評価値が最大となる、前記位置合わせ条件を算出し、
前記変化量推定部は、前記物体の経年状態の履歴と前記物体の変形量を測定した結果の履歴との間の関係を機械学習によって学習することにより、前記物体の経年状態を入力として受け取ると前記物体の変形量を出力するように構成された、学習器を備え、
前記変化量推定部は、前記物体の経年状態の現在値を前記学習器に対して投入することにより、前記学習器からの出力として前記推定変化量を取得する
ことを特徴とする変形量計測装置。 - 前記重畳条件算出部は、前記領域内に前記現在形状が存在する場合は、前記領域内に前記現在形状が存在しない場合よりも、重なりの程度がより大きいことを前記評価値が表していると評価し、
前記重畳条件算出部は、前記評価値が最大となる前記位置合わせ条件を算出することにより、前記初期形状と前記現在形状を重ね合わせる
ことを特徴とする請求項1記載の変形量計測装置。 - 前記学習器は、前記推定変化量が前記現在形状に対してどの程度の不確実性を有するかを表す不確実性パラメータを出力するように構成されており、
前記重畳条件算出部は、前記推定変化量が前記不確実性にしたがって変動する範囲を包含するように、前記領域の範囲を算出し、
前記重畳条件算出部は、前記不確実性にしたがって算出した前記領域を用いて、前記評価値を算出する
ことを特徴とする請求項1記載の変形量計測装置。 - 前記変化量推定部は、前記物体の初期形状を記述した初期形状データを格納しているデータベースから前記初期形状データを取得し、
前記重畳条件算出部は、前記初期形状上の計測点ごとに算出した前記評価値を集計することにより、前記評価値が最大となる前記位置合わせ条件を算出する
ことを特徴とする請求項1記載の変形量計測装置。 - 前記重畳条件算出部は、前記現在形状の実物画像内に含まれる測定ノイズを表す形状ノイズを前記実物画像から取得し、
前記重畳条件算出部は、前記形状ノイズによって変動する前記推定変化量の範囲を包含するように、前記領域の範囲を算出し、
前記重畳条件算出部は、前記形状ノイズにしたがって算出した前記領域を用いて、前記評価値を算出する
ことを特徴とする請求項1記載の変形量計測装置。 - 前記位置合わせ条件は、前記初期形状と前記現在形状との間の相対的配置関係を規定する複数のパラメータの組み合わせによって規定されており、
前記重畳条件算出部は、前記複数のパラメータの組み合わせによって規定される前記位置合わせ条件の候補を列挙したリストを取得し、
前記重畳条件算出部は、前記リストが列挙している前記候補ごとに前記評価値を算出することにより、前記評価値が最大となる前記位置合わせ条件を算出する
ことを特徴とする請求項1記載の変形量計測装置。 - 前記位置合わせ条件は、
前記初期形状と前記現在形状との間の相対サイズ、
前記初期形状と前記現在形状との間の相対角度、
前記初期形状と前記現在形状との間の相対位置、
を含む前記パラメータの組み合わせによって規定されている
ことを特徴とする請求項6記載の変形量計測装置。 - 前記変化量推定部と前記重畳条件算出部は、前記初期形状と前記現在形状として、前記物体の2次元画像と前記物体の奥行方向の形状を測定または前記2次元画像から推定した結果とを併用する
ことを特徴とする請求項1記載の変形量計測装置。 - 前記変形量計測装置はさらに、
前記物体の変形量を提示するユーザインターフェースを備える
ことを特徴とする請求項1記載の変形量計測装置。 - 物体の2次元平面上の初期形状からの変形量を計測する変形量計測方法であって、
前記物体が前記初期形状から変化したと推定される量を推定変化量として推定するステップ、
前記初期形状と前記物体の現在形状が最も重なり合う位置合わせ条件を算出するステップ、
前記条件の下で前記初期形状の画像と前記現在形状の画像との間の差分を算出することにより前記初期形状からの変形量を算出するステップ、
を有し、
前記位置合わせ条件を算出するステップにおいては、前記初期形状の計測点を前記推定変化量にしたがって移動させた変形計測点を包含し前記物体の形状よりも小さいサイズを有する領域内に前記現在形状が存在するか否かに基づき前記初期形状と前記現在形状との間の重なりの程度を表す評価値が最大となる、前記位置合わせ条件を算出し、
前記推定変化量を推定するステップにおいては、前記物体の経年状態の履歴と前記物体の変形量を測定した結果の履歴との間の関係を機械学習によって学習することにより、前記物体の経年状態を入力として受け取ると前記物体の変形量を出力するように、学習器を構成し、
前記推定変化量を推定するステップにおいては、前記物体の経年状態の現在値を前記学習器に対して投入することにより、前記学習器からの出力として前記推定変化量を取得する
ことを特徴とする変形量計測方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021055864A JP7536699B2 (ja) | 2021-03-29 | 2021-03-29 | 変形量計測装置、変形量計測方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021055864A JP7536699B2 (ja) | 2021-03-29 | 2021-03-29 | 変形量計測装置、変形量計測方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022152917A JP2022152917A (ja) | 2022-10-12 |
| JP7536699B2 true JP7536699B2 (ja) | 2024-08-20 |
Family
ID=83556294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021055864A Active JP7536699B2 (ja) | 2021-03-29 | 2021-03-29 | 変形量計測装置、変形量計測方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7536699B2 (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011099337A1 (ja) | 2010-02-10 | 2011-08-18 | 株式会社小松製作所 | 摩耗量測定装置、摩耗量測定方法、摩耗量測定プログラムおよび記録媒体 |
| JP2020203547A (ja) | 2019-06-14 | 2020-12-24 | 株式会社シマノ | 検出装置、検出方法、生成方法、コンピュータプログラムおよび記憶媒体 |
-
2021
- 2021-03-29 JP JP2021055864A patent/JP7536699B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011099337A1 (ja) | 2010-02-10 | 2011-08-18 | 株式会社小松製作所 | 摩耗量測定装置、摩耗量測定方法、摩耗量測定プログラムおよび記録媒体 |
| JP2020203547A (ja) | 2019-06-14 | 2020-12-24 | 株式会社シマノ | 検出装置、検出方法、生成方法、コンピュータプログラムおよび記憶媒体 |
Non-Patent Citations (1)
| Title |
|---|
| 道路領域検出と画像レジストレーションに基づく自車両位置推定,日本機械学会論文集,日本,2017年,p.1-12,https://www.jstage.jst.go.jp/article/transjsme/83/849/83_17-00014/_pdf |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022152917A (ja) | 2022-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6735592B2 (ja) | 画像処理装置及びその制御方法、画像処理システム | |
| JP2019079487A (ja) | パラメータ最適化装置、パラメータ最適化方法、プログラム | |
| JP6746031B1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| EP3425897B1 (en) | Information processing device, method, program, and multi-camera system | |
| JP2017531976A (ja) | アレイカメラを動的に較正するためのシステム及び方法 | |
| JP2010256138A (ja) | 撮像装置及びその制御方法 | |
| TWI658720B (zh) | 運用變焦影像資訊以改善原視差影像匹配錯誤之方法 | |
| US10657658B2 (en) | Transformation matrix deriving device, position estimation apparatus, transformation matrix deriving method, and position estimation method | |
| WO2011125937A1 (ja) | キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置 | |
| US12236682B2 (en) | Method for tracking sport participants, device for tracking sport participants, and system for tracking sport participants | |
| JP6786098B2 (ja) | 歩容解析装置 | |
| JP7536699B2 (ja) | 変形量計測装置、変形量計測方法 | |
| CN113395480B (zh) | 一种作业监测方法、装置、电子设备及存储介质 | |
| JP4101478B2 (ja) | 人体端点検出方法及び装置 | |
| US12190590B2 (en) | Method for determining images plausible to have a false negative object detection | |
| CN107945166B (zh) | 基于双目视觉的待测物体三维振动轨迹的测量方法 | |
| US9883115B2 (en) | Method of determining whole-scene image by using multiple image-capturing devices | |
| CN120107473A (zh) | 基于线结构光与立体视觉融合的水下混凝土三维重建方法与系统 | |
| JP7482070B2 (ja) | 学習方法、プログラム及び画像処理装置 | |
| US12602797B2 (en) | Reconstruction of body motion using a camera system camera system for reconstruction of body motion based on 3D joint heat map | |
| CN111882601B (zh) | 定位方法、装置及设备 | |
| KR101047150B1 (ko) | 레이저스캐너와 비디오카메라간 물리적 편의 보정장치 및 방법과, 물리적편의보정치 측정장치 및 방법 | |
| JP2021150842A (ja) | キャリブレーション装置及び方法、並びに検知システム | |
| JP7680722B2 (ja) | 姿勢推定システム | |
| CN116630551B (zh) | 运动捕捉和评估装置及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230608 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240325 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240628 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240723 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240807 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7536699 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |