JP7397100B2 - ワーク画像解析装置、ワーク画像解析方法、及びプログラム - Google Patents
ワーク画像解析装置、ワーク画像解析方法、及びプログラム Download PDFInfo
- Publication number
- JP7397100B2 JP7397100B2 JP2021570071A JP2021570071A JP7397100B2 JP 7397100 B2 JP7397100 B2 JP 7397100B2 JP 2021570071 A JP2021570071 A JP 2021570071A JP 2021570071 A JP2021570071 A JP 2021570071A JP 7397100 B2 JP7397100 B2 JP 7397100B2
- Authority
- JP
- Japan
- Prior art keywords
- workpiece
- analysis
- image
- analysis target
- physical quantity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010191 image analysis Methods 0.000 title claims description 54
- 238000003703 image analysis method Methods 0.000 title claims description 7
- 238000004458 analytical method Methods 0.000 claims description 325
- 238000000605 extraction Methods 0.000 claims description 69
- 238000004364 calculation method Methods 0.000 claims description 41
- 239000000284 extract Substances 0.000 claims description 36
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 description 56
- 230000000007 visual effect Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 25
- 238000003754 machining Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 15
- 241000270295 Serpentes Species 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000011960 computer-aided design Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000003746 surface roughness Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
- B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
- B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
- B23Q17/248—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves using special electromagnetic means or methods
- B23Q17/249—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves using special electromagnetic means or methods using image analysis, e.g. for radar, infrared or array camera images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
ワークを計測する場合、タッチセンサ(タッチプローブ)やレーザセンサを用いた計測手法は、一般的に分解能や精度が高いという点でメリットがあるものの、一度に計測可能な範囲が狭く、計測時間が長くなるというデメリットがある。さらに、例えばタッチセンサで計測する場合、オペレータがタッチセンサを手動で移動させるため、ワークやタッチセンサを傷つけないよう、オペレータにとって多大な作業負担を要する。
このような作業負担を軽減するため、計測点やアプローチ点の座標を入力すると、タッチセンサを移動させる計測プログラムを自動生成する仕組みが知られている。ところが、座標系を考慮しつつ、このような複数の点の座標を把握して入力することは、オペレータにとって依然として大きな作業負担を要する。
一方、視覚センサ等で取得した画像を用いてワークの形状・位置等を計測する手法は、一般的に広範囲を短時間で計測できるというメリットがあるものの、測定分解能、繰り返し精度の観点では、ワーク座標系の設定等、機械加工の段取りに使用する場合において実用的でないというデメリットがある。
このような課題に対し、タッチセンサやレーザセンサによる計測手法に、ワーク画像を組み合わせることにより、双方のデメリットを互いに補完したワーク計測手法が考案されている。
例えば、視覚センサで取得したワーク画像をディスプレイに表示し、ユーザがタッチ操作で画像上に計測点やアプローチ点を指定し、その点の座標に基づき、タッチプローブによる自動計測プログラムを生成する手法が知られている。例えば、特許文献1参照。
<一実施形態>
図1は、一実施形態に係るワーク画像解析装置1の構成を示すブロック図である。
ワーク画像解析装置1は、数値制御装置又はPC(Personal Computer)等の情報処理装置によって構成される。
図1に示すように、ワーク画像解析装置1は、CPU(Central Processing Unit)11、ROM12、RAM13、入力部14、表示部15、記憶部16、通信部17、及び視覚センサ18を備えている。
RAM13は、DRAM(Dynamic Random Access Memory)等の半導体メモリによって構成され、後述するCPU11が各種処理を実行する際に生成されるデータを記憶する。
入力部14は、キーボードやマウス、又は、タッチセンサ(タッチパネル)等の入力装置によって構成され、ユーザによるワーク画像解析装置1への各種情報の入力を受け付ける。
記憶部16は、ハードディスク又はフラッシュメモリ等の不揮発性の記憶装置によって構成され、画像解析等のプログラム等を記憶する。また、記憶部16には、後述する視覚センサ18により撮像された画像データを記憶する画像データベース(画像DB)16a、解析対象の特徴を記憶する解析対象特徴データベース(解析対象特徴DB)16b、及び過去の解析履歴が格納された解析履歴データベース(解析履歴DB)16cが記憶されている。さらに、記憶部16は、ワーク画像解析装置1による各種処理結果を記憶してもよい。
前記算出処理のプログラムを実行することにより、CPU11には、機能的構成として、UI表示制御部11a、画像取得部11b、解析対象指定部11c、特徴抽出部11d、解析項目設定部11e、及び物理量算出部11fが形成される。
UI表示制御部11aは、物理量の算出処理において、ユーザが各種情報を入出力するためのユーザインターフェース画面(UI画面)を表示する。
例えば、UI表示制御部11aは、後述するように、図示しない工作機械の加工対象のワークの画像を取得する指示を受け付けるための入力画面を表示したり、取得されたワークの画像において解析対象を指定するための入力画面を表示したり、解析項目の候補の中から選択を受け付けるための入力画面を表示したり、指定された解析対象の解析結果を表示したりする。
また、ワークは、図示しない工作機械の加工対象に限定されず、例えば産業用ロボット、サービス用ロボット等を含む産業機械の加工対象にも適用可能である。
画像取得部11bは、視覚センサ18(深度カメラあるいはステレオカメラ等)によって撮像されたワークの画像データ、又は、CAD(Computer Aided Design)システムにおいて生成されたワークのCADデータ等、ワークの3次元形状を含む画像データを取得する。画像取得部11bは、取得したワークの画像データを記憶部16(画像DB16a)に記憶する。
解析対象指定部11cは、UI表示制御部11aによってUI画面に表示された解析対象を指定する入力画面において、ユーザが入力した指定のための操作内容を取得する。
図2から図6は、解析対象を指定する入力画面において行われる操作の一例を示す模式図である。
図4から図6に示す例においては、後述する特徴抽出部11dは、いずれもワークの輪郭を抽出し、輪郭線が2次元四角形の場合には、4辺4頂点を計測してワークの中心点を求める。
特徴抽出部11dは、解析対象指定部11cにより取得された解析対象の指定に応じて、ワークの画像から解析対象を特定し、特定した解析対象の構造的特徴(立体形状)を抽出(検出)する。そして、特徴抽出部11dは、検出した構造的特徴を、RGBD画像の距離画像D、及びディスプレイの平面座標系(画像座標系)とテーブル座標系との変換式とに基づいて、実世界の座標系(テーブル座標系)に変換する。
また、特徴抽出部11dは、抽出した解析対象の構造的特徴を記憶部16(解析対象特徴DB16b)に記憶する。
なお、これら画像座標系と機械座標系とは、予め校正が行われ、対応付けられている。このとき、ディスプレイの平面座標系(画像座標系)に替えて、カメラの座標系を用いてもよい。
図7に示す例では、図2に示すようにユーザによりワークの画像の左右の辺に沿う直線がそれぞれ入力された場合、特徴抽出部11dは、各セグメント(入力された部分)の近傍領域を設定し、その内側からCanny法で輪郭線を抽出した後、抽出した輪郭線から、Hough変換で2本の直線(ワークの左右の外縁)を検出している。なお、図7のように輪郭線が抽出された場合、特徴抽出部11dは、例えば、左側の輪郭線であれば、距離画像Dで見た場合に右側のピクセルが凸値となっていること、又は、背景差分で右側に物体が置かれていることに基づいて、輪郭線の右側に物体があることを判定することができる。
なお、図9では、図4又は図5に示すように、ユーザによりワークの画像全体を囲む円又は矩形が入力されたが、図10に示すように、ユーザによりワークの画像の一部分を囲む円又は矩形が入力されてもよい。この場合、特徴抽出部11dは、囲み線の内側からスネーク法で閉じた輪郭が見つけられなかった場合、拡張領域法で囲み線の内側と同様の色の領域を抽出してもよい。これにより、特徴抽出部11dは、抽出した領域から、Hough変換で4本の直線を検出し、検出された4本の直線に基づいて、四角形(ワークの上下左右の外縁)を検出することができる。
図12に示すように、特徴抽出部11dは、検出された解析対象の構造的特徴(ワークの左右の外縁、穴、ワークの上下左右の外縁等)の画像座標を、実世界の座標であるテーブル座標(機械座標)に変換する。
これにより、特徴抽出部11dは、ユーザによってUI画面上で指定された解析対象の実体的な3次元形状に係る位置情報を取得することができる。
解析項目設定部11eは、ワークの画像に対する解析項目の指定を受け付ける。
例えば、解析項目設定部11eは、解析項目の種類が定義された記憶部16に含まれるデータベース(図示しない)を参照し、特徴抽出部11dによって検出された解析対象の構造的特徴に対して行われる解析項目を設定する。
具体的には、解析項目設定部11eは、特徴抽出部11dによって検出された解析対象の構造的特徴に基づいて、過去の解析履歴情報(解析履歴DB16c)を参照し、解析項目として選択され得る項目(解析項目の候補)をリストアップする。
なお、解析項目設定部11eの動作については、後述する。
物理量算出部11fは、特徴抽出部11dにより検出された解析対象の構造的特徴から、解析項目設定部11eによって指定された解析項目に係る物理量の算出に必要となる特徴を抽出し、抽出された特徴を用いて物理量を算出する。
以下、(A)円筒ワーク、(B)2つの穴が形成された直方体ワーク、及び(C)球面形状を有する円柱ワークそれぞれの場合における、物理量算出部11fの動作について説明する。
図13に示すように、画像取得部11bは、例えば、3Dカメラの視覚センサ18により撮像された円筒ワークの画像データを取得し、UI表示制御部11aは、取得されたRGB画像をUI画面に表示する。解析対象指定部11cは、入力部14を介して、ユーザにより入力された解析対象を指定する囲み線を取得する。そして、特徴抽出部11dは、取得された囲み線を初期値としてスネーク法により、太線で示す円筒外側の輪郭線を抽出する。次に、特徴抽出部11dは、スネーク法で抽出した輪郭線とその内側を解析対象領域として、解析対象領域内の画像特徴(輪郭)をすべて抽出する。すなわち、図14に示すように、特徴抽出部11dは、円筒ワークの外側と内側との太線で示す2つの輪郭線を抽出することができる。
また、特徴抽出部11dは、距離画像Dから、解析対象領域が周囲(テーブル)と比べてZ方向に突き出ているという構造的特徴も取得することができる。
例えば、解析項目の候補の中から所望の解析項目として、ユーザが「外径」を選択した場合、物理量算出部11fは、外径を算出するため、外側の円状輪郭線を解析項目の物理量の算出に必要な特徴として抽出する。物理量算出部11fは、抽出した円状輪郭線の各点の座標値を用い、例えば、最小二乗法等の公知の手法から円の直径を算出する。図15に示すように、UI表示制御部11aは、物理量算出部11fによって算出された外側の円の直径の値をUI画面に表示してもよい。
なお、円筒ワークの外径等は、特徴抽出部11dが円筒ワークから抽出された輪郭線上の各点をテーブル座標系に変換したときに、算出されてもよい。
図16に示すように、画像取得部11bは、3Dカメラの視覚センサ18により斜め上から撮像された2つの穴が形成された直方体ワークの画像データを取得する。
UI表示制御部11aは、取得されたRGB画像をUI画面に表示する。解析対象指定部11cは、入力部14を介して、図6の場合と同様に、ユーザにより入力された解析対象を指定する点を取得する。そして、特徴抽出部11dは、取得された点の近傍と同様の輝度値を有する領域を領域拡張法で求め、網掛けで示す領域を解析対象領域とする。次に、図17に示すように、特徴抽出部11dは、解析対象領域内の太線で示す画像特徴(輪郭)をすべて抽出する。
例えば、解析項目の候補の中から所望の解析項目として、ユーザが「直方体中心」を選択した場合、物理量算出部11fは、直方体の中心座標を算出するため、9本の直線輪郭線を解析項目の物理量の算出に必要な特徴として抽出する。物理量算出部11fは、抽出した直線輪郭線を4本ずつ用いて直方体3面の中点をそれぞれ算出する。物理量算出部11fは、算出した直方体3面の中点から直方体の中心座標を算出する。図18に示すように、UI表示制御部11aは、物理量算出部11fによって算出された直方体の中心座標をUI画面に表示してもよい。
なお、2つの穴が形成された直方体ワークの中心座標等は、特徴抽出部11dが2つの穴が形成された直方体ワークから抽出された輪郭線上の各点をテーブル座標系に変換したときに、算出されてもよい。
図19に示すように、画像取得部11bは、3Dカメラの視覚センサ18により真上から撮像された球面形状を有する円柱ワークの画像データを取得し、UI表示制御部11aは、取得されたRGB画像をUI画面に表示する。解析対象指定部11cは、入力部14を介して、ユーザにより入力された解析対象を指定する囲み線を取得する。そして、特徴抽出部11dは、取得された囲み線を初期値としてスネーク法により、太線で示す半球部分の輪郭線を抽出する。次に、特徴抽出部11dは、スネーク法で抽出した輪郭線とその内側を解析対象領域として、解析対象領域内の画像特徴(輪郭と各ピクセルの画像座標値)を抽出する。
また、特徴抽出部11dは、例えば、抽出した点群(テーブル座標系に変換した各ピクセル)に対して球検出を行い、解析対象領域が球面であるという構造的特徴を取得することができる。また、特徴抽出部11dは、距離画像Dから、解析対象領域が周囲(テーブル)と比べてZ方向に突き出ているという構造的特徴も取得することができる。
なお、特徴抽出部11dは、CADデータや加工プログラム等の追加情報を用いて解析対象の構造的特徴を絞り込んでもよい。また、ユーザがUI画面上で指定するようにしてもよい。
なお、すべての解析項目の候補が、自動的に解析項目に設定されてもよい。この場合、すべての解析項目の候補を解析項目に設定することが事前に定められていることが好ましい。
例えば、すべての解析項目の候補が解析項目に設定されている場合、物理量算出部11fは、半球面の面粗さ等を算出するため、解析対象領域内の点群(テーブル座標に変換した各ピクセル)のテーブル座標値を抽出する。物理量算出部11fは、抽出した点群のテーブル座標値を用いて、最小二乗法等の公知の手法から球面のパラメータ(球の中心及び球径)を算出する。その際、物理量算出部11fは、例えば、二乗誤差の平方根(RMS又はRq)も「面粗さ」として算出する。図21に示すように、UI表示制御部11aは、物理量算出部11fによって算出されたRq(面粗さ)、球面中心、球径をUI画面に表示してもよい。
なお、球面のパラメータ(球の中心及び球径)は、特徴抽出部11dが抽出した各ピクセルの画像座標値をテーブル座標系に変換したときに、算出されてもよい。また、球面のパラメータ(球の中心及び球径)は、CADデータの情報を用いて算出されてもよい。
また、上述の実施形態では球面形状を有する円柱ワークについて説明したが、形状はこれに限定されない。例えば、自由曲面形状を有するようなワークであってもよく、この場合も、球面形状を有するワークと同様のステップにより点群を抽出した後、例えば、CADデータの情報と比較することにより、面粗さなどの物理量を算出することができる。
次に、図22を参照しながら、ワーク画像解析装置1の処理の流れを説明する。
図22は、ワーク画像解析装置1の画像解析処理について説明するフローチャートである。
画像解析処理は、入力部14を介して、画像解析処理を起動させる指示が入力されることにより開始される。
ステップS15の後、画像解析処理は終了となる。
これにより、ワーク画像解析装置1は、解析項目に係る所定の物理量の算出に必要となる、画像解析の設定に係る煩雑な手順や専門知識、及びタッチプローブ等の計測器が不要となり、視覚センサ18のみで高速に解析することが可能となる。そして、ワーク画像解析装置1は、ワークの計測に要する作業負担を低減することができる。
上述の実施形態では、ワーク画像解析装置1は、視覚センサ18により撮像された1つの画像を用いて、ユーザにより選択された解析項目の物理量を算出したが、これに限定されない。例えば、ワーク画像解析装置1は、ワークに対して視覚センサ18を相対移動させて、ワークが撮像された複数の画像を取得し、前記ワークすべてが撮像された1つの高解像度の画像を生成するようにしてもよい。
これにより、ワーク画像解析装置1は、1つの視覚センサの撮像範囲に収まらないような大きなワークであっても、ワーク全体の画像を取得することができる。
また、複数枚の画像は、視覚センサの相対移動のほかに、複数の視覚センサの撮像によって取得するようにしてもよい。
このとき、解析対象の指定に関して、例えばステップS4の解析対象の指定では複数枚の画像のそれぞれに対して解析対象を指定できるようにして、ステップS7にて解析対象から抽出した特徴を統合するようにする、などしてもよい。
また例えば、上述の実施形態では、視覚センサ18は、数値制御装置や工作機械の分解能の設定情報に基づいて、物理量の算出に際して必要な分解能が得られるように視覚センサの相対移動を行ってから撮像するようにしてもよい。
例えば、数値制御装置が工作機械を1μmの位置決め分解能で制御するように設定されている場合を考える。
このとき、例えばユーザが指定した解析対象が直方体ワークで、解析項目が「重心位置」であった場合、最終的に物理量算出部で算出される物理量は、その物理量を工作機械で利用するために、多くの場合数μm以下の分解能が必要とされる。
一般に、視覚センサを用いた画像測定では、視覚センサの分解能の目安は視覚センサの撮像範囲に対する画素数の比率で表される。例えば、視覚センサの撮像範囲が10cm四方であるのに対してカメラの画素数が縦1000×横1000である場合、分解能の目安は100μmである。
この視覚センサの分解能は、例えば視覚センサとワークとの相対位置を接近させて視覚センサの撮像範囲を狭くすることによって向上することができる。
このため、例えば数値制御装置の分解能の設定情報を目標分解能とした場合、解析対象の指定はワーク全体を視野に収めるような広い範囲を撮像した画像上で行い、ステップS6で解析対象の特徴を抽出する以前に、目標となる分解能が得られるように視覚センサを相対移動させてからもう一度撮像するようにしてもよい。また、視覚センサをどのように相対移動しても目標となる分解能が得られないような場合は、例えば警告メッセージを表示するようにしてもよい。
これにより、物理量の算出に際して必要な分解能を得ることができる。
また例えば、上述の実施形態では、ワーク画像解析装置1は、解析対象の指定及び解析対象の構造的特徴を取得した後、ユーザに解析項目を選択させたが、これに限定されない。例えば、ワーク画像解析装置1は、ユーザに解析項目を選択させた後、解析対象の指定及び解析対象の構造的特徴を取得してもよい。
そうすることで、ワーク画像解析装置1は、解析項目の選択によって解析対象が限定されるため、解析対象となる構造的特徴をより適切に検出することが可能となる。
また例えば、上述の実施形態では、ワーク画像解析装置1は、解析項目の候補をリストアップした後、解析履歴DB16cに基づいて解析項目の候補をランク付けしたが、これに限定されない。例えば、ワーク画像解析装置1は、ランク付けすることなく、すべての解析項目の一覧をリストアップするだけでもよい。
また、ワーク画像解析装置1は、解析履歴DB16cだけでなく、機械学習を用いた推定器に基づいて解析項目をリストアップしてもよい。
また例えば、上述の実施形態では、視覚センサ18は、深度カメラあるいは3Dカメラとしたが、これに限定されない。例えば、ワークの形状が予め分かっており、前記ワークの高さが一定の場合には、視覚センサ18は2Dカメラでもよい。以下、視覚センサ18を2Dカメラとして説明する。
例えば、図13の円筒ワークの場合、視覚センサ18は、真上から円筒ワークを撮像する。画像取得部11bは、視覚センサ18により真上から撮像された円筒ワークの画像データを取得し、UI表示制御部11aは、取得された画像をUI画面に表示する。解析対象指定部11cは、図13の場合と同様に、ユーザにより入力された解析対象を指定する囲み線を取得する。そして、特徴抽出部11dは、取得された囲み線を初期値としてスネーク法により、太線で示す円筒外側の輪郭線を抽出する。次に、特徴抽出部11dは、スネーク法で抽出した輪郭線とその内側を解析対象領域として、解析対象領域内の画像特徴(輪郭)をすべて抽出する。これにより、図14の場合と同様に、特徴抽出部11dは、円筒ワークの外側と内側との太線で示す2つの輪郭線を抽出することができる。なお、特徴抽出部11dは、CADデータや加工プログラム等の追加情報を用いて解析対象の構造的特徴を絞り込んでもよい。また、ユーザがディスプレイ上で指定するようにしてもよい。
また、特徴抽出部11dは、例えば、事前に取得したテーブルの輝度値と解析対象領域の周囲の輝度値が同じであることから、解析対象領域の周囲は高さ「0」のテーブルであることが分かるため、解析対象領域が周囲(テーブル)と比べてZ方向に突き出ているという構造的特徴も取得することができる。その後の処理は、視覚センサ18が深度カメラあるいは3Dカメラの場合の処理と同じであり、説明を省略する。
また、ワーク画像解析装置1に含まれる各構成部は、電子回路等を含むハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。
このワーク画像解析装置1によれば、ワークの計測に要する作業負担を低減することができる。
そうすることで、ワーク画像解析装置1は、ユーザが所望する解析項目を確実に指定することができる。
そうすることで、ワーク画像解析装置1は、解析対象の構造的特徴を正確に取得することができる。
このワーク画像解析方法によれば、(1)と同様の効果を奏することができる。
このプログラムによれば、(1)と同様の効果を奏することができる。
11 CPU
11a UI表示制御部
11b 画像取得部
11c 解析対象指定部
11d 特徴抽出部
11e 解析項目設定部
11f 物理量算出部
12 ROM
13 RAM
14 入力部
15 表示部
16 記憶部
16a 画像データベース
16b 解析対象特徴データベース
16c 解析履歴データベース
17 通信部
18 視覚センサ
Claims (5)
- 産業機械による加工対象のワークの画像を表示する表示部と、
前記ワークの画像において、少なくとも前記ワークの外形の一部分を示す線、前記ワークの領域の少なくとも一部分を含む内部領域、又は前記ワークの領域内の少なくとも1点のいずれか1つを含む解析対象の指定を受け付ける解析対象指定部と、
前記解析対象指定部によって指定された前記解析対象を前記ワークの画像から特定して前記解析対象の構造的特徴を検出し、前記ワークの距離画像、及び画像座標系とテーブル座標系との変換式に基づいて、検出した前記構造的特徴を実世界の座標系で抽出する特徴抽出部と、
検出された前記解析対象の前記構造的特徴に対して行われる解析項目の指定を受け付ける解析項目設定部と、
前記解析対象の構造的特徴から前記解析項目設定部によって指定された解析項目に係る物理量の算出に必要となる特徴を抽出し、抽出された前記特徴を用いて前記物理量を算出する物理量算出部と、
を備えるワーク画像解析装置。 - 前記解析項目設定部は、前記解析対象の構造的特徴に対する解析項目の候補をランク付けして表示する、請求項1に記載のワーク画像解析装置。
- 前記ワークの画像は、当該ワークの2次元又は3次元の撮像画像及び当該ワークのCADデータの画像の少なくともいずれかである、請求項1又は請求項2に記載のワーク画像解析装置。
- 産業機械による加工対象のワークの画像を表示する表示ステップと、
前記ワークの画像において、少なくとも前記ワークの外形の一部分を示す線、前記ワークの領域の少なくとも一部分を含む内部領域、又は前記ワークの領域内の少なくとも1点のいずれか1つを含む解析対象の指定を受け付ける解析対象指定ステップと、
前記解析対象指定ステップにおいて指定された前記解析対象を前記ワークの画像から特定して前記解析対象の構造的特徴を検出し、前記ワークの距離画像、及び画像座標系とテーブル座標系との変換式に基づいて、検出した前記構造的特徴を実世界の座標系で抽出する特徴抽出ステップと、
検出された前記解析対象の前記構造的特徴に対して行われる解析項目の指定を受け付ける解析項目設定ステップと、
前記解析対象の構造的特徴から前記解析項目設定ステップにおいて指定された解析項目に係る物理量の算出に必要となる特徴を抽出し、抽出された前記特徴を用いて前記物理量を算出する物理量算出ステップと、
を備えるワーク画像解析方法。 - コンピュータに、
産業機械による加工対象のワークの画像を表示する表示制御機能と、
前記ワークの画像において、少なくとも前記ワークの外形の一部分を示す線、前記ワークの領域の少なくとも一部分を含む内部領域、又は前記ワークの領域内の少なくとも1点のいずれか1つを含む解析対象の指定を受け付ける解析対象指定機能と、
前記解析対象指定機能において指定された前記解析対象を前記ワークの画像から特定して前記解析対象の構造的特徴を検出し、前記ワークの距離画像、及び画像座標系とテーブル座標系との変換式に基づいて、検出した前記構造的特徴を実世界の座標系で抽出する特徴抽出機能と、
検出された前記解析対象の前記構造的特徴に対して行われる解析項目の指定を受け付ける解析項目設定機能と、
前記解析対象の構造的特徴から前記解析項目設定機能において指定された解析項目に係る物理量の算出に必要となる特徴を抽出し、抽出された前記特徴を用いて前記物理量を算出する物理量算出機能と、
を実現させるプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020001837 | 2020-01-09 | ||
JP2020001837 | 2020-01-09 | ||
JP2020207340 | 2020-12-15 | ||
JP2020207340 | 2020-12-15 | ||
PCT/JP2021/000228 WO2021141051A1 (ja) | 2020-01-09 | 2021-01-06 | ワーク画像解析装置、ワーク画像解析方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021141051A1 JPWO2021141051A1 (ja) | 2021-07-15 |
JP7397100B2 true JP7397100B2 (ja) | 2023-12-12 |
Family
ID=76788692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021570071A Active JP7397100B2 (ja) | 2020-01-09 | 2021-01-06 | ワーク画像解析装置、ワーク画像解析方法、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230066200A1 (ja) |
JP (1) | JP7397100B2 (ja) |
CN (1) | CN114930388A (ja) |
DE (1) | DE112021000500T5 (ja) |
WO (1) | WO2021141051A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7243615B2 (ja) * | 2019-12-23 | 2023-03-22 | コベルコ建機株式会社 | ガイダンスシステム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014010103A (ja) | 2012-07-02 | 2014-01-20 | Mitsutoyo Corp | 形状解析方法および形状解析プログラム |
JP2018004497A (ja) | 2016-07-04 | 2018-01-11 | 株式会社キーエンス | 画像測定装置 |
JP2018018155A (ja) | 2016-07-25 | 2018-02-01 | ファナック株式会社 | カメラを使って計測動作を自動化する機能を備えた数値制御装置 |
-
2021
- 2021-01-06 DE DE112021000500.6T patent/DE112021000500T5/de active Pending
- 2021-01-06 CN CN202180008241.9A patent/CN114930388A/zh active Pending
- 2021-01-06 US US17/789,673 patent/US20230066200A1/en active Pending
- 2021-01-06 JP JP2021570071A patent/JP7397100B2/ja active Active
- 2021-01-06 WO PCT/JP2021/000228 patent/WO2021141051A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014010103A (ja) | 2012-07-02 | 2014-01-20 | Mitsutoyo Corp | 形状解析方法および形状解析プログラム |
JP2018004497A (ja) | 2016-07-04 | 2018-01-11 | 株式会社キーエンス | 画像測定装置 |
JP2018018155A (ja) | 2016-07-25 | 2018-02-01 | ファナック株式会社 | カメラを使って計測動作を自動化する機能を備えた数値制御装置 |
Also Published As
Publication number | Publication date |
---|---|
DE112021000500T5 (de) | 2022-11-24 |
US20230066200A1 (en) | 2023-03-02 |
CN114930388A (zh) | 2022-08-19 |
WO2021141051A1 (ja) | 2021-07-15 |
JPWO2021141051A1 (ja) | 2021-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200033109A1 (en) | Workpiece measurement device, workpiece measurement method and non-transitory computer readable medium recording a program | |
CN109658398B (zh) | 一种基于三维测量点云的零件表面缺陷识别与评估方法 | |
US20110035952A1 (en) | Display of results of a measurement of workpieces as a function of the detection of the gesture of a user | |
JP4865147B2 (ja) | ディスプレイ顕微鏡画像を用いたパターン測定方法及び測定システム | |
CN107429997B (zh) | 用于确定测量对象的尺寸特性的方法和装置 | |
CN102628669A (zh) | 尺寸测量设备、尺寸测量方法及用于尺寸测量设备的程序 | |
KR20150128300A (ko) | 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법 | |
JPH0721238A (ja) | 三次元形状加工物の評価装置 | |
US20180290300A1 (en) | Information processing apparatus, information processing method, storage medium, system, and article manufacturing method | |
EP2387000B1 (en) | Image measuring apparatus, program, and teaching method of image measuring apparatus | |
CN104634242A (zh) | 探针补点系统及方法 | |
CN108120391A (zh) | 信息处理设备和方法、存储介质和物品制造方法 | |
JP6599697B2 (ja) | 画像測定装置及びその制御プログラム | |
JP7397100B2 (ja) | ワーク画像解析装置、ワーク画像解析方法、及びプログラム | |
JP2012037257A (ja) | 測定設定データ作成装置、測定設定データ作成方法及び測定設定データ作成装置用のプログラム | |
JP6784802B2 (ja) | き裂検査装置およびき裂検査方法 | |
JP7083630B2 (ja) | 測定装置及び測定システム | |
US11195294B2 (en) | Image measurement method, image measurement program, image measurement device, and object manufacture method | |
JP6596221B2 (ja) | き裂検査装置およびき裂検査方法 | |
JP3765061B2 (ja) | 多次元形状の座標計測機用オフライン・ティーチング・システム | |
JP6202875B2 (ja) | 画像測定装置及びその制御用プログラム | |
WO2020065854A1 (ja) | ワーク位置検出方法及び工作機械 | |
JP6653539B2 (ja) | 画像測定装置、その制御プログラム及び測定装置 | |
US20240272086A1 (en) | Surface inspection system and method | |
Cheng et al. | Deep learning–based intelligent measurement methods and system for CMM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220819 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230718 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7397100 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |