JP7397100B2 - ワーク画像解析装置、ワーク画像解析方法、及びプログラム - Google Patents

ワーク画像解析装置、ワーク画像解析方法、及びプログラム Download PDF

Info

Publication number
JP7397100B2
JP7397100B2 JP2021570071A JP2021570071A JP7397100B2 JP 7397100 B2 JP7397100 B2 JP 7397100B2 JP 2021570071 A JP2021570071 A JP 2021570071A JP 2021570071 A JP2021570071 A JP 2021570071A JP 7397100 B2 JP7397100 B2 JP 7397100B2
Authority
JP
Japan
Prior art keywords
workpiece
analysis
image
analysis target
physical quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021570071A
Other languages
English (en)
Other versions
JPWO2021141051A1 (ja
Inventor
祐樹 杉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of JPWO2021141051A1 publication Critical patent/JPWO2021141051A1/ja
Application granted granted Critical
Publication of JP7397100B2 publication Critical patent/JP7397100B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23QDETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/248Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves using special electromagnetic means or methods
    • B23Q17/249Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves using special electromagnetic means or methods using image analysis, e.g. for radar, infrared or array camera images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、ワーク画像解析装置、ワーク画像解析方法、及びプログラムに関する。
従来、工作機械による加工を行う目的等のために、加工対象となるワークを計測する技術が知られている。
ワークを計測する場合、タッチセンサ(タッチプローブ)やレーザセンサを用いた計測手法は、一般的に分解能や精度が高いという点でメリットがあるものの、一度に計測可能な範囲が狭く、計測時間が長くなるというデメリットがある。さらに、例えばタッチセンサで計測する場合、オペレータがタッチセンサを手動で移動させるため、ワークやタッチセンサを傷つけないよう、オペレータにとって多大な作業負担を要する。
このような作業負担を軽減するため、計測点やアプローチ点の座標を入力すると、タッチセンサを移動させる計測プログラムを自動生成する仕組みが知られている。ところが、座標系を考慮しつつ、このような複数の点の座標を把握して入力することは、オペレータにとって依然として大きな作業負担を要する。
一方、視覚センサ等で取得した画像を用いてワークの形状・位置等を計測する手法は、一般的に広範囲を短時間で計測できるというメリットがあるものの、測定分解能、繰り返し精度の観点では、ワーク座標系の設定等、機械加工の段取りに使用する場合において実用的でないというデメリットがある。
このような課題に対し、タッチセンサやレーザセンサによる計測手法に、ワーク画像を組み合わせることにより、双方のデメリットを互いに補完したワーク計測手法が考案されている。
例えば、視覚センサで取得したワーク画像をディスプレイに表示し、ユーザがタッチ操作で画像上に計測点やアプローチ点を指定し、その点の座標に基づき、タッチプローブによる自動計測プログラムを生成する手法が知られている。例えば、特許文献1参照。
特開2018-018155号公報
しかしながら、特許文献1に記載された技術においては、計測点・アプローチ点等の設定に関する知識・経験や、計測対象によっては、多数の計測点やアプローチ点、方向等を設定する煩雑な手続きが必要となる場合がある。そのため、計測対象を、より少ない操作で感覚的に指定できれば、より高い利便性を実現できると考えられる。
そこで、ワークの計測に要する作業負担を低減することが望まれている。
(1)本開示のワーク画像解析装置の一態様は、産業機械による加工対象のワークの画像を表示する表示部と、前記ワークの画像に対する解析対象の指定を受け付ける解析対象指定部と、前記解析対象指定部によって指定された前記解析対象の構造的特徴を実世界の座標系で抽出する特徴抽出部と、前記ワークの画像に対する解析項目の指定を受け付ける解析項目設定部と、前記解析対象の構造的特徴から前記解析項目設定部によって指定された解析項目に係る物理量の算出に必要となる特徴を抽出し、抽出された前記特徴を用いて前記物理量を算出する物理量算出部と、を備える。
(2)本開示のワーク画像解析方法の一態様は、産業機械による加工対象のワークの画像を表示する表示ステップと、前記ワークの画像に対する解析対象の指定を受け付ける解析対象指定ステップと、前記解析対象指定ステップにおいて指定された前記解析対象の構造的特徴を実世界の座標系で抽出する特徴抽出ステップと、前記ワークの画像に対する解析項目の指定を受け付ける解析項目設定ステップと、前記解析対象の構造的特徴から前記解析項目設定ステップにおいて指定された解析項目に係る物理量の算出に必要となる特徴を抽出し、抽出された前記特徴を用いて前記物理量を算出する物理量算出ステップと、を備える。
(3)本開示のプログラムの一態様は、コンピュータに、産業機械による加工対象のワークの画像を表示する表示制御機能と、前記ワークの画像に対する解析対象の指定を受け付ける解析対象指定機能と、前記解析対象指定機能において指定された前記解析対象の構造的特徴を実世界の座標系で抽出する特徴抽出機能と、前記ワークの画像に対する解析項目の指定を受け付ける解析項目設定機能と、前記解析対象の構造的特徴から前記解析項目設定機能において指定された解析項目に係る物理量の算出に必要となる特徴を抽出し、抽出された前記特徴を用いて前記物理量を算出する物理量算出機能と、を実現させる。
一態様によれば、ワークの計測に要する作業負担を低減することができる。
一実施形態に係るワーク画像解析装置の構成を示すブロック図である。 解析対象を指定する入力画面において行われる操作の一例を示す模式図である。 解析対象を指定する入力画面において行われる操作の一例を示す模式図である。 解析対象を指定する入力画面において行われる操作の一例を示す模式図である。 解析対象を指定する入力画面において行われる操作の一例を示す模式図である。 解析対象を指定する入力画面において行われる操作の一例を示す模式図である。 ユーザが入力した指定のための操作に応じて、構造的特徴(立体形状)を抽出する処理の一例を示す模式図である。 ユーザが入力した指定のための操作に応じて、構造的特徴(立体形状)を抽出する処理の一例を示す模式図である。 ユーザが入力した指定のための操作に応じて、構造的特徴(立体形状)を抽出する処理の一例を示す模式図である。 ユーザが入力した指定のための操作に応じて、構造的特徴(立体形状)を抽出する処理の一例を示す模式図である。 ユーザが入力した指定のための操作に応じて、構造的特徴(立体形状)を抽出する処理の一例を示す模式図である。 画像座標系から機械座標系への変換の一例を示す模式図である。 円筒ワークに対する物理量算出処理の一例を示す模式図である。 円筒ワークに対する物理量算出処理の一例を示す模式図である。 円筒ワークに対する物理量算出処理の一例を示す模式図である。 2つの穴が形成された直方体ワークに対する物理量算出処理の一例を示す模式図である。 2つの穴が形成された直方体ワークに対する物理量算出処理の一例を示す模式図である。 2つの穴が形成された直方体ワークに対する物理量算出処理の一例を示す模式図である。 球面形状を有する円柱ワークに対する物理量算出処理の一例を示す模式図である。 球面形状を有する円柱ワークに対する物理量算出処理の一例を示す模式図である。 球面形状を有する円柱ワークに対する物理量算出処理の一例を示す模式図である。 ワーク画像解析装置の画像解析処理について説明するフローチャートである。
以下、一実施形態について、図面を参照して説明する。
<一実施形態>
図1は、一実施形態に係るワーク画像解析装置1の構成を示すブロック図である。
ワーク画像解析装置1は、数値制御装置又はPC(Personal Computer)等の情報処理装置によって構成される。
図1に示すように、ワーク画像解析装置1は、CPU(Central Processing Unit)11、ROM12、RAM13、入力部14、表示部15、記憶部16、通信部17、及び視覚センサ18を備えている。
ROM12は、後述するCPU11が実行する、ワーク画像解析装置1を制御するための各種システムプログラムが予め書き込まれている。
RAM13は、DRAM(Dynamic Random Access Memory)等の半導体メモリによって構成され、後述するCPU11が各種処理を実行する際に生成されるデータを記憶する。
入力部14は、キーボードやマウス、又は、タッチセンサ(タッチパネル)等の入力装置によって構成され、ユーザによるワーク画像解析装置1への各種情報の入力を受け付ける。
表示部15は、LCD(Liquid Crystal Display)等の表示装置によって構成され、ワーク画像解析装置1の各種処理結果を表示する。
記憶部16は、ハードディスク又はフラッシュメモリ等の不揮発性の記憶装置によって構成され、画像解析等のプログラム等を記憶する。また、記憶部16には、後述する視覚センサ18により撮像された画像データを記憶する画像データベース(画像DB)16a、解析対象の特徴を記憶する解析対象特徴データベース(解析対象特徴DB)16b、及び過去の解析履歴が格納された解析履歴データベース(解析履歴DB)16cが記憶されている。さらに、記憶部16は、ワーク画像解析装置1による各種処理結果を記憶してもよい。
通信部17は、有線又は無線LANやUSB等、所定の通信規格に基づいて信号処理を行う通信インターフェースを備え、ワーク画像解析装置1が他の装置との間で行う通信を制御する。
視覚センサ18は、深度カメラあるいはステレオカメラ等の3次元画像を撮像する撮像装置を備え、解析対象となるワークの3次元画像を撮像する。なお、撮像される3次元画像は、RGB画像と距離画像Dとを含むRGBD画像(点群データ)である。
CPU11は、記憶部16に記憶された各種プログラムを実行することにより、ワーク画像解析装置1の全体を制御する。例えば、CPU11は、後述するように、ユーザにより指令されたワークの様々な構造の長さ、高さ、直径等の物理量を算出する算出処理のプログラムを実行する。
前記算出処理のプログラムを実行することにより、CPU11には、機能的構成として、UI表示制御部11a、画像取得部11b、解析対象指定部11c、特徴抽出部11d、解析項目設定部11e、及び物理量算出部11fが形成される。
<UI表示制御部11a>
UI表示制御部11aは、物理量の算出処理において、ユーザが各種情報を入出力するためのユーザインターフェース画面(UI画面)を表示する。
例えば、UI表示制御部11aは、後述するように、図示しない工作機械の加工対象のワークの画像を取得する指示を受け付けるための入力画面を表示したり、取得されたワークの画像において解析対象を指定するための入力画面を表示したり、解析項目の候補の中から選択を受け付けるための入力画面を表示したり、指定された解析対象の解析結果を表示したりする。
なお、UI表示制御部11aにおいて入力が行われる場合、マウス、キーボードあるいはタッチ操作等による入力を受け付けることができる。例えば、タッチ操作による種々の入力形態の他、キーボードの方向キーで囲み線を描画したり、マウスによるドラッグ操作により矩形範囲を描画したり、キーボードのエンターキーあるいはマウスのクリックで点を描画したりすること等が可能である。
また、ワークは、図示しない工作機械の加工対象に限定されず、例えば産業用ロボット、サービス用ロボット等を含む産業機械の加工対象にも適用可能である。
<画像取得部11b>
画像取得部11bは、視覚センサ18(深度カメラあるいはステレオカメラ等)によって撮像されたワークの画像データ、又は、CAD(Computer Aided Design)システムにおいて生成されたワークのCADデータ等、ワークの3次元形状を含む画像データを取得する。画像取得部11bは、取得したワークの画像データを記憶部16(画像DB16a)に記憶する。
<解析対象指定部11c>
解析対象指定部11cは、UI表示制御部11aによってUI画面に表示された解析対象を指定する入力画面において、ユーザが入力した指定のための操作内容を取得する。
図2から図6は、解析対象を指定する入力画面において行われる操作の一例を示す模式図である。
図2に示す例では、ユーザが入力した指定のための操作内容として、解析対象となるワークの画像において、ワークの画像の左右の辺に沿う直線がそれぞれ入力されている。図2に示す例の場合、後述する特徴抽出部11dは、ユーザはワークの幅の解析を意図していると特定する。
また、図3に示す例では、ユーザが入力した指定のための操作内容として、解析対象となるワークの画像において、ワークに形成された穴を囲む円が入力されている。図3に示す例の場合、後述する特徴抽出部11dは、ユーザはワークに形成された穴の内径の解析を意図していると特定する。
また、図4に示す例では、ユーザが入力した指定のための操作内容として、解析対象となるワークの画像において、ワークの画像全体を囲む円が入力されている。図4に示す例の場合、例えば、ユーザはワークの芯出し(原点出し)を意図している。
また、図5に示す例では、解析対象となるワークの画像において、対角線を指定してワークの画像全体を囲む矩形が入力されている。図5に示す例の場合、後述する特徴抽出部11dは、ユーザはワークの芯出し(原点出し)を意図していると特定する。
また、図6に示す例では、ユーザが入力した指定のための操作内容として、解析対象となるワークの画像において、ワークの領域内の点が指定されている。図6に示す例の場合、後述する特徴抽出部11dは、ユーザはワークの芯出し(原点出し)を意図していると特定する。
図4から図6に示す例においては、後述する特徴抽出部11dは、いずれもワークの輪郭を抽出し、輪郭線が2次元四角形の場合には、4辺4頂点を計測してワークの中心点を求める。
<特徴抽出部11d>
特徴抽出部11dは、解析対象指定部11cにより取得された解析対象の指定に応じて、ワークの画像から解析対象を特定し、特定した解析対象の構造的特徴(立体形状)を抽出(検出)する。そして、特徴抽出部11dは、検出した構造的特徴を、RGBD画像の距離画像D、及びディスプレイの平面座標系(画像座標系)とテーブル座標系との変換式とに基づいて、実世界の座標系(テーブル座標系)に変換する。
また、特徴抽出部11dは、抽出した解析対象の構造的特徴を記憶部16(解析対象特徴DB16b)に記憶する。
なお、これら画像座標系と機械座標系とは、予め校正が行われ、対応付けられている。このとき、ディスプレイの平面座標系(画像座標系)に替えて、カメラの座標系を用いてもよい。
図7から図11は、ユーザが入力した指定のための操作に応じて、特徴抽出部11dが、構造的特徴(立体形状)を抽出する処理の一例を示す模式図である。
図7に示す例では、図2に示すようにユーザによりワークの画像の左右の辺に沿う直線がそれぞれ入力された場合、特徴抽出部11dは、各セグメント(入力された部分)の近傍領域を設定し、その内側からCanny法で輪郭線を抽出した後、抽出した輪郭線から、Hough変換で2本の直線(ワークの左右の外縁)を検出している。なお、図7のように輪郭線が抽出された場合、特徴抽出部11dは、例えば、左側の輪郭線であれば、距離画像Dで見た場合に右側のピクセルが凸値となっていること、又は、背景差分で右側に物体が置かれていることに基づいて、輪郭線の右側に物体があることを判定することができる。
また、図8に示す例では、図3に示すようにユーザによりワークに形成された穴を囲む円が入力された場合において、特徴抽出部11dは、ワークに形成された穴を囲む円の内側から、スネーク法で輪郭線を抽出し、さらに、抽出した輪郭線からHough変換で円(穴)を検出している。
また、図9に示す例では、図4又は図5に示すようにユーザによりワークの画像全体を囲む円又は矩形が入力された場合において、特徴抽出部11dは、ワークの画像全体を囲む円又は矩形の内側から、スネーク法で輪郭線を抽出し、抽出した輪郭線から、Hough変換で4本の直線を検出して、検出された4本の直線に基づいて、四角形(ワークの上下左右の外縁)を検出している。
なお、図9では、図4又は図5に示すように、ユーザによりワークの画像全体を囲む円又は矩形が入力されたが、図10に示すように、ユーザによりワークの画像の一部分を囲む円又は矩形が入力されてもよい。この場合、特徴抽出部11dは、囲み線の内側からスネーク法で閉じた輪郭が見つけられなかった場合、拡張領域法で囲み線の内側と同様の色の領域を抽出してもよい。これにより、特徴抽出部11dは、抽出した領域から、Hough変換で4本の直線を検出し、検出された4本の直線に基づいて、四角形(ワークの上下左右の外縁)を検出することができる。
また、図11に示す例では、図6に示すようにユーザによりワークの領域内の点が指定された場合において、特徴抽出部11dは、指定されたワークの領域内の点から、指定点の近傍の色情報を抽出し、領域拡張法で、指定点近傍に近い色の領域を抽出している。そして、特徴抽出部11dは、スネーク法で輪郭線を抽出し、抽出した輪郭線から、Hough変換で4本の直線を検出して、検出された4本の直線に基づいて、四角形(ワークの上下左右の外縁)を検出している。
なお、上述の例では、構造抽出を、先ずスネーク法又はCanny法による輪郭の抽出を行い、次にHough変換により円や直線を検出するという2段階の処理により行っているが、これに限られない。スネーク法又はCanny法による輪郭の抽出は、Hough変換時の誤検出を少なくするための前処理として行なっていることから、スネーク法又はCanny法による輪郭の抽出はスキップしてもよい。
図12は、画像座標系から機械座標系への変換の一例を示す模式図である。
図12に示すように、特徴抽出部11dは、検出された解析対象の構造的特徴(ワークの左右の外縁、穴、ワークの上下左右の外縁等)の画像座標を、実世界の座標であるテーブル座標(機械座標)に変換する。
これにより、特徴抽出部11dは、ユーザによってUI画面上で指定された解析対象の実体的な3次元形状に係る位置情報を取得することができる。
<解析項目設定部11e>
解析項目設定部11eは、ワークの画像に対する解析項目の指定を受け付ける。
例えば、解析項目設定部11eは、解析項目の種類が定義された記憶部16に含まれるデータベース(図示しない)を参照し、特徴抽出部11dによって検出された解析対象の構造的特徴に対して行われる解析項目を設定する。
具体的には、解析項目設定部11eは、特徴抽出部11dによって検出された解析対象の構造的特徴に基づいて、過去の解析履歴情報(解析履歴DB16c)を参照し、解析項目として選択され得る項目(解析項目の候補)をリストアップする。
また、解析項目設定部11eは、リストアップした解析項目の候補をランク付けする。具体的には、解析項目設定部11eは、構造物の種類、形状、加工状況(加工前・加工中・加工後)、加工プログラムの内容、過去の解析履歴等を参照し、リストアップした解析項目の候補をランク付けする。解析項目設定部11eによってランク付けされた解析項目の候補は、UI表示制御部11aによってUI画面にランク順に表示され、ユーザによる解析項目の選択が受け付けられる。
なお、解析項目設定部11eの動作については、後述する。
<物理量算出部11f>
物理量算出部11fは、特徴抽出部11dにより検出された解析対象の構造的特徴から、解析項目設定部11eによって指定された解析項目に係る物理量の算出に必要となる特徴を抽出し、抽出された特徴を用いて物理量を算出する。
以下、(A)円筒ワーク、(B)2つの穴が形成された直方体ワーク、及び(C)球面形状を有する円柱ワークそれぞれの場合における、物理量算出部11fの動作について説明する。
(A)円筒ワークの場合について
図13に示すように、画像取得部11bは、例えば、3Dカメラの視覚センサ18により撮像された円筒ワークの画像データを取得し、UI表示制御部11aは、取得されたRGB画像をUI画面に表示する。解析対象指定部11cは、入力部14を介して、ユーザにより入力された解析対象を指定する囲み線を取得する。そして、特徴抽出部11dは、取得された囲み線を初期値としてスネーク法により、太線で示す円筒外側の輪郭線を抽出する。次に、特徴抽出部11dは、スネーク法で抽出した輪郭線とその内側を解析対象領域として、解析対象領域内の画像特徴(輪郭)をすべて抽出する。すなわち、図14に示すように、特徴抽出部11dは、円筒ワークの外側と内側との太線で示す2つの輪郭線を抽出することができる。
特徴抽出部11dは、画像上では歪みがあり、実世界とスケールも異なっている円筒ワークを正確に測定できるよう、RGBD画像の距離画像D、及び画像座標系とテーブル座標系との変換式とに基づいて、抽出した輪郭線上の各点を実世界の座標系(テーブル座標系)に変換する。そして、特徴抽出部11dは、テーブル座標系に変換された輪郭に対して円検出や直線検出等を行い、解析対象領域が同心円2つからなる、という構造的特徴を取得することができる。
なお、特徴抽出部11dは、CADデータや加工プログラム等の追加情報を用いて解析対象の構造的特徴を絞り込んでもよい。また、ユーザがUI画面上で指定するようにしてもよい。
また、特徴抽出部11dは、距離画像Dから、解析対象領域が周囲(テーブル)と比べてZ方向に突き出ているという構造的特徴も取得することができる。
次に、解析項目設定部11eは、特徴抽出部11dにより解析対象の円筒ワークの構造的特徴が検出されると、「ワークの加工状況」とともに、「解析対象領域の凹凸」、「輪郭セグメント」、「輪郭セグメント同士の関係」の解析対象の構造的特徴をクエリとして、記憶部16の解析履歴DB16cを検索する。すなわち、解析項目設定部11eは、「ワークの加工状況:加工後」とともに、円筒ワークの構造的特徴である「解析対象領域の凹凸:周囲より凸」、「輪郭セグメント:円×2」、「輪郭セグメント同士の関係:同心」をクエリとして解析履歴DB16cを検索する。例えば、解析項目設定部11eは、「外径」、「高さ」、「内径」、「円周長」等を、解析項目として選択され得る項目(解析項目の候補)をリストアップする。
さらに、解析項目設定部11eは、過去の解析履歴である解析履歴DB16cにおいて、今回の円筒ワークと同様のワークに対して実行された解析項目の頻度を参照すること等により、リストアップした解析項目の候補をランク付けする。すなわち、解析項目設定部11eは、「ワークの加工状況:加工後」、「解析対象領域の凹凸:周囲より凸」、「輪郭セグメント:円×2」、「輪郭セグメント同士の関係:同心」をクエリとして解析履歴DB16cを検索する。解析項目設定部11eは、例えば、今回の円筒ワークと同様の解析対象における過去の解析履歴において、「外径」の解析が「70%」、「高さ」の解析が「15%」、「内径」の解析が「10%」、「円周長」の解析が「5%」等である場合、解析項目の候補を、選択される可能性の高い「外径」、「高さ」、「内径」、「円周長」等の順に並び替える。
図15に示すように、UI表示制御部11aは、解析項目設定部11eによってランク付けされた解析項目の候補をUI画面にランク順に表示する。そして、ユーザによる選択が受け付けられる。
例えば、解析項目の候補の中から所望の解析項目として、ユーザが「外径」を選択した場合、物理量算出部11fは、外径を算出するため、外側の円状輪郭線を解析項目の物理量の算出に必要な特徴として抽出する。物理量算出部11fは、抽出した円状輪郭線の各点の座標値を用い、例えば、最小二乗法等の公知の手法から円の直径を算出する。図15に示すように、UI表示制御部11aは、物理量算出部11fによって算出された外側の円の直径の値をUI画面に表示してもよい。
なお、円筒ワークの外径等は、特徴抽出部11dが円筒ワークから抽出された輪郭線上の各点をテーブル座標系に変換したときに、算出されてもよい。
(B)2つの穴が形成された直方体ワークの場合について
図16に示すように、画像取得部11bは、3Dカメラの視覚センサ18により斜め上から撮像された2つの穴が形成された直方体ワークの画像データを取得する。
UI表示制御部11aは、取得されたRGB画像をUI画面に表示する。解析対象指定部11cは、入力部14を介して、図6の場合と同様に、ユーザにより入力された解析対象を指定する点を取得する。そして、特徴抽出部11dは、取得された点の近傍と同様の輝度値を有する領域を領域拡張法で求め、網掛けで示す領域を解析対象領域とする。次に、図17に示すように、特徴抽出部11dは、解析対象領域内の太線で示す画像特徴(輪郭)をすべて抽出する。
特徴抽出部11dは、画像上では歪みがあり、実世界とスケールも異なっている2つの穴が形成された直方体ワークを正確に測定できるよう、RGBD画像の距離画像D、及び画像座標系とテーブル座標系との変換式とに基づいて、抽出した輪郭線上の各点を実世界の座標系(テーブル座標系)に変換する。そして、特徴抽出部11dは、テーブル座標系に変換された輪郭に対して円検出、直線検出、直方体検出等を行い、解析対象領域が直方体の一部である9本の輪郭線と2つの円からなる、という構造的特徴を取得することができる。また、特徴抽出部11dは、距離画像Dから、解析対象領域が周囲(テーブル)と比べてZ方向に突き出ているという構造的特徴も取得することができる。
次に、解析項目設定部11eは、特徴抽出部11dにより解析対象の2つの穴が形成された直方体ワークの構造的特徴が検出されると、「ワークの加工状況」とともに、「解析対象領域の凹凸」、「輪郭セグメント」、「輪郭セグメント同士の関係」の解析対象の構造的特徴をクエリとして、記憶部16の解析履歴DB16cを検索する。すなわち、解析項目設定部11eは、「ワークの加工状況:加工後」とともに、2つの穴が形成された直方体ワークの構造的特徴である「解析対象領域の凹凸:周囲より凸」、「輪郭セグメント:直線×9及び円×2」、「輪郭セグメント同士の関係:直方体状」をクエリとして解析履歴DB16cを検索する。例えば、解析項目設定部11eは、「直方体中心」、「直方体高さ」、「円の内径」等を、解析項目として選択され得る項目(解析項目の候補)をリストアップする。
さらに、解析項目設定部11eは、過去の解析履歴である解析履歴DB16cにおいて、今回の2つの穴が形成された直方体ワークと同様のワークに対して実行された解析項目の頻度を参照すること等により、リストアップした解析項目の候補をランク付けする。すなわち、解析項目設定部11eは、「ワークの加工状況:加工後」、「解析対象領域の凹凸:周囲より凸」、「輪郭セグメント:直線×9及び円×2」、「輪郭セグメント同士の関係:直方体状」をクエリとして解析履歴DB16cを検索する。解析項目設定部11eは、例えば、今回の2つの穴が形成された直方体ワークと同様の解析対象における過去の解析履歴において、「直方体中心」の解析が「60%」、「直方体高さ」の解析が「25%」、「円の内径」の解析が「5%」等である場合、解析項目の候補を、選択される可能性の高い「直方体中心」、「直方体高さ」、「円の内径」等の順に並び替える。
図18に示すように、UI表示制御部11aは、解析項目設定部11eによってランク付けされた解析項目の候補をUI画面にランク順に表示する。そして、ユーザによる選択が受け付けられる。なお、ランク1位の解析項目の候補が、自動的に解析項目に設定されてもよく、ランクN位までの解析項目を設定することが事前に定められていてもよい(Nは2以上の整数)。
例えば、解析項目の候補の中から所望の解析項目として、ユーザが「直方体中心」を選択した場合、物理量算出部11fは、直方体の中心座標を算出するため、9本の直線輪郭線を解析項目の物理量の算出に必要な特徴として抽出する。物理量算出部11fは、抽出した直線輪郭線を4本ずつ用いて直方体3面の中点をそれぞれ算出する。物理量算出部11fは、算出した直方体3面の中点から直方体の中心座標を算出する。図18に示すように、UI表示制御部11aは、物理量算出部11fによって算出された直方体の中心座標をUI画面に表示してもよい。
なお、2つの穴が形成された直方体ワークの中心座標等は、特徴抽出部11dが2つの穴が形成された直方体ワークから抽出された輪郭線上の各点をテーブル座標系に変換したときに、算出されてもよい。
(C)球面形状を有する円柱ワークの場合について
図19に示すように、画像取得部11bは、3Dカメラの視覚センサ18により真上から撮像された球面形状を有する円柱ワークの画像データを取得し、UI表示制御部11aは、取得されたRGB画像をUI画面に表示する。解析対象指定部11cは、入力部14を介して、ユーザにより入力された解析対象を指定する囲み線を取得する。そして、特徴抽出部11dは、取得された囲み線を初期値としてスネーク法により、太線で示す半球部分の輪郭線を抽出する。次に、特徴抽出部11dは、スネーク法で抽出した輪郭線とその内側を解析対象領域として、解析対象領域内の画像特徴(輪郭と各ピクセルの画像座標値)を抽出する。
特徴抽出部11dは、RGBD画像の距離画像D、及び画像座標系とテーブル座標系との変換式とに基づいて、抽出した各ピクセルの画像座標値を実世界の座標系(テーブル座標系)に変換する。そして、特徴抽出部11dは、テーブル座標系に変換された輪郭線に対して円検出等を行い、解析対象領域が1つの円(すなわち、1つの連続面)からなる、という構造的特徴を取得することができる。
また、特徴抽出部11dは、例えば、抽出した点群(テーブル座標系に変換した各ピクセル)に対して球検出を行い、解析対象領域が球面であるという構造的特徴を取得することができる。また、特徴抽出部11dは、距離画像Dから、解析対象領域が周囲(テーブル)と比べてZ方向に突き出ているという構造的特徴も取得することができる。
なお、特徴抽出部11dは、CADデータや加工プログラム等の追加情報を用いて解析対象の構造的特徴を絞り込んでもよい。また、ユーザがUI画面上で指定するようにしてもよい。
次に、解析項目設定部11eは、特徴抽出部11dにより解析対象の球面形状を有する円柱ワークの構造的特徴が検出されると、「ワークの加工状況」とともに、「解析対象領域の凹凸」、「面セグメント」、「面セグメント同士の関係」のワークの構造的特徴をクエリとして、記憶部16の解析履歴DB16cを検索する。すなわち、解析項目設定部11eは、「ワークの加工状況:加工後」とともに、球面形状を有する円柱ワークの構造的特徴である「解析対象領域の凹凸:周囲より凸」、「面セグメント:3D球面×1」、「面セグメント同士の関係:不明(-)」をクエリとして解析履歴DB16cを検索する。例えば、解析項目設定部11eは、「面粗さ」、「球面中心」、「球径」等を、解析項目として選択され得る項目(解析項目の候補)をリストアップする。
さらに、解析項目設定部11eは、過去の解析履歴である解析履歴DB16cにおいて、今回の球面形状を有する円柱ワークと同様のワークに対して実行された解析項目の頻度を参照すること等により、リストアップした解析項目の候補をランク付けする。すなわち、解析項目設定部11eは、「ワークの加工状況:加工後」、「解析対象領域の凹凸:周囲より凸」、「面セグメント:3D球面×1」、「面セグメント同士の関係:不明(-)」をクエリとして解析履歴DB16cを検索する。解析項目設定部11eは、例えば、今回の球面形状を有する円柱ワークと同様の解析対象における過去の解析履歴において、「面粗さ」の解析が「50%」、「球面中心」の解析が「25%」、「球径」の解析が「25%」であった場合、解析項目の候補を、選択される可能性の高い「面粗さ」、「球面中心」、「球径」等の順に並び替える。
図21に示すように、UI表示制御部11aは、解析項目設定部11eによってランク付けされた解析項目の候補をUI画面にランク順に表示する。そして、ユーザによる選択が受け付けられる。
なお、すべての解析項目の候補が、自動的に解析項目に設定されてもよい。この場合、すべての解析項目の候補を解析項目に設定することが事前に定められていることが好ましい。
例えば、すべての解析項目の候補が解析項目に設定されている場合、物理量算出部11fは、半球面の面粗さ等を算出するため、解析対象領域内の点群(テーブル座標に変換した各ピクセル)のテーブル座標値を抽出する。物理量算出部11fは、抽出した点群のテーブル座標値を用いて、最小二乗法等の公知の手法から球面のパラメータ(球の中心及び球径)を算出する。その際、物理量算出部11fは、例えば、二乗誤差の平方根(RMS又はRq)も「面粗さ」として算出する。図21に示すように、UI表示制御部11aは、物理量算出部11fによって算出されたRq(面粗さ)、球面中心、球径をUI画面に表示してもよい。
なお、球面のパラメータ(球の中心及び球径)は、特徴抽出部11dが抽出した各ピクセルの画像座標値をテーブル座標系に変換したときに、算出されてもよい。また、球面のパラメータ(球の中心及び球径)は、CADデータの情報を用いて算出されてもよい。
また、上述の実施形態では球面形状を有する円柱ワークについて説明したが、形状はこれに限定されない。例えば、自由曲面形状を有するようなワークであってもよく、この場合も、球面形状を有するワークと同様のステップにより点群を抽出した後、例えば、CADデータの情報と比較することにより、面粗さなどの物理量を算出することができる。
<ワーク画像解析装置1の画像解析処理>
次に、図22を参照しながら、ワーク画像解析装置1の処理の流れを説明する。
図22は、ワーク画像解析装置1の画像解析処理について説明するフローチャートである。
画像解析処理は、入力部14を介して、画像解析処理を起動させる指示が入力されることにより開始される。
ステップS1において、UI表示制御部11aは、画像解析処理において、ユーザが各種情報を入出力するためのユーザインターフェース画面(UI画面)を表示する。
ステップS2において、画像取得部11bは、視覚センサ18(深度カメラあるいはステレオカメラ等)によって撮像されたワークの画像データ、又は、CAD(Computer Aided Design)システムにおいて生成されたワークのCADデータ等、ワークの3次元形状を含む画像データを取得する。このとき取得されたワークの画像データは、記憶部16に記憶される。
ステップS3において、UI表示制御部11aは、取得されたワークの画像において解析対象を指定するための入力画面を表示する。
ステップS4において、解析対象指定部11cは、解析対象を指定する入力画面にユーザが入力した指定のための操作内容を取得する。
ステップS5において、特徴抽出部11dは、ユーザが入力した指定のための操作内容に応じて、ワークの画像において、解析対象となる部分である解析対象領域を特定する。
ステップS6において、特徴抽出部11dは、特定された解析対象領域の画像特徴(輪郭)を抽出する。
ステップS7において、特徴抽出部11dは、抽出した画像特徴(輪郭)をディスプレイの平面座標系(画像座標系)からワークが載置されたテーブル上の実世界の座標系(テーブル座標系)に変換する。
ステップS8において、特徴抽出部11dは、実世界の座標系に変換された画像特徴(輪郭)に対して円検出や直線検出等を行い、解析対象の構造的特徴を取得する。
ステップS9において、解析項目設定部11eは、取得された解析対象の構造的特徴に基づいて、過去の解析履歴(記憶部16の解析履歴DB16c)を参照し、解析項目として選択され得る解析項目の候補をリストアップする。
ステップS10において、解析項目設定部11eは、リストアップした解析項目の候補を、過去の解析履歴等を基にランク付けする。
ステップS11において、UI表示制御部11aは、解析項目設定部11eによってランク付けされた解析項目の候補をUI画面にランク順に表示する。
ステップS12において、UI表示制御部11aは、解析項目の候補の中から選択を受け付けるための入力画面を表示し、ユーザによる選択を受け付ける。
ステップS13において、物理量算出部11fは、選択された解析項目の物理量の算出に必要な特徴(輪郭)を、テーブル座標系に変換された解析対象領域のデータから抽出する。
ステップS14において、物理量算出部11fは、抽出された特徴(輪郭)に基づいて、選択された解析項目の物理量を算出する。
ステップS15において、UI表示制御部11aは、ステップS14で算出された物理量をUI画面に表示する。
ステップS15の後、画像解析処理は終了となる。
以上により、一実施形態のワーク画像解析装置1は、ワークの画像に対して、ユーザによる解析対象を指定するための操作を受け付ける。ワーク画像解析装置1は、ユーザによる指定に応じて、ワークの画像において解析対象領域を特定し、実世界の座標系における解析対象の構造的特徴を抽出する。ワーク画像解析装置1は、抽出した解析対象の構造的特徴から選択され得る解析項目の候補をUI画面に表示し、ユーザにより選択された解析項目の物理量を算出する。
これにより、ワーク画像解析装置1は、解析項目に係る所定の物理量の算出に必要となる、画像解析の設定に係る煩雑な手順や専門知識、及びタッチプローブ等の計測器が不要となり、視覚センサ18のみで高速に解析することが可能となる。そして、ワーク画像解析装置1は、ワークの計測に要する作業負担を低減することができる。
以上、一実施形態について説明したが、ワーク画像解析装置1は、上述の実施形態に限定されるものではなく、目的を達成できる範囲での変形、改良等を含む。
<変形例1>
上述の実施形態では、ワーク画像解析装置1は、視覚センサ18により撮像された1つの画像を用いて、ユーザにより選択された解析項目の物理量を算出したが、これに限定されない。例えば、ワーク画像解析装置1は、ワークに対して視覚センサ18を相対移動させて、ワークが撮像された複数の画像を取得し、前記ワークすべてが撮像された1つの高解像度の画像を生成するようにしてもよい。
これにより、ワーク画像解析装置1は、1つの視覚センサの撮像範囲に収まらないような大きなワークであっても、ワーク全体の画像を取得することができる。
また、複数枚の画像は、視覚センサの相対移動のほかに、複数の視覚センサの撮像によって取得するようにしてもよい。
このとき、解析対象の指定に関して、例えばステップS4の解析対象の指定では複数枚の画像のそれぞれに対して解析対象を指定できるようにして、ステップS7にて解析対象から抽出した特徴を統合するようにする、などしてもよい。
<変形例1-2>
また例えば、上述の実施形態では、視覚センサ18は、数値制御装置や工作機械の分解能の設定情報に基づいて、物理量の算出に際して必要な分解能が得られるように視覚センサの相対移動を行ってから撮像するようにしてもよい。
例えば、数値制御装置が工作機械を1μmの位置決め分解能で制御するように設定されている場合を考える。
このとき、例えばユーザが指定した解析対象が直方体ワークで、解析項目が「重心位置」であった場合、最終的に物理量算出部で算出される物理量は、その物理量を工作機械で利用するために、多くの場合数μm以下の分解能が必要とされる。
一般に、視覚センサを用いた画像測定では、視覚センサの分解能の目安は視覚センサの撮像範囲に対する画素数の比率で表される。例えば、視覚センサの撮像範囲が10cm四方であるのに対してカメラの画素数が縦1000×横1000である場合、分解能の目安は100μmである。
この視覚センサの分解能は、例えば視覚センサとワークとの相対位置を接近させて視覚センサの撮像範囲を狭くすることによって向上することができる。
このため、例えば数値制御装置の分解能の設定情報を目標分解能とした場合、解析対象の指定はワーク全体を視野に収めるような広い範囲を撮像した画像上で行い、ステップS6で解析対象の特徴を抽出する以前に、目標となる分解能が得られるように視覚センサを相対移動させてからもう一度撮像するようにしてもよい。また、視覚センサをどのように相対移動しても目標となる分解能が得られないような場合は、例えば警告メッセージを表示するようにしてもよい。
これにより、物理量の算出に際して必要な分解能を得ることができる。
<変形例2>
また例えば、上述の実施形態では、ワーク画像解析装置1は、解析対象の指定及び解析対象の構造的特徴を取得した後、ユーザに解析項目を選択させたが、これに限定されない。例えば、ワーク画像解析装置1は、ユーザに解析項目を選択させた後、解析対象の指定及び解析対象の構造的特徴を取得してもよい。
そうすることで、ワーク画像解析装置1は、解析項目の選択によって解析対象が限定されるため、解析対象となる構造的特徴をより適切に検出することが可能となる。
<変形例3>
また例えば、上述の実施形態では、ワーク画像解析装置1は、解析項目の候補をリストアップした後、解析履歴DB16cに基づいて解析項目の候補をランク付けしたが、これに限定されない。例えば、ワーク画像解析装置1は、ランク付けすることなく、すべての解析項目の一覧をリストアップするだけでもよい。
また、ワーク画像解析装置1は、解析履歴DB16cだけでなく、機械学習を用いた推定器に基づいて解析項目をリストアップしてもよい。
<変形例4>
また例えば、上述の実施形態では、視覚センサ18は、深度カメラあるいは3Dカメラとしたが、これに限定されない。例えば、ワークの形状が予め分かっており、前記ワークの高さが一定の場合には、視覚センサ18は2Dカメラでもよい。以下、視覚センサ18を2Dカメラとして説明する。
例えば、図13の円筒ワークの場合、視覚センサ18は、真上から円筒ワークを撮像する。画像取得部11bは、視覚センサ18により真上から撮像された円筒ワークの画像データを取得し、UI表示制御部11aは、取得された画像をUI画面に表示する。解析対象指定部11cは、図13の場合と同様に、ユーザにより入力された解析対象を指定する囲み線を取得する。そして、特徴抽出部11dは、取得された囲み線を初期値としてスネーク法により、太線で示す円筒外側の輪郭線を抽出する。次に、特徴抽出部11dは、スネーク法で抽出した輪郭線とその内側を解析対象領域として、解析対象領域内の画像特徴(輪郭)をすべて抽出する。これにより、図14の場合と同様に、特徴抽出部11dは、円筒ワークの外側と内側との太線で示す2つの輪郭線を抽出することができる。なお、特徴抽出部11dは、CADデータや加工プログラム等の追加情報を用いて解析対象の構造的特徴を絞り込んでもよい。また、ユーザがディスプレイ上で指定するようにしてもよい。
また、特徴抽出部11dは、画像上では歪みがあり、実世界とスケールも異なっている円筒ワークを正確に測定できるよう、合焦法により予め算出された視覚センサ18と円筒ワークとの間の距離、及び画像座標系とテーブル座標系との変換式とに基づいて、抽出した輪郭線上の各点を実世界の座標系(テーブル座標系)に変換する。これにより、図14の場合と同様に、特徴抽出部11dは、テーブル座標系に変換された輪郭に対して円検出や直線検出等を行い、解析対象領域が同心円2つからなる、という構造的特徴を取得することができる。
また、特徴抽出部11dは、例えば、事前に取得したテーブルの輝度値と解析対象領域の周囲の輝度値が同じであることから、解析対象領域の周囲は高さ「0」のテーブルであることが分かるため、解析対象領域が周囲(テーブル)と比べてZ方向に突き出ているという構造的特徴も取得することができる。その後の処理は、視覚センサ18が深度カメラあるいは3Dカメラの場合の処理と同じであり、説明を省略する。
なお、同一のワークを量産する際、1つ目のワークについて使用された解析対象領域や特徴、物理量算出のステップ、カメラの相対移動の情報、またはワーク画像などを保存しておき、2つ目以降のワークにおいて、1つ目のワーク画像との位置・角度の移動量を算出し、1つ目のワーク用に作成した解析対象領域や特徴の座標値に前記移動量を加算し、物理量算出のステップを修正することにより、2つ目以降のワークに対するユーザによる解析対象の指定操作と解析項目の決定操作をスキップし、解析動作を完全に自動化するようにしてもよい。
なお、一実施形態に係るワーク画像解析装置1に含まれる各機能は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
また、ワーク画像解析装置1に含まれる各構成部は、電子回路等を含むハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(Non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(Tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(Transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は、無線通信路を介して、プログラムをコンピュータに供給できる。
なお、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
以上を換言すると、本開示のワーク画像解析装置、ワーク画像解析方法、及びプログラムは、次のような構成を有する各種各様の実施形態を取ることができる。
(1)本開示のワーク画像解析装置1は、産業機械による加工対象のワークの画像を表示する表示部15と、ワークの画像に対する解析対象の指定を受け付ける解析対象指定部11cと、解析対象指定部11cによって指定された解析対象の構造的特徴を実世界の座標系で抽出する特徴抽出部11dと、ワークの画像に対する解析項目の指定を受け付ける解析項目設定部11eと、解析対象の構造的特徴から解析項目設定部11eによって指定された解析項目に係る物理量の算出に必要となる特徴を抽出し、抽出された特徴を用いて物理量を算出する物理量算出部11fと、を備える。
このワーク画像解析装置1によれば、ワークの計測に要する作業負担を低減することができる。
(2) (1)に記載のワーク画像解析装置1において、解析項目設定部11eは、解析対象の構造的特徴に対する解析項目の候補をランク付けして表示してもよい。
そうすることで、ワーク画像解析装置1は、ユーザが所望する解析項目を確実に指定することができる。
(3) (1)又は(2)に記載のワーク画像解析装置1において、ワークの画像は、当該ワークの2次元又は3次元の撮像画像及び当該ワークのCADデータの画像の少なくともいずれかであってもよい。
そうすることで、ワーク画像解析装置1は、解析対象の構造的特徴を正確に取得することができる。
(4)本開示のワーク画像解析方法は、産業機械による加工対象のワークの画像を表示する表示ステップと、ワークの画像に対する解析対象の指定を受け付ける解析対象指定ステップと、解析対象指定ステップにおいて指定された解析対象の構造的特徴を実世界の座標系で抽出する特徴抽出ステップと、ワークの画像に対する解析項目の指定を受け付ける解析項目設定ステップと、解析対象の構造的特徴から解析項目設定ステップにおいて指定された解析項目に係る物理量の算出に必要となる特徴を抽出し、抽出された特徴を用いて物理量を算出する物理量算出ステップと、を備える。
このワーク画像解析方法によれば、(1)と同様の効果を奏することができる。
(5)本開示のプログラムは、コンピュータに、産業機械による加工対象のワークの画像を表示する表示制御機能と、ワークの画像に対する解析対象の指定を受け付ける解析対象指定機能と、解析対象指定機能において指定された解析対象の構造的特徴を実世界の座標系で抽出する特徴抽出機能と、ワークの画像に対する解析項目の指定を受け付ける解析項目設定機能と、解析対象の構造的特徴から解析項目設定機能において指定された解析項目に係る物理量の算出に必要となる特徴を抽出し、抽出された特徴を用いて物理量を算出する物理量算出機能と、を実現させる。
このプログラムによれば、(1)と同様の効果を奏することができる。
1 ワーク画像解析装置
11 CPU
11a UI表示制御部
11b 画像取得部
11c 解析対象指定部
11d 特徴抽出部
11e 解析項目設定部
11f 物理量算出部
12 ROM
13 RAM
14 入力部
15 表示部
16 記憶部
16a 画像データベース
16b 解析対象特徴データベース
16c 解析履歴データベース
17 通信部
18 視覚センサ

Claims (5)

  1. 産業機械による加工対象のワークの画像を表示する表示部と、
    前記ワークの画像において、少なくとも前記ワークの外形の一部分を示す線、前記ワークの領域の少なくとも一部分を含む内部領域、又は前記ワークの領域内の少なくとも1点のいずれか1つを含む解析対象の指定を受け付ける解析対象指定部と、
    前記解析対象指定部によって指定された前記解析対象を前記ワークの画像から特定して前記解析対象の構造的特徴を検出し、前記ワークの距離画像、及び画像座標系とテーブル座標系との変換式に基づいて、検出した前記構造的特徴を実世界の座標系で抽出する特徴抽出部と、
    検出された前記解析対象の前記構造的特徴に対して行われる解析項目の指定を受け付ける解析項目設定部と、
    前記解析対象の構造的特徴から前記解析項目設定部によって指定された解析項目に係る物理量の算出に必要となる特徴を抽出し、抽出された前記特徴を用いて前記物理量を算出する物理量算出部と、
    を備えるワーク画像解析装置。
  2. 前記解析項目設定部は、前記解析対象の構造的特徴に対する解析項目の候補をランク付けして表示する、請求項1に記載のワーク画像解析装置。
  3. 前記ワークの画像は、当該ワークの2次元又は3次元の撮像画像及び当該ワークのCADデータの画像の少なくともいずれかである、請求項1又は請求項2に記載のワーク画像解析装置。
  4. 産業機械による加工対象のワークの画像を表示する表示ステップと、
    前記ワークの画像において、少なくとも前記ワークの外形の一部分を示す線、前記ワークの領域の少なくとも一部分を含む内部領域、又は前記ワークの領域内の少なくとも1点のいずれか1つを含む解析対象の指定を受け付ける解析対象指定ステップと、
    前記解析対象指定ステップにおいて指定された前記解析対象を前記ワークの画像から特定して前記解析対象の構造的特徴を検出し、前記ワークの距離画像、及び画像座標系とテーブル座標系との変換式に基づいて、検出した前記構造的特徴を実世界の座標系で抽出する特徴抽出ステップと、
    検出された前記解析対象の前記構造的特徴に対して行われる解析項目の指定を受け付ける解析項目設定ステップと、
    前記解析対象の構造的特徴から前記解析項目設定ステップにおいて指定された解析項目に係る物理量の算出に必要となる特徴を抽出し、抽出された前記特徴を用いて前記物理量を算出する物理量算出ステップと、
    を備えるワーク画像解析方法。
  5. コンピュータに、
    産業機械による加工対象のワークの画像を表示する表示制御機能と、
    前記ワークの画像において、少なくとも前記ワークの外形の一部分を示す線、前記ワークの領域の少なくとも一部分を含む内部領域、又は前記ワークの領域内の少なくとも1点のいずれか1つを含む解析対象の指定を受け付ける解析対象指定機能と、
    前記解析対象指定機能において指定された前記解析対象を前記ワークの画像から特定して前記解析対象の構造的特徴を検出し、前記ワークの距離画像、及び画像座標系とテーブル座標系との変換式に基づいて、検出した前記構造的特徴を実世界の座標系で抽出する特徴抽出機能と、
    検出された前記解析対象の前記構造的特徴に対して行われる解析項目の指定を受け付ける解析項目設定機能と、
    前記解析対象の構造的特徴から前記解析項目設定機能において指定された解析項目に係る物理量の算出に必要となる特徴を抽出し、抽出された前記特徴を用いて前記物理量を算出する物理量算出機能と、
    を実現させるプログラム。
JP2021570071A 2020-01-09 2021-01-06 ワーク画像解析装置、ワーク画像解析方法、及びプログラム Active JP7397100B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2020001837 2020-01-09
JP2020001837 2020-01-09
JP2020207340 2020-12-15
JP2020207340 2020-12-15
PCT/JP2021/000228 WO2021141051A1 (ja) 2020-01-09 2021-01-06 ワーク画像解析装置、ワーク画像解析方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021141051A1 JPWO2021141051A1 (ja) 2021-07-15
JP7397100B2 true JP7397100B2 (ja) 2023-12-12

Family

ID=76788692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021570071A Active JP7397100B2 (ja) 2020-01-09 2021-01-06 ワーク画像解析装置、ワーク画像解析方法、及びプログラム

Country Status (5)

Country Link
US (1) US20230066200A1 (ja)
JP (1) JP7397100B2 (ja)
CN (1) CN114930388A (ja)
DE (1) DE112021000500T5 (ja)
WO (1) WO2021141051A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7243615B2 (ja) * 2019-12-23 2023-03-22 コベルコ建機株式会社 ガイダンスシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010103A (ja) 2012-07-02 2014-01-20 Mitsutoyo Corp 形状解析方法および形状解析プログラム
JP2018004497A (ja) 2016-07-04 2018-01-11 株式会社キーエンス 画像測定装置
JP2018018155A (ja) 2016-07-25 2018-02-01 ファナック株式会社 カメラを使って計測動作を自動化する機能を備えた数値制御装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010103A (ja) 2012-07-02 2014-01-20 Mitsutoyo Corp 形状解析方法および形状解析プログラム
JP2018004497A (ja) 2016-07-04 2018-01-11 株式会社キーエンス 画像測定装置
JP2018018155A (ja) 2016-07-25 2018-02-01 ファナック株式会社 カメラを使って計測動作を自動化する機能を備えた数値制御装置

Also Published As

Publication number Publication date
DE112021000500T5 (de) 2022-11-24
US20230066200A1 (en) 2023-03-02
CN114930388A (zh) 2022-08-19
WO2021141051A1 (ja) 2021-07-15
JPWO2021141051A1 (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
US20200033109A1 (en) Workpiece measurement device, workpiece measurement method and non-transitory computer readable medium recording a program
CN109658398B (zh) 一种基于三维测量点云的零件表面缺陷识别与评估方法
US20110035952A1 (en) Display of results of a measurement of workpieces as a function of the detection of the gesture of a user
JP4865147B2 (ja) ディスプレイ顕微鏡画像を用いたパターン測定方法及び測定システム
CN107429997B (zh) 用于确定测量对象的尺寸特性的方法和装置
CN102628669A (zh) 尺寸测量设备、尺寸测量方法及用于尺寸测量设备的程序
KR20150128300A (ko) 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
JPH0721238A (ja) 三次元形状加工物の評価装置
US20180290300A1 (en) Information processing apparatus, information processing method, storage medium, system, and article manufacturing method
EP2387000B1 (en) Image measuring apparatus, program, and teaching method of image measuring apparatus
CN104634242A (zh) 探针补点系统及方法
CN108120391A (zh) 信息处理设备和方法、存储介质和物品制造方法
JP6599697B2 (ja) 画像測定装置及びその制御プログラム
JP7397100B2 (ja) ワーク画像解析装置、ワーク画像解析方法、及びプログラム
JP2012037257A (ja) 測定設定データ作成装置、測定設定データ作成方法及び測定設定データ作成装置用のプログラム
JP6784802B2 (ja) き裂検査装置およびき裂検査方法
JP7083630B2 (ja) 測定装置及び測定システム
US11195294B2 (en) Image measurement method, image measurement program, image measurement device, and object manufacture method
JP6596221B2 (ja) き裂検査装置およびき裂検査方法
JP3765061B2 (ja) 多次元形状の座標計測機用オフライン・ティーチング・システム
JP6202875B2 (ja) 画像測定装置及びその制御用プログラム
WO2020065854A1 (ja) ワーク位置検出方法及び工作機械
JP6653539B2 (ja) 画像測定装置、その制御プログラム及び測定装置
US20240272086A1 (en) Surface inspection system and method
Cheng et al. Deep learning–based intelligent measurement methods and system for CMM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231130

R150 Certificate of patent or registration of utility model

Ref document number: 7397100

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150