JP6765791B2 - パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体 - Google Patents

パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP6765791B2
JP6765791B2 JP2015165595A JP2015165595A JP6765791B2 JP 6765791 B2 JP6765791 B2 JP 6765791B2 JP 2015165595 A JP2015165595 A JP 2015165595A JP 2015165595 A JP2015165595 A JP 2015165595A JP 6765791 B2 JP6765791 B2 JP 6765791B2
Authority
JP
Japan
Prior art keywords
image
work
reference image
pattern matching
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015165595A
Other languages
English (en)
Other versions
JP2017045166A (ja
Inventor
慶 渡辺
慶 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015165595A priority Critical patent/JP6765791B2/ja
Priority to US15/239,693 priority patent/US20170061209A1/en
Publication of JP2017045166A publication Critical patent/JP2017045166A/ja
Application granted granted Critical
Publication of JP6765791B2 publication Critical patent/JP6765791B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Studio Devices (AREA)

Description

本発明は、パターンマッチング処理を行うための基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、対象物の認識方法、プログラム、及び記録媒体に関する。
カメラを用いてワークを撮影して取得したワーク画像について基準画像(テンプレート)を用いてパターンマッチング処理を行うことにより、ワークの認識、位置決め、測定等の処理を行うロボット装置等の処理装置が実用化されている。
従来の処理装置は、実際の処理装置に保持させた実際のワークを、ワーク画像の撮影に使用するカメラを用いて撮影して原画像を取得し、取得した原画像を画像処理して基準画像を作成していた。
従来の処理装置は、処理するワークの色彩や照明状態が変化すると、取得したワーク画像で基準画像を用いてパターンマッチング処理した際のマッチングスコアが低下することがあった。
そこで、特許文献1では、ワーク画像の原画像に対して複数通りの色彩効果や照明方向の変化を加える画像処理を行って撮影条件ごとの原画像を取得し、撮影条件ごとの原画像をそれぞれ画像処理して撮影条件ごとの基準画像を作成している。そして、処理装置では撮影条件ごとの基準画像を記憶保持し、撮影条件ごとの基準画像の中から1つの基準画像を選択してパターンマッチング処理を行っている。
特開平10−213420号公報
原画像に画像処理で撮影条件の違いを人工的に付加した場合、実際のワークにおける実際の撮影条件の違いをうまく表現できなくて、そのような原画像から作成した基準画像では、パターンマッチング処理のマッチング精度が損なわれる場合がある。そこで、実際のワークで実際に撮影条件を少しずつ異ならせて撮影を行って撮影条件ごとの原画像を取得し、撮影条件ごとの原画像を画像処理して撮影条件ごとの基準画像を作成することが提案された。ワークの色彩や照明状態を少しずつ異ならせて多数の原画像を取得し、多数の原画像をそれぞれ画像処理して多数の基準画像を作成しておくことが提案された。
しかし、実際の処理装置において、ワークの色彩や照明状態を少しずつ異ならせて多数の原画像を取得することは容易ではなく、加えて、ワークを撮影して原画像を取得している間、実際の処理装置においてダウンタイムが発生する。
本発明は、実際の処理装置にダウンタイムを発生させることなく、実際の処理装置においてパターンマッチング処理の精度を高く確保できるワークの処理方法、基準画像の作成方法、基準画像の作成装置、ワークの処理装置、プログラム、及び記録媒体を提供することを目的としている。
本発明は、第2のカメラで撮影した画像とのパターンマッチングに用いるパターンマッチング用の基準画像セットの作成方法であって、ワークの撮影条件を変更し、それぞれの撮影条件ごとに第1のカメラを備えたシステムにて前記ワークを撮影して、複数の原画像を取得するステップと、前記複数の原画像それぞれに画像処理を行って、複数の基準画像を生成するステップと、前記複数の基準画像から、互いに倍率が異なる複数の基準画像のセットを生成するステップと、前記第2のカメラを備えたシステムを用いて前記ワークを撮影したワーク画像を取得するステップと、前記互いに倍率が異なる複数の基準画像のセットに含まれる各々の基準画像と、前記ワーク画像とのマッチングを行うステップと、前記マッチングの結果に基づいて、前記互いに倍率が異なる複数の基準画像のセットの中からいずれかの倍率の基準画像のセットをパターンマッチング用の基準画像セットとして選択するステップと、を有することを特徴とするパターンマッチング用の基準画像セットの作成方法である。
また、本発明は、ワークの撮影条件を変更して設定可能な設定部と、入出力部と、第1のカメラを制御する制御部と、を備え、前記制御部は、前記設定部を制御して前記ワークの撮影条件を変更し、それぞれの撮影条件ごとに前記第1のカメラにて前記ワークを撮影して、複数の原画像を取得するステップと、前記複数の原画像それぞれに画像処理を行って、複数の基準画像を生成するステップと、前記複数の基準画像から、互いに倍率が異なる複数の基準画像のセットを生成するステップと、前記入出力部から第2のカメラにより前記ワークを撮影したワーク画像を取得するステップと、前記互いに倍率が異なる複数の基準画像のセットに含まれる複数の基準画像と、前記ワーク画像とのマッチングを行うステップと、前記マッチングの結果に基づいて、前記互いに倍率が異なる複数の基準画像のセットの中からいずれかの倍率の基準画像のセットをパターンマッチング用の基準画像セットとして選択するステップと、前記選択したパターンマッチング用の基準画像セットを前記入出力部から出力するステップと、を実行する、ことを特徴とするパターンマッチング用の基準画像セットの作成装置である。
本発明のワークの処理方法では、第2カメラを有するワークの処理装置とは別の第1カメラを有する基準画像の作成装置において基準画像を作成する。このため、ワークの処理装置にダウンタイムを発生させることなく、ワークの処理装置においてパターンマッチングの精度を高く確保できる基準画像を作成可能である。
実施の形態1における処理装置の機能ブロック図である。 処理装置のハードウエア構成の説明図である。 処理装置における基準画像の選択処理のフローチャートである。 画像データからエッジを抽出する方法の説明図である。 処理装置におけるワークの計側・検査処理のフローチャートである。 基準画像作成装置の機能ブロック図である。 基準画像作成装置のハードウエア構成の説明図である。 原画像の撮影制御のフローチャートである。 特徴量選択処理のフローチャートである。 基準画像のセットの説明図である。 基準画像の倍率の説明図である。 基準画像の作成処理のフローチャートである。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
<実施の形態1>
(処理装置)
図1は実施の形態1における処理装置の機能ブロック図である。図2は処理装置のハードウエア構成の説明図である。図1中、画像記録部103、基準選択部105、基準登録部106、測定検査部107などの機能は、コンピュータ120で実行されるプログラムとして実現されている。
図1に示すように、処理装置100は、テーブル111に装着されたワーク102を計測・検査する。カメラ101は、ワーク102を含むテーブル111上の範囲を撮影する。照明110は、ワーク102を照明する。
画像撮影部112は、カメラ101及び照明110を制御してワーク102を撮影する。画像記録部103には、カメラ101によりワーク102を撮影して取得したワーク画像の画像データが保持される。画像記録部103に保持されたワーク画像の画像データは、測定検査部107に転送されてワークの測定・検査に使用される。
入力部104には、図6に示す基準画像作成装置600で作成された基準画像(テンプレート)が記憶されている。基準画像は、撮影したワーク画像との間でパターンマッチング処理を実行されるエッジデータである。
基準選択部105は、画像記録部103に記憶されたワーク画像について、入力部104に記憶された基準画像を用いてパターンマッチング処理を行い、後述するように、最もマッチングスコアが高い基準画像を選択する。
基準登録部106は、基準選択部105により選択された基準画像を登録して、ワークの機種や塗装色が変更されるまで、基準登録部106に登録した基準画像を専ら使用してワークの計測・検査を行わせる。
測定検査部107は、ワークごとに画像記録部103に記憶されるワーク画像について、基準登録部106に登録された基準画像を用いてパターンマッチング処理を行い、処理結果に基づいてワークの計測・検査を行う。
出力部109は、測定検査部107において計測・検査された結果を出力する。表示部108は、基準画像の選択過程、画像形成処理の途中経過等を表示する。
図2に示すように、コンピュータ120のCPU202は、ROM203、RAM204、ハードディスク205、インターフェース206、入力部201、出力部109、表示部108等の構成要素にバス結合されている。
カメラ101は、ワーク102を撮影して撮影画像を、ワーク画像のデジタルデータへ変換する。カメラ101の撮影画像の画像データは、入力部201へ入力される。
CPU202は、マイクロプロセッサからなり、データの計算・加工を行う。CPU202は、ROM203に記憶されたプログラムを実行し、RAM204、ハードディスク205、入力部201等からデータを受け取って演算・加工し、表示部108、ハードディスク205、出力部109等に出力する。
ROM203は、一度書き込まれた情報を読み出すための記憶装置であり、各種制御のプログラム及びデータが格納されている。RAM204は、半導体素子を利用した記憶装置であって、CPU202が実行する処理のためのデータの一時記憶などに使用される。ハードディスク205は、撮影画像のデータ、基準画像(テンプレート)等、サイズの大きいデータを保持する外部記憶装置である。
インターフェース206は、データと各種信号とを相互に変換し、信号線を通じてカメラ101、照明110を制御する。また、光ファイバ、LANケーブル等を通じて外部のサーバー、コンピュータ、通信機と通信する。
表示部108は、処理過程を表示する画面や、操作入力を行う画面の画像信号を生成して、外部のCRTディスプレイ、液晶ディスプレイ、プラズマディスプレイなどへ送出する。入力部109は、キーボード、タッチパネル、マウスなどのポインティングデバイスを含む。出力部207は、データ出力のための出力端子を持っている。
(基準画像の選択処理)
図3は処理装置における基準画像の選択処理のフローチャートである。図2を参照して図3に示すように、CPU202は、ハードディスク205から基準画像を読み込む(S1)。CPU202は、パターンマッチング処理を行うためのパラメータを読み込む(S2)。読み込むパラメータは、パターンマッチングのスコア閾値、探索角度、探索スケール、探索領域等である。
CPU202は、カメラ101により撮影したワーク画像の画像データをハードディスク205から取得する(S3)。CPU202は、ワーク画像の画像データを画像処理して、エッジを抽出し、抽出されたワーク画像のエッジと1つの基準画像のパターンマッチング処理を行って(S4)、マッチングスコアを保存する(S5)。
CPU202は、ハードディスク205から読み込んだすべての基準画像を順番に用いて(S6のNo)、抽出されたワーク画像のエッジについてパターンマッチング処理を行って、マッチングスコアを評価する(S4、S5)。そして、すべての基準画像についてパターンマッチング処理が終了すると(S6のYes)、マッチングスコアに基づいて、複数の基準画像の中から1つの倍率の基準画像のセットを選択する(S7)。具体的には、マッチングスコアが閾値スコアを超えたものの中からスコアが一番高いものを選択する。スコア閾値は、事前に誤検知しない閾値を算出しておく。
CPU202は、図10の(b)に示すように、それぞれ倍率の異なる複数セットの基準画像(テンプレート)の中から、ワーク画像にスケールが合った1つの倍率の基準画像のセットを選択する(S7)。これにより、処理装置100とは異なる図6の基準画像作成装置600を用いて作成した基準画像と、カメラ101で撮影したワーク画像のスケール誤差が吸収される。
以上説明したように、記憶部の一例であるハードディスク205は、撮影条件ごとに複数段階に倍率を異ならせた複数セットの基準画像を記憶している。CPU202は、撮影工程、及び選択工程を実行する。撮影工程では、CPU202がカメラ101によりワークを撮影してワーク画像を取得する。
選択工程では、カメラ101によりワークを撮影してワーク画像を取得し、ワーク画像と複数の基準画像とをパターンマッチング処理して複数の基準画像の中から処理装置100で使用する基準画像のセットを選択する。CPU202が、ハードディスク205から呼び出した複数段階に倍率を異ならせた複数の基準画像の中から1つの倍率の基準画像のセットを選択する。
(パターンマッチング)
図4は画像データからエッジを抽出する方法の説明図である。図4中、(a)は画像データ、(b)は1つの注目画素におけるエッジ強度である。
パターンマッチング処理は、ワーク画像上に設定された探索領域内において、予め登録された基準画像(テンプレート)との類似度が最も高くなる位置を探索する処理である。そして、探察した位置における入力画像と基準画像の類似度(マッチングスコア)が、閾値(スコア閾値)よりも大きい場合に、マッチング成功とし、その位置の中で最もスコアが高い位置をマッチング位置として出力する。ここでは、ワーク画像から抽出したエッジ画像と基準画像とのパターンマッチング処理を説明する。
図4の(a)に示すように、ワーク画像のすべての画素のうちで、勾配強度Eが所定の閾値以上である画素、すなわちエッジを抽出する。エッジ抽出では、ワーク画像におけるすべての画素の輝度の勾配強度及び勾配方向を算出する。勾配強度は、x方向およびy方向のソーベルフィルタを使用して算出される。個々の画素でx軸方向勾配強度Exと、y軸方向勾配強度Eyと、をそれぞれ算出する。
図4の(b)に示すように、個々の画像における最終的な勾配強度Eは、x軸方向勾配強度Exとy軸方向勾配強度Eyの二乗和の平方根として、次式により算出する。
Figure 0006765791
また、このときの勾配方向θは、x軸方向勾配強度Exとy軸方向勾配強度Eyとを用いて次式により算出する。
Figure 0006765791
そして、ワーク画像のすべての画素のうちで、勾配強度Eが所定の閾値以上である画素を選択してワーク画像のエッジを抽出する。続いて、抽出されたエッジと1つの基準画像とのパターンマッチング処理を行って基準画像を評価する。抽出されたエッジの画像データ上のすべての画素について画素単位でその検出位置(i,j)における基準画像のマッチングスコアSijを次式により算出する。
Figure 0006765791
ここで、局所スコアSkは、候補モデルのモデルエッジ点毎に算出されるスコアであり、次式により算出する。次式において、θTkは抽出されたエッジのエッジ点毎の勾配方向であり、θMkはモデルエッジのエッジ点毎の勾配方向である。
Figure 0006765791
局所スコアSkとマッチングスコアSijとは、共に取り得る値が−1〜1となり、1に近いほどパターンマッチングのレベルが高いことを意味する。
(ワーク処理)
図5は処理装置におけるワークの計側・検査処理のフローチャートである。図5に示すように、CPU202は、ワークの処理に用いるために選択された基準画像のセットをハードディスク205から読み込む(S11)。基準画像は、エッジデータである。CPU202は、上述したように、後のパターンマッチング処理等を行うためのパラメータを読み込む(S12)。
CPU202は、入力部201に記録されたワーク画像の画像データを取得する(S13)。CPU202は、取得したワーク画像の画像データからエッジを抽出する(S14)。CPU202は、ワーク画像の画像データから抽出されたエッジと基準画像とのパターンマッチング処理を行う(S14)。ここで、ワーク画像の画像データからエッジを抽出する方法及びパターンマッチング処理の方法は、上述した処理と同じなので説明を省略する。
CPU202は、パターンマッチング処理で取得したマッチングスコアを保存する(S15)。CPU202は、1つの倍率の基準画像のセットに含まれるすべての基準画像について(S16のNo)、同様に、抽出されたエッジの画像データに対するパターンマッチング処理を行う(S14、S15)。そして、すべての基準画像についてパターンマッチング処理が終了すると(S16のYes)、保存されたマッチングスコアに基づいて、複数の基準画像の中から1つの基準画像を選択する(S17)。パターンマッチングのスコアが閾値スコアを超えたものの中から、スコアが一番高いものを選択する。スコア閾値は、事前に誤検知しない閾値を算出しておく。
CPU202は、パターンマッチング処理の結果に基づきワーク102の計測・検査を行う(S17)。CPU202は、パターンマッチング処理の結果を表示部108に表示させ、出力部109により外部装置に出力する。
以上説明したように、CPU202が実行する処理工程では、選択工程において選択した基準画像を用いて、カメラ101により取得したワーク画像をパターンマッチング処理し、処理結果に基づいてワークの処理を行う。CPU202が、撮影工程により取得したワーク画像と、選択工程により選択された基準画像のセットと、を用いてワークを処理する。
(比較例)
FA(Factory Automation)分野では、ワークの有無やワークの位置・姿勢などを光学的に測定するために、或いは、ワークに生じる不良や塗られた塗布剤の検査などを行うために、カメラ(視覚センサ)が用いられている。
ワークの測定・検査・位置決めを行う手法の典型例として、カメラにより撮影した撮影画像に対して予め準備された基準画像(テンプレート)をパターンマッチング処理する手法が用いられている。
一般的な製造装置の開発業務は、設計工程、製作工程、試運転工程の3つの工程を含む。製作工程において製造装置が組立てられた後、試運転工程において実際に製造装置にワークを保持させて原画像を撮影し、製造装置においてパターンマッチング処理に用いる基準画像を作成している。しかし、製造装置が使用される生産現場では、ワークの撮像位置がずれたり、ワークの照明状態が変動したりする。このような外乱が発生すると、ワーク画像と基準画像(テンプレート)との類似度が最も高くなる位置におけるマッチングスコアが閾値に満たなくなって、マッチングエラーが出力され、製造装置が強制停止される。
そのため、製造装置では、このような外乱が生じた場合でも安定してパターンマッチング処理が行えるような基準画像を使用する必要がある。そして、カメラで撮影した原画像からワークのエッジ画像を選択して基準画像を作成する場合、ワークのどのエッジを選択するかで、パターンマッチング処理のロバスト性が大きく左右される。
このため、経験を積んだ技術者が試行錯誤して基準画像を作成する必要がある。そして、汎用性の高い基準画像を作成するためには、試行錯誤して撮影条件を異ならせた多数のワーク画像を撮影する必要がある。このため、ワーク画像の撮影だけでも膨大な時間がかかってしまう。
そこで、比較例では、図1示すように、処理装置100においてカメラ101で撮影された1枚のみの原画像に、複数種類の照明効果や傾き効果をシミュレーション画像処理で付加して、撮影条件の異なるワーク画像を人為的に作成している。そして、人為的に作成した複数種類のワーク画像をそれぞれ画像処理して多数の基準画像を含む基準画像のセットを作成して入力部104に記憶させている。
そして、比較例では、撮影したワーク画像について、入力部104に記憶された1つの倍率の基準画像のセットに含まれる基準画像を順番に用いてパターンマッチング処理を行っている。そして、最もマッチングスコアの高い基準画像を選択することで、照明変化、傾き変化等に対応させている。これにより、生産現場におけるワーク画像の撮影回数が削減されて、基準画像の作成のために発生する処理装置100のダウンタイムを削減している。比較例では、単純なスケールの違いや多少の照明状態の変化であれば、シミュレーション画像処理によって精度の高いワーク画像を再現できる。
しかし、比較例では、処理装置100で偶発的に発生するワークのカメラの光軸方向に対するRx,Ry,Rz方向(以下、あおり方向)の傾きに起因するワーク画像の微妙な保持状態や照明状態の変動を再現することは難しい。そのような画像に対応した基準画像の作成が困難であるため、比較例では、偶発的に誤認識、誤計測が起きてしまう可能性がある。
また、比較例では、準備された多数の基準画像のすべてに対してワーク画像とのパターンマッチング処理を行うため、撮影条件の種類や変動幅が増えるほど、処理装置の運転時に必要なパターンマッチング処理の回数が増えてしまう。その結果、生産現場におけるワークの計測・検査の合計の処理時間が長くなる。
そこで、実施の形態1では、図6に示すように、生産現場の外に基準画像作成装置600を準備して、撮影条件を異ならせた大量の基準画像を短時間で効率的に作成することを可能にした。そして、生産現場では、基準画像作成装置600で作成された原画像を処理装置100にダウンロードして記憶し、その中から短時間で撮影条件に合った最適な基準画像を選択できるようにした。上述したように、処理装置100は、記憶した基準画像の中から最適な基準画像を決定し、その基準画像を用いてワークの計測・検査を行っている。
(基準画像作成装置)
図6は基準画像作成装置の機能ブロック図である。図7は基準画像作成装置のハードウエア構成の説明図である。
図6に示すように、基準画像作成装置600は、カメラ601により撮影したワーク602の原画像から基準画像を作成する。ワーク602は、図1に示すワーク102と同一のものである。
基準画像作成装置600は、カメラ601、照明604、ロボットアーム603、コンピュータ620等を備える。画像記録部606、画像撮影部605、基準画像生成部607、特徴量選択部608は、コンピュータ620のプログラムとして仮想的に実現されている。
カメラ601は、ワーク602を撮影して、撮影画像をデジタルデータへ変換する。照明604は、LED照明で任意の明るさに調節可能である。ロボットアーム603は、ワーク602を把持してワーク602に任意の位置姿勢を取らせ得る。
設定部の一例であるロボットアーム603及び照明604は、ワークの撮影条件を変更して設定可能である。ワーク照明の一例である照明604は、カメラ601でワークを撮影する際のワークの照明状態を調整可能である。ワーク保持部の一例であるロボットアーム603は、多関節ロボットアームで構成され、カメラ601でワークを撮影する際のワークの支持状態を調整可能である。
撮影制御部の一例であるコンピュータ620は、撮影工程において、ロボットアーム603及び照明604によりワーク602に複数種類の撮影条件を設定し、カメラ601によりワーク602を撮影して、撮影条件ごとの原画像を取得させる。コンピュータ620は、照明604によりワークの照明状態を複数段階に異ならせ、ロボットアーム603によりワークの支持状態を複数段階に異ならせた多種類の組み合わせの撮影条件でそれぞれワークを撮影する。
画像撮影部605は、照明604によりワーク602の照明状態を変動させる。照明604の調整幅は、長時間の使用による照明604の輝度低下、環境光の変化、突発的な光の入射等、現場で起こりうる照明状態の変動範囲を考慮して、これよりも少し大きい範囲で変更可能である。例えば、照明604の寿命期間における輝度低下が20%以下であれば、照明604の明るさを80〜110%の範囲で変動させる。明るさのステップ数は、最大値、中央値、最小値の3段階を基本とするが、原画像の全体枚数がそれほど多くならない場合には、明るさのステップ数を4段階以上に設定してもよい。
画像撮影部605は、ロボットアーム603によりワーク602の支持状態を変動させる。ロボットアーム603の位置変動の範囲は、図1に示す処理装置100においてワーク602が撮像原点からずれる可能性のある範囲より少し大きい範囲である。例えば、カメラ601の光軸に対して、X,Y,Z方向に±5mm、Rx,Ry,Rz周りに±2°ずれる可能性がある場合、変動位置の範囲は、x,y,zの方向に±6mm、Rx,Ry,Rz周りに±2.4°とする。位置変動のステップ数は、各軸の変動量に対して最大値、中央値、最小値の3段階を基本とするが、変動させるパラメータの数が少なく、原画像の全体枚数がそれほど多くならない場合には、変動位置のステップを4段階以上に設定してもよい。
図7に示すように、コンピュータ620のCPU702は、ROM703、RAM704、ハードディスク705、インターフェース706、入力部610、出力部611、表示部609などの構成要素にバス結合されている。
カメラ601の撮影画像の画像データは、入力部610へ入力される。カメラ601は、ワーク602を撮影して撮影画像を、原画像のデジタルデータへ変換する。
CPU702は、マイクロプロセッサからなり、データの計算・加工を行う。CPU702は、ROM703に記憶されたプログラムを実行し、RAM704、ハードディスク705、入力部610等からデータを受け取って演算・加工し、表示部609、ハードディスク705、または出力部611に出力する。
ROM703は、一度書き込まれた情報を読み出すための記憶装置であり、各種制御のプログラム及びデータが格納されている。RAM704は、半導体素子を利用した記憶装置であって、CPU702が実行する処理のためのデータの一時記憶などに使用される。ハードディスク705は、大量のデータを保持する外部記憶装置である。
インターフェース706は、データと各種信号とを相互に変換し、信号線を通じてカメラ601、照明604を制御する。また、光ファイバ、LANケーブル等を通じて外部のサーバー、コンピュータ、通信機と通信する。
表示部609は、CRTディスプレイ、液晶ディスプレイ、プラズマディスプレイなどである。入力部610は、キーボード、タッチパネル、マウスなどのポインティングデバイスを含む。出力部611は、処理装置100に対するデータ出力のための出力端子を持っている。
(原画像の撮影)
図8は原画像の撮影制御のフローチャートである。図7を参照して図8に示すように、CPU702は、上述したように、後のパターンマッチング処理を行うためのパラメータを読み込む(S21)。
CPU702は、ロボットアーム603を作動させて、ワーク602を撮像原点に移動する(S22)。撮像原点は、カメラ601との関係において、図1に示す処理装置100におけるワーク102と同じ撮像位置及び姿勢をワーク602に取らせた状態である。CPU702は、撮影開始前に、複数の照明状態と複数の変動位置との組み合わせで規定される複数の撮影条件を設定する。
CPU702は、ロボットアーム603を作動させて、ワーク602を上述した変動位置の1つに移動させる(S23)。CPU702は、照明604を調整して、ワーク602に上述した照明状態の1つを設定する(S24)。CPU702は、カメラ601を作動させて撮影条件ごとの原画像を撮影する(S25)。
CPU702は、撮影条件ごとの原画像の画像データを出力する(S26)。出力する際に、撮影時にどのような撮影条件の変動を設定したかも画像データの付加情報として同時に出力する。付加情報は画像データのファイルに記載しても良いし、画像データに組み込んでも良いし、画像名に入れても良い。
CPU702は、すべての照明状態で撮影を行ったか否かを判断する(S27)。すべての照明状態が終了していない場合(S27のNo)、画像撮影部605は、プログラミングされた順序に従って残っている照明状態を次々に設定して(S24)、効率的かつ漏れなく撮影を実行する(S25)。そして、撮影したワーク画像の画像データを出力する(S26)。
すべての照明状態が終了している場合(S27のYes)、画像撮影部605は、すべての変動位置で撮像を行ったか否かを判断する(S28)。すべての変動位置が終了していない場合(S28のNo)、画像撮影部605は、プログラミングされた順序に従って残っている変動位置を次々に設定して(S23)、効率的かつ漏れなく変動位置ごとの撮影を実行する(S25)。そして、撮影した原画像の画像データを出力する(S26)。
すべての変動位置で撮影が終了している場合(S28のYes)、原画像撮影処理を終了する。
(原画像の画像処理)
図6に示すように、画像記録部606は、画像撮影部605により撮影された撮影条件ごとの原画像の画像データを記録する。画像記録部606に記録された原画像の画像データは特徴量選択部608に入力される。特徴量選択部608は、画像記録部606で記録された原画像の画像データから特徴となるエッジ画像を抽出し、エッジ画像の中から基準画像となりうるエッジを選択する。
基準画像生成部607は、特徴量選択部608によって作成された撮影条件ごとの第一段階の基準画像の倍率に変動を加えて複数段階の倍率を持たせた第二段階の基準画像を作成する。出力部611は、基準画像生成部607で作成された基準画像のセットを処理装置100へ送信する。
表示部609は、基準画像の選択過程、画像形成処理の途中経過、パターンマッチング処理に伴うマッチングスコア等を表示する。入力部610は、カメラ601以外にも、処理装置100や記録媒体やネットワークサーバー等からワーク602の原画像の画像データを入力可能である。入力部610から入力された原画像の画像データは特徴量選択部608に入力される。特徴量選択部608は、画像記録部606で記録された画像データ以外の原画像の画像データからエッジ画像を抽出し、その中から基準画像となりうるエッジを選択することも可能である。
(特徴量選択処理)
図9は特徴量選択処理のフローチャートである。図9に示すように、CPU702は、後のパターンマッチング処理を行うためのパラメータを読み込む(S31)。CPU702は、ハードディスク705から原画像の画像データを取得する(S32)。
CPU702は、取得した原画像の画像データからエッジ画像を抽出する(S33)。CPU702は、画像のエッジの抽出条件を設定して1枚の原画像からエッジを抽出する。そして、抽出されたエッジを用いて他の原画像をパターンマッチング処理してマッチングスコアを求め、抽出されたエッジとすべての原画像とのマッチングスコアが所定の基準を満たすようにエッジの抽出条件を修正する。原画像の画像データからエッジ画像を抽出する方法は、上述したワーク画像からエッジ画像を抽出する方法と同じなので説明を省略する。
CPU702は、抽出したエッジ画像の候補を表示部609に表示して、作業者にエッジ画像上で基準画像となりうるエッジを選択させる(S34)。CPU702は、原画像を画像処理して作成した基準画像の複数の候補を、表示部609を通じてユーザーが選択可能に表示させる。CPU702は、基準画像の候補を表示部609によりユーザーが編集可能に表示させる。経験を積んだ作業者が、表示部609の画像上に表示されているエッジ画像を見ながら、画像処理及びエッジ選択を行うことで、前述した変動要素に対してロバスト性の高いエッジ画像を作成することができる。
CPU702は、表示部609に表示した原画像のエッジ画像上で作業者によって必要なエッジが選択されると、選択されたエッジ画像を用いて、ハードディスク705の関連する原画像をパターンマッチング処理する。CPU702は、パターンマッチングが成功すると、マッチングスコアを演算して保存する(S35)。
CPU702は、撮影条件の異なる同一ワークの原画像のすべてに対してマッチングスコアが保存されるまで(S36のNo)、ハードディスク705から撮影条件の異なる次の原画像を取得して、パターンマッチング処理を実行する(S35)。
CPU702は、撮影条件の異なる同一ワークの原画像のすべてに対してマッチングスコアが保存されると(S36のYes)、保存されたすべてのマッチングスコアを閾値に比較する(S37)。
マッチングスコアが閾値よりも小さい原画像画像がある場合(S37のNo)、CPU702は、「エッジ画像の選択が不適当である」旨と「抽出したエッジ画像」とを表示部609に再び表示して、作業者にエッジの再選択を促す(S34)。
しかし、すべての原画像についてマッチングスコアが閾値を満たしている場合(S37のYes)、CPU702は、選択されたエッジ画像を表示部609に表示させ、出力部611に記録させる(S38)。
このような処理(S31〜S38)を、画像記録部606に記録されたすべての撮影条件の原画像の画像データについて繰り返すことで、撮影条件の変動に対してロバスト性の高いエッジ画像からなる基準画像が選択される。
(倍率変動)
図10は基準画像のセットの説明図である。図11は基準画像の倍率の説明図である。図11中、(a)は原画像から抽出されたエッジ、(b)は0.98倍に縮小した基準画像、(c)は1.00倍の基準画像、(d)は1.02倍に拡大した基準画像である。
作成装置の一例である基準画像作成装置600は、図10の(a)に示すように、位置変動と照明状態とを異ならせて多数の原画像Gを取得し、原画像Gを画像処理して撮影条件ごとの基準画像K1を作成する。ここでは、位置変動の個数を3つとしているが、実際には、位置変動の個数は、x,y,z方向に各三段階、Rx,Ry,Rz周りの回転に各二段階の乗数である72個である。
基準画像作成装置600は、カメラ601によりワーク200を撮影して取得した原画像Gを画像処理して、パターンマッチング処理に用いる基準画像K2を作成する。しかし、第1カメラの一例であるカメラ601は、第2カメラの一例であるカメラ101とは異なる。このため、カメラ601で撮影した原画像から作成した基準画像は、カメラ101で撮影したワーク画像とパターンマッチング処理した際に、原画像とワーク画像の倍率差に基づくマッチングスコアの低下を生じる。マッチングスコアが低下すると、パターンマッチング精度が低下したり、パターンマッチングが不可能になったりする。
そこで、実施の形態1では、図11の(b)、(c)、(d)に示すように、倍率をn段階に異ならせたn個の基準画像K2のセットを準備している。基準画像作成装置600は、図10の(b)に示すように、例えば基準画像K1の倍率を三段階に変化させた3セットの基準画像K2を作成する。
そして、処理装置100は、図10の(c)に示すように、nセットの基準画像K2の中から、ワーク画像Wにスケールが合った1つの倍率の基準画像K2のセットを選択する。処理装置100は、原画像Gよりも狭い位置変動範囲と照明状態の範囲でワーク画像Wを取得して、1セットの基準画像K2を用いたパターンマッチング処理を行い、処理結果に基づいてワーク200の計測・検査を実行する。
処理装置100は、図11の(c)に示すように、マッチングスコアが最も高くなる倍率の基準画像K2のセットを選択して、ワーク画像Wのパターンマッチング処理を行う。処理装置100は、倍率が異なるn段階の基準画像のセットの中から最もマッチングスコアが高い基準画像を含む基準画像のセットを用いてパターンマッチング処理を含むワーク200の計測・検査を行う。
第一段階の基準画像K1は、原画像Gを画像処理して適正に選択されたエッジ画像G2である。基準画像生成部607は、第一段階の基準画像K1に対して複数の倍率で拡大縮小を行うことにより、第二段階の基準画像K2を作成する。
図11の(a)に示すように、特徴量選択部608が1つのエッジ画像G2を基準画像生成部607に転送する。図11の(c)に示すように、基準画像生成部607は、エッジ画像G2の中で基準画像K1とする範囲全体を包含する最小矩形を作成する。図11の(b)、(d)に示すように、基準画像生成部607は、最小矩形の中心の位置を拡大縮小の原点として画像倍率を変化させることにより、n個の第二段階の基準画像K2を作成する。
ここで、拡大縮小の倍率の幅は、カメラのWDとカメラのピント位置の個体差のずれから算出する。例えば、カメラのWDが600mm、カメラのピント位置の個体差が±6mmの場合、2つのカメラで最も差が大きくなる場合でも対応できるよう、拡大縮小の倍率範囲を0.98倍〜1.02倍に定めて基準画像K2を生成する。
また、カメラの設置位置のずれなどカメラの個体差以外のずれ要因がある場合には、それも考慮した拡大縮小の倍率の幅に換算する。拡大縮小の刻み幅は任意の幅であり、ユーザーが指定してもよいし、メモリ使用量や処理速度から決めても良い。
(基準画像セット作成処理)
図12は基準画像の作成処理のフローチャートである。図7を参照して図12に示すように、CPU702は、後のパターンマッチング処理を行うためのパラメータを読み込む(S41)。
CPU702は、ハードディスク705から撮影条件ごとの基準画像を読み込む(S42)。CPU702は、読み込んだ1つの第一段階の基準画像に対して、複数の倍率で拡大縮小を行って複数の第二段階の基準画像を生成する(S43)。
CPU702は、同一倍率で撮影条件が異なる基準画像を基準画像のセットとして登録する(S44)。CPU702は、登録された基準画像のセットを処理装置100へ出力する(S45)。基準画像作成装置600で出力された基準画像のセットが処理装置100にダウンロードされる。
以上説明したように、画像処理部の一例であるコンピュータ620は、第1画像処理工程に続いて第2画像処理工程を実行して、撮影条件ごとの原画像を画像処理することにより複数段階の基準画像を作成する。第1画像処理工程では、コンピュータ620が、撮影工程により取得した複数種類の撮影条件に対応する複数種類の原画像をそれぞれ画像処理して撮影条件ごとの基準画像を作成する。第2画像処理工程では、コンピュータ620が、撮影条件ごとの原画像のそれぞれについて、5%以内の倍率差で複数段階に倍率を異ならせた基準画像のセットを作成する。
なお、最高倍率と最低倍率の差を5%としたことは、倍率差として50%、25%、200%を含まない意味である。低倍率の基準画像から高倍率の基準画像へ切り替えることで、パターンマッチングの演算量を削減する公知の技術を含まないためである。
(実施の形態1の効果)
実施の形態1では、現場の処理装置100とは別に設けた基準画像作成装置600により作成された基準画像のグループを使用して、処理装置100でワークの計測・検査を実行することが可能である。そのため、現場での基準画像の作成作業を大幅に削減でき、ある程度経験を積んだ作業者が、処理装置100に出向いて基準画像を作成する必要がない。処理装置100において基準画像の問題が生じた場合、基準画像作成装置600において、処理装置100で発生した問題を再現して、基準画像の検討を行い、新たな原画像を撮影して、基準画像生成部607で新たな基準画像を作成することができる。この間、処理装置100は、問題にならない範囲で稼働させ続けることができるので、基準画像の設定に伴う処理装置100の停止を最低限に抑えて、処理装置100の稼働率を向上させることができる。
実施の形態1では、現場の処理装置100では偶発的に発生するが、処理装置100で基準画像を作成する際には定常的に発生しにくい照明変動、角度変動等も、カメラ601でワーク602を撮影する際にきちんと評価して基準画像に反映できる。
実施の形態1では、現場の処理装置100では、意図的に発生しにくい突発的な撮影環境の変動等も事前に評価してロバスト性の高い基準画像を作成することが可能になる。生産現場では、偶発的に発生するが、モデル作成時において、現場で定常的に再現することが難しい変動、たとえば、あおり方向の画像変動に対しても、事前に対応できるロバスト性の高い基準画像を作成することができる。ロバスト性の高い基準画像を素早く作成することができるため、ワークの誤検知を減らして、計測・検査の精度を高めることができる。
実施の形態1では、現場の処理装置100とは別に設けた基準画像作成装置600により基準画像を作成したことにより生じる基準画像の誤差を三段階の倍率の基準画像により吸収する。そのため、作業者は、設計工程と基準画像の作成を並行して行うことができる。その結果、装置の設計から試運転終了までの全体の期間が短縮される。
実施の形態1では、既に作成されたロバスト性の高い基準画像の中から自動選択されて基準画像が選択されるので、生産現場で実行されるマッチング処理の回数が抑制されて、処理の高速化、装置の稼働率向上が見込める。
<その他の実施の形態>
本発明は、特許請求の範囲に表現された技術思想の範囲を逸脱することなく、種々の変形、追加、および省略が可能である。
実施の形態1では、基準選択部105で選択された基準画像を測定検査部107でそのまま使用した。しかし、選択された基準画像に対して縦横に拡大縮小した基準画像を測定検査部107において基準画像として使用してもよい。
実施の形態1では、パターンマッチング処理はピクセル単位で行っていたが、これに限らず、精度が必要な場合には、サブピクセル単位でパターンマッチング処理を行ってもよい。
実施の形態1では、パターンマッチング処理は1つの検出位置につき1種類のマッチングスコアを算出していたが、これに限らず、1つの検出位置に対し基準画像の角度別のスコアを保持していてもよい。
実施の形態1では、基準画像は、エッジ画像によるものを説明したが、パターンマッチングに関しては、エッジ画像以外の画像を使用してもよい。例えば、正規化相関マッチングにおいても、マッチング領域を、同様にして決めることができる。
実施の形態1では、基準画像作成装置の方で、処理装置と基準画像作成装置の機差を吸収するための倍率の異なる基準画像を作成したが、複数の基準画像の作成を処理装置側で行ってもよい。
実施の形態1では、基準画像作成装置と処理装置との機差を吸収するための変動要素は、カメラとワークの距離差やレンズの焦点距離差を想定して、拡大縮小のみとした。しかし、カメラ設置の位置精度を考慮して、さらに、変動要素に回転要素を加えてもよい。
実施の形態1では、基準画像の作成時に作業者が画面上に表示されているエッジ画像を見ながら選択していたが、エッジをワークの3Dモデルのエッジと共通しているエッジ画像のみを表示部609に表示しても良い。基準画像のエッジの選択及び編集は作業者に依らず、コンピュータ620の画像処理プログラムによって自動的に実行させてもよい。
実施の形態1では、基準画像の作成を原画像から抽出したエッジ画像で行っていたが、これに限らず、原画像をフィルタ処理やノイズ挿入、輝度変換などでシミュレートした画像を用いて基準画像を作成してもよい。
実施の形態1では、照明604の位置を固定として、照明の明るさのみを変動させて原画像を撮影したが、これに限らず、照明604を可動式または複数配置として、様々な方向からの明るさ変動を設定可能にしてもよい。スポットライトのようなものを追加しても良い。
実施の形態1では、パターンマッチング処理のマッチングスコアが閾値スコアを超えたものの中から一番高いものを基準画像として選択した。しかし、これに限らず、たとえばマッチングスコアの高いものから複数選択したり、マッチングスコアの高いものを複数表示させて作業者に選ばせたりしてもよい。
実施の形態1では、ロボットアーム603は、コンピュータ620によって任意の位置姿勢でワーク602を把持することができる。しかし、これに限らず、任意の位置姿勢でワーク602を把持できるようなものであれば、自動ステージを組み合わせた6軸のステージなどでもよい。
実施の形態1では、カメラ601により原画像の撮影倍率を変動させて、その撮影倍率のまま画像処理することで倍率の異なる基準画像のセットを作成してもよい。
100 処理装置、101、601 カメラ
102、602 ワーク、103、606 画像記録部
104 入力部、105 基準選択部、106 基準登録部
107 測定検査部、108、609 表示部
109、611 出力部、110、604 照明、112、605 画像撮影部
120、620 コンピュータ、201、610 入力部
202、702 CPU、203、703 ROM
204、704 RAM、205、705 ハードディスク
206、706 インターフェース、600 基準画像作成装置
603 ロボットアーム、607 基準画像生成部、608 特徴量選択部

Claims (13)

  1. 第2のカメラで撮影した画像とのパターンマッチングに用いるパターンマッチング用の基準画像セットの作成方法であって、
    ワークの撮影条件を変更し、それぞれの撮影条件ごとに第1のカメラを備えたシステムにて前記ワークを撮影して、複数の原画像を取得するステップと、
    前記複数の原画像それぞれに画像処理を行って、複数の基準画像を生成するステップと、
    前記複数の基準画像から、互いに倍率が異なる複数の基準画像のセットを生成するステップと、
    前記第2のカメラを備えたシステムを用いて前記ワークを撮影したワーク画像を取得するステップと、
    前記互いに倍率が異なる複数の基準画像のセットに含まれる各々の基準画像と、前記ワーク画像とのマッチングを行うステップと、
    前記マッチングの結果に基づいて、前記互いに倍率が異なる複数の基準画像のセットの中からいずれかの倍率の基準画像のセットをパターンマッチング用の基準画像セットとして選択するステップと、
    を有することを特徴とするパターンマッチング用の基準画像セットの作成方法。
  2. 前記複数の原画像を取得するステップにおいて、
    前記ワークの撮像位置および照明状態を変更することにより撮影条件を変更して撮影し、前記複数の原画像を取得する、
    ことを特徴とする請求項1に記載のパターンマッチング用の基準画像セットの作成方法。
  3. 前記互いに倍率が異なる複数の基準画像のセットを生成するステップにおいて、
    前記複数の基準画像を生成するステップにて作成した前記複数の基準画像の各々に対して、複数の倍率で拡大または縮小を施すことにより、前記互いに倍率が異なる複数の基準画像のセットを生成する、
    ことを特徴とする請求項1または2に記載のパターンマッチング用の基準画像セットの作成方法。
  4. 前記複数の基準画像を生成するステップにおいて、
    前記画像処理としてエッジを抽出する処理を施して、前記複数の基準画像を生成する、
    ことを特徴とする請求項1から3のいずれか1項に記載のパターンマッチング用の基準画像セットの作成方法。
  5. 前記エッジを抽出する処理におけるエッジ抽出条件として、抽出したエッジと前記複数の原画像とのマッチングを行って得られるマッチングスコアが所定の基準を満たすように前記エッジ抽出条件を設定する、
    ことを特徴とする請求項4に記載のパターンマッチング用の基準画像セットの作成方法。
  6. 前記互いに倍率が異なる複数の基準画像のセットのうち、前記ワーク画像とのマッチングスコアが最も高い基準画像が含まれる倍率の基準画像のセットを、前記パターンマッチング用の基準画像セットとして選択する、
    ことを特徴とする請求項1から5のいずれか1項に記載のパターンマッチング用の基準画像セットの作成方法。
  7. 請求項1から6のいずれか1項に記載のパターンマッチング用の基準画像セットの作成方法により得られた基準画像セットを準備する工程と、
    前記第2のカメラを備えたシステムにてワークを撮像したワーク画像を取得する工程と、
    前記基準画像セットと前記ワーク画像とのマッチング処理を行うステップと、
    前記マッチング処理を行うステップの結果に基づいて前記ワークを認識するステップと、
    を有することを特徴とするワークの認識方法。
  8. 請求項1乃至6のいずれか1項に記載のパターンマッチング用の基準画像セットの作成方法をコンピュータに実行させるためのプログラム。
  9. 請求項8に記載のプログラムを記録した記録媒体。
  10. ワークの撮影条件を変更して設定可能な設定部と、
    入出力部と、
    第1のカメラを制御する制御部と、を備え、
    前記制御部は、
    前記設定部を制御して前記ワークの撮影条件を変更し、それぞれの撮影条件ごとに前記第1のカメラにて前記ワークを撮影して、複数の原画像を取得するステップと、
    前記複数の原画像それぞれに画像処理を行って、複数の基準画像を生成するステップと、
    前記複数の基準画像から、互いに倍率が異なる複数の基準画像のセットを生成するステップと、
    前記入出力部から第2のカメラにより前記ワークを撮影したワーク画像を取得するステップと、
    前記互いに倍率が異なる複数の基準画像のセットに含まれる複数の基準画像と、前記ワーク画像とのマッチングを行うステップと、
    前記マッチングの結果に基づいて、前記互いに倍率が異なる複数の基準画像のセットの中からいずれかの倍率の基準画像のセットをパターンマッチング用の基準画像セットとして選択するステップと、
    前記選択したパターンマッチング用の基準画像セットを前記入出力部から出力するステップと、
    を実行する、
    ことを特徴とするパターンマッチング用の基準画像セットの作成装置。
  11. 前記設定部は、前記第1のカメラにて前記ワークを撮影する際の照明状態を調整可能であり、
    前記複数の原画像を取得するステップにおいては、前記設定部により照明状態を複数種類に異ならせたそれぞれの撮影条件で前記ワークを撮影する、
    ことを特徴とする請求項10に記載のパターンマッチング用の基準画像セットの作成装置。
  12. 前記設定部は、前記第1のカメラでワークを撮影する際の前記ワークの支持状態を調整可能であり、
    前記複数の原画像を取得するステップにおいては、前記設定部により前記ワークの支持状態を複数種類に異ならせたそれぞれの撮影条件で前記ワークを撮影する、
    ことを特徴とする請求項10又は11に記載のパターンマッチング用の基準画像セットの作成装置。
  13. 前記設定部は、多関節ロボットアームを有する、
    ことを特徴とする請求項12に記載のパターンマッチング用の基準画像セットの作成装置。
JP2015165595A 2015-08-25 2015-08-25 パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体 Active JP6765791B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015165595A JP6765791B2 (ja) 2015-08-25 2015-08-25 パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体
US15/239,693 US20170061209A1 (en) 2015-08-25 2016-08-17 Object processing method, reference image generating method, reference image generating apparatus, object processing apparatus, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015165595A JP6765791B2 (ja) 2015-08-25 2015-08-25 パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2017045166A JP2017045166A (ja) 2017-03-02
JP6765791B2 true JP6765791B2 (ja) 2020-10-07

Family

ID=58095734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015165595A Active JP6765791B2 (ja) 2015-08-25 2015-08-25 パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体

Country Status (2)

Country Link
US (1) US20170061209A1 (ja)
JP (1) JP6765791B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6962858B2 (ja) * 2018-04-27 2021-11-05 ファナック株式会社 画像管理装置
JP7120620B2 (ja) * 2018-10-04 2022-08-17 日本電気通信システム株式会社 センサ装置、センサ装置の制御方法及びプログラム
JP7298227B2 (ja) * 2019-03-20 2023-06-27 株式会社リコー 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
CN112040124A (zh) * 2020-08-28 2020-12-04 深圳市商汤科技有限公司 数据采集方法、装置、设备、系统和计算机存储介质
JP7099597B2 (ja) * 2020-09-30 2022-07-12 株式会社リコー 情報処理装置、移動体、撮影システム、撮影制御方法およびプログラム
CN116391153A (zh) * 2020-09-30 2023-07-04 株式会社理光 信息处理装置、移动体、拍摄系统、拍摄控制方法及程序
EP4024847A4 (en) * 2020-10-23 2022-09-28 NEC Corporation INDIVIDUAL IDENTIFICATION DEVICE
JP2022164145A (ja) * 2021-04-16 2022-10-27 株式会社キーエンス 画像検査装置、画像検査装置用制御ユニット、画像検査方法、画像検査プログラム及びコンピュータで読取可能な記録媒体並びに記録した機器
KR102680738B1 (ko) * 2023-12-26 2024-07-02 주식회사 디밀리언 카메라 및 산업용 로봇을 이용한 다품종 부품 정렬 및 공급 시스템

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3769857B2 (ja) * 1997-01-30 2006-04-26 マツダ株式会社 パターンマッチングに用いる基準画像作成方法
FR2846424B1 (fr) * 2002-10-25 2006-02-03 Bsn Glasspack Procede et dispositif d'eclairage pour detecter des defaut et/ou de manque de matiere sur la bague d'un recipient transparent ou translucide
JP5318334B2 (ja) * 2006-05-19 2013-10-16 Juki株式会社 対象物の位置検出方法及び装置
SG163442A1 (en) * 2009-01-13 2010-08-30 Semiconductor Technologies & Instruments System and method for inspecting a wafer
JP5375488B2 (ja) * 2009-09-29 2013-12-25 富士通株式会社 外観検査装置,外観検査方法および外観検査プログラム
JP2012203668A (ja) * 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置
JP5798371B2 (ja) * 2011-05-09 2015-10-21 富士機械製造株式会社 基準マークモデルテンプレート作成方法
JP2013078825A (ja) * 2011-10-04 2013-05-02 Yaskawa Electric Corp ロボット装置、ロボットシステムおよび被加工物の製造方法
US20150186422A1 (en) * 2012-08-10 2015-07-02 Konica Minolta, Inc. Image processing apparatus, image processing method, and image processing program
US9846948B2 (en) * 2014-07-09 2017-12-19 Ditto Labs, Inc. Systems, methods, and devices for image matching and object recognition in images using feature point optimization

Also Published As

Publication number Publication date
US20170061209A1 (en) 2017-03-02
JP2017045166A (ja) 2017-03-02

Similar Documents

Publication Publication Date Title
JP6765791B2 (ja) パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体
US20070176927A1 (en) Image Processing method and image processor
JP5841427B2 (ja) 画像処理装置及び画像処理方法
KR100805486B1 (ko) 디스플레이의 다각도 계측 시스템 및 방법
JP2007114843A (ja) 良否判定装置
JP7151873B2 (ja) 検査装置
US10133256B2 (en) Information processing apparatus and method for calculating inspection ranges
JP2011044016A (ja) 三次元細胞画像解析装置
JP6049052B2 (ja) ウエハ外観検査装置及びウエハ外観検査装置における感度しきい値設定方法
JP2015004641A (ja) ウエハ外観検査装置
JP6140255B2 (ja) 画像処理装置及び画像処理方法
JP2021071310A (ja) 画像処理システム、設定方法およびプログラム
JP2019158711A (ja) 画像処理システム、画像処理装置、画像処理プログラム
JP2023501525A (ja) 自動外観検査ステーションのためのオフライントラブルシューティング及び開発
JP2008014857A (ja) プリント板の検査用座標取得装置、検査用座標取得方法、及び検査用座標取得プログラム
CN113837917A (zh) 基于ar技术的跨媒介隐形水印检查方法及系统
JP2015210396A (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP5592834B2 (ja) 光学投影制御装置、光学投影制御方法、及びプログラム
Shen et al. Design and implementation of PCB detection and classification system based on machine vision
JP2014142213A (ja) 撮影パラメータ決定装置及びその制御方法
WO2018146887A1 (ja) 外観検査装置
JP2006145228A (ja) ムラ欠陥検出方法及び装置
JP2021039609A (ja) 検査支援装置および検査支援方法
CN114746716B (zh) 形状复原方法和图像测量装置
TW201514474A (zh) 一種檢測具週期性結構光學薄膜的瑕疵檢測方法及其檢測裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180814

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200916

R151 Written notification of patent or utility model registration

Ref document number: 6765791

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151