JP6831149B1 - ひも状柔軟物の画像認識方法及び画像認識装置 - Google Patents

ひも状柔軟物の画像認識方法及び画像認識装置 Download PDF

Info

Publication number
JP6831149B1
JP6831149B1 JP2020135598A JP2020135598A JP6831149B1 JP 6831149 B1 JP6831149 B1 JP 6831149B1 JP 2020135598 A JP2020135598 A JP 2020135598A JP 2020135598 A JP2020135598 A JP 2020135598A JP 6831149 B1 JP6831149 B1 JP 6831149B1
Authority
JP
Japan
Prior art keywords
unit
string
image
units
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020135598A
Other languages
English (en)
Other versions
JP2022032102A (ja
Inventor
菅野 純一
純一 菅野
Original Assignee
ヴィスコ・テクノロジーズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィスコ・テクノロジーズ株式会社 filed Critical ヴィスコ・テクノロジーズ株式会社
Priority to JP2020135598A priority Critical patent/JP6831149B1/ja
Application granted granted Critical
Publication of JP6831149B1 publication Critical patent/JP6831149B1/ja
Publication of JP2022032102A publication Critical patent/JP2022032102A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】ボンディングワイヤなどのひも状柔軟物を正しく画像認識する。【解決手段】画像認識装置1は、ひも状柔軟物を撮像することによって得られた画像から複数の候補点を抽出する候補点抽出処理部11と、複数の候補点を入力層とし、複数のユニット群にグループ化された複数のユニットを出力層とする自己組織化マップを生成し、各候補点に最も近いユニット及びその近傍のユニットの座標を当該候補点に近づける近似処理を行うことによって、複数のユニットの座標をひも状柔軟物の座標に近似させる近似処理部12と、各ユニット群を構成する複数のユニットの中から候補点との一致度が最も高いユニットを選択することにより、ひも状柔軟物の延在経路を特定する選択処理部13とを備える。このように、自己組織化マップを用いた近似処理と選択処理を行っていることから、ひも状柔軟物を正しく画像認識することが可能となる。【選択図】図1

Description

本発明は画像認識方法及び画像認識装置に関し、特に、ひも状柔軟物を画像認識するための方法及び装置に関する。
半導体デバイスや高周波電子部品の検査工程においては、画像認識によってボンディングワイヤのワイヤ形状が検査されることがある。ボンディングワイヤを画像認識によって検査する方法としては、非特許文献1に記載された方法が知られている。
非特許文献1に記載された方法は、ボンディングワイヤが背景と比較して黒く(輝度値が低く)撮像される事を利用して、輝度変化の極小点をワイヤ画素の候補画素として検出した上で、ボンディングの始点(FB)から長さLの線分要素の探索処理をボンディングの終点(SB)まで繰り返すことで、ワイヤ経路を構成する一連の線分要素の特定を行なっている。
「画像処理による半導体集積回路内部 ボンディングワイヤ検査」精密工学会誌 Vol.70, No.2, 2004 アミル エー. アミニ(Amir A. Amini)、外2名、「画像における変分問題を解決するための動的計画法の利用(Using dynamic programming for solving variational problem in vision)」、パターン分析と機械知能に関する米国電気電子学会会報(IEEE Transactions on Pattern Analysis and Machine Intelligence)、1990年9月、第12巻、第9号、p.855―867
しかしながら、非特許文献1に記載された方法では、ボンディングワイヤとそれ以外の背景パターンの誤認識を避けることが困難である。非特許文献1に記載された方法は、「3.2 線構成画素の検出」に記載されている通り、ボンディングワイヤが細い線状パターンであることに着目して、ワイヤ画素を抽出している。非特許文献1が扱う対象物では、ボンディングワイヤ以外の背景に細い線状パターンは存在しておらず、多少のノイズ画素は抽出されるものの、誤認識の対象となるような背景パターンは存在しない。そこで「3.4 ワイヤ検査ガイドラインの設定」に記載された探索処理により、ワイヤ経路を決定している。しかしながら、検査対象物によっては、金属フレームに写ったボンディングワイヤ自身の像や、金属フレーム端面の反射パターンをボンディングワイヤであると誤認識する可能性がある。
さらに、非特許文献1に記載された方法では、「3.4 ワイヤ検査ガイドラインの設定」に記載されている通り、長さLの区間で最も多くワイヤ候補点が含まれる方向を探索している。この探索処理により、長さLよりも短い区間のワイヤ画素の欠損に対処でき、長さLを大きくすることで、より長い欠損に対処できるようになる。しかしながら、ボンディングワイヤが湾曲している場合はLを大きな値にすることは出来ない。このため、非特許文献1に記載された方法では、直線形状ではないボンディングワイヤを探索することは困難である。
以上の問題は、ボンディングワイヤを画像認識する場合に限らず、始点及び終点を有するひも状柔軟物を画像認識する場合において共通に生じる問題である。
したがって、本発明は、ボンディングワイヤなどのひも状柔軟物を正しく画像認識することが可能な装置及び方法を提供することを目的とする。
本発明による画像認識装置は、ひも状柔軟物を撮像することによって得られた画像から、ひも状柔軟物の候補である複数の候補点を抽出する候補点抽出処理部と、複数の候補点を入力層とし、複数のユニット群にグループ化された複数のユニットを出力層とする自己組織化マップを生成し、各候補点に最も近いユニット及びその近傍のユニットの座標を当該候補点に近づける近似処理を行うことによって、複数のユニットの座標をひも状柔軟物の座標に近似させる近似処理部と、各ユニット群を構成する複数のユニットの中から候補点との一致度が最も高いユニットを選択することにより、ひも状柔軟物の延在経路を特定する選択処理部とを備えることを特徴とする。
本発明による画像認識方法は、ひも状柔軟物を撮像することによって得られた画像の中に設定された第1の領域を切り出すことによって第1の領域画像を生成する第1のステップと、第1の領域画像からひも状柔軟物の候補である複数の候補点を抽出する第2のステップと、複数の候補点を入力層とし、複数のユニット群にグループ化された複数のユニットを出力層とする自己組織化マップを生成し、各候補点に最も近いユニット及びその近傍のユニットの座標を当該候補点に近づける近似処理を行うことによって、複数のユニットの座標をひも状柔軟物の座標に近似させる第3のステップと、各ユニット群を構成する複数のユニットの中から候補点との一致度が最も高いユニットを選択することにより、ひも状柔軟物の始点から終点に沿ったユニット列を生成する第4のステップと、ユニット列の周囲に位置する候補点を含む第2の領域を画像から切り出すことによって、第1の領域画像よりも範囲の狭い第2の領域画像を生成する第5のステップとを備え、第5のステップを実行した後、第3及び第4のステップを再び実行することを特徴とする。
本発明によれば、ボンディングワイヤなどのひも状柔軟物の候補点を入力層とする自己組織化マップを用いて近似処理を行った後、出力層を構成する複数のユニットの中から候補点との一致度が最も高いユニットを選択していることから、ひも状柔軟物が湾曲している場合や、ひも状柔軟物であると誤認識しうるパターンが存在する場合であっても、ひも状柔軟物を正しく画像認識することが可能となる。
図1は、本発明の一実施形態による画像認識装置1の構成を説明するための模式図である。 図2は、カメラ5によって得られた画像の例を示す図である。 図3は、処理装置10の動作を説明するためのフローチャートである。 図4は、ボンディングワイヤ20と領域21,22の関係を説明するための模式図である。 図5は、二次微分フィルターを適用する前後の画像の例を示す図である。 図6は、ボンディングワイヤの候補点を抽出した画像の一例である。 図7は、切り出し前における候補点の分布を示す図である。 図8は、自己組織化マップを用いた近似処理を説明するための模式図である。 図9は、自己組織化マップを用いた近似処理を説明するための模式図である。 図10は、ユニットUの座標の実例を示す図であり、近似処理を実行する前のオリジナルの座標を示している。 図11は、ユニットUの座標の実例を示す図であり、近似処理を1回実行した後における座標を示している。 図12は、ユニットUの座標の実例を示す図であり、近似処理を9回実行した後における座標を示している。 図13は、ユニットUの座標の実例を示す図であり、近似処理を11回実行した後における座標を示している。 図14は、ユニット列ULの座標の実例を示す図である。 図15は、ユニット列ULを説明するための模式図である。
以下、添付図面を参照しながら、本発明の好ましい実施の形態について詳細に説明する。
<画像認識装置の概要>
図1は、本発明の一実施形態による画像認識装置1の構成を説明するための模式図である。
図1に示すように、本実施形態による画像認識装置1は、ステージ2に載置された検査対象物3を画像認識するための装置であって、検査対象物3を照明する照明装置4と、検査対象物3を撮像するカメラ5と、カメラ5によって得られた画像を処理する処理装置10とを備えている。検査対象物3は、例えば半導体デバイスや高周波電子部品であり、ボンディングワイヤを含んでいる。本実施形態による画像認識装置1は、検査対象物3に含まれるボンディングワイヤを画像認識するための装置であり、これによってボンディングワイヤの2次元的な延在経路を特定することができる。
図2は、カメラ5によって得られた画像の例を示す図である。図2(a)に示す例では、ボンディングワイヤが比較的直線的であるのに対し、図2(b)に示す例では、ボンディングワイヤに大きな湾曲が存在している。ボンディングワイヤの湾曲は、カメラの視線方向によって生じるものである。1つの製品に実装されるボンディングワイヤの向きは1方向とは限らず(例えば上下左右の4方向)、また製品が回転して供給されることもあるため、ボンディングワイヤの湾曲は常に発生する。また、ボンディングワイヤの3次元形状により明度は変化し、背景とのコントラストが不明瞭になる箇所も存在する。このため、従来の一般的な画像認識装置では、ボンディングワイヤを連続した1本の線分として認識することが困難である。しかも、図2(b)の符号Aで示すように、金属フレームに写ったボンディングワイヤ自身の像や、図2(b)の符号Bで示すように、金属フレーム上のパターン(濃淡変化)をボンディングワイヤであると誤認識する可能性がある。本実施形態による画像認識装置1は、このような湾曲箇所や、誤認識の原因となるパターンが存在する場合であっても、処理装置10によってボンディングワイヤを連続した線分列として認識することが可能である。
処理装置10は、候補点抽出処理部11、近似処理部12及び選択処理部13を含んでいる。処理装置10は、例えば演算装置、記憶装置、及び入出力装置などを有するコンピュータであり、記憶装置に記憶されたプログラムを演算装置に実行させることによって各処理部11〜13の機能を実現するものであっても構わないし、一部又は全部の処理部11〜13がそれぞれ別のハードウェア資源からなるものであっても構わない。
図3は、処理装置10の動作を説明するためのフローチャートである。
処理装置10の候補点抽出処理部11は、カメラ5によって得られた画像の中に設定された第1の領域を切り出すことによって第1の領域画像を生成する(ステップS1)。第1の領域画像は、図4に示すように、画像認識対象であるボンディングワイヤ20全体を含む第1の領域21の画像である。第1の領域21は、あらかじめ検査対象物3又はこれと同じ構成を有するサンプルを評価することにより、ボンディングワイヤ20の全体が確実に収まるようオペレータによって設定しても構わない。同一仕様の製品であれば、ボンディングワイヤ20の始点20Sと終点20Eの座標は大きく変化しないことから、始点20S、終点20E及びこれらを結ぶ線分を含むある程度の広さを持った領域を第1の領域21として設定することができる。
次に、候補点抽出処理部11は、第1の領域画像からボンディングワイヤ20の候補である複数のワイヤ候補点を抽出する(ステップS2)。かかる動作は、第1の領域画像に対して二次微分フィルターを適用することによって特徴点を強調した後、二次微分フィルターを適用した画像からボンディングワイヤ20である可能性のある候補点を抽出することにより行う。図5(a)はオリジナル画像の一例であり、図5(b)は二次微分フィルターを適用した画像の一例である。また、図6は、ボンディングワイヤの候補点を抽出した画像の一例である。図6に示す候補点は、ステップS1によって切り出された第1の領域画像に含まれる候補点である。参考として、切り出し前の候補点の分布を図7に示す。図6に示す候補点は、図7の画像に含まれる第1の領域21内に位置する候補点Pに相当する。
次に、処理装置10の近似処理部12は、自己組織化マップを用いた近似処理を繰り返し実行することにより、自己組織化マップの出力層を構成する複数のユニットをボンディングワイヤの座標に近似させる(ステップS3)。自己組織化マップとは、T. Kohonenによって提案されたニューラルネットワークの一種であり、高次元の入力データセットに対して、データ分布の位相的構造を保存しつつ低次元(2次元もしくは1次元など)空間へ写像する手法である。
図8は、自己組織化マップを用いた近似処理を説明するための模式図であり、抽出された候補点P(黒丸)を入力層とし、格子状に配列された複数のユニットU(白丸)を出力層としている。各ユニットUは、画像空間上での座標値(X,Y)と自己組織化マップ空間上での座標値(C,R)を有している。座標値(C,R)は変化することが無い固定の値であり、自己組織化マップ空間上で格子状に配置される。画像空間上での座標値(X,Y)は、近似処理の度にワイヤに近づくように変化する。自己組織化マップを用いた近似処理においては、各候補点Pに最も近いユニットU及びその近傍のユニットUの座標を当該候補点Pに近づける。例えば、図8に示す候補点P1を選択した場合、候補点P1に最も近いユニットU1及びその近傍のユニットU2の座標を候補点P1に近づけると、各ユニットの座標は図9に示すように変形される。このような近似化処理を全ての候補点Pについて繰り返し実行すると、複数のユニットUの座標がボンディングワイヤの実際の座標に近似される。なお、複数のユニットUの初期配置は格子状でなくともよく、任意の曲線の周囲に分布させても良いし、全くのランダムでも良い。
図10〜図14はユニットUの座標の実例を示す図であり、図10は近似処理を実行する前のオリジナルの座標を示し、図11は近似処理を1回実行した後における座標を示し、図12は近似処理を9回実行した後における座標を示し、図13は近似処理を11回実行した後における座標を示し、図14は後述するユニット列ULを示している。対象となるボンディングワイヤの形状は、図6に示した形状と同じである。図10〜図14に示すように、自己組織化マップを用いた近似処理を繰り返し実行すると、各ユニットUの座標が徐々にボンディングワイヤに近づくことが分かる。
ここで、自己組織化マップを構成する複数のユニットUは、図8に示すように同一のR値を持つユニットUをグループ化している。各ユニット群UGは複数のユニットUによって構成される。図8に示す例では、初期状態において同じy座標を有し、x方向に配列された4つのユニットUがグループ化されることによってユニット群UGが構成される。同じユニット群UGに属する複数のユニットUの配列方向は、ボンディングワイヤの延在方向と交差する方向に定義され、好ましくはボンディングワイヤの延在方向に対して直角に近い方向に定義される。同じユニット群UGに属する複数のユニットUの座標は、近似処理によって変化し、このためy座標についても互いに異なる値を取る可能性がある。図10〜図14に示す例では、x方向に配列された8つのユニットUがグループ化されることによって、y方向に配列された32個のユニット群UGが定義されている。
次に、処理装置10の選択処理部13は、各ユニット群UGを構成する複数のユニットUの中から候補点Pとの一致度が最も高いユニットUを選択する(ステップS4)。一致度の評価は、動的輪郭モデルにおける動的計画法によって行うことができる。これにより、各ユニット群UGから必ず一つのユニットUが選択されることから、図14及び図15に示すように、ボンディングワイヤ20の始点20Sから終点20Eに沿ったユニット列ULが生成される(ステップS5)。図15においてハッチングが付されたユニットUは、各ユニット群UGの中から選択されたユニットUである。
ここで、上述した一連の処理が1回目の処理であれば、ユニット列ULの周囲に位置する候補点Pを含む第2の領域22(図4参照)をカメラ5によって撮像された画像から切り出すことによって、第2の領域画像を生成する(ステップS6)。第2の領域画像を生成する段階においては、ボンディングワイヤ20を近似したユニット列ULの位置が判明しているため、第2の領域22を第1の領域21よりも十分に狭く設定することができる。
そして、近似処理部12を用いた近似処理(ステップS3)及び選択処理部13を用いた選択処理(ステップS4)を再び実行し、新たなユニット列ULを生成すれば、一連の処理を終了する。2回目に実行するステップS3においては、近似処理の繰り返し回数を1回目に実行するステップS3の回数よりも少なく設定しても構わない。
このようにして得られたユニット列ULは、候補点Pの集合体ではなく、自己組織化マップの出力層を構成するユニットUの集合体であり、且つ、動的輪郭モデルにおける動的計画法によって各ユニット群UGから必ず一つのユニットUが選択されている。このため、カメラ5によって撮像された画像において候補点Pに途切れやノイズが生じている場合であっても、始点20Sから終点20Eに沿ったユニット列ULを正しく生成することが可能となる。
以上説明したように、本実施形態による画像認識装置1は、自己組織化マップを用いた候補点分布の近似と、動的輪郭モデルを用いたユニット列ULの生成を行っていることから、ボンディングワイヤの延在経路上の一部において候補点が欠落している場合や、周囲にノイズとなるパターンが存在している場合であっても、周辺に存在するユニットUによって経路が補完されることから、ボンディングワイヤ20の始点20Sから終点20Eに沿ったユニット列ULを正しく生成することが可能となる。
以下、候補点抽出処理部11、近似処理部12及び選択処理部13のより具体的な動作の一例について説明する。
<候補点抽出処理部11の動作>
候補点抽出処理部11は、ボンディングワイヤ20のできるだけ中心付近を検出するために、DoG(Difference of Gaussian)フィルターを画像に適用することが好ましい。DoGフィルターとは、標準偏差値が異なる2つのガウシアンフィルターにより生成される2つの画像の差分画像を生成するフィルターであり、二次微分フィルターとしての効果がある。ここで、ガウシアンフィルターに設定する2つの標準偏差値は、ボンディングワイヤ20の太さに基づいて決定することができる。例えば、一方の標準偏差値をボンディングワイヤ20の太さと同じ値に設定し、他方の標準偏差値をボンディングワイヤ20の太さの2倍に設定することができる。
フィルタリング後の画像に対して、画素毎に注目画素のフィルター値と左右または上下のフィルター値を比較して、極大または極小であるならば候補点として検出する。ここで、注目画素のフィルター値にしきい値を設けても構わない。また、ボンディングワイヤ20の候補点を特定する手法は上記に限らず、他の一般的な画像処理手法で特定しても構わない。
具体的な候補点抽出方法は下記の通りである。まず、2つの標準偏差値をσ1およびσ2(>σ1)とする。検出方向(X/Y/両方)、極性(+/−/両方)については、ユーザにより指定されるパラメータとする。ここで、
(1)入力画像に標準偏差値σ1のガウシアンフィルターを適用し、平滑化画像1(S1)を生成する。
(2)入力画像に標準偏差値σ2のガウシアンフィルターを適用し、平滑化画像2(S2)を生成する。
(3)X方向とY方向および+成分と−成分で以下のように計算式を分けて、4種の二次微分画像(Lxp、Lxm、Lyp、Lym)を生成する。
(4)二次微分画像(Lxp、Lxm、Lyp、Lym)の各画素について隣接する画素よりも画素値が大きければ、ワイヤ候補点として採用する。なお、画素値に適当な閾値を設けても良い。隣接する画素について、Lxp/Lxmに対しては注目画素の左右、Lyp/Lymに対しては注目画素の上下としている。また、検出方向および極性の指定により、処理対象とする二次微分画像をLxpのみ、またはLxpとLxmのみ等のように制限しても良い。
<近似処理部12の動作>
近似処理部12は、ワイヤ候補点の(X,Y)座標値を2次元自己組織化マップに写像する。これにより、ワイヤ候補点の分布が自己組織化マップのユニットU(ニューロン)によって表現される。自己組織化マップでは、データ分布の位相的構造が保存される。この性質により、始点−終点間の経路上に分布するワイヤ候補点が、自己組織化マップ上で自動的に経路に沿って順序良く整列する。また、自己組織化マップではデータの途切れが発生している区間も、これを埋めるようにデータが存在する区間から補完したデータが配置される。この2つの性質が、動的計画法による動的輪郭モデルの欠点を補うように働く。
自己組織化マップへの入力データは、ワイヤ候補点の(X,Y)座標値だけではなく、座標値に加えて輝度値(R,G,B)を加えても構わない。また、自己組織化マップへの投票処理を高速化すべく、ワイヤ候補点のY座標値によって自己組織化マップへの投票範囲を制限しても構わない。Y座標値によって自己組織化マップへの投票範囲を制限すると、ボンディングワイヤ20のうち、始点または終点を越えて戻ってくるような経路部分において正しい経路を算出できないおそれがあるが、実用上大きな問題とならない。
具体的な処理方法は下記の通りである。
(1)指定されたサイズ(横×縦:U×V)の自己組織化マップを用意する。一例として、8×32のサイズを想定する。マップ中の各ユニットは(X, Y)の二次元座標を特徴ベクトルとして有するものとする。加えて、途中演算用としてX座標の総和:SumX,Y座標の総和:SumY,投票個数:Nを有するものとする。
(2)各ユニットの(X, Y)を格子状に配置し、X座標の総和,Y座標の総和,投票個数を0に初期化する。また、処理の過程で用いるパラメータを以下のように初期化する。
σd=100 σw=W/2.0 σH=H/8.0
ここで、v=0のユニットにはボンディングワイヤ20の始点20Sの座標、v=H-1のユニットにはボンディングワイヤ20の終点20Eの座標を設定する。なお、始点/終点座標はユーザが与える既知の座標である。
(3)ワイヤ候補点群から1点取り出し、マップ中で最も距離が近いユニット(最近傍ユニット)を探索する。
(4)下式により最近傍ユニットのSumX,SumY,Nを更新する
(5)全てのワイヤ候補点群に上記(3)及び(4)の処理を行なう。
(6)マップ中の全ユニットのSumX,SumYをそれぞれNで除算する。これによりSumX,SumYはユニットに投票されたワイヤ候補点群の平均座標AvrX,AvrYとなる。
(7)各ユニットの(X, Y)を下式により更新(競合学習)する。ただし、v=0およびv=H-1のユニットは更新を行なわない。
(8)各ユニットのX座標の総和,Y座標の総和,投票個数を0に初期化する。また、処理の過程で用いるパラメータを下式のように更新する。
σd=max(σd/2.0, 1.0)
σw=max(σw/2.0, 0.66666)
σH=max(σH/2.0, 0.66666)
なお、この更新式および下限値は一例であり、他の更新式や下限値を選択しても良い。
(9)上記の(3)に戻り、(3)から(8)までの処理を指定回数だけ繰り返す。一例として、全体の処理フローにおいて初回であれば10回、二回目であれば2回とすることができる。
<選択処理部13の動作>
選択処理部13は、動的輪郭モデルを用いる。動的輪郭モデルとは、初期輪郭線を決定した上で、輪郭線上に一定間隔で設定した制御点を移動させながら、下式で定義されるエネルギーEが最小となる輪郭線(制御点の集合)を決定する手法である。1987年に提案されて以来、エネルギーの定義や初期輪郭線の決定方法、制御点の移動方法などに様々な派生形が提案され、現在では特定の処理手法を意味するのではなく、エネルギーを最小化することで輪郭線を決定する概念として用いられることが多い。エネルギーを最小化する具体的な手法としては貪欲法、動的計画法、変分法などが代表的であるが、本実施形態では動的計画法を採用している。動的輪郭モデルの利点は、輪郭全体のエネルギー計算により最適な輪郭形状を探索するので、局所的なノイズや途切れの影響を受けにくい点が挙げられる。しかしながら、初期輪郭線の決定手段や制御点の移動方法については対象に依存することが多く、それ故に様々な派生形が提案された経緯があり、未だ決定的な手法が提案されていない状態とも言える。
動的輪郭モデルにおける動的計画法の利用は、非特許文献1で提案されている。輪郭線を構成している点(制御点)が順序付けされており、注目点とその両隣の3点のみで構成されるエネルギーを最小化する場合に適用できる。動的計画法では制御点の取り得る範囲(移動先候補座標の集合)を決定する必要があり、非特許文献1では現在の位置を含む8近傍画素を制御点の取り得る範囲とした上で、繰り返し演算により制御点を真の輪郭線に近付けていく。
非特許文献1では、動的計画法を繰り返し実行することで正解を得ようとしているが、繰り返し演算の中で輪郭線に類似した背景パターンと遭遇すると、うまく機能しない。これは、制御点の取り得る範囲(移動先候補座標の集合)が正解位置から離れていることが原因である。
しかしながら、制御点の取り得る範囲(移動先候補座標の集合)に正解が含まれていれば、非特許文献1で実施している繰り返し演算は不要となると共に、輪郭線に類似した背景パターンが存在しても、正解(最適解)を特定できる利点が生じる。これを踏まえて、本実施形態では、自己組織化マップにより決定したワイヤ候補点分布を制御点の取り得る範囲として採用する。具体的には、二次元自己組織化マップの縦方向をボンディングワイヤの経路方向とし、横方向を制御点の取り得る範囲(移動先候補座標の集合)とする。
自己組織化マップにより、ワイヤ候補点が始点から終点までの順序関係を保持しつつ縦方向に整列する。また、経路上の一部が欠損していても周囲のユニットU(ニューロン)によりデータが補完される。最後に、動的輪郭モデルによって規定されるエネルギーが最小となるワイヤ経路(自己組織化マップ上のニューロン)を動的計画法により決定することで、画像処理的課題を満たす経路が算出される。
具体的な処理方法は下記の通りである。
(1)制御点毎に算出される局所エネルギーを格納するための記憶領域を確保する。制御点数は自己組織化マップの縦方向サイズ(H=32)と等しく、制御点の取り得る範囲(移動先候補座標の集合)は自己組織化マップの横方向サイズ(W=8)に等しい。注目点とその両隣を合わせた3点の制御点の組み合わせは8=512通りとなるので、以下のように確保する。
Elen[32][8][8][8]
Ecurve[32][8][8][8]
Eimg[32][8][8][8]
(2)最適組み合わせを決定するための記憶領域を以下のように確保する。
SumE[32][8][8]
MinPre[32][8][8]
(3)制御点毎に下式により局所エネルギー(Elen,Ecurve,Eimg)を算出する。
(4)下式によりSumEとMinPreを算出する。
(5)下式により終点(v=31)においてエネルギー最小となる制御点minCurと終点の1つ前(v=30)における制御点minNxtを特定する。
(6)終点(v=31)から始点(v=0)に向けてvを変化させながら、下式によりエネルギー最小となる経路のX座標BestX(v)およびY座標BestY(v)を決定する
以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。
例えば、上記実施形態では、画像認識対象がボンディングワイヤである場合を例に説明したが、本発明において画像認識対象がこれに限定されるものではなく、ケーブルなど他のひも状柔軟物を画像認識対象とすることも可能である。
1 画像認識装置
2 ステージ
3 検査対象物
4 照明装置
5 カメラ
10 処理装置
11 候補点抽出処理部
12 近似処理部
13 選択処理部
20 ボンディングワイヤ
20S 始点
20E 終点
21 第1の領域
22 第2の領域
P 候補点
U ユニット
UG ユニット群
UL ユニット列

Claims (7)

  1. ひも状柔軟物を撮像することによって得られた画像から、前記ひも状柔軟物の候補である複数の候補点を抽出する候補点抽出処理部と、
    前記複数の候補点を入力層とし、複数のユニット群にグループ化された複数のユニットを出力層とする自己組織化マップを生成し、各候補点に最も近いユニット及びその近傍のユニットの座標を当該候補点に近づける近似処理を行うことによって、前記複数のユニットの座標を前記ひも状柔軟物の座標に近似させる近似処理部と、
    各ユニット群を構成する複数のユニットの中から前記候補点との一致度が最も高いユニットを選択することにより、前記ひも状柔軟物の延在経路を特定する選択処理部と、を備えることを特徴とする画像認識装置。
  2. 前記候補点抽出処理部は、前記画像の中からあらかじめ設定された領域を切り出し、前記領域の中から前記複数の候補点を抽出することを特徴とする請求項1に記載の画像認識装置。
  3. 前記近似処理部は、前記ひも状柔軟物の延在方向と交差する方向に配列された複数のユニットをグループ化することにより、前記複数のユニット群を定義することを特徴とする請求項1又は2に記載の画像認識装置。
  4. 前記選択処理部は、動的輪郭モデルにおける動的計画法によって前記候補点との一致度が最も高いユニットを選択することを特徴とする請求項1乃至3のいずれか一項に記載の画像認識装置。
  5. ひも状柔軟物を撮像することによって得られた画像の中に設定された第1の領域を切り出すことによって第1の領域画像を生成する第1のステップと、
    前記第1の領域画像から、前記ひも状柔軟物の候補である複数の候補点を抽出する第2のステップと、
    前記複数の候補点を入力層とし、複数のユニット群にグループ化された複数のユニットを出力層とする自己組織化マップを生成し、各候補点に最も近いユニット及びその近傍のユニットの座標を当該候補点に近づける近似処理を行うことによって、前記複数のユニットの座標を前記ひも状柔軟物の座標に近似させる第3のステップと、
    各ユニット群を構成する複数のユニットの中から前記候補点との一致度が最も高いユニットを選択することにより、前記ひも状柔軟物の始点から終点に沿ったユニット列を生成する第4のステップと、
    前記ユニット列の周囲に位置する候補点を含む第2の領域を前記画像から切り出すことによって、前記第1の領域画像よりも範囲の狭い第2の領域画像を生成する第5のステップと、を備え、
    前記第5のステップを実行した後、前記第3及び第4のステップを再び実行することを特徴とする画像認識方法。
  6. 前記第3のステップにおいては、前記ひも状柔軟物の延在方向と交差する方向に配列された複数のユニットをグループ化することにより、前記複数のユニット群を定義することを特徴とする請求項5に記載の画像認識方法。
  7. 前記第4のステップにおいては、動的輪郭モデルにおける動的計画法によって前記候補点との一致度が最も高いユニットを選択することを特徴とする請求項5又は6に記載の画像認識方法。
JP2020135598A 2020-08-11 2020-08-11 ひも状柔軟物の画像認識方法及び画像認識装置 Active JP6831149B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020135598A JP6831149B1 (ja) 2020-08-11 2020-08-11 ひも状柔軟物の画像認識方法及び画像認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020135598A JP6831149B1 (ja) 2020-08-11 2020-08-11 ひも状柔軟物の画像認識方法及び画像認識装置

Publications (2)

Publication Number Publication Date
JP6831149B1 true JP6831149B1 (ja) 2021-02-17
JP2022032102A JP2022032102A (ja) 2022-02-25

Family

ID=74562459

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020135598A Active JP6831149B1 (ja) 2020-08-11 2020-08-11 ひも状柔軟物の画像認識方法及び画像認識装置

Country Status (1)

Country Link
JP (1) JP6831149B1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002310930A (ja) * 2001-04-13 2002-10-23 Nec Corp ボンディングワイヤ検査装置
JP2008250848A (ja) * 2007-03-30 2008-10-16 Nagasaki Univ クラスタリング方法、データ処理装置及びプログラム
JP5461064B2 (ja) * 2009-05-21 2014-04-02 日機装株式会社 形状推定システム、形状推定方法、プログラム及び記録媒体
KR101180350B1 (ko) * 2011-12-21 2012-09-06 (주)이즈미디어 와이어 본딩 검사 시스템 및 방법
JP5806786B1 (ja) * 2015-04-17 2015-11-10 ヴィスコ・テクノロジーズ株式会社 画像認識装置
JP2017096907A (ja) * 2015-11-17 2017-06-01 富士電機株式会社 ワイヤボンディング検査装置、ワイヤボンディング検査方法及びプログラム

Also Published As

Publication number Publication date
JP2022032102A (ja) 2022-02-25

Similar Documents

Publication Publication Date Title
US11845194B2 (en) Robot system and workpiece picking method
JP5953842B2 (ja) 画像検査方法および検査領域設定方法
US8780223B2 (en) Automatic determination of compliance of a part with a reference drawing
US20130006423A1 (en) Target object gripping apparatus, method for controlling the same and storage medium
KR20180014677A (ko) 3d 이미지 데이터에서 3d 포즈와 기생포인트 제거의 스코어링을 개선하는 시스템 및 방법
JP6612822B2 (ja) モデルを修正するためのシステムおよび方法
JP7150468B2 (ja) 構造物劣化検出システム
Kim et al. A vision-based system for monitoring block assembly in shipbuilding
JP6192088B2 (ja) 物体検出方法および物体検出装置
CN107274486A (zh) 一种模型3d效果图的生成方法
JP6895563B2 (ja) ロボットシステム、モデル生成方法、及びモデル生成プログラム
CN110472640B (zh) 一种目标检测模型预测框处理方法及装置
JP6831149B1 (ja) ひも状柔軟物の画像認識方法及び画像認識装置
JP2008116206A (ja) パターン寸法測定装置、方法及びプログラム
JP2014106856A (ja) 画像認識方法および画像認識装置
CN113592976B (zh) 地图数据的处理方法、装置、家用电器和可读存储介质
US20230005157A1 (en) Pattern-edge detection method, pattern-edge detection apparatus, and storage medium storing program for causing a computer to perform pattern-edge detection
US11875528B2 (en) Object bin picking with rotation compensation
CN111488882B (zh) 一种用于工业零件测量的高精度图像语义分割方法
Song et al. Automatic recovery of networks of thin structures
CN113269732A (zh) 一种基于特征扫描图像的线性物体检测方法
Niu et al. Clustering analysis for secondary breaking using a low-cost time-of-flight camera
US20230394798A1 (en) Data creation system, learning system, estimation system, processing device, evaluation system, data creation method, and program
JP7456521B2 (ja) 物体認識装置、物体認識方法、プログラム
US20230386181A1 (en) Data creation system, learning system, estimation system, processing device, data creation method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200821

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201209

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210114

R150 Certificate of patent or registration of utility model

Ref document number: 6831149

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250