JP7262232B2

JP7262232B2 - 画像認識システムおよび画像認識方法

Info

Publication number: JP7262232B2
Application number: JP2019012630A
Authority: JP
Inventors: 真二郎渡辺
Original assignee: Tokyo Electron Ltd
Current assignee: Tokyo Electron Ltd
Priority date: 2019-01-29
Filing date: 2019-01-29
Publication date: 2023-04-21
Anticipated expiration: 2039-01-29
Also published as: US20200242747A1; KR102315595B1; CN111563872A; TWI832958B; CN111563872B; KR20200094089A; TW202101625A; JP2020119476A

Description

本開示は、画像認識システムおよび画像認識方法に関する。

半導体デバイスの製造プロセスにおいては、半導体ウエハ（以下単にウエハと記す）における全てのプロセスが終了した段階で、ウエハに形成されている複数の半導体デバイス（以下単にデバイスと記す）の電気的検査が行われる。このような電気的検査を行う装置においては、一般的に、ウエハを吸着保持するステージに対向して、ウエハに形成された半導体デバイスに接触させる複数のプローブを有するプローブカードを配置する。そして、プローブカードへステージ上のウエハを押圧させることにより、プローブカードの各プローブをデバイスの電極パッドと接触させて電気的特性の検査を行う。

このような検査装置では、プローブがデバイスの電極パッドにコンタクトしたことを確認するために、電極パッドをカメラで撮像し、その画像から針跡を認識する画像認識技術が用いられている（例えば特許文献１）。

特開２００５－４５１９４号公報

本開示は、工場内の検査装置において、認識対象の画像認識が正しく行われない場合に、短期間でかつ工場外に情報を持ち出すことなく認識対象を認識できるようにすることができる画像認識システムおよび画像認識方法を提供する。

本開示の一態様に係る画像認識システムは、工場内に設置された複数の検査装置から、認識対象を含む画像データを収集する画像データ収集部と、事前の機械学習で得られた、前記認識対象の特徴部を認識する第１モデルに対し、前記画像データ収集部に収集された画像データにより追加の機械学習を実行する学習実行部と、前記学習実行部による前記機械学習の結果に基づいて、前記認識対象の前記特徴部を認識するモデルを前記第１モデルから第２モデルへ更新するモデル更新部と、前記工場内に設置された前記複数の検査装置のうち特定の検査装置に前記第２モデルを送信する第１の送信部と、前記特定の検査装置において、前記第２モデルを用いて前記認識対象の認識を行った認識結果を受信し判定する認識結果判定部と、前記認識結果判定部による判定結果により、前記第２モデルを前記検査装置へ送信する第２の送信部と、を有する。

本開示によれば、工場内の検査装置において、針跡等の認識対象の画像認識が正しく行われない場合にも、短期間で認識対象を認識できるようにすることができる画像認識システムおよび画像認識方法が提供される。

第１の実施形態に係る画像認識システムの一例を備えた検査システムを概略的に示すブロック図である。図１の検査システムにおける第１の検査装置を示す概略構成図である。第１の検査装置において、第１カメラでウエハに形成された被検査デバイスを撮影する様子を示す模式図である。第１の検査装置において、第２カメラでプローブカードを撮影する様子を示す模式図である。第１の実施形態の画像認識システム１００における画像認識方法を説明するためのフローチャートである。画像認識の認識対象がプローブの針跡の場合の画像の例を示す図である。画像認識の認識対象がプローブの針跡の場合の画像の例を示す図である。画像認識の認識対象がプローブの針先の場合の画像の例を示す図である。画像認識の認識対象がプローブの針先の場合の画像の例を示す図である。画像認識の認識対象がプローブの針先の場合の画像の例を示す図である。画像認識の認識対象がプローブの針先の場合の画像の例を示す図である。画像認識の認識対象がプローブの針先の場合の画像の例を示す図である。画像認識の認識対象がプローブの針先の場合の画像の例を示す図である。画像認識の認識対象がプローブの針先の場合の画像の例を示す図である。第１の実施形態に係る画像認識システムの他の例を示すブロック図である。第２の実施形態に係る画像認識システムの一例を備えた検査システムを概略的に示すブロック図である。第２の実施形態の画像認識システムにおける画像認識方法を説明するためのフローチャートである。第２の実施形態に係る画像認識システムの他の例を示すブロック図である。第３の実施形態に係る画像認識システムの一例を示すブロック図である。第３の実施形態に係る画像認識システムの他の例を示すブロック図である。

以下、添付図面を参照して、本発明の実施の形態について説明する。

＜第１の実施形態＞
まず、第１の実施形態について説明する。
図１は、第１の実施形態に係る画像認識システムの一例を備えた検査システムを概略的に示すブロック図である。

検査システム４００は、工場内に設けられた複数の第１の検査装置２００と、第１の検査装置２００の認識対象を含む画像データにおける認識対象の認識レベルを向上させるための画像認識システム１００とを備える。

第１の検査装置２００は、例えば図２に示すように、ウエハＷを吸着保持するステージ２０１と、複数のプローブ２０３を有するプローブカード２０２と、テスタ２０４と、第１カメラ２０５、第２カメラ２０６と、制御部２０７とを備える。

ステージ２０１はアライナー（図示せず）により平面方向および上下方向の位置合わせが可能になっており、プローブ２０３をウエハＷに複数形成された被検査デバイスの電極パッドに接触させることにより、テスタ２０４による電気的検査が行われる。なお、第１の検査装置２００は、ウエハＷを走査させることにより、相対的にプローブ２０３がウエハＷを走査しながら検査を行ってもよいし、ウエハＷに形成された複数の被検査デバイスに対して一括して複数のプローブを接触させて検査を行ってもよい。また、第１の検査装置２００は、単体の検査装置であっても、複数の検査部を有する検査装置であってもよい。

第１カメラ２０５は、移動可能に設けられ、図３に示すように、ウエハＷに形成された被検査デバイスを撮像するようになっている。また、第２カメラ２０６も移動可能に設けられ、図４に示すように、プローブカード２０２を撮像するようになっている。これらにより、検査に必要な認識対象を含む画像データが得られる。認識対象としては、例えば、電極パッド、検査の際にプローブ２０３がデバイスの電極パッドに接触した際の針跡、プローブ２０３の針先形状等を挙げることができる。これら認識対象は、制御部２０７の画像認識部２０８で認識される。電極パッドの形状の認識は、プローブと電極パッドの位置合わせに必要であり、針先の認識は、針先の中心位置決めに必要であり、針跡の認識は、プローブがデバイスの電極パッドにコンタクトしたことを確認するために必要である。

第１の検査装置２００において、制御部２０７の画像認識部２０８は、上記認識対象について、事前に機械学習により得られた、認識対象の特徴部を認識するモデルを用いて画像データから認識対象を認識するソフトウエアが搭載されている。モデルは後述する追加の機械学習により更新可能となっている。

機械学習とは、人間が自然に行うような学習の機能をコンピュータ等に行わせる技術・手法のことをいう。機械学習としては、ディープラーニングを好適に用いることができる。ディープラーニングとは、複数の処理層が階層的に接続されることにより構築された多層ニューラルネットワークを用いた機械学習の手法である。このとき用いられるモデルは数式であり、数式中には複数のパラメータが存在し、各パラメータの値や重み付け等により、モデルを変更することができる。本例においては、第１の検査装置２００の画像認識部２０８の初期状態のモデルは第１モデル（#１）である。

画像認識システム１００は、図１に示すように、画像データ収集部１０と、機械学習を実行する学習実行部２０と、モデル更新部３０と、第１の送信部４０と、認識結果判定部５０と、第２の送信部６０とを有する。

画像データ収集部１０は、第１の検査装置２００から、上述したような認識対象を含む画像データを収集する。画像データ収集部１０が収集する画像データとしては、第１の検査装置２００の画像認識部２０８で認識できなかった画像データであってよい。

学習実行部２０は、事前の機械学習で得られた、認識対象の特徴部を認識する第１モデル（第１の検査装置２００に搭載された第１モデル（#１）と同じ）に対し、画像データ収集部１０に収集された画像データにより追加の機械学習を実行する。このときの機械学習は、典型的には上述したディープラーニングを用いる。学習実行部２０における機械学習の実行は、適宜のタイミングで、自動的に実行するようにすることができる。機械学習の実行は定期的に行ってもよいし、画像データ収集部１０のデータが所定量になった時点で行ってもよい。なお、機械学習の実行をオペレータの操作により行ってもよい。

モデル更新部３０は、学習実行部２０による機械学習の結果に基づいて、認識対象の特徴部を認識するモデルを第１モデル（#１）から第２モデル（#２）に更新する。第２モデルは、第１モデルでは認識対象を認識できなかった画像データについても認識可能な、より認識レベルの高いモデルとなり得る。

なお、学習実行部２０とモデル更新部３０は、一体となっていてもよい。

第１の送信部４０は、モデル更新部３０から更新された第２モデルを受け取り、複数の第１の検査装置２００のうち特定の検査装置２００に第２モデルを送信する。その特定の第１の検査装置２００では、第１モデルでは認識対象が認識できなかった画像データの認識対象の認識評価を、第２モデルを用いて行う。

認識結果判定部５０は、その特定の第１の検査装置２００で第２モデルを用いて行った、第１モデルでは認識対象が認識できなかった画像データと同様または同等の画像データにおける認識対象の認識結果を受信し判定する。

第２の送信部６０は、認識結果判定部５０による判定結果により、第２モデルを、特定の第１の検査装置以外の第１の検査装置２００へ送信する。より具体的には、第２の送信部６０は、認識結果判定部５０により認識結果が良好であると判定された場合に、第２モデルを第１の検査装置２００へ送信する。

次に、第１の実施形態の画像認識システム１００における画像認識方法について説明する。図５は、第１の実施形態の画像認識システム１００における画像認識方法を説明するためのフローチャートである。

まず、工場内に設置された複数の第１の検査装置２００から、認識対象を含む画像データを画像データ収集部１０に収集する（ＳＴ１）。このときの画像データとしては、第１の検査装置２００の画像認識部２０８で認識できなかったものであってよい。

次に、学習実行部２０により、事前の機械学習で得られた、認識対象の特徴部を認識する第１モデルに対し、画像データ収集部１０に収集された画像データにより追加の機械学習を実行する（ＳＴ２）。このときの機械学習は、典型的には上述したディープラーニングを用いる。

次に、機械学習の結果に基づいて、モデル更新部３０により、認識対象の特徴部を認識するモデルを第１モデルから第２モデルへ更新する（ＳＴ３）。

次に、工場に設置された複数の第１の検査装置２００のうち、特定の第１の検査装置に第２モデルを送信する（ＳＴ４）。

次に、特定の第１の検査装置２００において、第２モデルを用いて認識対象の認識評価を行う（ＳＴ５）。

次に、特定の第１の検査装置において認識を行った認識結果を判定する（ＳＴ６）。

次に、上記ＳＴ６の判定結果により、第２モデルを、第２の送信部６０から第１の検査装置２００へ送信する（ＳＴ７）。具体的には、ＳＴ６で認識結果判定部５０により認識結果が良好であると判定された場合に、第２モデルを工場内の全ての第１の検査装置２００へ送信し、全ての検査装置２００の画像認識部のモデルを第２モデルに更新する。

なお、特定の第１の検査装置２００における認識結果が良好でない場合には、第２モデルへの更新を中止する。また、上記例ではＳＴ５において、特定の第１の検査装置２００で第２モデルの認識評価のみを行うが、ＳＴ５で特定の第１の検査装置２００のモデルを第２モデルに更新してもよい。その場合は、ＳＴ６で認識結果判定部５０により認識結果が良好であると判定された場合に、ＳＴ７において特定の第１の検査装置２００以外の第１の検査装置２００に第２モデルが送信される。

このように、本実施形態の画像認識システム１００によれば、工場内に設置された複数の第１の検査装置から、画像データ収集部１０に認識対象を含む画像データを収集する。そして、第１モデルに対し、収集された画像データにより追加の機械学習を実行し、モデルを第１モデルから新しい第２モデルに更新する。特定の第１の装置２００で第２モデルの認識結果を確認後、工場内の全ての第１の検査装置２００のモデルを新しい第２モデルに置き換える。これにより、工場内の全ての第１の検査装置２００について、常に更新された新しいモデルにより認識対象を認識することができるようになる。このため、認識対象の画像認識が正しく行われない場合であっても、短期間で効率良く認識対象を認識できるようにすることができる。また、工場外に情報を持ち出すことなく認識対象を認識することができるようになる。

従来は、特許文献１に記載されているように、針跡等の認識対象をカメラにより撮像して画像として認識することは行われていた。しかし、認識対象の画像認識を行うためのソフトウエアの更新については特許文献１には何ら記載されていない。

一般的に、この種の認識対象の画像認識においては、例えば新しいデバイスの検査時や、経時変化、ゴミの存在、コントラストの違い等により、認識対象が変化すると、従前のソフトウエアでは対応することができず、画像認識が正しく行えない認識結果不良となる場合がある。

例えば、認識対象が針跡の場合、ソフトウエアが図６Ａの画像において、電極パッド５０１に形成された針跡５０２を針跡として認識可能であっても、図６Ｂのように針跡５０２の他にゴミ５０３が存在すると正しい針跡を認識できずに認識結果不良となり得る。また、認識対象が針先である場合、典型的には図７Ａのような形状であっても、経時変化やコントラストの違いにより、画像では、例えば図７Ｂ～７Ｇのように一部が消えることがある。その他、局部的に薄くなったり、先端の摩耗等により特定の部分が大きくなる等、画像上種々の形態が生じる。このため、認識結果不良となりやすい。また、新しいデバイスではデバイスの電極パッドの形状が変わる場合があり、その場合は、電極パッドとして認識することができなくなる。

従来は、このような事態が生じ、認識結果不良となった場合、画像収集から改善案検討、ソフトウエアの設計・製作・評価・実装までを、サービス部門および技術部門の関係者が行う必要がある。また、認識結果不良から改善したソフトウエアが稼働するまでに長期間が必要であった。

これに対し、本実施形態に係る画像認識システム１００では、上述したように、認識対象の画像認識が正しく行われない場合であっても、機械学習により短期間で効率良く、認識対象を認識できるようにすることができる。また、工場外に情報を持ち出すことなく認識対象を認識できるようにすることができるので、情報漏洩を防止する効果も得られる。また、工場内の全ての第１の検査装置２００に対して、同じモデルで認識対象の認識を行うことができ、工場内で同じレベルで認識対象を認識することができる。

なお、画像認識システム１００の変形例として、図８に示すような、モデル更新部３０で第２モデルに更新した後、単に複数の第１の検査装置２００にモデルを送信する検査装置を特定せずに第２モデルを送信する機能を有する画像認識システム１００´であってもよい。この場合は、第１の検査装置２００において認識結果が良好でない場合に、モデルを第１モデルに戻す機構を別途設けるか、オペレータがモデルを第１に戻すことにより対応することが可能である。

＜第２の実施形態＞
次に、第２の実施形態について説明する。
図９は、第２の実施形態に係る画像認識システムの一例を備えた検査システムを概略的に示すブロック図である。

検査システム４０１は、工場内に設けられた上述の複数の第１の検査装置２００と、１または複数の第２の検査装置３００と、第１の検査装置２００および第２の検査装置３００の認識対象を含む画像データにおける認識対象の認識レベルを向上させるための画像認識システム１０１とを備える。

第２の検査装置３００は、基本構成は第１の検査装置２００と同じであるが、画像認識部のソフトウエアが、認識対象の特徴部を認識する機械学習で得られたモデルを用いないものである点が第１の検査装置２００とは異なっている。

本実施形態に係る画像認識システム１０１は、図９に示すように、画像データ収集部１０と、機械学習を実行する学習実行部２０と、モデル更新部３０と、第１の送信部４０と、認識結果判定部５０と、第２の送信部６０と、推定画像データ収集部１１０と、推定部１２０と、データ処理部１３０とを有する。

学習実行部２０と、モデル更新部３０と、第１の送信部４０と、認識結果判定部５０と、第２の送信部６０は、第１の実施形態と同様に構成される。

推定画像データ収集部１１０は、第２の検査装置３００から、認識対象を含む画像データを収集する。推定画像データ収集部１１０が収集する画像データとしては、第２の検査装置３００の画像認識部で認識できなかった画像データであってよい。

推定部１２０は、推定画像データ収集部１１０から認識対象を含む画像データを受信し、画像データについて前記認識対象の推定を行う。具体的には、推定部１２０は、上述した第１モデルを用いて認識対象の推定を行う。第２の検査装置３００は、画像認識部のソフトウエアが、認識対象の特徴部を認識するモデルを用いないものであるため、推定部１２０にて第１の検査装置２００と同様の第１モデルを用いて認識対象の推定を行う。推定部１２０は、モデル更新部３０から情報を受け取り、第１モデルを第２モデルに更新することが可能となっている。これにより、推定部１２０でも第２モデルを用いて認識対象の推定を行うことが可能になる。

データ処理部１３０は、推定部１２０において認識対象を推定（認識）した結果を、画像データの送信元の第２の検査装置３００に送信する。データ処理部１３０は、推定部１２０において認識対象を推定（認識）できなかった場合には、認識対象の推定結果を画像データの送信元の第２の検査装置３００に送信するとともに、画像データ収集部１０にその画像データを蓄積させる。第２の検査装置３００に送信される推定結果は数値データ（認識対象が針跡の場合は、針跡の位置・サイズ等）である。なお、推定部１２０において認識対象を推定（認識）できた場合には、その画像データ自体は推定画像データ収集部１１０から廃棄される。

次に、第２の実施形態の画像認識システム１０１における画像認識方法について説明する。図１０は、第２の実施形態の画像認識システム１０１における画像認識方法を説明するためのフローチャートである。

工場内に設置された第２の検査装置３００から、推定画像データ収集部１１０に画像データを収集する（ＳＴ１１）。このときの収集する画像データとしては、第２の検査装置３００の画像認識部で認識できなかった画像データであってよい。

推定画像データ収集部１１０で収集した画像データについて推定部１２０にて認識対象の推定を行う（ＳＴ１２）。この工程は、上述した第１モデルを用いて認識対象の推定を行うことができる。これにより、第２の検査装置３００の認識対象の認識を第１の検査装置２００と同じレベルで行うことができる。このＳＴ１２は、モデル更新部３０でモデルを第１モデルから第２モデルに更新した際には、モデル更新部３０から情報を受け取り、第１モデルを第２モデルに更新して行うことができる。

ＳＴ１２において、認識対象を推定できた場合には画像データの送信元の第２の検査装置３００にその結果を送信する。また、認識対象を推定できなかった場合には、画像データ送信元の第２検査装置３００にその結果を送信するとともに、画像データ収集部１０にその画像データを蓄積させる（ＳＴ１３）。これにより、第２の検査装置３００からもモデル更新のための画像データを収集することができる。ＳＴ１３において、第２の検査装置３００に送信されるのは数値データ（認識対象が針跡の場合は、針跡の位置・サイズ等）である。なお、認識対象を推定できた場合には、その画像データ自体は推定画像データ収集部１１０から廃棄される。

本実施形態では、これらの工程に加えて第１の実施形態のＳＴ１～ＳＴ７を実施する。図１０ではＳＴ１１～ＳＴ１３をＳＴ１～ＳＴ７の上に記載しているが、ＳＴ１～ＳＴ７とＳＴ１１～１３の順番は限定されず、ＳＴ１～ＳＴ７を先に行っても、ＳＴ１～７とＳＴ１１～１３とを同時並行的に行ってもよい。

本実施形態の画像認識システム１０１によれば、第１の実施形態の画像認識システム１００と同様に、画像データ収集部１０への認識対象を含む画像データの収集、追加の機械学習、モデルの更新を経て、全ての第１の検査装置２００のモデルを第２モデルに置き換える。これにより、工場内の全ての第１の検査装置２００について、常に更新された新しいモデルにより認識対象を認識することができる。このため、認識対象の画像認識が正しく行われない場合であっても、短期間で効率良く、かつ工場外に情報を持ち出すことなく認識対象を認識できるようにすることができる。また、これに加えて、工場内に機械学習で得られたモデルを用いない第２の検査装置３００が存在する場合にも、認識対象の認識レベルを第１の検査装置２００のみの場合に近いレベルとすることができる。さらに、第２の検査装置３００において推定部１２０で推定できなかった認識対象を含む画像データをも画像データ収集部１０に収集して、追加の機械学習のための画像データとして用いてモデルのグレードアップに資することができる。

なお、画像認識システム１０１の変形例として、図１１に示すような、モデル更新部３０で第２モデルに更新した後、単に複数の第１の検査装置２００にモデルを送信する検査装置を特定せずに第２モデルを送信する機能を有する画像認識システム１０１´であってもよい。この場合は、第１の検査装置２００において認識結果が良好でない場合に、モデルを第１モデルに戻す機構を別途設けるか、オペレータがモデルを第１に戻すことにより対応することが可能である。

＜第３の実施形態＞
次に、第３の実施形態について説明する。
図１２は、第３の実施形態に係る画像認識システムの一例を示すブロック図である。本実施形態では第２の実施形態と同様、検査装置として第１の検査装置２００と第２の検査装置３００とが混在している。

本実施形態に係る画像認識システム１０２は、図１２に示すように、画像データ収集部１０と、推定画像収集部１１０と、推定部１２０と、データ処理部１３０とを有している。すなわち、画像認識システム１０２は、第２の実施形態の画像認識システム１０１から、学習実行部２０、モデル更新部３０、第１の送信部４０、認識結果判定部５０、第２の送信部６０を除いたものである。

本実施形態に係る画像認識システム１０２では、第２の実施形態の画像認識システム１０１と同様、工場内に設置された第２の検査装置３００から、推定画像データ収集部１１０に画像データを収集する。このときの収集する画像データとしては、第２の検査装置３００の画像認識部で認識できなかった画像データであってよい。推定画像データ収集部１１０で収集した画像データについて推定部１２０にて、上述した第１モデルを用いて認識対象の推定を行う。そして、データ処理部１３０にて、認識対象の推定結果を画像データの送信元の第２の検査装置３００に送信する。データ処理部１３０は、推定部１２０において認識対象を推定できなかった場合には、画像データの送信元の第２の検査装置３００に推定結果を送信するとともに、画像データ収集部１０にその画像データを蓄積させる。画像データ収集部１０には、第１の検査装置２００からも、認識対象を認識できなかった画像データが収集される。

したがって、工場内の検査装置が第１モデルを用いて機械学習を利用する第１の検査装置２００と、機械学習を利用しない第２の検査装置３００とが混在する場合に、第２の検査装置３００も第１の検査装置２００と同等のレベルで認識対象を認識できる。また、第１の検査装置２００と第２の検査装置３００の両方から、画像データ蓄積部１０に、第１モデルでは認識対象を認識できなかった画像データを蓄積することができる。このため、これら画像データを別途設けられた機械学習実行部に供することにより、モデルを更新することができ、認識対象の認識レベルを向上させることができる。

なお、図１３に示す画像認識システム１０３は、構成は画像認識システム１０２と同様であるが、工場内の検査装置が全て第２の検査装置３００の場合である。この場合にも同様に、第２の検査装置３００も第１の検査装置２００と同等のレベルで認識対象を認識できる。また、第２の検査装置３００から画像データ収集部１０に、第１モデルでは認識対象を認識できなかった画像データを蓄積することができる。このため、これら画像データを別途設けられた機械学習実行部に供することにより、モデルを更新することができ、認識対象の認識レベルを向上させることができる。

以上、実施形態について説明したが、今回開示された実施形態は、全ての点で例示であって制限的なものではないと考えられるべきである。上記の実施形態は、添付の特許請求の範囲およびその主旨を逸脱することなく、様々な形態で省略、置換、変更されてもよい。

例えば、上記実施形態の検査装置はあくまで例示であり、画像認識により認識対象を認識する操作を含む検査装置であれば適用可能である。

また、上記実施形態では、認識対象として、電極パッド、プローブの電極パッドへの針跡、プローブの針先を例示したが、これに限るものではない。

１０；画像データ収集部
２０；学習実行部
３０；モデル更新部
４０；第１の送信部
５０；認識結果判定部
６０；第２の送信部
１００，１００´，１０１，１０１´、１０２，１０３；画像認識システム
２００；第１の検査装置
３００；第２の検査装置
４００，４０１；検査システム

Claims

工場内に設置された複数の検査装置から、認識対象を含む画像データを収集する画像データ収集部と、
事前の機械学習で得られた、前記認識対象の特徴部を認識する第１モデルに対し、前記画像データ収集部に収集された画像データにより追加の機械学習を実行する学習実行部と、
前記学習実行部による前記機械学習の結果に基づいて、前記認識対象の前記特徴部を認識するモデルを前記第１モデルから第２モデルへ更新するモデル更新部と、
前記工場内に設置された前記複数の検査装置のうち特定の検査装置に前記第２モデルを送信する第１の送信部と、
前記特定の検査装置において、前記第２モデルを用いて前記認識対象の認識を行った認識結果を受信し判定する認識結果判定部と、
前記認識結果判定部による判定結果により、前記第２モデルを前記検査装置へ送信する第２の送信部と、
を有する、画像認識システム。
前記画像データ収集部には、前記認識対象を正しく認識できなかった画像データが収集される、請求項１に記載の画像認識システム。
前記第２モデルが送信された前記検査装置は、前記認識対象の前記特徴部を認識するモデルが前記第１モデルから前記第２モデルに更新される、請求項１または請求項２に記載の画像認識システム。
前記工場内に設置された複数の検査装置は、事前の機械学習により得られた前記認識対象の特徴部を認識するモデルを用いて前記認識対象の認識を行う第１の検査装置を含み、前記第２モデルが送信される前記検査装置は前記第１の検査装置である、請求項１から請求項３のいずれか一項に記載の画像認識システム。
前記検査装置において前記認識対象を認識できなかった画像データを少なくとも受信し、前記画像データについて前記認識対象の推定を行う推定部と、
前記推定部において前記認識対象の推定結果を前記画像データの送信元の前記検査装置に送信し、前記推定部において前記認識対象を推定できなかった場合には前記画像データ収集部にその画像データを蓄積させるデータ処理部と、
をさらに有する、請求項１から請求項４のいずれか１項に記載の画像認識システム。
前記工場内に設置された複数の検査装置は、前記認識対象の特徴部を認識するモデルを用いない第２の検査装置を含み、
前記推定部は、前記第２の検査装置において前記認識対象を認識できなかった画像データを少なくとも受信し、前記認識対象の推定を行う、請求項５に記載の画像認識システム。
前記推定部は、前記画像データについて前記第１モデルを用いて前記認識対象の推定を行う、請求項５または請求項６に記載の画像認識システム。
前記推定部に用いられる前記第１モデルは、前記モデル更新部で更新された前記第２モデルに更新可能である、請求項５から請求項７のいずれか一項に記載の画像認識システム。
前記検査装置は、複数のデバイスが形成されたウエハに対し、プローブカードの各プローブをデバイスの電極パッドと接触させて電気的特性の検査を行うものであり、前記認識対象は、前記電極パッド、前記電極パッドに対し前記プローブが付けた針跡、および、前記プローブの針先のうち少なくとも１種である、請求項１から請求項８のいずれか一項に記載の画像認識システム。
画像データ収集部と、学習実行部と、モデル更新部と、第１の送信部と、認識結果判定部と、第２の送信部と、を有する画像認識システムにより画像認識を行う画像認識方法であって、
工場内に設置された複数の検査装置から、認識対象を含む画像データが前記画像データ収集部に収集される工程と、
前記学習実行部により、事前の機械学習で得られた、前記認識対象の特徴部を認識する第１モデルに対し、前記収集された画像データにより追加の機械学習を実行する工程と、
前記モデル更新部により、前記機械学習の結果に基づいて、前記認識対象の前記特徴部を認識するモデルを前記第１モデルから第２モデルへ更新する工程と、
前記第１の送信部により、前記工場内に設置された前記複数の検査装置のうち特定の検査装置に前記第２モデルを送信する工程と、
前記特定の検査装置により、前記第２モデルを用いて前記認識対象の認識を行う工程と、
前記認識結果判定部により、前記特定の検査装置において認識を行った認識結果を判定する工程と、
前記第２の送信部により、前記判定する工程の判定結果により、前記第２モデルを前記検査装置へ送信する工程と、
を有する、画像認識方法。
前記認識対象を含む画像データが前記画像データ収集部に収集される工程は、前記認識対象を正しく認識できなかった画像データが収集される、請求項１０に記載の画像認識方法。
前記第２モデルが送信された前記検査装置は、前記認識対象の前記特徴部を認識するモデルが前記第１モデルから前記第２モデルに更新される、請求項１０または請求項１１に記載の画像認識方法。
前記工場内に設置された複数の検査装置は、事前の機械学習により得られた前記認識対象の特徴部を認識するモデルを用いて前記認識対象の認識を行う第１の検査装置を含み、前記第２モデルが送信される前記検査装置は前記第１の検査装置である、請求項１０から請求項１２のいずれか一項に記載の画像認識方法。
前記画像認識システムは、推定部と、データ処理部とをさらに有し、
前記推定部により、前記検査装置において前記認識対象を認識できなかった画像データについて前記認識対象の推定を行う工程と、
前記データ処理部により、前記認識対象の推定結果を前記画像データの送信元の前記検査装置に送信し、前記認識対象を推定できなかった場合には、前記画像データ収集部にその画像データを蓄積させる工程と、
をさらに有する、請求項１０から請求項１３のいずれか一項に記載の画像認識方法。
前記工場内に設置された複数の検査装置は、前記認識対象の特徴部を認識するモデルを用いない第２の検査装置を含み、
前記認識対象の推定を行う工程は、前記第２の検査装置において前記認識対象を認識できなかった画像データについて前記認識対象の推定を行う、請求項１４に記載の画像認識方法。
前記認識対象の推定を行う工程は、前記画像データについて前記第１モデルを用いて前記認識対象の推定を行う、請求項１４または請求項１５に記載の画像認識方法。
前記認識対象の推定を行う工程に用いられる前記第１モデルは、前記モデルを更新する工程で更新された前記第２モデルに更新可能である、請求項１４から請求項１６のいずれか一項に記載の画像認識方法。
前記検査装置は、複数のデバイスが形成されたウエハに対し、プローブカードの各プローブをデバイスの電極パッドと接触させて電気的特性の検査を行うものであり、前記認識対象は、前記電極パッド、前記電極パッドに対し前記プローブが付けた針跡、および、前記プローブの針先のうち少なくとも１種である、請求項１０から請求項１７のいずれか一項に記載の画像認識方法。