JP4172728B2

JP4172728B2 - Image processing method

Info

Publication number: JP4172728B2
Application number: JP13176997A
Authority: JP
Inventors: 義朗川島; 卓郎本田
Original assignee: Juki Corp
Current assignee: Juki Corp
Priority date: 1997-05-22
Filing date: 1997-05-22
Publication date: 2008-10-29
Anticipated expiration: 2017-05-22
Also published as: JPH10320565A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法、更に詳細には、撮像装置の視野を越える大きさを有する対象物の撮像データを処理する画像処理方法に関する。
【０００２】
【従来の技術】
従来より、電子部品搭載装置（マウンタ）では吸着ノズルにより吸着された部品の画像をＣＣＤカメラ等の撮像装置（画像入力装置）から取り込み、この部品の画像を処理することにより部品の位置を検出し、必要に応じて吸着ノズルによる部品の姿勢を補正することにより部品の位置決めを行ない、所定の基板上に部品の搭載を行なっている。
【０００３】
画像処理を利用して部品等の対象物の位置を計測、評価するシステムにおいて、一度に撮像できる視野範囲に入らない大きな対象物を扱う場合には、一度に撮像できる視野を拡大し、画像処理を行う方法、対象物を一部づつ複数回に分けて撮像し、各々の画像データを合成した後に、画像処理を行う方法が提案されている。
【０００４】
【発明が解決しようとする課題】
撮像視野を拡大する上記の方法では、撮像装置と対象物との間の距離（物像間距離）の変更、又は撮像装置のレンズにおける焦点距離の変更等、機械的な変更が必要となるため、元のシステムとの共存が難しく、また、画像入力段階で分解能が低下してしまうため、画像処理後の分解能（精度）も低下してしまい、そのため高精度を要求するシステムには採用できない、という問題がある。
【０００５】
また、対象物を複数回に分けて撮像する方法においては、画像データを記憶しておく手段、例えば半導体メモリ等を、新たに撮像の回数分持たなければならない、という欠点があり、更に、画像データの合成処理の追加等、画像処理方法の変更も大きくなる。
【０００６】
本発明は、このような点に鑑みてなされたもので、撮像視野を越える大きさの対象物の画像を簡単にしかも正確に画像処理して所定のデータを取得できる画像処理方法を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明では、この課題を解決するために、
対象物のサイズ、リード数及びリードピッチが予め分かっているリードを有する対象物を、該対象物のサイズより視野が小さい撮像装置で撮像し、その撮像された対象物の画像を処理する画像処理方法において、
撮像装置と対象物を相対的に移動することにより前記リードを有する対象物を互いに一部重なり合う視野で複数回撮像し、
一つの視野と次の視野での画像処理によりそれぞれ得られる対象物のリード先端位置を示すデータを求め、次の視野での画像処理により得られたリード先端位置を示すデータに対しては、該データに次の視野へ移動したときの撮像装置と対象物の相対移動量を加算したものを前記次の視野でのリード先端位置を示すデータとし、また、前記一つの視野と次の視野の両視野に入る同一とされたリードに対しては、一つの視野の該リードの先端位置と、前記相対移動量を加算した次の視野の該リードの先端位置との平均値を前記同一とされたリードの先端位置を示すデータとし、前記一つの視野と次の視野を合わせた視野に対応する視野での対象物のリード先端位置のデータを求める構成を採用している。
【０００９】
このような構成では、対象物のリード先端位置を示すデータを求めるのに各視野での画像を合成する必要がない。従って、合成のために各視野での対象物の全画像を記憶しておく必要がなく、単に各視野で画像処理に得られた対象物の目的とするデータを保存するだけでよいので、記憶手段の容量を顕著に節約することが可能になる。また、必要なデータを求めるのに、各視野での全部の画像データを合成する必要がないので、画像処理のコスト、時間を顕著に低減できる。
【００１２】
また、対象物の所望データは、いずれも簡単な演算で得られるので、機械的、電気的、ソフトウェア的に変更が少なくしかも分解能（精度）を低下させずに、大きな対象物を扱うことが可能になる。
【００１３】
【発明の実施の形態】
以下、図面に示す実施の形態に基づき本発明を詳細に説明する。
【００１４】
図１は、本発明が適用される撮像装置並びに画像処理装置の全体の構成を示す図である。
【００１５】
１は、画像処理の対象となる対象物で、例えば電子部品である。対象物１は、ＸＹテーブル５上に載置され、画像データを取り込む画像入力装置、例えばテレビカメラ、ＣＣＤカメラ等の撮像装置２により撮像される。撮像装置で撮像された対象物１の画像データは画像処理装置３により画像処理され、撮像装置２で撮像された対象物の画像あるいは画像処理装置３における処理の過程等がモニタテレビ４等の表示装置に表示される。
【００１６】
ＸＹテーブル５は、Ｘ方向移動モータ６及びＹ方向移動モータ８によりテーブル上面と撮像装置２の撮像面とを平行に保って移動される。ＸＹテーブル５のＸ方向の位置はエンコーダ７により、またＸＹテーブル５のＹ方向の位置はエンコーダ９によりそれぞれを検出することができる。
【００１７】
本発明では、撮像装置２の視野範囲を越える大きさの寸法の対象物の画像処理が対象になるので、図２に示したような長方形状の対象物（電子部品）１０を例にして説明する。
【００１８】
図３のステップＳ１、Ｓ２で示したように、対象物の一部１０ａが撮像装置視野Ｇ１（Ｌ x Ｌ）に入るようにＸＹテーブル５をモータ６、８により移動して対象物を撮像する。次に、撮像された対象物の画像に基づいて画像処理装置３で画像処理を行なう（ステップＳ３）。この画像処理により、対象物部分１０ａの輪郭線が抽出される。
【００１９】
続いて、ステップＳ４で視野Ｇ１内の対象物部分１０ａの中心位置Ｃ１の座標（Ｘ１、Ｙ１）が算出される。次に、この中心位置の座標と左端の座標Ｘ０をメモリに格納する（ステップＳ５）。
【００２０】
続くステップＳ６で、対象物１０の全景を捕らえたかを判断する。視野Ｇ１では対象物の一部しか撮像されていないので、ステップＳ１に戻って、対象物１０の別の一部１０ｂが撮像装置２により撮像されるように、ＸＹテーブル５をモータ６を使用して移動する。この移動量Ｘoffは、エンコーダ７で検出することができる。この例では、Ｘ方向だけの移動であるが、いずれにしても、ＸＹテーブル５の移動は、移動前の画像と移動後の画像が連続的につながる、又は一部重なり合う長さとし、画像と画像の間に隙間ができないようにする。
【００２１】
再び撮像装置２より画像データを取り込み、画像処理装置３にてデータの処理を行い、次の視野Ｇ２内の対象物部分１０ｂの輪郭を抽出する。そして、対象物部分１０ｂの中心Ｃ２の座標（Ｘ２、Ｙ２＝Ｙ１）を求め、移動量Ｘoffとともにメモリに格納する。
【００２２】
図２（Ａ）の例では、対象物の全景が撮像されたので、ステップＳ７において結果のデータ処理を行なう。すなわち、視野Ｇ１とＧ２の合成視野内の対象物の中心座標（Ｘc、Ｙc）を求める。合成視野での対象物の右端の座標をＸnとすると、

となることから、

となる。また、Ｙcは、Ｙ１となる。
【００２３】
このように、一つの視野Ｇ１での対象物の中心位置を求め、次の視野Ｇ２での対象物の中心位置をそれぞれ求め、それに移動量とによる演算により、両視野を合わせた視野での対象物の中心位置を簡単に演算できるので、各視野での対象物の全画像を合成することなく、メモリの容量を顕著に節約することができる。
【００２４】
図２（Ｂ）には、更にＸＹテーブルをＸoff移動して視野Ｇ３において全景が補足される対象物１０’の例が図示されている。
【００２５】
全体の視野での中心のＸ座標Ｘcは、上記で求めた２つの視野Ｇ１、Ｇ２の合成視野での中心座標と視野Ｇ３での中心位置Ｃ３のＸ座標Ｘ３の処理と同じになるので、

となる。
【００２６】
一般的に、複数視野数を合成した視野での対象物の中心座標Ｘcは、

となる。
【００２７】
対象物が矩形状に大きく、Ｘ方向だけでなく、Ｙ方向にも移動させなければないときの中心のＹ座標は、中心のＸ座標を求めたのと同様にして求めることができる。
【００２８】
上記例では、対象物１０を複数の視野、例えばＧ１〜Ｇ３の２視野あるいは３視野に分けて撮像したが、視野数は、対象物の大きさに従って決まるもので、対象物の形状に応じて２（Ｘ方向）X １（Ｙ方向）の視野、３ X １の視野の他に、４ X １の視野、２ X ２の視野、１ X ２の視野、１ X ３の視野、１ X ４の視野等の視野を選択できるようにする。その場合、Ｘ、Ｙ方向の視野間距離Ｘoff、Ｙoffは、それぞれ同じ値とするのが好ましいが、必要に応じて可変にすることができる。可変の場合、それぞれ重複部分の長さが変化するだけで、演算の内容は異ることはない。
【００２９】
次に、図４に示したように、両側に多数のリードが設けられている対象物２０（ＩＣ等の電子部品）のリード先端座標を求める例について説明する。
【００３０】
前の例と同様に、図３のステップＳ１、Ｓ２において、対象物の一部２０ａが撮像装置視野Ｇ１（Ｌ x Ｌ）に入るようにＸＹテーブル５をモータ６、８により移動して対象物部分２０ａを撮像する。この撮像例が図５（Ａ）に図示されている。次に、撮像された対象物の画像に基づいて画像処理装置３で画像処理を行なう（ステップＳ３）。
【００３１】
この画像処理では、検出すべきリード列を含む大きさの枠が設定され、この枠内でリード幅方向へフィルタ処理（ＤＯＧ）を行なうことによりゼロクロスを検出してリードエッジが検出され、上側のリード列の先端座標（ｘn、ｙn）（n＝１、２、３、４、５）が求められる。同様に下側のリード列に対しても同様な処理を行ない、先端座標（ｘn'、ｙn'）を求める（以上ステップＳ４）。
【００３２】
次に、ステップＳ５において、必要なデータを保存する。メモリに格納されるデータは、視野Ｇ１での上記算出されたリード先端座標（ｘn、ｙn）、（ｘn'、ｙn'）である。
【００３３】
対象物２０の全てがまだ捕捉されていないので、ステップＳ１に戻り、ＸＹテーブルをＸoff、Ｙoff（この例では、Ｙoff＝０）移動させて、次に視野Ｇ２に移り、図５（Ｂ）に示したような撮像が行なわれる。
【００３４】
同様な処理で、上側及び下側のリード列に対して、リード先端座標（Ｘn、Ｙn）、（Ｘn'、Ｙn'）（n＝５、６、７、８、９）を求め、各リード座標並びに視野Ｇ１からのオフセット距離Ｘoff並びにＹoffをメモリに格納する。
【００３５】
対象物の全景が捕捉されたので、ステップＳ７で対象物全部のリード先端座標（ＸＸn、ＹＹn）、（ＸＸn'、ＹＹn'）を求める。
【００３６】
ｎ＝１〜４に対しては、
（ＸＸn、ＹＹn）＝（ｘn、ｙn）
（ＸＸn'、ＹＹn'）＝（ｘn'、ｙn'）
となる。
【００３７】
また、
ｎ＝６〜９に対しては、
（ＸＸn、ＹＹn）＝（Ｘn ＋Ｘoff、Ｙn ＋Ｙoff）
（ＸＸn'、ＹＹn'）＝（Ｘn' ＋Ｘoff、Ｙn' ＋Ｙoff）
となる。
【００３８】
なお、両視野に入るリード（ｎ＝５のリード）に対しては、両座標の平均値をリード座標とする。このため、オーバーラップ部分のリード列データに対しては、１／２リードピッチ以内の座標のデータは同じリードとし、その平均値をとる。図４の例では、５番目のリードがオーバーラップするので、その先端座標は、
ＸＸ５＝｛ｘ５＋（Ｘ５＋Ｘoff）｝／２
ＹＹ５＝｛ｙ５＋（Ｙ５＋Ｙoff）｝／２
ＸＸ５' ＝｛ｘ５' ＋（Ｘ５'＋Ｘoff）｝／２
ＹＹ５' ＝｛ｙ５' ＋（Ｙ５'＋Ｙoff）｝／２
となる。
【００３９】
ここで、上側のリード列の中心を（ＸＸc、ＹＹc）、下側のリード列の中心を（ＸＸ'c、ＹＹ'c）とすると、
ＸＸc ＝（ＸＸ１＋ＸＸ２＋……＋ＸＸ９）／９
ＹＹc ＝（ＹＹ１＋ＹＹ２＋……＋ＹＹ９）／９
ＸＸc' ＝（ＸＸ１'＋ＸＸ２'＋……＋ＸＸ９'）／９
ＹＹc' ＝（ＹＹ１'＋ＹＹ２'＋……＋ＹＹ９'）／９
となる。
【００４０】
また、対象物全体の中心座標を（Ｃｘ、Ｃｙ）とすると、
Ｃｘ＝（ＸＸc ＋ＸＸc'）／２
Ｃｙ＝（ＹＹc ＋ＹＹc'）／２
となる。
【００４１】
また、各例では、中心座標ないしリード先端座標を求めたが、対象物の傾き、あるいはリードの傾きも簡単な演算で求めることができる。例えば、各部分の中心座標、あるいはリードの両端の座標を結ぶ直線により傾きを求めることができる。
【００４２】
なお、上述した例で各リード列のデータをチェックし、例えば欠損リードあるいは破壊されたリードが検出された場合、認識エラーとして全ての処理を中止するようにしてもよい。この認識エラーはリード列の不安全な場合だけでなく、その他データ処理に異常が検出された場合にも認識エラーとして処理を中止するようにしてもよい。
【００４３】
以上説明した例では、いずれも、全景捕捉後に結果のデータ処理を行なっているが、２つの視野のデータ（図２の例では中心座標、図４の例ではリード先端座標）を結合処理して得られる結合処理後のデータと次の視野のデータを結合処理するようにしてもよい。その場合には、メモリの容量を節約することが可能になる。
【００４４】
なお、各実施形態では、撮像装置２を固定し、対象物を移動する方法について示したが、対象物を固定し、画像入力装置２を移動する方法も可能である。
【００４５】
またＸＹテーブル５上に対象物を保持する機構を追加することにより、天地を逆にする方法も可能である。
【００４６】
【発明の効果】
以上、説明したように、本発明では、撮像装置の視野を越える大きな対象物を撮像して画像処理する場合、対象物のリード先端位置を求めるのに各視野での全画像を合成する必要がなく、単に各視野で画像処理により得られた対象物のリード先端位置を示すデータ並びに対象物と撮像装置の相対移動量など少ないパラメータを保存するだけでよいので、記憶手段の容量を顕著に節約することが可能になる。
【図面の簡単な説明】
【図１】本発明装置が用いられる画像撮像処理システムの全体の構成を示す構成図である。
【図２】対象物の中心位置を求める処理を示す説明図である。
【図３】画像処理の流れを示すフローチャートである。
【図４】対象物のリードの先端位置を求める処理を説明する説明図である。
【図５】対象物のリードの先端位置を求める処理を説明する説明図である。
【符号の説明】
１、１０、２０対象物
２撮像装置
３画像処理装置
４モニタテレビ
５ＸＹテーブル
６、８モータ
７、９エンコーダ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing how, in more detailed relates to an image processing how to process imaging data of an object having a size exceeding the field of view of the imaging device.
[0002]
[Prior art]
Conventionally, an electronic component mounting device (mounter) detects an image of a component sucked by a suction nozzle from an imaging device (image input device) such as a CCD camera and detects the position of the component by processing the image of the component. The component is positioned by correcting the posture of the component by the suction nozzle as required, and the component is mounted on a predetermined substrate.
[0003]
In a system that measures and evaluates the position of objects such as parts using image processing, when handling large objects that do not fall within the field of view that can be captured at once, the field of view that can be captured at once is expanded and image processing is performed. And a method of performing image processing after capturing an image of an object divided into a plurality of times and combining the respective image data.
[0004]
[Problems to be solved by the invention]
The above-described method for enlarging the imaging field requires mechanical changes such as changing the distance between the imaging device and the object (distance between the object images) or changing the focal length of the lens of the imaging device. It is difficult to coexist with the original system, and the resolution is reduced at the image input stage, so the resolution (accuracy) after image processing is also reduced, so it cannot be adopted for a system that requires high accuracy. There is a problem.
[0005]
Further, in the method of imaging an object in multiple times, there is a disadvantage that a means for storing image data, such as a semiconductor memory, must be newly provided for the number of times of imaging. Changes in image processing methods such as addition of data composition processing will also increase.
[0006]
The present invention has such has been made in view of the points, to provide to an image easily and accurately imaging the object size exceeds the imaging field image processing how can acquire predetermined data This is the issue.
[0007]
[Means for Solving the Problems]
In the present invention, in order to solve this problem,
Image processing in which an object having a lead whose size, number of leads, and lead pitch of the object are known in advance is imaged with an imaging device having a field of view smaller than the size of the object, and the image of the imaged object is processed In the method
The object having the lead is imaged a plurality of times in the field of view partially overlapping each other by relatively moving the imaging device and the object,
Data indicating the lead tip position of the object obtained by image processing in one visual field and the next visual field is obtained, and for the data indicating the lead tip position obtained by image processing in the next visual field, Data obtained by adding the relative movement amount of the imaging device and the object when moving to the next field of view is used as data indicating the lead tip position in the next field of view, and both the one field and the next field of view are used. for the same and has been read to enter the field of view, the tip position of one field of view of the lead, the average value of the tip position of the leads of the follows the relative movement amount obtained by adding field is with the same A configuration is adopted in which data indicating the tip position of the lead is obtained and data of the lead tip position of the object in the field of view corresponding to the field of view combining the one field of view and the next field of view.
[0009]
In such a configuration, it is not necessary to synthesize images in each field of view in order to obtain data indicating the lead tip position of the object . Therefore, it is not necessary to store all the images of the object in each field of view for synthesis, and it is only necessary to store the target data of the object obtained by image processing in each field of view. The capacity of the means can be saved significantly. Further, since it is not necessary to synthesize all image data in each field of view in order to obtain necessary data, the cost and time of image processing can be significantly reduced.
[0012]
In addition, since the desired data of the object can be obtained by simple calculations, it is possible to handle large objects with little change in mechanical, electrical, and software and without reducing resolution (accuracy). become.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail based on embodiments shown in the drawings.
[0014]
FIG. 1 is a diagram showing an overall configuration of an imaging apparatus and an image processing apparatus to which the present invention is applied.
[0015]
Reference numeral 1 denotes an object to be subjected to image processing, for example, an electronic component. The object 1 is placed on the XY table 5 and imaged by an image input device that captures image data, for example, an imaging device 2 such as a television camera or a CCD camera. The image data of the object 1 imaged by the imaging device is subjected to image processing by the image processing device 3, and the image of the object imaged by the imaging device 2 or the process of the processing in the image processing device 3 is displayed on the monitor TV 4 or the like. Displayed on the device.
[0016]
The XY table 5 is moved by the X direction moving motor 6 and the Y direction moving motor 8 while keeping the upper surface of the table and the imaging surface of the imaging device 2 in parallel. The position of the XY table 5 in the X direction can be detected by the encoder 7, and the position of the XY table 5 in the Y direction can be detected by the encoder 9.
[0017]
In the present invention, image processing of an object having a size exceeding the visual field range of the image pickup apparatus 2 is an object, and therefore the rectangular object (electronic component) 10 as illustrated in FIG. 2 will be described as an example. To do.
[0018]
As shown in steps S1 and S2 of FIG. 3, the XY table 5 is moved by the

motors

6 and 8 so that a part of the object 10a enters the imaging device field of view G1 (L x L), and the object is imaged. . Next, image processing is performed by the image processing device 3 based on the captured image of the object (step S3). By this image processing, the outline of the object portion 10a is extracted.
[0019]
Subsequently, in step S4, the coordinates (X1, Y1) of the center position C1 of the object portion 10a in the visual field G1 are calculated. Next, the coordinates of the center position and the left end coordinate X0 are stored in the memory (step S5).
[0020]
In subsequent step S6, it is determined whether the entire view of the object 10 is captured. Since only a part of the object is imaged in the field of view G1, the process returns to step S1, and the motor 6 is used for the XY table 5 so that another part 10b of the object 10 is imaged by the imaging device 2. Move. This movement amount Xoff can be detected by the encoder 7. In this example, the movement is only in the X direction, but in any case, the movement of the XY table 5 is such that the image before the movement and the image after the movement are continuously connected or partially overlapped. Make sure there is no gap between them.
[0021]
The image data is again taken in from the imaging device 2, and the image processing device 3 processes the data to extract the contour of the object portion 10b in the next field of view G2. Then, the coordinates (X2, Y2 = Y1) of the center C2 of the object portion 10b are obtained and stored in the memory together with the movement amount Xoff.
[0022]
In the example of FIG. 2A, since the entire view of the object has been imaged, data processing of the result is performed in step S7. That is, the center coordinates (Xc, Yc) of the object in the combined visual field of the visual fields G1 and G2 are obtained. If the coordinate of the right end of the object in the composite field of view is Xn,

Because

It becomes. Yc is Y1.
[0023]
In this way, the center position of the object in one field of view G1 is obtained, the center position of the object in the next field of view G2 is obtained, and the object in the field of view that combines both fields of view is calculated by the movement amount. Since the center position of the object can be easily calculated, the memory capacity can be significantly saved without synthesizing all the images of the object in each field of view.
[0024]
FIG. 2B shows an example of an object 10 ′ in which the entire view is captured in the field of view G3 by further moving the XY table by Xoff.
[0025]
The X coordinate Xc of the center in the entire visual field is the same as the processing of the X coordinate X3 of the central position C3 in the visual field G3 and the central coordinate in the composite visual field of the two visual fields G1 and G2 obtained above.

It becomes.
[0026]
In general, the center coordinate Xc of the object in the field of view combining the number of fields of view is

It becomes.
[0027]
The center Y coordinate when the object is large in a rectangular shape and must be moved not only in the X direction but also in the Y direction can be obtained in the same manner as the center X coordinate.
[0028]
In the above example, the object 10 is imaged by dividing it into a plurality of fields of view, for example, two or three fields of G1 to G3, but the number of fields of view is determined according to the size of the object, and depends on the shape of the object. In addition to 2 (X direction) X 1 (Y direction) field of view, 3 X 1 field of view, 4 X 1 field of view, 2 X 2 field of view, 1 X 2 field of view, 1 X 3 field of view, 1 X 4 The field of view such as the field of view can be selected. In that case, the distances Xoff and Yoff between the visual fields in the X and Y directions are preferably set to the same value, but can be made variable as necessary. In the case of variable, the length of the overlapping portion only changes, and the content of the calculation does not differ.
[0029]
Next, as shown in FIG. 4, an example in which the lead tip coordinates of the object 20 (an electronic component such as an IC) provided with a large number of leads on both sides will be described.
[0030]
As in the previous example, in steps S1 and S2 of FIG. 3, the XY table 5 is moved by the

motors

6 and 8 so that a part 20a of the object enters the imaging device field of view G1 (L x L). The part 20a is imaged. An example of this imaging is shown in FIG. Next, image processing is performed by the image processing device 3 based on the captured image of the object (step S3).
[0031]
In this image processing, a frame having a size including a lead row to be detected is set, and by performing filtering (DOG) in the lead width direction within this frame, a zero cross is detected and a lead edge is detected. Lead coordinates (xn, yn) (n = 1, 2, 3, 4, 5) of the lead row are obtained. Similarly, the same processing is performed for the lower lead row to obtain the tip coordinates (xn ′, yn ′) (step S4).
[0032]
Next, in step S5, necessary data is stored. The data stored in the memory is the calculated lead tip coordinates (xn, yn), (xn ', yn') in the visual field G1.
[0033]
Since all of the object 20 has not been captured yet, the process returns to step S1, moves the XY table to Xoff, Yoff (in this example, Yoff = 0), then moves to the field of view G2, and FIG. Imaging as shown is performed.
[0034]
In a similar process, lead tip coordinates (Xn, Yn), (Xn ′, Yn ′) (n = 5, 6, 7, 8, 9) are obtained for the upper and lower lead rows, and each lead is obtained. The coordinates and offset distances Xoff and Yoff from the visual field G1 are stored in the memory.
[0035]
Since the entire view of the object has been captured, lead tip coordinates (XXn, YYn), (XXn ′, YYn ′) of all the objects are obtained in step S7.
[0036]
For n = 1 to 4,
(XXn, YYn) = (xn, yn)
(XXn ′, YYn ′) = (xn ′, yn ′)
It becomes.
[0037]
Also,
For n = 6-9,
(XXn, YYn) = (Xn + Xoff, Yn + Yoff)
(XXn ′, YYn ′) = (Xn ′ + Xoff, Yn ′ + Yoff)
It becomes.
[0038]
For a lead that enters both fields of view (lead of n = 5), the average value of both coordinates is taken as the lead coordinate. For this reason, with respect to the lead string data in the overlap portion, the coordinate data within the ½ lead pitch is assumed to be the same lead, and the average value thereof is taken. In the example of FIG. 4, since the fifth lead overlaps, the tip coordinate is
XX5 = {x5 + (X5 + Xoff)} / 2
YY5 = {y5 + (Y5 + Yoff)} / 2
XX5 ′ = {x5 ′ + (X5 ′ + Xoff)} / 2
YY5 ′ = {y5 ′ + (Y5 ′ + Yoff)} / 2
It becomes.
[0039]
Here, if the center of the upper lead row is (XXc, YYc) and the center of the lower lead row is (XX'c, YY'c),
XXc = (XX1 + XX2 +... + XX9) / 9
YYc = (YY1 + YY2 + ... + YY9) / 9
XXc ′ = (XX1 ′ + XX2 ′ + …… + XX9 ′) / 9
YYc ′ = (YY1 ′ + YY2 ′ +... + YY9 ′) / 9
It becomes.
[0040]
If the center coordinates of the entire object are (Cx, Cy),
Cx = (XXc + XXc ′) / 2
Cy = (YYc + YYc ') / 2
It becomes.
[0041]
In each example, the center coordinates or lead tip coordinates are obtained, but the inclination of the object or the inclination of the lead can also be obtained by a simple calculation. For example, the inclination can be obtained from the center coordinates of each part or a straight line connecting the coordinates of both ends of the lead.
[0042]
Note that the data of each lead string is checked in the above-described example, and for example, when a missing lead or a broken lead is detected, all processing may be stopped as a recognition error. This recognition error may be stopped as a recognition error not only when the lead string is unsafe, but also when other data processing is detected as abnormal.
[0043]
In the examples described above, the data processing of the results is performed after capturing the entire view. However, the data of two fields of view (the center coordinates in the example of FIG. 2 and the lead tip coordinates in the example of FIG. 4) are combined. The obtained combined data and the next visual field data may be combined. In that case, the memory capacity can be saved.
[0044]
In each embodiment, the method of fixing the imaging device 2 and moving the object has been described. However, a method of fixing the object and moving the image input device 2 is also possible.
[0045]
A method of reversing the top and bottom by adding a mechanism for holding the object on the XY table 5 is also possible.
[0046]
【The invention's effect】
As described above, in the present invention, when image processing by imaging large objects exceeding the field of view of the imaging device, to synthesize the entire image at each field to determine the rie de tip position of the object it is not necessary, simply because it is only necessary to save the few parameters such as the amount of relative movement data and the object and the imaging device showing a rie de tip position of the obtained object by image processing in the field of view, the capacity of the storage means that is capable ing to significantly save.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing the overall configuration of an image capturing processing system in which an apparatus of the present invention is used.
FIG. 2 is an explanatory diagram showing processing for obtaining the center position of an object.
FIG. 3 is a flowchart showing a flow of image processing.
FIG. 4 is an explanatory diagram for explaining processing for obtaining a tip position of a lead of an object.
FIG. 5 is an explanatory diagram for explaining processing for obtaining a tip position of a lead of an object.
[Explanation of symbols]
1, 10, 20 Object 2 Imaging device 3 Image processing device 4 Monitor television 5 XY table 6, 8 Motor 7, 9 Encoder

Claims

Image processing in which an object having a lead whose size, number of leads, and lead pitch of the object are known in advance is imaged with an imaging device having a field of view smaller than the size of the object, and the image of the imaged object is processed In the method
The object having the lead is imaged a plurality of times in the field of view partially overlapping each other by relatively moving the imaging device and the object,
Data indicating the lead tip position of the object obtained by image processing in one visual field and the next visual field is obtained, and for the data indicating the lead tip position obtained by image processing in the next visual field, Data obtained by adding the relative movement amount of the imaging device and the object when moving to the next field of view is used as data indicating the lead tip position in the next field of view, and both the one field and the next field of view are used. for the same and has been read to enter the field of view, the tip position of one field of view of the lead, the average value of the tip position of the leads of the follows the relative movement amount obtained by adding field is with the same An image processing method, wherein data indicating a tip position of a lead is obtained, and data of a lead tip position of an object in a field corresponding to a field obtained by combining the one field and the next field is obtained.

The image processing method according to claim 1, wherein when an abnormality is detected in the processing of the data, the processing is stopped.