JP2540323B2 - Object inspection device - Google Patents

Object inspection device

Info

Publication number
JP2540323B2
JP2540323B2 JP62100495A JP10049587A JP2540323B2 JP 2540323 B2 JP2540323 B2 JP 2540323B2 JP 62100495 A JP62100495 A JP 62100495A JP 10049587 A JP10049587 A JP 10049587A JP 2540323 B2 JP2540323 B2 JP 2540323B2
Authority
JP
Japan
Prior art keywords
detection
positional deviation
data
monitoring area
master
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP62100495A
Other languages
Japanese (ja)
Other versions
JPS63265104A (en
Inventor
正治 渡辺
Original Assignee
シグマツクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シグマツクス株式会社 filed Critical シグマツクス株式会社
Priority to JP62100495A priority Critical patent/JP2540323B2/en
Publication of JPS63265104A publication Critical patent/JPS63265104A/en
Application granted granted Critical
Publication of JP2540323B2 publication Critical patent/JP2540323B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は物体検査装置に関し、特にテレビジヨンカメ
ラを用いて被観測物体を撮像して得られるビデオ信号に
基づいて、被観測物体の有無、欠陥の有無などの被観測
物体の状態を観測するようにした物体検査装置に適用し
て好適なものである。
Description: TECHNICAL FIELD The present invention relates to an object inspection apparatus, and in particular, the presence or absence of an observed object based on a video signal obtained by imaging the observed object with a television camera. It is suitable for application to an object inspection device that observes the state of an observed object such as the presence or absence of defects.

〔発明の概要〕[Outline of Invention]

本発明は、被観測物体をテレビジヨンカメラのビデオ
信号に基づいて規定される撮像画面によって当該撮像画
面上に設定された監視点にある被観測物体の状態の正常
又は異常を認識するようになされた物体検査装置におい
て、撮像画面上に設定した位置ずれ検出用マーカによつ
てマスタ及び被観測物体のビデオ信号から得た第1及び
第2の検出情報の相関に基づいて監視領域の位置を補正
することにより、高い精度で被観測物体の位置ずれを補
正することができる。
The present invention is configured to recognize the normal or abnormal state of the observed object at the monitoring point set on the imaging screen by the imaging screen defined based on the video signal of the television camera. In the object inspection device, the position of the monitoring area is corrected based on the correlation between the first and second detection information obtained from the video signals of the master and the observed object by the position shift detection marker set on the imaging screen. By doing so, it is possible to correct the positional deviation of the observed object with high accuracy.

〔従来の技術〕[Conventional technology]

この種の検査装置として、被観測物体をテレビジヨン
カメラによつて撮像して得られるビデオ信号のうち、所
定監視領域に相当する信号部分の信号レベルに基づい
て、当該信号レベルが所定の範囲内に入るか否かを判定
することによつて、物体の有無、物体の各部における欠
陥の有無などを認識するようにしたものが提案されてい
る(特願昭58−148243号)。
As an inspection device of this type, in a video signal obtained by imaging an observed object with a television camera, the signal level is within a predetermined range based on the signal level of a signal portion corresponding to a predetermined monitoring area. It has been proposed that the presence / absence of an object, the presence / absence of a defect in each part of the object, and the like be recognized by determining whether or not to enter (Japanese Patent Application No. 58-148243).

かかる構成の検査装置を用いて、例えばキーボードの
ボード表面にキーを装着する組立工程が終了したとき当
該装着作業が正しく行われたか否かを検査する場合と
か、例えばクーラなどのような大重量の電気機器の筺体
の表面にラベルを貼る作業工程が終了したとき当該作業
が正しく行われたか否かを検査する場合などにおいて
は、正常な外観をもつた標準的な被観測物体(これをマ
スタと呼ぶ)をテレビジヨンカメラが撮像したときの撮
像画面上に設定された所定の監視領域の輝度と、検査対
象となる被観測物体を撮像したときの撮像画面上の対応
する位置における輝度とを比較することによつて、両者
間に差異があれば被観測物体に異常があると判定するよ
うな方法が採用されている。
For example, in the case of inspecting whether or not the mounting work is correctly performed when the assembly process for mounting the key on the board surface of the keyboard is completed by using the inspection device having such a configuration, for example, when a large weight such as a cooler is used. When inspecting whether or not the work is done correctly when the work process of attaching the label to the surface of the housing of the electrical equipment is completed, a standard observed object with a normal appearance (this is used as the master Compare the luminance of the specified monitoring area set on the image pickup screen when the television camera takes an image with the luminance at the corresponding position on the image pickup screen when the observed object to be inspected is imaged By doing so, a method is adopted in which it is determined that the observed object is abnormal if there is a difference between the two.

因にキーボードの場合装着されていないキーがあれ
ば、当該監視領域における輝度はマスタにおける対応す
る部分の輝度と相違するので、キーの装着作業工程にお
いて何らかの原因で未装着のキーがあれば、これを確実
に検出し得る。
In the case of a keyboard, if there is a key that is not attached, the brightness in the monitoring area differs from the brightness of the corresponding portion in the master. Can be reliably detected.

またクーラの場合、マスタのラベルと同じラベルが同
じ位置に貼り付けられていなければ、当該ラベル位置に
設定された監視領域における輝度はマスタの輝度と相違
するので、当該異常を確実に検出することができる。
In the case of a cooler, if the same label as the master label is not attached at the same position, the brightness in the monitoring area set at the label position is different from the brightness of the master, so be sure to detect the abnormality. You can

〔発明が解決しようとする問題点〕[Problems to be solved by the invention]

ところがこのような方法によつて物体の異常を検査し
ようとする場合、被観測物体上に設定された監視領域の
位置がマスタにおいて設定された監視領域の位置と僅か
にでも位置ずれがあれば、正しい判定結果が得られなく
なるおそれがあるので、被観測物体について設定された
監視領域の位置に位置ずれがあればこれをできるだけ高
い精度で検出して補正する必要がある。
However, when trying to inspect the abnormality of the object by such a method, if the position of the monitoring area set on the observed object is slightly displaced from the position of the monitoring area set in the master, Since there is a possibility that a correct determination result may not be obtained, if there is a positional shift in the position of the monitoring area set for the observed object, it is necessary to detect and correct it with the highest possible accuracy.

本発明は以上の点を考慮してなされたもので、マスタ
に対して設定された監視領域に対して、被観測物体に対
して設定される監視領域の位置ずれを比較的簡易な方法
によつて高い精度で検出し得るようにした物体検査装置
を提案しようとするものである。
The present invention has been made in consideration of the above points, and uses a relatively simple method to shift the position of the monitoring area set for the observed object with respect to the monitoring area set for the master. The object of the present invention is to propose an object inspection device capable of detecting with high accuracy.

〔問題点を解決するための手段〕[Means for solving problems]

かかる問題点を解決するため本発明においては、被観
測物体3をテレビジヨンカメラ13によつて撮像して得ら
れるビデオ信号VDに基づいて表示される撮像画面5のう
ち、所定の監視点に設定された監視領域6に対応するビ
デオ信号部分をマスタの対応するビデオ信号部分と比較
することによつて、当該監視領域6にある被観測物体3
の状態の正常又は異常を検出するようになされた物体検
査装置において、線状に配列された複数の画素マーカで
なる位置ずれ検出用マーカ7X、7Yを撮像画面5上の所定
の表示位置に設定する位置ずれ検出用マーカ設定手段
(29、29E)と、テレビジヨンカメラ13によつてマスタ
を撮像した状態において得られる撮像画面5の画像情報
のうち各複数の画素マーカが設定された表示位置に対応
するビデオ信号部分から得た画像情報に基づいて第1の
検出情報INFMを形成する第1の検出情報形成手段(29、
SP2〜SP5)と、テレビジヨンカメラ13によつて被観測物
体3を撮像した状態において得られる撮像画面5の画像
情報のうち各複数の画素マーカが設定された表示位置に
対応するビデオ信号部分から得た画像情報に基づいて第
2の検出情報INFDを形成する第2の検出情報形成手段
(29、SP6〜SP8)と、第1の検出情報の複数の画素マー
カに対応する第1の画像情報INFMの配列と、第2の検出
情報INFDの複数の画素マーカに対応する第2の画像情報
の配列との間の相関をとることにより、第1及び第2の
画像情報の配列に不一致区間があるか否かを表す位置ず
れデータを作成する位置ずれデータ作成手段(29、SP
9)と、位置ずれデータが不一致区間があることを表わ
しているとき当該不一致区間に相当する位置ずれを修正
するように監視領域6の撮像画面5に対する相対的設定
位置を補正する位置ずれ補正手段(29、SP14)とを設け
るようにする。
In order to solve such a problem, in the present invention, a predetermined monitoring point is set on an image pickup screen 5 displayed based on a video signal VD obtained by picking up an image of the observed object 3 with a television camera 13. By comparing the video signal part corresponding to the monitored area 6 with the corresponding video signal part of the master, the observed object 3 in the monitored area 6 can be obtained.
In the object inspection device configured to detect the normality or abnormality of the state, the positional deviation detection markers 7X and 7Y formed of a plurality of linearly arranged pixel markers are set at predetermined display positions on the imaging screen 5. The position shift detection marker setting means (29, 29E) and the display position where each of the plurality of pixel markers is set in the image information of the image pickup screen 5 obtained when the television camera 13 picks up the image of the master. the first detection information forming means (29 for forming the first detection information INF M based on the image information obtained from the corresponding video signal portion,
SP2 to SP5) and from the video signal portion corresponding to the display position where each of the plurality of pixel markers is set in the image information of the image pickup screen 5 obtained when the observed object 3 is picked up by the television camera 13. second detection information forming means (29, SP6~SP8) which on the basis of the obtained image information forming the second detection information INF D and a first image corresponding to a plurality of pixels markers of the first detection information By correlating the array of the information INF M with the array of the second image information corresponding to the plurality of pixel markers of the second detection information INF D , the arrays of the first and second image information are obtained. Position deviation data creating means (29, SP) for creating position deviation data indicating whether or not there is a mismatched section
9), and when the positional shift data indicates that there is a non-matching section, the positional shift correcting means for correcting the relative set position of the monitoring area 6 with respect to the imaging screen 5 so as to correct the positional shift corresponding to the non-matching section. (29, SP14) and so on.

〔作用〕[Action]

撮像画面5上に設定した線状の位置ずれ検出用マーカ
7X、7Yを構成する複数の画素マーカに対応するビデオ信
号部分から、マスタ及び被観測物体3について検出情報
INFM及びINFDを検出すると、これらの検出情報INFM及び
INFDは線状の位置ずれ検出用マーカ7X、7Yの延長方向に
沿う方向の位置ずれを表すことになる。
A linear positional deviation detection marker set on the imaging screen 5
Detection information about the master and the observed object 3 from the video signal portion corresponding to the plurality of pixel markers forming 7X and 7Y.
Upon detection of the INF M and INF D, the detection information INF M and
INF D represents the positional deviation in the direction along the extension direction of the linear positional deviation detection markers 7X and 7Y.

かくしてマスタ及び被観測物体3の画像について画素
マーカから得られる検出情報の配列に不一致区間がある
か否かに基づいて両者間の位置ずれを検出することがで
きることにより、その位置ずれを確実に検出して補正す
ることができる。
Thus, it is possible to detect the positional deviation between the master and the observed object 3 based on whether or not there is a non-matching section in the arrangement of the detection information obtained from the pixel markers, so that the positional deviation can be reliably detected. Can be corrected.

〔実施例〕〔Example〕

〔1〕第1実施例 以下図面について、本発明をクーラに付されたラベル
の文字を確認するようにした物体検査装置に適用した場
合の実施例について詳述する。
[1] First Embodiment Hereinafter, with reference to the drawings, an embodiment in which the present invention is applied to an object inspection device for confirming characters on a label attached to a cooler will be described in detail.

(1)位置ずれ検出の原理 この実施例の場合物体検査装置は、第2図に示すよう
に、クーラ1の筺体2上に、所定位置に所定の文字パタ
ーン4を配列してなるラベル3が付着されているか否か
を確認する。
(1) Principle of position shift detection In this embodiment, as shown in FIG. 2, the object inspection apparatus has a label 3 formed by arranging predetermined character patterns 4 at predetermined positions on a housing 2 of a cooler 1. Check if it is attached.

そのためクーラ1のラベル3の周りの映像がテレビジ
ヨンカメラによつて撮像され、第1図に示すように、撮
像画面5上の所定位置にラベル3の映像を写し出すよう
になされている。
Therefore, the image around the label 3 of the cooler 1 is picked up by the television camera, and the image of the label 3 is displayed at a predetermined position on the image pickup screen 5 as shown in FIG.

かくして撮像画面5上に写し出される映像の各位置
は、撮像画面5上に設定されたXY座標によつて表すこと
ができ、当該XY座標上の位置を指定して監視領域6を設
定し、テレビジヨンカメラから得られるビデオ信号のう
ち、当該監視領域6に含まれるビデオ信号部分に対応す
る輝度信号を用いてラベル3上の文字パターン4の有
無、又は正誤を確認するようになされている。
Thus, each position of the video image projected on the imaging screen 5 can be represented by the XY coordinates set on the imaging screen 5, and the monitoring area 6 is set by designating the position on the XY coordinates. The presence or absence of the character pattern 4 on the label 3 or whether the character pattern 4 is correct or not is confirmed by using the luminance signal corresponding to the video signal portion included in the monitoring area 6 among the video signals obtained from the camera.

実際上監視領域6には、所定の形状及び大きさを有す
る監視用マーカが割り当てられ、当該監視用マーカに対
応するビデオ信号部分についてのデータを取り込み得る
ようになされている。
Practically, a surveillance marker having a predetermined shape and size is assigned to the surveillance area 6 so that data on a video signal portion corresponding to the surveillance marker can be taken in.

かくしてクーラ1の撮像画面5のうち、被観測物体と
してのラベル3上の監視領域6の輝度(例えば平均輝
度)と、マスタから得られた撮像画面5上の監視領域6
の輝度とを比較し、両者に所定値以上の差があるか否か
によつて、被観測物体としてのラベル3上の文字パター
ン4が、マスタの文字パターンと同一であるか否かを判
定するようになされている。
Thus, in the image pickup screen 5 of the cooler 1, the brightness (for example, the average brightness) of the monitoring area 6 on the label 3 as the observed object and the monitoring area 6 on the image pickup screen 5 obtained from the master.
It is determined whether or not the character pattern 4 on the label 3 as the object to be observed is the same as the master character pattern, by comparing the brightness of the master 3 with the brightness of the predetermined value. It is designed to do.

撮像画面5上のラベル3の表示位置が、マスタと一致
するか否かを検出するために、撮像画面5上にX方向位
置ずれ検出用マーカ7X及びY方向位置ずれ検出用マーカ
7Yが設けられている。
In order to detect whether or not the display position of the label 3 on the imaging screen 5 coincides with the master, the X-direction displacement detection marker 7X and the Y-direction displacement detection marker are displayed on the imaging screen 5.
7Y is provided.

X方向位置ずれ検出用マーカ7Xは、第3図に示すよう
に、撮像画面5上、X方向に順次一例に配列されている
所定数の画素マーカ 7X1、7X2……7Xi、7i+1、7Xi+2
…7Xnによつて直線状に形成され、撮像画面5上に設定
されたとき、対応する画素列の輝度情報を1画素ずつ取
り出し得るようになされている。
As shown in FIG. 3, the X-direction positional deviation detection marker 7X is a predetermined number of pixel markers 7X 1 , 7X 2 ... 7X i , 7 i which are sequentially arranged in the X direction on the imaging screen 5 as an example. +1 , 7X i + 2 ...
7X n is formed in a straight line, and when set on the imaging screen 5, the luminance information of the corresponding pixel row can be taken out pixel by pixel.

またY方向位置ずれ検出用マーカ7Yは、同様にしてY
方向に順次配列されている画素列に対応するように直線
状に形成され、かくして撮像画面5上の各画素の輝度情
報を指定し得るようになされている。
In addition, the Y-direction position shift detection marker 7Y is similarly set to Y
The pixels are formed in a linear shape so as to correspond to the pixel rows sequentially arranged in the direction, and thus the luminance information of each pixel on the image pickup screen 5 can be designated.

X方向及びY方向位置ずれ検出用マーカ7X及び7Yは、
ラベル3の隅部において、その一部がラベル3の映像に
重畳するように設定され、かくしてX方向及びY方向位
置ずれ検出用マーカ7X及び7Yのうち、ラベル3上に重畳
している部分から例えば明るい輝度を表す論理「1」レ
ベルの画素情報を得ることができると共に、ラベル3と
は重畳していない部分から暗い輝度を表す論理「0」レ
ベルの輝度情報を得ることができるようになされてい
る。
The X-direction and Y-direction positional deviation detection markers 7X and 7Y are
A part of the corner of the label 3 is set so as to be superimposed on the image of the label 3, and thus, from the portion of the markers 7X and 7Y for detecting the displacement in the X and Y directions, which is superimposed on the label 3. For example, it is possible to obtain the pixel information of the logical "1" level indicating the bright luminance and the luminance information of the logical "0" level indicating the dark luminance from the portion not overlapping the label 3. ing.

かくしてX方向位置ずれ検出用マーカ7Xを、マスタと
してのクーラ1を撮像している状態においてそのラベル
3M上に設定したとき、第3図(A)に示すように、画素
マーカ7Xi+1〜7Xn部分がラベル3Mと重畳していることに
より、第3図(B)に示すように画素マーカ7Xi+1を境
として論理レベルが「0」から「1」に切り換わる検出
情報INFMを得ることができる。
Thus, the label of the X-direction positional deviation detection marker 7X is displayed while the cooler 1 as the master is being imaged.
When set on 3M, as shown in FIG. 3 (A), the pixel markers 7X i + 1 to 7X n are overlapped with the label 3M, so that the pixel as shown in FIG. 3 (B) is displayed. It is possible to obtain the detection information INF M whose logic level switches from “0” to “1” with the marker 7X i + 1 as a boundary.

これに対して第3図(C)に示すように、被観測物体
でなるラベル3Dが画素マーカ7Xi+3〜7Xn上に重畳してい
る場合には、X方向位置ずれ検出用マーカ7Xから第3図
(D)に示すように、画素マーカ7Xi+3を境として論理
レベルが「0」から「1」に切り換わるような検出情報
INFDが得られる。
On the other hand, as shown in FIG. 3 (C), when the label 3D made of the observed object is superimposed on the pixel markers 7X i + 3 to 7X n , the X-direction position shift detection marker 7X is detected. 3 to FIG. 3D, the detection information such that the logic level is switched from “0” to “1” with the pixel marker 7X i + 3 as a boundary.
INF D is obtained.

かくしてマスタのラベル3Mから得られた検出情報INFM
及び被観測物体のラベル3Dから得られた検出情報INFD
基づいて例えば排他的論理和の演算を実行することによ
り、第3図Eに示すように、相関情報CORを求めれば、
中央部分の画素マーカ7Xi+1及び7Xi+2において不一致区
間DISが生ずると共に、その両側に一致区間ACC1及びACC
2に生ずる。
Thus, the detection information INF M obtained from the label 3M of the master
And by performing the exclusive-OR operation for example on the basis of the detection information INF D obtained from the observed object labels 3D, as shown in FIG. 3 E, by obtaining the correlation information COR,
In the center pixel markers 7X i + 1 and 7X i + 2 , a non-coincidence section DIS occurs, and the coincidence sections ACC1 and ACC
It occurs in 2.

かくして相関情報CORから、被観測物体のラベル3D
が、マスタのラベル3Mから不一致区間DISの分だけX方
向に位置ずれしていることを判知し得る。
Thus, from the correlation information COR, the 3D label of the observed object can be obtained.
However, it can be known that the position is displaced from the master label 3M in the X direction by the amount of the disagreement section DIS.

従つて被観測物体としてのラベル3Dについて監視領域
6から検出データを得る際には、当該監視領域6の位置
をX方向に不一致区間DISの画素数だけ全体として移動
させれば、実際上マスタとしてのラベル3M上に設定した
監視領域6と同一の位置から検出データを得ることがで
きることになる。
Therefore, when the detection data is obtained from the monitoring area 6 for the label 3D as the object to be observed, if the position of the monitoring area 6 is moved as a whole in the X direction by the number of pixels of the disagreement section DIS, it actually becomes a master. Therefore, the detection data can be obtained from the same position as the monitoring area 6 set on the label 3M.

Y方向位置ずれ検出用マーカ7Yについても、X方向位
置ずれ検出用マーカ7Xについて上述した(第3図)と同
様の相関情報を得ることができ、かくしてY方向につい
ても被観測物体としてのラベル3Dが、マスタとしてのラ
ベル3MからY方向に位置ずれしているとき、これを補正
することができる。
With respect to the Y-direction position shift detection marker 7Y as well, the same correlation information as that described above for the X-direction position shift detection marker 7X (FIG. 3) can be obtained, and thus in the Y direction as well, the label 3D as the observed object is obtained. However, when the label is displaced from the label 3M as the master in the Y direction, this can be corrected.

かかる相関情報CORを一般式として表せば次式 となる。(1)式においてf(i)はマスタとしてのラ
ベル3Mの撮像画面5についてi番目の画素マーカ7Xi
ら得ることができた輝度レベルを表し、またg(i)は
被観測物体としてのラベル3Dから得た撮像画面5につい
てi番目の画素マーカ7Xiから得ることができた輝度レ
ベルを表す。またΔXは不一致区間DIS(第3図
(E))の画素数を表し、かくして(1)式は、X方向
位置ずれ検出用マーカ7Xのi番目の画素の輝度レベルf
(i)について、被観測物体としてのラベル3Dの(i+
ΔX)番目の画素マーカから得られる輝度レベルg(i
+ΔX)が最も大きい相関をもつていることを表してい
る。
If this correlation information COR is expressed as a general expression, Becomes In the equation (1), f (i) represents the brightness level obtained from the i-th pixel marker 7X i on the imaging screen 5 with the label 3M as the master, and g (i) is the label as the observed object. The luminance level obtained from the i-th pixel marker 7X i for the imaging screen 5 obtained from 3D is shown. Further, ΔX represents the number of pixels in the non-coincidence section DIS (FIG. 3 (E)), and thus the expression (1) is expressed by the luminance level f of the i-th pixel of the X-direction positional deviation detection marker 7X.
For (i), (i +
The luminance level g (i obtained from the ΔX) th pixel marker
+ ΔX) has the largest correlation.

このときX方向位置ずれ検出用マーカ7Xの全ての画素
マーカ7X1〜7XnについてΔXだけ位置ずれした画素マー
カから相関が最も大きい輝度データを得ることができる
ことを表している。
At this time, it is shown that the luminance data having the largest correlation can be obtained from the pixel markers that are displaced by ΔX for all the pixel markers 7X 1 to 7X n of the X-direction displacement detection marker 7X.

従つて(1)式が最小になるような位置ずれ量ΔXを
求めれば、これを被観測物体のマスタに対する位置ずれ
量ΔXとして判知し得ることになる。
Therefore, if the positional deviation amount ΔX that minimizes the equation (1) is obtained, it can be known as the positional deviation amount ΔX with respect to the master of the observed object.

(2)具体的構成 物体検査装置11は、第4図に示す構成を有する。(2) Specific Configuration The object inspection device 11 has a configuration shown in FIG.

すなわちコンベア12によつて順次運ばれるクーラ1の
ラベル3はテレビジヨンカメラ13によつて撮像され、そ
のビデオ信号VDがビデオデータ入力部14及びタイミング
制御部15に入力されると共に、スーパインポーズ回路16
を介してモニタ部17に供給される。
That is, the label 3 of the cooler 1 sequentially carried by the conveyor 12 is imaged by the television camera 13, the video signal VD thereof is input to the video data input unit 14 and the timing control unit 15, and the superimposing circuit is also provided. 16
Is supplied to the monitor unit 17 via.

コンベア12を駆動制御するコンベアコントローラ21
は、クーラ1がテレビジヨンカメラ13の撮像位置に位置
決めされるごとに、検査開始信号SIGINをタイミング制
御部15に与えるようになされている。
Conveyor controller 21 that drives and controls the conveyor 12
Each time the cooler 1 is positioned at the image pickup position of the television camera 13, the inspection start signal SIG IN is given to the timing controller 15.

タイミング制御部15は、ビデオ信号VDのうち、水平及
び垂直同期信号に同期するクロック信号を発生し、当該
クロツク信号をカウントしてビデオ信号VDの各ラインの
輝度信号について、所定の間隔のサンプリングパルスSM
P1をビデオデータ入力部14のアナログ/デイジタル変換
回路22に与え、かくしてアナログ/デイジタル変換回路
22においてビデオ信号VDを1画素ずつ画素データDPに変
換して切換回路23を介して画像メモリ24に供給する。
The timing control unit 15 generates a clock signal that is synchronized with the horizontal and vertical synchronizing signals of the video signal VD, counts the clock signal, and samples the sampling pulse at predetermined intervals for the luminance signal of each line of the video signal VD. SM
P1 is applied to the analog / digital conversion circuit 22 of the video data input section 14, and thus the analog / digital conversion circuit
At 22, the video signal VD is converted pixel by pixel into pixel data DP and supplied to the image memory 24 via the switching circuit 23.

タイミング制御部15は、サンプリングパルスSMP1に基
づいて書込アドレス信号ADWを画像メモリ24に与える。
The timing control unit 15 gives the write address signal ADW to the image memory 24 based on the sampling pulse SMP1.

切換回路23はマスタ側切換出力端M及び検出側切換出
力端Dを有し、画素データDPをマスタ側切換出力端Mを
介して画像メモリ24のマスタ画像メモリ部24Mに格納
し、又は画素データDPを書込アドレス信号ADWに応じて
検出画像メモリ部24Dに格納する。
The switching circuit 23 has a master-side switching output terminal M and a detection-side switching output terminal D, stores the pixel data DP in the master image memory section 24M of the image memory 24 via the master-side switching output terminal M, or pixel data. The DP is stored in the detected image memory unit 24D according to the write address signal ADW.

この実施例の場合CPU25は、マスタとしてのクーラ1
をテレビジヨンカメラ13によつて撮像しているマスタデ
ータ取込モードの状態において、バス26を介して操作ス
イツチ部27からマスタ画像データ取込指令がオペレータ
によつて入力されたとき、バス26を介してタイミング制
御部15に対して切換指令信号を与えることにより、タイ
ミング制御部15が切換信号SWを切換回路23に送出するこ
とによつて、アナログ/デイジタル変換回路22の出力端
に得られる画素データDPをマスタ側切換出力端Mを介し
てマスタ画像メモリ部24M側に取り込ませる。
In the case of this embodiment, the CPU 25 is the cooler 1 as the master.
When the master image data acquisition command is input by the operator from the operation switch unit 27 via the bus 26 in the state of the master data acquisition mode in which the image is captured by the television camera 13, the bus 26 is switched on. A pixel obtained at the output end of the analog / digital conversion circuit 22 by sending a switching signal SW to the switching circuit 23 by giving a switching command signal to the timing control section 15 via the pixel The data DP is loaded into the master image memory section 24M side via the master side switching output terminal M.

これに対して操作スイツチ部27から検査モードの指令
信号が入力されたときCPU25はタイミング制御部15を介
して切換回路23を検出側切換出力端D側に切り換えさせ
ると共に、コンベアコントローラ21によつて被観測対象
としてのクーラ1がテレビジヨンカメラ13の撮像位置に
位置決めされるごとに発生される検査開始信号SIGIN
よつてタイミング制御部15を制御することにより、画素
データDPを検出画像メモリ部24D側に取り込ませる。
On the other hand, when an inspection mode command signal is input from the operation switch unit 27, the CPU 25 switches the switching circuit 23 to the detection side switching output end D side via the timing control unit 15, and the conveyor controller 21 controls The pixel data DP is detected by controlling the timing control unit 15 by the inspection start signal SIG IN generated every time the cooler 1 as the observed object is positioned at the image pickup position of the television camera 13. Take it in on the 24D side.

CPU25は、ビデオデータ入力部14、タイミング制御部1
5、モニタ部17を、操作スイツチ部27の操作入力に応動
して、ROM28のプログラムメモリに格納されているプロ
グラムに従つて、必要に応じてRAM29のレジスタを利用
しながら、物体検査装置11を全体として制御することに
より、被観測対象としてのクーラ1のラベル3の判定処
理を実行し、1つのクーラ1についての判定が終了した
とき、CPU25はバス26、制御信号出力部30を介してコン
ベアコントローラ21に対して検査終了信号SIGOUTを出力
させることにより、新たな被観測対象としてのクーラ1
をテレビジヨンカメラ13の撮像位置に運ばせるようにな
されている。
The CPU 25 has a video data input unit 14, a timing control unit 1
5, the monitor unit 17 in response to the operation input of the operation switch unit 27, according to the program stored in the program memory of the ROM28, while using the register of the RAM29 if necessary, the object inspection apparatus 11 By controlling as a whole, the determination process of the label 3 of the cooler 1 as the observation target is executed, and when the determination for one cooler 1 is completed, the CPU 25 conveys the conveyor through the bus 26 and the control signal output unit 30. By outputting the inspection end signal SIG OUT to the controller 21, the cooler 1 as a new observation target
Is carried to the imaging position of the television camera 13.

RAM29は第5図に示すように、カーソル位置レジスタ2
9A、監視領域プリセツトレジスタ29B、検出データレジ
スタ29C、評定データレジスタ29D、位置ずれ検出用マー
カレジスタ29E、位置ずれデータレジスタ29Fを有する。
RAM29 is the cursor position register 2 as shown in FIG.
9A, a monitoring area preset register 29B, a detection data register 29C, a rating data register 29D, a positional deviation detection marker register 29E, and a positional deviation data register 29F.

カーソル位置レジスタ29Aは、ビデオ信号VDに基づい
てモニタ部17上に表示される撮像画面5について、監視
領域6を設定したり、監視領域6の位置、大きさ、形状
を選定したり、X方向及びY方向位置ずれ検出用マーカ
7X及び7Yを設定したりする際に用いられるカーソルの位
置を、時々刻々記憶して行く。
The cursor position register 29A sets the monitoring area 6 on the imaging screen 5 displayed on the monitor 17 based on the video signal VD, selects the position, size, and shape of the monitoring area 6, and selects the X direction. And Y direction displacement detection marker
The position of the cursor used when setting 7X and 7Y is remembered moment by moment.

監視領域プリセツトレジスタ29Bは、1枚のラベル3
上の文字パターンに対して設定された監視領域6の位置
をオペレータが操作スイツチ部27を介して最大限16点ま
で入力したとき、これを格納する。
The monitoring area preset register 29B has one label 3
When the operator inputs up to 16 points through the operation switch unit 27, the position of the monitoring area 6 set for the above character pattern is stored.

検出データレジスタ29Cは、被観測対象としてのクー
ラ1がテレビジヨンカメラ13の撮像位置に位置決めされ
たとき、監視領域プリセツトレジスタ29Bにプリセツト
された監視領域6についての輝度データをCPU25が取り
込んだとき、この検出データを格納する。
The detection data register 29C is used when the CPU 25 captures the brightness data of the monitoring area 6 preset in the monitoring area preset register 29B when the cooler 1 to be observed is positioned at the image pickup position of the television camera 13. , Store this detection data.

評定データレジスタ29Dは、マスタとしてのクーラ1
がテレビジヨンカメラ13の撮像位置に位置決めされたと
き、監視領域プリセツトレジスタ29Bに格納されている
監視領域6について、その輝度データをマスタ画像メモ
リ部24Mから格納する。
The rating data register 29D is a cooler 1 as a master.
Is positioned at the image pickup position of the television camera 13, the brightness data of the monitoring area 6 stored in the monitoring area preset register 29B is stored from the master image memory section 24M.

位置ずれ検出用マーカレジスタ29Eは、X方向及びY
方向位置ずれ検出用マーカ7X及び7Yの画像位置を、オペ
レータが操作スイツチ部27を用いて入力したとき、これ
を格納する。
The position shift detection marker register 29E is arranged in the X direction and the Y direction.
When the operator inputs the image positions of the direction displacement detection markers 7X and 7Y by using the operation switch unit 27, the image positions are stored.

位置ずれデータレジスタ29Fは、マスタとしてのクー
ラ1又は被観測対象としてのクーラ1がテレビジヨンカ
メラ13の撮像位置に位置決めされたとき、位置ずれ検出
用マーカレジスタ29Eに格納されている位置ずれ検出用
マーカ7X及び7Yについて、その輝度データを検出画像メ
モリ部24Dから格納する。
The misregistration data register 29F is for misregistration detection stored in the misregistration detection marker register 29E when the cooler 1 as the master or the cooler 1 as the observation target is positioned at the image pickup position of the television camera 13. The luminance data of the markers 7X and 7Y is stored from the detected image memory unit 24D.

かくしてRAM29に格納されているデータは、オペレー
タが操作スイツチ部27によつてCPU25に対してデータの
処理モードを指定したとき、必要に応じてCPU25によつ
て読み出されて各処理ステツプにおいて必要なデータを
供給する。これと共に、RAM29のデータは、必要に応じ
てバス26を介してパターン発生器31に供給されてパター
ンデータDNをスーパインポーズ回路16を介してモニタ部
17に与えることにより、現在設定されているカーソル、
監視領域6、X方向及びY方向位置ずれ検出用マーカ7X
及び7Yを表すパターンをモニタ部17の表示画面上にビデ
オ信号VDに基づいて表示されている画像上にスーパイン
ポーズして表示させる。かくしてオペレータはモニタ部
17の表示画面上に表示されたパターンを見て、操作スイ
ツチ部27を介して適切な指令信号をCPU25に入力し得る
ようになされている。
Thus, the data stored in the RAM 29 is read by the CPU 25 as necessary when the operator designates the data processing mode to the CPU 25 by the operation switch unit 27, and is necessary in each processing step. Supply data. At the same time, the data in the RAM 29 is supplied to the pattern generator 31 via the bus 26 as needed, and the pattern data DN is sent to the monitor unit via the superimpose circuit 16.
By giving to 17, the currently set cursor,
Monitoring area 6, X-direction and Y-direction positional deviation detection marker 7X
, And 7Y are displayed on the display screen of the monitor unit 17 by superimposing on the image displayed based on the video signal VD. Thus the operator is the monitor
By looking at the pattern displayed on the display screen of 17, it is possible to input an appropriate command signal to the CPU 25 via the operation switch unit 27.

以上の構成においてCPU25は第6図に示す処理手順に
従つて、被観測物体としてのラベル3Dについての検査処
理を実行する。
In the above configuration, the CPU 25 executes the inspection process for the label 3D as the observed object according to the processing procedure shown in FIG.

すなわちステツプSP1において当該処理プログラムを
開始すると、CPU25は次のステツプSP2において操作スイ
ツチ部27からオペレータによつてマスタデータの取込指
令が入力されるのを待ち受ける。
That is, when the processing program is started in step SP1, the CPU 25 waits for the operator to input a master data fetch command from the operation switch unit 27 in the next step SP2.

ここで、オペレータはテレビジヨンカメラ13の撮像位
置にマスタとしてのクーラ1を設定した後、操作スイツ
チ部27を介してCPU25にマスタデータの取込指令を入力
する。
Here, the operator sets the cooler 1 as a master at the image pickup position of the television camera 13, and then inputs a master data take-in command to the CPU 25 via the operation switch unit 27.

このときCPU25は、次のステツプSP3に移つてバス26を
介してタイミング制御部15を制御することによつてテレ
ビジヨンカメラ13から得られるマスタについてのビデオ
信号VDを、アナログ/デイジタル変換回路22、切換回路
23のマスタ側切換出力端Mを介してマスタ画像メモリ部
24Mに1フレーム分の画像データとして取り込む。
At this time, the CPU 25 shifts to the next step SP3 and controls the timing control unit 15 via the bus 26 to convert the video signal VD about the master obtained from the television camera 13 into the analog / digital conversion circuit 22, Switching circuit
Master image memory unit via the master side switching output terminal 23
Capture as image data for one frame in 24M.

続いてCPU25はステツプSP4に移つて、位置ずれ検出用
マーカレジスタ29Eのデータを用いてマスタ画像メモリ
部24Mに取り込まれているマスタ画像データのうち、X
方向及びY方向位置ずれ検出用マーカ7X及び7Yの画素デ
ータを位置ずれデータレジスタ29Fに格納する。
Subsequently, the CPU 25 moves to step SP4 and uses X of the master image data fetched in the master image memory section 24M by using the data of the position shift detection marker register 29E.
The pixel data of the positional and Y-direction positional deviation detection markers 7X and 7Y are stored in the positional deviation data register 29F.

続いてCPU25はステツプSP5に移つて監視領域プルセツ
トレジスタ29Bのデータを用いてマスタ画像メモリ部24M
に取り込まれているマスタ画像データのうち、監視領域
6の輝度データを評定基準データとして評定データレジ
スタ29Dに取り込み、かくしてマスタとしてのラベル3M
についてのデータの取込処理を終了する。
Subsequently, the CPU 25 shifts to step SP5 and uses the data in the monitoring area pull set register 29B to set the master image memory section 24M.
Of the master image data taken in, the brightness data of the monitoring area 6 is taken in the rating data register 29D as the rating reference data, and thus the label 3M as the master
Ends the data acquisition process for.

続いてCPU25は検査処理プログラムを実行する。すな
わちCPU25は続くステツプSP6において検出データの取込
指令が到来するのを待ち受ける。
Subsequently, the CPU 25 executes the inspection processing program. That is, the CPU 25 waits for the arrival of the detection data fetch command in the subsequent step SP6.

ここで、オペレータは操作スイツチ部27を介して被観
測対象としてのクーラ1をコンベア12によつてテレビジ
ヨンカメラ13の撮像位置に順次1つずつ運び込ませる。
Here, the operator causes the cooler 1 as the object to be observed to be successively carried by the conveyor 12 to the image pickup position of the television camera 13 one by one through the operation switch unit 27.

コンベアコントローラ21は、1つの被観測対象として
のクーラ1がテレビジヨンカメラ13の撮像位置に位置決
めされたとき、検査開始信号SIGINをタイミング制御部1
5に送出することにより、次のステツプSP7において、被
観測対象としてのクーラ1のラベル3D(すなわち被観測
物体)についてのビデオ信号VDを検出画像メモリ部24D
に取り込ませる。
The conveyor controller 21 sends an inspection start signal SIG IN to the timing control unit 1 when the cooler 1 as an observation target is positioned at the imaging position of the television camera 13.
By sending it to 5, in the next step SP7, the video signal VD for the label 3D of the cooler 1 as the object to be observed (that is, the object to be observed) is detected.
To take in.

続いてCPU25はステツプSP8に移つてRAM29の位置ずれ
検出マーカレジスタ29Eに格納されているX方向及びY
方向位置ずれ検出用マーカ7X及び7Yの位置データを用い
て、当該X方向及びY方向位置ずれ検出用マーカ7X及び
7Yによつて指定されている画素データを検出画像メモリ
部24Dから読み出してRAM29の位置ずれデータレジスタ29
Fに取り込む。かくして位置ずれデータレジスタ29Fに
は、マスタ及び被観測対象としてのクーラ1から得たX
方向及びY方向位置ずれ検出用マーカ7X及び7Yの画素デ
ータを取り込んだ状態が得られる。
Subsequently, the CPU 25 moves to step SP8 and stores the X direction and Y stored in the displacement detection marker register 29E of the RAM 29.
Using the position data of the direction displacement detection markers 7X and 7Y, the X direction and Y direction displacement detection markers 7X and
The pixel data designated by 7Y is read from the detected image memory unit 24D and the position shift data register 29 of the RAM 29 is read.
Capture in F. In this way, the displacement data register 29F contains the X obtained from the cooler 1 as the master and the observed object.
It is possible to obtain a state in which the pixel data of the positional deviation detection markers 7X and 7Y are captured.

続いてCPU25は、ステツプSP9において、位置ずれデー
タレジスタ29Fに取り込まれているX方向及びY方向位
置ずれ検出用マーカ7X及び7Yの各画素に対応する輝度デ
ータを読み出して、(1)式について上述したようにし
て、マスタ及び被観測対象について得られた位置データ
に基づいて、位置ずれΔX及びΔYを演算する。
Subsequently, in step SP9, the CPU 25 reads the brightness data corresponding to each pixel of the X-direction and Y-direction position shift detection markers 7X and 7Y fetched in the position shift data register 29F, and the formula (1) is described above. In this way, the positional deviations ΔX and ΔY are calculated based on the position data obtained for the master and the observed object.

かくして現在テレビジヨンカメラ13によつて撮像され
ている被観測対象としてのクーラ1の被観測物体すなわ
ちラベル3Dについて、その位置ずれ量を表す位置ずれデ
ータを得る処理ステツプを終了する。
Thus, the processing step for obtaining the displacement data representing the displacement amount of the observed object of the cooler 1 as the observed object, that is, the label 3D, which is currently imaged by the television camera 13, is completed.

続いてCPU25はステツプSP10に移つて、監視領域プリ
セツトレジスタ29Bの監視領域位置データを読み出し
て、これを位置ずれデータレジスタ29Fに格納されてい
る位置ずれデータによつて位置ずれ量ΔX及びΔYだけ
補正してバス26を通じて検出画像メモリ部24Dに対する
アドレス信号としてタイミング制御部15に転送する。か
くして検出画像メモリ部24Dから読み出された輝度デー
タは検出データレジスタ29Cに取り込まれる。
Subsequently, the CPU 25 proceeds to step SP10 to read the monitoring area position data of the monitoring area preset register 29B, and use the positional deviation data stored in the positional deviation data register 29F for the positional deviation amounts ΔX and ΔY. The corrected signal is transferred to the timing control unit 15 via the bus 26 as an address signal for the detected image memory unit 24D. Thus, the brightness data read from the detected image memory section 24D is taken into the detected data register 29C.

その後CPU25はステツプSP11に移つて当該輝度データ
を評定データレジスタ29Dに格納されているマスタの輝
度情報と比較することによつて製品の良否の判定処理を
する。
After that, the CPU 25 proceeds to step SP11 and compares the luminance data with the luminance information of the master stored in the rating data register 29D to perform the quality determination processing of the product.

CPU25は続くステツプSP12において判定結果の良否の
判断をし、不良の場合には、オペレータがステツプSP13
において現在テレビジヨンカメラ13によつて撮像されて
いるクーラ1のラベル3についてその不良を改善する不
良処理をするのを待つて上述のステツプSP6に戻る。
The CPU 25 judges whether the judgment result is good or bad at the subsequent step SP12.
At step S6, the process returns to step SP6 while waiting for the defect processing for improving the defect of the label 3 of the cooler 1 currently imaged by the television camera 13.

これに対してステツプSP12においてCPU25が不良では
ないと判断したとき、CPU25は直ちに上述のステツプSP6
に戻る。
On the other hand, when it is determined in step SP12 that the CPU 25 is not defective, the CPU 25 immediately proceeds to step SP6 described above.
Return to

かくしてCPU25は次の被観測対象としてのクーラ1が
テレビジヨンカメラ13の撮像位置に位置決めされるのを
待ち受ける状態になり、新たな被観測対象としてのクー
ラ1がテレビジヨンカメラ13の撮像位置に設定されて新
たに検査開始信号SIGINがタイミング制御部15に供給さ
れたとき、当該新たな被観測物体について位置ずれ検出
用マーカ7X及び7Yのデータの読込み、位置ずれデータの
作成、監視領域の補正、補正後の監視領域の輝度データ
の取込み、良否の判定処理を繰り返す。
Thus, the CPU 25 waits for the next cooler 1 to be observed to be positioned at the imaging position of the television camera 13, and the new cooler 1 to be observed is set to the imaging position of the television camera 13. When the inspection start signal SIG IN is newly supplied to the timing control unit 15, the data of the displacement detection markers 7X and 7Y for the new observed object is read, the displacement data is created, and the monitoring area is corrected. Then, the luminance data of the corrected monitoring area is taken in and the quality determination process is repeated.

以上の構成によれば、撮像画面上、マスタとしてのク
ーラ1のラベル3Mの位置に対して、被観測対象としての
クーラ1のラベル3Dの位置がX方向又はY方向にずれて
いるとき、これを位置ずれ検出用マーカ7X及び7Yから得
られる画素データに基づいて検出するようにしたことに
より、被観測物体としてのラベル3Dのラベル3Mに対する
位置ずれを容易に検出し得る。
According to the above configuration, when the position of the label 3D of the cooler 1 to be observed is displaced in the X direction or the Y direction with respect to the position of the label 3M of the cooler 1 as the master on the imaging screen, Is detected based on the pixel data obtained from the position shift detection markers 7X and 7Y, the position shift of the label 3D as the observed object with respect to the label 3M can be easily detected.

かくして当該検出結果に基づいて監視領域6の位置を
補正するようにしたことにより、高い精度でラベル3の
異常の有無を判定することができる。
Thus, by correcting the position of the monitoring area 6 based on the detection result, it is possible to highly accurately determine whether the label 3 is abnormal.

〔2〕第2実施例 第7図は本発明の他の実施例を示すもので、第4図と
の対応部分に同一符号を付して示すように、ビデオデー
タ入力部14はサンプルホールド回路41及びアナグロ/デ
イジタル変換回路42を有し、タイミング制御部15から送
出されるサンプリングパルスSMP2及びSMP3の制御の下
に、監視領域6(第1図)の輝度情報をサンプルホール
ド回路41にホールドし、これをアナログ/デイジタル変
換回路42においてデイジタルデータに変換した後RAM29
の評定データレジスタ29D又は検出データレジスタ29Cに
取り込むようになされている。
[2] Second Embodiment FIG. 7 shows another embodiment of the present invention, in which the video data input section 14 includes a sample and hold circuit as indicated by the same reference numerals as those in FIG. 41 and an analog / digital conversion circuit 42, and holds the brightness information of the monitoring area 6 (FIG. 1) in the sample hold circuit 41 under the control of the sampling pulses SMP2 and SMP3 sent from the timing controller 15. , RAM29 after converting this into digital data in the analog / digital conversion circuit 42
The evaluation data register 29D or the detection data register 29C of FIG.

このように第7図の場合には、RAM29の監視領域プリ
セツトレジスタ29Bに設定された監視領域6についての
輝度情報を、位置ずれ検出用マーカ7X及び7Yのデータと
は別個にRAM29に取り込み得るようになされている点に
おいて第4図の構成と異なる特徴をもつている。
As described above, in the case of FIG. 7, the luminance information about the monitoring area 6 set in the monitoring area preset register 29B of the RAM 29 can be taken into the RAM 29 separately from the data of the position shift detection markers 7X and 7Y. This is different from the configuration shown in FIG.

第7図の構成において、CPU25は第6図との対応部分
に同一符号を付して示す第8図に示す処理手順に従つて
検査処理を実行する。
In the configuration of FIG. 7, the CPU 25 executes the inspection processing according to the processing procedure shown in FIG. 8 in which the corresponding parts to those in FIG.

第8図において、第6図の場合と比較して、位置ずれ
データを作成する処理ステツプSP9から監視領域6の輝
度データを取り込む処理ステツプSP10の間に、監視領域
6の位置を補正する処理ステツプSP14を実行するように
なされている点に相違がある。
In FIG. 8, compared with the case of FIG. 6, a processing step for correcting the position of the monitoring area 6 is performed during a processing step SP10 for fetching the luminance data of the monitoring area 6 from the processing step SP9 for creating the positional deviation data. The difference is that it is designed to run SP14.

第8図の処理手順において、CPU25はステツプSP3にお
いてマスタ画像データを取り込んだ後ステツプSP4にお
いて位置ずれ検出用マーカデータを取り込む際には、テ
レビジヨンカメラ13から得られるビデオ信号VDを、アナ
ログ/デイジタル変換回路22、切換回路23を介してマス
タ画像メモリ部24Mに取り込む。このときマスタ画像メ
モリ部24Mに取り込まれるデータは、X方向及びY方向
位置ずれ検出用マーカ7X及び7Yについて位置ずれを検出
するための画素データDPを取り込めば良く、この実施例
の場合当該画素データDPは1ビツトのデイジタル情報で
なり、この1ビツトのデイジタル情報が撮像画面5全体
についてマスタ画像メモリ部24Mに取り込まれる。
In the processing procedure of FIG. 8, when the CPU 25 captures the master image data in step SP3 and then captures the positional deviation detecting marker data in step SP4, the video signal VD obtained from the television camera 13 is converted into an analog / digital signal It is taken into the master image memory unit 24M via the conversion circuit 22 and the switching circuit 23. At this time, the data taken into the master image memory unit 24M may be the pixel data DP for detecting the positional deviation of the X-direction and Y-direction positional deviation detection markers 7X and 7Y. In this embodiment, the pixel data DP consists of 1-bit digital information, and this 1-bit digital information is taken into the master image memory unit 24M for the entire image pickup screen 5.

これに続いてCPU25はステツプSP5において評定データ
を取り込む際には、ビデオ信号VDをサンプルホールド回
路41にサンプルホールドさせる。ここでサンプルホール
ド回路41にサンプルホールドされるビデオ信号VDは、監
視領域6に含まれる画素のアナログ輝度情報でなり、ア
ナログ信号でなる。
Following this, the CPU 25 causes the sample hold circuit 41 to sample and hold the video signal VD when fetching the rating data in step SP5. Here, the video signal VD sampled and held by the sample and hold circuit 41 is analog luminance information of pixels included in the monitoring area 6, and is an analog signal.

かくしてCPU25はアナログ/ディジタル変換回路42を
介してサンプルホールド回路41のサンプルホールド出力
を所定の複数ビツト(例えば5ビツト)のデータに変換
して評定データレジスタ29Dに格納させる。
Thus, the CPU 25 converts the sample-hold output of the sample-hold circuit 41 through the analog / digital conversion circuit 42 into a predetermined plurality of bits (for example, 5 bits) of data and stores the data in the rating data register 29D.

その後CPU25はステツプSP7において被観測物体からの
位置ずれ検出データとしてビデオ信号VDをアナログ/デ
イジタル変換回路22において2ビツトの画素データDPに
変換した後切換回路23を介して検出画像メモリ部24Dに
取り込み、次のステツプSP8において当該検出画像メモ
リ部24DのデータのうちX方向及びY方向位置ずれ検出
用マーカ7X及び7Yの画素データを位置ずれデータレジス
タ29Fに取り込んだ後、次のステツプSP9においてマスタ
についての位置ずれデータに対する相関を演算して位置
ずれ量ΔX及びΔYを求める。
After that, the CPU 25 converts the video signal VD into the 2-bit pixel data DP in the analog / digital conversion circuit 22 as the displacement detection data from the observed object in step SP7, and then fetches it into the detected image memory section 24D via the switching circuit 23. , In the next step SP8, after the pixel data of the X-direction and Y-direction positional deviation detection markers 7X and 7Y of the data of the detected image memory unit 24D is loaded into the positional deviation data register 29F, the next step SP9 The positional shift amounts ΔX and ΔY are calculated by calculating the correlation with respect to the positional shift data of.

ところが、この実施例の場合CPU25は、続くステツプS
P14において、この位置ずれ量ΔX及びΔYを用いて、
監視領域プリセツトレジスタ29Bから読み出した監視領
域位置データを位置ずれ量ΔX及びΔYだけ補正してタ
イミング制御部15に送出する。かくしてタイミング制御
部15は、X方向及びY方向位置ずれ検出用マーカ7X及び
7Yによつて検出された位置ずれ量ΔX及びΔYだけX方
向及びY方向に平行移動した位置に監視領域6を移動さ
せて当該補正後の監視領域6に含まれる各画素のアナロ
グ輝度情報をサンプルホールド回路41にサンプルホール
ドさせる。
However, in the case of this embodiment, the CPU 25 uses the following step S
In P14, using the positional deviation amounts ΔX and ΔY,
The monitor area position data read from the monitor area preset register 29B is corrected by the positional deviation amounts ΔX and ΔY and sent to the timing controller 15. In this way, the timing control unit 15 uses the X-direction and Y-direction positional deviation detection markers 7X and
The monitoring area 6 is moved to a position that is translated in the X and Y directions by the positional deviation amounts ΔX and ΔY detected by 7Y, and the analog luminance information of each pixel included in the corrected monitoring area 6 is sampled. The hold circuit 41 is caused to sample and hold.

かくして、撮像画面5において、被観測物体としての
ラベル3Dの位置が、マスタとしてのラベル3Mの位置と比
較して位置ずれしている場合には、当該位置ずれ量ΔX
及びΔYに相当する分だけ監視領域6の位置を補正した
後ステツプSP10において輝度情報を取り込むことにな
る。
Thus, in the imaging screen 5, when the position of the label 3D as the observed object is displaced as compared with the position of the label 3M as the master, the displacement amount ΔX
After correcting the position of the monitor area 6 by an amount corresponding to ΔY and ΔY, the brightness information is fetched in step SP10.

その結果マスタとしてのラベル3Mから得た位置情報と
被観測物体としてのラベル3Dから得た位置情報とがほぼ
同一になることにより、ステツプSP11における判定動作
の結果に位置ずれによる誤差を生じさせないようにし得
る。
As a result, the position information obtained from the label 3M as the master and the position information obtained from the label 3D as the observed object are almost the same, so that the error due to the position deviation does not occur in the result of the determination operation in step SP11. You can

以上の構成によれば、第4図及び第6図について上述
した効果を得ることができると共に、これに加えて第7
図及び第8図の構成によれば、被観測物体の良否を判定
するために取り込まれるアナログ輝度情報は撮像画面5
全体ではなく監視領域6に限られているので、判定デー
タをRAM29に取り込む時間を一段と短縮し得、この分全
体として検査時間を短縮し得る。
According to the above configuration, the effect described above with reference to FIGS. 4 and 6 can be obtained, and in addition to this,
According to the configurations of FIG. 8 and FIG. 8, the analog luminance information fetched for determining the quality of the observed object is the imaging screen 5
Since it is limited to the monitoring area 6 rather than the entire area, the time for fetching the determination data into the RAM 29 can be further shortened, and the inspection time can be shortened as a whole.

〔3〕他の実施例 (1) 上述の実施例においては、X方向及びY方向に
直線状に延長するX方向及びY方向位置ずれ検出用マー
カ7X及び7Yを用いて、被観測物体としてのラベル3Dのマ
スタとしてのラベル3Mからの位置ずれをX方向及びY方
向の2つの方向について検出するようにしたが、位置ず
れ検出用マーカの延長方向及びその本数はこれに限らず
種々変更し得る。
[3] Other Embodiments (1) In the above-described embodiment, the X-direction and Y-direction positional deviation detection markers 7X and 7Y that linearly extend in the X-direction and the Y-direction are used as an observed object. Although the position deviation of the label 3D from the label 3M as the master is detected in two directions of the X direction and the Y direction, the extension direction of the position deviation detecting marker and the number thereof can be variously changed. .

例えば第9図に示すように、マスタとして円形形状の
物体41Mを撮像した場合、この物体41Mに対する被観測物
体41Dの位置ずれを検出するときには、3本の位置ずれ
検出用マーカ42A、42B、42Cを円周上の所定位置に物体4
1M、41Dの周縁を横切るように斜め方向に設定してお
く。
For example, as shown in FIG. 9, when a circular object 41M is imaged as a master, when detecting the positional deviation of the observed object 41D with respect to this object 41M, three positional deviation detection markers 42A, 42B, 42C are used. Object 4 at a predetermined position on the circumference
Set diagonally so as to cross the periphery of 1M and 41D.

このようにすれば、位置ずれ情報として、3方向の検
出情報を得ることができ、かくして被観測物体41Dの位
置ずれ方向及びその量を簡易に検出し得る。
By doing so, detection information in three directions can be obtained as the positional deviation information, and thus the positional deviation direction and the amount of the observed object 41D can be easily detected.

(2) 上述の実施例においては位置ずれ検出用マーカ
とし直線状に延長するものを用いた実施例について述べ
たが、これに限らず例えば第10図に示すように、円弧状
に延長する位置ずれ検出用マーカ49を用いても良い。
(2) In the above-described embodiment, an example in which the marker for positional deviation detection that extends linearly is described, but the present invention is not limited to this, and for example, as shown in FIG. 10, a position that extends in an arc shape. The displacement detection marker 49 may be used.

第10図において、45は歯車の映像で、各歯先46に監視
領域47が設定され、これにより歯先46の欠損の有無を検
出するようになされている。
In FIG. 10, reference numeral 45 is an image of a gear, and a monitoring region 47 is set in each tooth tip 46, and the presence or absence of a defect in the tooth tip 46 is detected by this.

この場合歯車45の中心孔47の周縁には、その中心Oに
向かうように3本の位置ずれ検出用マーカ48A、48B、48
Cが設けられ、これら3本の位置ずれ検出用マーカ48A〜
48Cから得られる位置ずれ情報によつて、歯車45を中心
Oの位置に位置決めし得るようになされている。
In this case, on the peripheral edge of the center hole 47 of the gear 45, three positional deviation detection markers 48A, 48B, 48 are provided so as to face the center O thereof.
C is provided, and these three positional deviation detection markers 48A to
The gear 45 can be positioned at the position of the center O based on the positional deviation information obtained from 48C.

これに加えて、歯車45が中心Oに位置決めされている
状態において円弧状位置ずれ検出用マーカ49が歯先46の
列に沿つて順次横切るように設定し得るようになされて
いる。
In addition to this, in the state where the gear 45 is positioned at the center O, the arc-shaped positional deviation detection marker 49 can be set so as to sequentially traverse along the row of the tooth tips 46.

第10図の構成によれば、円弧状位置ずれ検出用マーカ
49は、順次隣合う歯先46の位置を表す検出データを画素
単位で検出することができ、従つて被観測対象としての
歯車45の歯先46がマスタとしての歯車の歯の位置に対し
て回転方向に位置ずれしていれば、当該回転方向の位置
ずれ量を検出することができる。
According to the configuration of FIG. 10, the arc-shaped positional deviation detection marker
49 is capable of detecting the detection data representing the positions of the adjacent tooth tips 46 sequentially in pixel units, and accordingly, the tooth tip 46 of the gear 45 as the observed object with respect to the tooth position of the gear as the master. If the position is displaced in the rotation direction, the amount of displacement in the rotation direction can be detected.

従つて円弧状位置ずれ検出用マーカ49の検出出力に基
づいて、位置ずれをなくすように監視領域47を全体とし
て回転方向に移動すれば、マスタの歯先に対して欠けた
歯があれば、これを位置ずれの影響を受けることなく確
実に検出することができる。
Therefore, based on the detection output of the arc-shaped positional deviation detection marker 49, if the monitoring area 47 is moved in the rotation direction as a whole so as to eliminate the positional deviation, if there is a missing tooth with respect to the tip of the master, This can be reliably detected without being affected by the positional deviation.

(3) 上述の実施例においては、位置ずれ検出用マー
カとして1画素分の幅をもつものを適用したが、位置ず
れ検出用マーカの幅はこれに限らず複数画素に対応する
幅にしても良く、要は全体として線状であれば良い。
(3) In the above-described embodiment, the position shift detection marker having a width of one pixel is applied, but the position shift detection marker is not limited to this width and may be a width corresponding to a plurality of pixels. Good, the point is that it is linear as a whole.

(4) 上述の実施例においては、第3図に示すよう
に、撮像画面状に表示された被観測物体が明確に白レベ
ル又は黒レベルをもつており、従つて位置ずれ検出用マ
ーカに含まれる画素から被観測物体の境界位置に対応し
て明確に論理「0」レベルから論理「1」レベルに切り
換わる検出情報を得ることができる場合に本発明を適用
した実施例について述べたが、撮像画面上の被観測物体
の境界がグレーレベルを含む場合には、境界位置が不明
確になるおそれがある。
(4) In the above-described embodiment, as shown in FIG. 3, the observed object displayed in the image pickup screen clearly has the white level or the black level, and is therefore included in the position shift detection marker. An example in which the present invention is applied to the case where the detection information that clearly switches from the logical "0" level to the logical "1" level can be obtained from the pixel to be detected corresponding to the boundary position of the observed object has been described. When the boundary of the observed object on the imaging screen includes a gray level, the boundary position may be unclear.

すなわちこの場合には、テレビジヨンカメラ13から得
られるビデオ信号VDは第11図(A)に示すように境界位
置において白レベルLWから黒レベルLBに立ち下がるまで
に距離Δd分の画素を必要とし、従つてこの距離Δdの
間の画素数だけ位置ずれ量が不明確な検出信号が生ず
る。
That is, in this case, as shown in FIG. 11 (A), the video signal VD obtained from the television camera 13 has pixels of distance Δd before falling from the white level L W to the black level L B at the boundary position. Therefore, a detection signal whose position deviation amount is unclear is generated by the number of pixels within the distance Δd.

このような場合には、第4図の構成において、例えば
マスタ画像メモリ部24M及び検出画像メモリ部24Dに取り
込まれた輝度データのうち、位置ずれ検出用マーカに含
まれている画素から位置ずれデータレジスタ29Fに取り
込んだ検出データに基づいて白レベルLW及び黒レベルLB
のデータを抽出し、その平均値としてスレツシユホール
ドレベルLTHを算出し、当該スレツシユホールドレベルL
THをビデオ信号VDを表す検出信号と比較することによ
り、第11図(B)に示すようなマスタについての検出情
報INFM及び被検出物体についての検出情報INFDを得るよ
うにすれば良い。
In such a case, in the configuration of FIG. 4, for example, in the luminance data captured in the master image memory unit 24M and the detection image memory unit 24D, the displacement data from the pixel included in the displacement detection marker is detected. White level L W and black level L B based on the detection data captured in register 29F
Data is extracted, the threshold level L TH is calculated as the average value, and the threshold level L TH is calculated.
By comparing the detection signal representing the video signal VD to TH, it is sufficient to obtain detection information INF D of the detection information INF M and the object to be detected on the master, as shown in FIG. 11 (B).

かくしてグレーレベルを含むような被検出物体につい
ても確実に位置ずれを検出することができる。
Thus, it is possible to reliably detect the positional deviation of the detected object including the gray level.

(5) 上述の実施例においては、本発明をクーラに付
されたラベルや、歯車の歯先を検査する場合に適用した
が、本発明はこれに限らず種々の被観測対象に適用し得
る。
(5) In the above-described embodiment, the present invention is applied to the case of inspecting the label attached to the cooler and the tooth top of the gear, but the present invention is not limited to this and can be applied to various observed objects. .

(6) 上述の実施例においては、マスタの画像に対し
て被観測物体の画像が位置ずれしている場合、監視領域
の位置を補正するように構成したが、これに代え、テレ
ビジヨンカメラ13又はこのテレビジヨンカメラ13によつ
て撮像される被観測物体の相対的な位置を変更すること
により、ビデオ信号VDの撮像画面を全体として補正する
ようにしても上述の場合と同様の効果を得ることができ
る。
(6) In the above-described embodiment, when the image of the observed object is displaced from the image of the master, the position of the monitoring area is corrected. However, instead of this, the television camera 13 Alternatively, even if the image pickup screen of the video signal VD is corrected as a whole by changing the relative position of the observed object imaged by the television camera 13, the same effect as the above case can be obtained. be able to.

〔発明の効果〕〔The invention's effect〕

上述のように本発明によれば、撮像画面上に線状の位
置ずれ検出マーカを設定し、当該位置ずれ検出用マーカ
に含まれる画素マーカに対応するビデオ信号部分から得
た検出情報の相関によつて位置ずれを検出するようにし
たことにより、マスタに対する被観測物体の画像上の位
置ずれを高い精度で検出及び補正をすることができる。
As described above, according to the present invention, a linear positional deviation detection marker is set on the imaging screen, and the correlation of the detection information obtained from the video signal portion corresponding to the pixel marker included in the positional deviation detection marker is used. Therefore, by detecting the positional deviation, the positional deviation on the image of the observed object with respect to the master can be detected and corrected with high accuracy.

【図面の簡単な説明】[Brief description of drawings]

第1図は第1の実施例における撮像画面を示す略線図、
第2図は被観測対象となるクーラを示す側面図、第3図
は位置ずれ検出用マーカから得られる検出情報の説明に
供する信号図、第4図は第1の実施例における物体検査
装置の具体的構成を示す系統的接続図、第5図はRAMの
構成を示す略線図、第6図は物体検査処理手順を示すフ
ローチヤート、第7図は物体検査装置の第2の実施例を
示す系統的接続図、第8図はその物体検査処理手順を示
すフローチヤート、第9図は被観測物体が円形の場合の
位置ずれ検出用マーカの配置を示す略線図、第10図は被
観測物体が歯車の場合の位置ずれ検出用マーカの配置を
示す略線図、第11図はグレーレベルを含む被観測物体の
場合の信号処理の説明に供する信号波形図である。 3……ラベル、4……文字パターン、5……撮像画面、
6……監視領域、7X、7Y……位置ずれ検出用マーカ、11
……物体検査装置、13……テレビジヨンカメラ、14……
ビデオデータ入力部、15……タイミング制御部、25……
CPU。
FIG. 1 is a schematic diagram showing an image pickup screen in the first embodiment,
FIG. 2 is a side view showing a cooler to be observed, FIG. 3 is a signal diagram used for explaining detection information obtained from the positional deviation detecting marker, and FIG. 4 is a diagram showing the object inspection apparatus in the first embodiment. A systematic connection diagram showing a concrete configuration, FIG. 5 is a schematic diagram showing a configuration of RAM, FIG. 6 is a flow chart showing an object inspection processing procedure, and FIG. 7 is a second embodiment of the object inspection apparatus. Fig. 8 is a systematic connection diagram, Fig. 8 is a flow chart showing the object inspection processing procedure, Fig. 9 is a schematic diagram showing the arrangement of position deviation detection markers when the observed object is circular, and Fig. 10 is FIG. 11 is a schematic diagram showing the arrangement of the positional deviation detection markers when the observed object is a gear, and FIG. 11 is a signal waveform diagram for explaining the signal processing when the observed object includes gray levels. 3 ... Label, 4 ... Character pattern, 5 ... Imaging screen,
6 ... Monitoring area, 7X, 7Y ... Positional deviation detection marker, 11
...... Object inspection device, 13 …… Television camera, 14 ……
Video data input section, 15 …… Timing control section, 25 ……
CPU.

Claims (3)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】被観測物体をテレビジヨンカメラによつて
撮像して得られるビデオ信号に基づいて表示される撮像
画面のうち、所定の監視点に設定された監視領域に対応
するビデオ信号部分をマスタの対応するビデオ信号部分
と比較することによつて、当該監視領域にある上記被観
測物体の状態の正常又は異常を検出するようになされた
物体検査装置において、 線状に配列された複数の画素マーカでなる位置ずれ検出
用マーカを上記撮像画面上の所定の表示位置に設定する
位置ずれ検出用マーカ設定手段と、 上記テレビジヨンカメラによつて上記マスタを撮像した
状態において得られる上記撮像画面の画像情報のうち上
記各複数の画素マーカが設定された表示位置に対応する
ビデオ信号部分から得た画像情報に基づいて第1の検出
情報を形成する第1の検出情報形成手段と、 上記テレビジヨンカメラによつて上記被観測物体を撮像
した状態において得られる上記撮像画面の画像情報のう
ち上記各複数の画素マーカが設定された表示位置に対応
するビデオ信号部分から得た画像情報に基づいて第2の
検出情報を形成する第2の検出情報形成手段と、 上記第1の検出情報の上記複数の画素マーカに対応する
第1の画像情報の配列と、上記第2の検出情報の上記複
数の画素マーカに対応する第2の画像情報の配列との間
の相関をとることにより、上記第1及び第2の画像情報
の配列に不一致区間があるか否かを表す位置ずれデータ
を作成する位置ずれデータ作成手段と、 上記位置ずれデータが上記不一致区間があることを表わ
しているとき当該不一致区間に相当する位置ずれを修正
するように上記監視領域の上記撮像画面に対する相対的
設定位置を補正する位置ずれ補正手段と を具えることを特徴とする物体検査装置。
1. A video signal portion corresponding to a monitoring area set at a predetermined monitoring point on an image display screen displayed based on a video signal obtained by imaging an observed object with a television camera. In the object inspection device adapted to detect the normality or abnormality of the state of the observed object in the monitoring area by comparing with the corresponding video signal portion of the master, a plurality of linearly arranged objects are arranged. Positional deviation detection marker setting means for setting a positional deviation detection marker composed of pixel markers at a predetermined display position on the imaging screen, and the imaging screen obtained in a state in which the master is imaged by the television camera Forming the first detection information based on the image information obtained from the video signal portion corresponding to the display position where the plurality of pixel markers are set among the image information Corresponding to a display position in which each of the plurality of pixel markers is set in the image information of the imaging screen obtained in a state in which the observed object is imaged by the television detection camera. Second detection information forming means for forming second detection information on the basis of image information obtained from the video signal portion, and first image information corresponding to the plurality of pixel markers of the first detection information. By obtaining a correlation between the array and the array of the second image information corresponding to the plurality of pixel markers of the second detection information, a section that does not match the array of the first and second image information is obtained. A positional deviation data creating means for creating positional deviation data representing whether or not there is a position deviation data, and when the positional deviation data indicates that there is the non-matching section, the position deviation corresponding to the non-matching section is corrected. As described above, an object inspection apparatus comprising: a positional deviation correcting unit that corrects a relative set position of the monitoring area with respect to the imaging screen.
【請求項2】上記位置ずれ検出結果に基づいて、上記被
観測物体についての撮像画面上の上記監視領域の表示位
置を、上記被観測物体に対して移動させることにより上
記位置ずれを補正させてなる特許請求の範囲第1項に記
載の物体検査装置。
2. The position shift is corrected by moving the display position of the monitoring area on the imaging screen of the observed object with respect to the observed object based on the position shift detection result. The object inspection device according to claim 1.
【請求項3】上記位置ずれ検出結果に基づいて、上記被
観測物体についての撮像画面の表示位置を、上記監視領
域に対して移動させることにより上記位置ずれを補正さ
せてなる特許請求の範囲第1項に記載の物体検査装置。
3. The position shift is corrected by moving a display position of an imaging screen of the observed object with respect to the monitoring area based on the position shift detection result. Item inspection apparatus according to item 1.
JP62100495A 1987-04-23 1987-04-23 Object inspection device Expired - Lifetime JP2540323B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP62100495A JP2540323B2 (en) 1987-04-23 1987-04-23 Object inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP62100495A JP2540323B2 (en) 1987-04-23 1987-04-23 Object inspection device

Publications (2)

Publication Number Publication Date
JPS63265104A JPS63265104A (en) 1988-11-01
JP2540323B2 true JP2540323B2 (en) 1996-10-02

Family

ID=14275509

Family Applications (1)

Application Number Title Priority Date Filing Date
JP62100495A Expired - Lifetime JP2540323B2 (en) 1987-04-23 1987-04-23 Object inspection device

Country Status (1)

Country Link
JP (1) JP2540323B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5289777B2 (en) * 2008-01-15 2013-09-11 シグマツクス株式会社 Injection molding machine monitoring device
JP2013120108A (en) * 2011-12-07 2013-06-17 Sumitomo Heavy Ind Ltd Thin film formation device and thin film formation method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5574406A (en) * 1978-12-01 1980-06-05 Fujitsu Ltd Inspection of pattern defect
JPS5957105A (en) * 1982-09-27 1984-04-02 Mitsubishi Electric Corp Apparatus for correcting positional deviation of two-dimensional figure

Also Published As

Publication number Publication date
JPS63265104A (en) 1988-11-01

Similar Documents

Publication Publication Date Title
JP3132565B2 (en) Defect inspection method and apparatus
JP2540323B2 (en) Object inspection device
JP2521910B2 (en) Printed circuit board misalignment correction device
JP2004170394A (en) Press plate inspection device and press plate inspection system
KR100211004B1 (en) Image processing method and processing system using the method
TW201522949A (en) Inspection method for image data
JP2903305B2 (en) Mounting component inspection method and mounting component inspection device
JP2001004339A (en) Illumination non-uniformity measuring method for picture recognition inspecting system and picture recognition inspecting method
CN116223518A (en) Micro-LED display panel pixel detection method and detection device
JP5955736B2 (en) Substrate inspection apparatus and correction information acquisition method
US6943826B1 (en) Apparatus for debugging imaging devices and method of testing imaging devices
JP3281457B2 (en) Board component mounting inspection method and inspection device
JP2536127B2 (en) Board inspection equipment
JPH06258226A (en) Appearance inspection method for tablet
JP2000121337A (en) Method and device for image correction
JP3175917B2 (en) Incorrect wiring inspection apparatus and method
JP2000221111A (en) Method and equipment for inspecting display screen
JP2002340739A (en) Apparatus and method for inspecting display screen
JPH07117497B2 (en) Teaching method and device in automatic substrate inspection apparatus
JP2005093462A (en) Inspection device
JP3548835B2 (en) Defect inspection apparatus and method
JPH0781845B2 (en) Electronic parts lead shape inspection device
JPS6036120B2 (en) Chip-shaped component positional deviation inspection device
JPS63223505A (en) Method and device for positioning
JPH01150987A (en) Method for recognizing shape

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term