JP5558081B2 - Image formation state inspection method, image formation state inspection device, and image formation state inspection program - Google Patents
Image formation state inspection method, image formation state inspection device, and image formation state inspection program Download PDFInfo
- Publication number
- JP5558081B2 JP5558081B2 JP2009266723A JP2009266723A JP5558081B2 JP 5558081 B2 JP5558081 B2 JP 5558081B2 JP 2009266723 A JP2009266723 A JP 2009266723A JP 2009266723 A JP2009266723 A JP 2009266723A JP 5558081 B2 JP5558081 B2 JP 5558081B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- imaging
- divided
- matching
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、対象物に形成された検査対象画像の画像形成状態を検査するための画像形成状態検査方法、画像形成状態検査装置及び画像形成状態検査用プログラムに関する。 The present invention relates to an image formation state inspection method, an image formation state inspection apparatus, and an image formation state inspection program for inspecting an image formation state of an inspection target image formed on an object.
従来、例えば飲料容器（対象物）などに印刷された賞味期限などを示す文字の印字状態（画像形成状態）を検査する印字検査装置（画像形成状態検査装置）としてパターンマッチングを利用したものが知られている（例えば、特許文献１）。この特許文献１の印字検査装置では、カメラで印字を撮影し、該撮影した印字の実画像データ（撮像パターン）と予め登録された該印字の標準となる検査文字パターン（基準パターン）とでパターンマッチングを行うことでこれらの類似度（一致度）を算出し、該算出した類似度が予め設定した基準類似度（第１の閾値）に達しているか否かによって合否の判定をしている。 2. Description of the Related Art Conventionally, for example, a printing inspection apparatus (image formation state inspection apparatus) that uses pattern matching is known as an inspection apparatus (image formation state inspection apparatus) that inspects the printing state (image formation state) of characters indicating the expiration date printed on a beverage container (object). (For example, Patent Document 1). In the print inspection apparatus of Patent Document 1, a print is photographed by a camera, and a pattern is formed by actual image data (imaging pattern) of the photographed print and an inspection character pattern (reference pattern) that is a standard of the print registered in advance. These similarities (matching degrees) are calculated by performing matching, and pass / fail is determined based on whether or not the calculated similarities reach a preset reference similarity (first threshold).
ところで、特許文献１の印字検査装置では、撮影した印字の実画像データと検査文字パターンとの１回のパターンマッチングを行ったときの類似度が基準類似度に達しているか否かだけで合否の判定を行っているため、その検査精度を向上させる上では改良の余地がある。 By the way, in the print inspection apparatus of Patent Document 1, whether or not the similarity when the pattern matching is performed once between the captured actual image data and the inspection character pattern has reached the reference similarity is determined. Since the determination is performed, there is room for improvement in improving the inspection accuracy.
本発明は、このような課題に着目してなされたものである。その目的とするところは、対象物に形成された検査対象画像の画像形成状態の検査精度を向上させることが可能な画像形成状態検査方法、画像形成状態検査装置及び画像形成状態検査用プログラムを提供することにある。 The present invention has been made paying attention to such problems. The object is to provide an image formation state inspection method, an image formation state inspection apparatus, and an image formation state inspection program capable of improving the inspection accuracy of the image formation state of the inspection target image formed on the object. There is to do.
上記の目的を達成するために、画像形成状態検査方法に係る請求項１に記載の発明は、対象物に形成された検査対象画像である文字を撮像する撮像ステップと、該撮像ステップで撮像された前記検査対象画像の撮像パターンを所定領域において予め設定された１文字ごとの基準パターンと照合して前記撮像パターンの前記基準パターンに対する第１の一致度を算出する第１算出ステップと、該第１算出ステップで算出された前記第１の一致度の最大値が予め設定した第１の閾値以上であるか否かを判定する第１判定ステップと、前記第１の一致度の最大値が前記第１の閾値以上である場合に、前記第１算出ステップにおける第１の一致度の値に基づいて設定された分割数により前記撮像パターンを分割し、当該分割された前記撮像パターンを、前記１文字からなる基準パターンを隣接する分割基準パターンとの境界部分が互いに重複するように前記分割数に予め分割してテンプレートとして記憶された分割基準パターンを選択して、対応する部分においてそれぞれ照合して前記撮像パターンの前記各分割基準パターンに対する第２の一致度をそれぞれ算出する第２算出ステップと、該第２算出ステップで算出された前記各第２の一致度が予め設定した第２の閾値以上であるか否かをそれぞれ判定する第２判定ステップとを備え、前記第１の一致度及び第２の一致度は、［数１］で示される正規化相関式で算出した相関値により定められ、前記第２算出ステップにおいて前記第１算出ステップにおける第１の一致度の値に基づいて設定された前記分割数に基づいて前記第２の閾値を設定するとともに、該第２の閾値は、前記第１の閾値を前記基準パターンの分割数で除した値以上であることを要旨とする。 In order to achieve the above-described object, the invention according to claim 1 according to the image formation state inspection method includes an imaging step of imaging a character that is an inspection target image formed on an object, and the imaging step. A first calculation step of comparing the imaging pattern of the inspection target image with a reference pattern for each character set in advance in a predetermined area to calculate a first matching degree of the imaging pattern with respect to the reference pattern; A first determination step for determining whether or not the maximum value of the first degree of coincidence calculated in one calculating step is equal to or greater than a preset first threshold; and the maximum value of the first degree of coincidence is If it is the first threshold value or more, said the imaging pattern divided by the division number set based on the value of the first match degree in the first calculation step, the divided image pickup pattern The Select previously divided and divided reference pattern stored as a template in the division number as the boundary portion between the divided reference pattern adjacent the reference pattern of one character overlap each other, matching respectively in corresponding portions A second calculation step of calculating a second degree of coincidence of the imaging pattern with respect to each of the division reference patterns, and a second degree of matching set in advance by the second degree of coincidence calculated in the second calculation step. A second determination step for determining whether or not the threshold value is equal to or greater than a threshold value, wherein the first coincidence degree and the second coincidence degree are based on a correlation value calculated by a normalized correlation equation represented by [Equation 1]. defined, said set of first match degree values the second threshold value based on the division number set on the basis of the first calculation step in the second calculation step While, the second threshold is summarized in that the at first the value obtained by dividing the above number of divisions of the reference pattern threshold.
この構成によれば、対象物に形成された検査対象画像の撮像パターンを、基準パターンとの照合で検査した後に、さらに該基準パターンを複数に分割した分割基準パターンとの照合で検査するため、対象物に形成された検査対象画像の画像形成状態の検査精度を向上させることが可能となる。 According to this configuration, after inspecting the imaging pattern of the inspection target image formed on the object by collation with the reference pattern, the inspection pattern is further inspected by collation with the divided reference pattern obtained by dividing the reference pattern into a plurality of It becomes possible to improve the inspection accuracy of the image forming state of the inspection target image formed on the object.
また、この構成によれば、分割された基準パターンとの照合による検査対象画像の撮像パターンの検査条件が基準パターンとの照合による検査対象画像の撮像パターンの検査条件よりも厳しくなるので、対象物に形成された検査対象画像の画像形成状態の検査精度を確実に向上させることが可能となる。 Further, according to this configuration, the inspection condition of the imaging pattern of the inspection target image by collation with the divided reference pattern becomes stricter than the inspection condition of the imaging pattern of the inspection target image by collation with the reference pattern. Thus, it is possible to reliably improve the inspection accuracy of the image formation state of the inspection target image formed in the above.
また、この構成によれば、第１の一致度の最大値に基づいて第２算出ステップにおける基準パターンの分割数を設定するので、より適切な撮像パターンの検査を行うことが可能となる。 Further, according to this configuration, since the number of divisions of the reference pattern in the second calculation step is set based on the maximum value of the first degree of coincidence, it is possible to perform a more appropriate imaging pattern inspection.
さらに、この構成によれば、各分割基準パターンによって撮像パターンの検査を行う際に、該撮像パターンにおける隣接する各分割基準パターン同士の境界部分と対応する部分が検査漏れすることを抑制することが可能となる。 Furthermore, according to this configuration, when the imaging pattern is inspected by each division reference pattern, it is possible to suppress a portion of the imaging pattern corresponding to the boundary portion between adjacent division reference patterns from being inspected. It becomes possible.
請求項２に記載の発明は、請求項１に記載の発明において、前記基準パターンの分割数は、前記第１の一致度の最大値が大きいときよりも小さいときの方が多くなるように設定されることを要旨とする。 According to a second aspect of the present invention, in the first aspect of the present invention, the number of divisions of the reference pattern is set to be larger when the maximum value of the first matching degree is smaller than when the first matching degree is large. The gist is that
通常、第１の一致度の最大値が大きいときよりも小さいときの方が不良である可能性が高いため、より高い検査精度を必要とする。このため、この構成によれば、基準パターンの分割数は第１の一致度の最大値が大きいときよりも小さいときの方が多くなるように設定されるため、より一層精度の高い撮像パターンの検査を行うことが可能となる。 Usually, when the maximum value of the first degree of coincidence is large, there is a high possibility that the first coincidence is smaller, and therefore higher inspection accuracy is required. For this reason, according to this configuration, the number of divisions of the reference pattern is set to be larger when the maximum value of the first matching degree is larger than when the maximum value of the first coincidence is large. Inspection can be performed.
また、画像形成状態検査装置に係る請求項３に記載の発明は、対象物に形成された検査対象画像である文字を撮像する撮像手段と、該撮像手段によって撮像された前記検査対象画像の撮像パターンを所定領域において予め設定された１文字ごとの基準パターンと照合して前記撮像パターンの前記基準パターンに対する第１の一致度を算出する算出手段と、該算出手段によって算出された前記第１の一致度の最大値が予め設定した第１の閾値以上であるか否かを判定する判定手段と、前記第１の一致度の最大値が前記第１の閾値以上である場合に、前記算出手段における第１の一致度の値に基づいて設定された分割数により前記撮像パターンを分割し、当該分割された前記撮像パターンを、前記１文字からなる基準パターンを隣接する分割基準パターンとの境界部分が互いに重複するように前記分割数に予め分割してテンプレートとして記憶された分割基準パターンを選択して、対応する部分においてそれぞれ照合して前記撮像パターンの前記各分割基準パターンに対する第２の一致度を前記算出手段によってそれぞれ算出させ、該算出された前記各第２の一致度が予め設定した第２の閾値以上であるか否かを前記判定手段によってそれぞれ判定させる制御手段とを備え、前記第１の一致度及び第２の一致度は、［数２］で示される正規化相関式で算出した相関値により定められ、前記制御手段は、前記算出手段における第１の一致度の値に基づいて設定された前記分割数に基づいて前記第２の閾値を設定するとともに、該第２の閾値は、前記第１の閾値を前記基準パターンの分割数で除した値以上とすることを要旨とする。 According to a third aspect of the present invention relating to an image formation state inspection apparatus, an image pickup unit that picks up characters that are inspection target images formed on an object, and an image pickup of the inspection target image picked up by the image pickup unit. A calculation means for comparing the pattern with a reference pattern for each character set in advance in a predetermined area to calculate a first matching degree of the imaging pattern with respect to the reference pattern; and the first calculated by the calculation means Determining means for determining whether or not the maximum value of the degree of coincidence is equal to or greater than a first threshold value set in advance; and the calculation means when the maximum value of the first degree of coincidence is equal to or greater than the first threshold value first the imaging pattern divided by the division number set on the basis of the degree of coincidence of the values in, the divided image pickup pattern, the adjacent reference pattern consisting of the 1 character division criterion A boundary portion between the turn selects the pre-divided and divided reference pattern stored as a template in the number of divisions so as to overlap each other, for each of the divided reference pattern of the imaging pattern are collated respectively in the corresponding portion Control means for causing each of the second matching degrees to be calculated by the calculating means, and for determining whether the calculated second matching degrees are equal to or greater than a preset second threshold value; And the first coincidence degree and the second coincidence degree are determined by a correlation value calculated by a normalized correlation equation represented by [Equation 2], and the control means includes a first coincidence value in the calculation means. and sets the second threshold value based on the division number set based on the value of time, the second threshold value, the division number of the reference pattern the first threshold value It is a value obtained by dividing above the gist of.
この構成によれば、請求項１と同様の作用効果を得ることが可能となる。
さらに、画像形成状態検査用プログラムに係る請求項４に記載の発明は、コンピュータに、対象物に形成された検査対象画像である文字を撮像手段によって撮像させる撮像手順と、該撮像手順で撮像された前記検査対象画像の撮像パターンを所定領域において予め設定された１文字ごとの基準パターンと照合して前記撮像パターンの前記基準パターンに対する第１の一致度を算出手段によって算出させる第１算出手順と、該第１算出手順で算出された前記第１の一致度の最大値が予め設定した第１の閾値以上であるか否かを判定手段によって判定させる第１判定手順と、前記第１の一致度の最大値が前記第１の閾値以上である場合に、前記第１算出手順における第１の一致度の値に基づいて設定された分割数により前記撮像パターンを分割し、当該分割された前記撮像パターンを、前記１文字からなる基準パターンを隣接する分割基準パターンとの境界部分が互いに重複するように前記分割数に予め分割してテンプレートとして記憶された分割基準パターンを選択して、対応する部分においてそれぞれ照合して前記撮像パターンの前記各分割基準パターンに対する第２の一致度をそれぞれ前記算出手段によって算出させる第２算出手順と、該第２算出手順で算出された前記各第２の一致度が予め設定した第２の閾値以上であるか否かを前記判定手段によってそれぞれ判定させる第２判定手順とを実行させるとともに、前記第１の一致度及び第２の一致度は、［数３］で示される正規化相関式で算出した相関値により定められ、前記第２判定手順では前記第１判定手順における第１の一致度の値に基づいて設定された前記分割数に基づいて前記第２の閾値を設定させるとともに、該第２の閾値は、前記第１の閾値を前記基準パターンの分割数で除した値以上とさせることを要旨とする。
According to this configuration, it is possible to obtain the same effect as that of the first aspect.
Furthermore, the invention according to claim 4 relating to the program for inspecting an image formation state is an image capturing procedure for causing a computer to image a character, which is an image to be inspected formed on an object, by an image capturing unit, and the image capturing procedure A first calculation procedure for collating the imaging pattern of the inspection target image with a reference pattern for each character set in advance in a predetermined area and calculating a first matching degree of the imaging pattern with respect to the reference pattern by a calculation unit; A first determination procedure for determining whether or not the maximum value of the first matching degree calculated in the first calculation procedure is equal to or greater than a first threshold set in advance, and the first matching If the maximum value of the degree is equal to or larger than the first threshold value, the imaging pattern divided by the division number set based on the value of the first match degree in the first calculation procedure The the divided image pickup pattern, select the pre-divided and divided reference pattern stored as a template in the division number as the boundary portion between the divided reference pattern adjacent the reference pattern consisting of the 1 character overlap each other A second calculation procedure in which the calculation unit calculates a second degree of coincidence of the imaging pattern with respect to each of the division reference patterns by collating the corresponding portions, and the calculation calculated in the second calculation procedure. And executing a second determination procedure for determining whether or not each second matching degree is greater than or equal to a second threshold value set in advance by the determining means, and the first matching degree and the second matching degree. It is defined by the correlation value calculated by the normalized correlation formula represented by [expression 3], the first in the first determining step in the second determining step Together to set the second threshold based on the division number set based on the value of致度, the second threshold value, a value more than the first threshold value divided by the division number of the reference pattern The gist of this is
この構成によれば、請求項１と同様の作用効果を得ることが可能となる。 According to this configuration, it is possible to obtain the same effect as that of the first aspect.
本発明によれば、対象物に形成された検査対象画像の画像形成状態の検査精度を向上させることができる。 ADVANTAGE OF THE INVENTION According to this invention, the test | inspection precision of the image formation state of the test object image formed in the target object can be improved.
以下、本発明をビールやジュースなどの飲料が収容される飲料容器に印字された製造年月日を表す数字の印字状態の検査を行うための印字状態検査装置及び同装置を用いた印字状態検査方法に具体化した一実施形態を図面に基づいて説明する。 Hereinafter, the present invention is a printing state inspection device for inspecting the printing state of a number representing the date of manufacture printed on a beverage container containing a beverage such as beer or juice, and a printing state inspection using the device. An embodiment embodied in the method will be described with reference to the drawings.
図１に示すように、画像形成状態検査装置としての印字状態検査装置１１は、対象物としての複数の飲料容器１２を上流側から下流側へ向かって順次搬送するベルトコンベア１３の真上に配置されている。各飲料容器１２は底面１２ａが上側を向いた状態でベルトコンベア１３によって搬送される。図２に示すように、各飲料容器１２の底面１２ａにはインクジェットプリンタ（図示略）によって製造年月日を表す検査対象画像としての複数の数字１４（本実施形態では２００５年１０月２４日を表す「０５．１０．２４」）が印字されている。すなわち、製造年月日の「年」、「月」、及び「日」は、それぞれ２桁の数字１４によって表されている。 As shown in FIG. 1, a printing state inspection device 11 as an image formation state inspection device is disposed directly above a belt conveyor 13 that sequentially conveys a plurality of beverage containers 12 as objects from an upstream side to a downstream side. Has been. Each beverage container 12 is conveyed by the belt conveyor 13 with the bottom surface 12a facing upward. As shown in FIG. 2, a plurality of numbers 14 (October 24, 2005 in this embodiment) are displayed on the bottom surface 12a of each beverage container 12 as an image to be inspected by an inkjet printer (not shown). "05.10.24") is printed. That is, the “year”, “month”, and “day” of the date of manufacture are each represented by a two-digit number 14.
図１に示すように、印字状態検査装置１１は、該印字状態検査装置１１の稼働状態を制御する制御手段としての制御部１５を備えている。制御部１５は、ベルトコンベア１３によって搬送される各飲料容器１２を検出する光センサ１６と、該光センサ１６によって検出された飲料容器１２の底面１２ａの数字１４（図２参照）を撮像する撮像手段としてのモノクロームのカメラ１７と、数字１４が印字不良と判定された飲料容器１２をベルトコンベア１３上から排除する排除機構１８と電気的に接続されている。そして、制御部１５は、光センサ１６から送信される信号を受信するとともにカメラ１７及び排除機構１８を駆動制御する。さらに、制御部１５には、入力部１９及びモニタ２０が電気的に接続されている。 As shown in FIG. 1, the printing state inspection device 11 includes a control unit 15 as a control unit that controls the operating state of the printing state inspection device 11. The control unit 15 captures images of the optical sensors 16 that detect the beverage containers 12 conveyed by the belt conveyor 13 and the numbers 14 (see FIG. 2) on the bottom surface 12 a of the beverage containers 12 detected by the optical sensors 16. A monochrome camera 17 as means is electrically connected to an exclusion mechanism 18 that excludes the beverage container 12 on which the numeral 14 is determined to be defective from the belt conveyor 13. The control unit 15 receives a signal transmitted from the optical sensor 16 and drives and controls the camera 17 and the exclusion mechanism 18. Furthermore, an input unit 19 and a monitor 20 are electrically connected to the control unit 15.
図３に示すように、制御部１５はコンピュータ２１を備えており、該コンピュータ２１はＣＰＵ、ＲＯＭ及びＲＡＭを備えた構成とされている。そして、コンピュータ２１は、ＲＯＭに記憶された画像形成状態検査用プログラムとしての印字状態検査用プログラムを実行することで、算出手段としてのマッチング処理部２２、判定手段としての判定部２３、排除処理部２４、及び表示部２６を構築し、ＲＡＭの一部が記憶部２５を構成している。 As shown in FIG. 3, the control unit 15 includes a computer 21, and the computer 21 includes a CPU, a ROM, and a RAM. Then, the computer 21 executes a printing state inspection program as an image formation state inspection program stored in the ROM, whereby a matching processing unit 22 as a calculation unit, a determination unit 23 as a determination unit, and an exclusion processing unit. 24 and the display unit 26 are constructed, and a part of the RAM constitutes the storage unit 25.
記憶部２５には、入力部１９から入力される基準パターンとしてのテンプレート３０（図４及び図５参照）や分割基準パターンとしての上側分割テンプレート３１ａ（図６参照）及び下側分割テンプレート３１ｂ（図６参照）が記憶される。本実施形態では、０〜９までの数字のテンプレート３０及び各分割テンプレート３１ａ，３１ｂがそれぞれ記憶部２５に記憶されている。各分割テンプレート３１ａ，３１ｂは、テンプレート３０を上下にほぼ半分ずつに分割したものであり、これらの境界部分は互いに重複している。すなわち、上側分割テンプレート３１ａの下端部と下側分割テンプレート３１ｂの上端部とは数画素分（例えば、３〜５画素分）だけ重複している。 The storage unit 25 stores a template 30 (see FIGS. 4 and 5) as a reference pattern input from the input unit 19, an upper division template 31a (see FIG. 6) and a lower division template 31b (see FIG. 6) as division reference patterns. 6) is stored. In the present embodiment, the numeric template 30 and the divided templates 31a and 31b from 0 to 9 are stored in the storage unit 25, respectively. Each of the divided templates 31a and 31b is obtained by dividing the template 30 up and down almost in half, and these boundary portions overlap each other. That is, the lower end portion of the upper divided template 31a and the upper end portion of the lower divided template 31b overlap by several pixels (for example, 3 to 5 pixels).
また、記憶部２５には、カメラ１７から送信される２５６階調のグレースケールの数字１４の撮像パターン１４Ａ（図４参照）の画像データが記憶される。この画像データは、表示部２６によりモニタ２０に表示される。 In addition, the storage unit 25 stores image data of an imaging pattern 14A (see FIG. 4) of 256 gray scale numbers 14 transmitted from the camera 17. This image data is displayed on the monitor 20 by the display unit 26.
マッチング処理部２２は、記憶部２５から撮像パターン１４Ａ（図４参照）を読み出した後、この読み出した撮像パターン１４Ａと対応するテンプレート３０を読み出して、テンプレートマッチングを行い、撮像パターン１４Ａのテンプレート３０に対する第１の一致度を算出する。さらに、マッチング処理部２２は、第１の一致度を算出した後、記憶部２５から各分割テンプレート３１ａ，３１ｂを読み出して撮像パターン１４Ａとのパターンマッチングを行い、撮像パターン１４Ａの各分割テンプレート３１ａ，３１ｂに対する第２の一致度をそれぞれ算出する。なお、第１の一致度及び第２の一致度は既知の正規化相関法に基づいて算出される。 After reading the imaging pattern 14A (see FIG. 4) from the storage unit 25, the matching processing unit 22 reads the template 30 corresponding to the read imaging pattern 14A, performs template matching, and performs the template matching on the template 30 of the imaging pattern 14A. The first matching degree is calculated. Further, after calculating the first matching degree, the matching processing unit 22 reads out each of the divided templates 31a and 31b from the storage unit 25, performs pattern matching with the imaging pattern 14A, and each of the divided templates 31a and 31a of the imaging pattern 14A. The second matching degree with respect to 31b is calculated. The first coincidence degree and the second coincidence degree are calculated based on a known normalized correlation method.
判定部２３は、マッチング処理部２２で算出された第１の一致度が予め設定された第１の閾値以上であるか否かを判定するとともに、マッチング処理部２２で算出された第２の一致度が予め設定された第２の閾値以上であるか否かを判定する。本実施形態では、第１の閾値及び第２の閾値は共に０．７０に設定されている。したがって、第２の閾値は、第１の閾値をテンプレート３０の分割数（本実施形態では２）で除した値（本実施形態では０．７０÷２＝０．３５）以上になっている。 The determination unit 23 determines whether or not the first matching degree calculated by the matching processing unit 22 is greater than or equal to a first threshold value set in advance, and the second matching calculated by the matching processing unit 22 It is determined whether the degree is equal to or greater than a preset second threshold value. In the present embodiment, both the first threshold value and the second threshold value are set to 0.70. Therefore, the second threshold is equal to or greater than the value obtained by dividing the first threshold by the number of divisions of the template 30 (2 in the present embodiment) (0.70 / 2 = 0.35 in the present embodiment).
排除処理部２４は、判定部２３により第１の一致度が第１の閾値以上でないかまたは第２の一致度が第２の閾値以上でないと判定された場合、すなわち、判定部２３により数字１４が印字不良であると判定された場合、排除機構１８を駆動制御して印字不良のある飲料容器１２をベルトコンベア１３上から排除する。 If the determination unit 23 determines that the first matching degree is not equal to or higher than the first threshold value or the second matching degree is not equal to or higher than the second threshold value, that is, the determination unit 23 determines that the number 14 Is determined to be defective in printing, the drive mechanism 18 is driven to exclude the beverage container 12 with defective printing from the belt conveyor 13.
表示部２６は、判定部２３により第１の一致度が第１の閾値以上であるとともに第２の一致度が第２の閾値以上であると判定された場合には、飲料容器１２に印字された数字１４の印字状態が良好状態であることを示す「ＧＯＯＤ」の文字をモニタ２０に表示させる。また、表示部２６は、判定部２３により第１の一致度が第１の閾値以上でないかまたは第２の一致度が第２の閾値以上でないと判定された場合には、飲料容器１２に印字された数字１４の印字状態が不良状態であることを示す「ＮＧ」の文字をモニタ２０に表示させる。 The display unit 26 is printed on the beverage container 12 when the determination unit 23 determines that the first coincidence is equal to or higher than the first threshold and the second coincidence is equal to or higher than the second threshold. “GOOD” indicating that the printing state of the number 14 is good is displayed on the monitor 20. In addition, the display unit 26 prints on the beverage container 12 when the determination unit 23 determines that the first matching degree is not equal to or higher than the first threshold value or the second matching degree is not equal to or higher than the second threshold value. The character “NG” indicating that the printed state of the number 14 is defective is displayed on the monitor 20.
次に、本実施形態の制御部１５（コンピュータ２１）が実行する印字状態検査処理ルーチンについて図７及び図８に示すフローチャートに基づき説明する。
さて、制御部１５はベルトコンベア１３が駆動された場合に印字状態検査処理ルーチンを実行する。そして、制御部１５は、光センサ１６から飲料容器１２を検出したときに送信される検出信号を受信すると、カメラ１７に対して撮像指示信号を送信する（ステップＳ１）。すると、光センサ１６によって検出された飲料容器１２の底面１２ａに印字された製造年月日を示す数字１４がカメラ１７によって撮像され、該撮像された撮像パターン１４Ａの画像データがカメラ１７から制御部１５に送信される。
Next, a printing state inspection processing routine executed by the control unit 15 (computer 21) of the present embodiment will be described based on the flowcharts shown in FIGS.
The control unit 15 executes a print state inspection process routine when the belt conveyor 13 is driven. And the control part 15 will transmit an imaging instruction | indication signal with respect to the camera 17, if the detection signal transmitted when the drink container 12 is detected from the optical sensor 16 is received (step S1). Then, the number 14 indicating the date of manufacture printed on the bottom surface 12a of the beverage container 12 detected by the optical sensor 16 is imaged by the camera 17, and the image data of the imaged pattern 14A is captured from the camera 17 by the control unit. 15 is transmitted.
そして、制御部１５は、カメラ１７から送信された撮像パターン１４Ａの画像データを受信すると、該画像データを記憶部２５に記憶させる（ステップＳ２）。続いて、制御部１５のマッチング処理部２２は、記憶部２５から撮像パターン１４Ａの画像データを読み出し、図４に示すように、該撮像パターン１４Ａの製造年月日の「年」部分を囲む検査領域Ｓを設定する（ステップＳ３）。 Then, when receiving the image data of the imaging pattern 14A transmitted from the camera 17, the control unit 15 stores the image data in the storage unit 25 (step S2). Subsequently, the matching processing unit 22 of the control unit 15 reads the image data of the imaging pattern 14A from the storage unit 25, and as illustrated in FIG. 4, the inspection encloses the “year” portion of the manufacturing date of the imaging pattern 14A. Region S is set (step S3).
続いて、制御部１５は、後述するマッチング検査処理ルーチンを実行する（ステップＳ４）。このステップＳ４のマッチング検査処理ルーチンでは、撮像パターン１４Ａの製造年月日の「年」部分を囲む検査領域Ｓのパターンマッチングを対応するテンプレート３０及び各分割テンプレート３１ａ，３１ｂを用いて桁（ここでは「０」及び「５」）毎に１つずつ行う。そして、ステップＳ４のマッチング検査処理ルーチンにおいて、判定部２３により第１の一致度が第１の閾値以上であるとともに第２の一致度が第２の閾値以上であると判定された場合には合格フラグがＯＮにされる。一方、ステップＳ４のマッチング検査処理ルーチンにおいて、判定部２３により第１の一致度が第１の閾値以上でないかまたは第２の一致度が第２の閾値以上でないと判定された場合には合格フラグがＯＦＦにされる。 Then, the control part 15 performs the matching test process routine mentioned later (step S4). In the matching inspection processing routine of step S4, a digit (in this case) is used by using the template 30 and the divided templates 31a and 31b corresponding to the pattern matching of the inspection region S surrounding the “year” part of the manufacturing date of the imaging pattern 14A. One for each “0” and “5”). In the matching inspection processing routine of step S4, if the determination unit 23 determines that the first matching degree is equal to or higher than the first threshold value and the second matching degree is equal to or higher than the second threshold value, it passes. The flag is turned on. On the other hand, when the determination unit 23 determines that the first matching degree is not equal to or higher than the first threshold value or the second matching degree is not equal to or higher than the second threshold value in the matching inspection processing routine of step S4, a pass flag. Is turned off.
続いて、制御部１５は、合格フラグがＯＮであるか否かを判定する（ステップＳ５）。ステップＳ５の判定結果が否定判定である場合、制御部１５の排除処理部２４は、検査中の飲料容器１２を特定し、該特定した飲料容器１２がベルトコンベア１３上から排除されるように、排除機構１８の駆動を制御する（ステップＳ６）。その後、制御部１５は、表示部２６によってモニタ２０に「ＮＧ」の文字を表示させ（ステップＳ７）、印字状態検査処理ルーチンを終了する。 Subsequently, the control unit 15 determines whether or not the pass flag is ON (step S5). When the determination result in step S5 is negative, the exclusion processing unit 24 of the control unit 15 identifies the beverage container 12 under inspection, and the identified beverage container 12 is excluded from the belt conveyor 13. The drive of the exclusion mechanism 18 is controlled (step S6). Thereafter, the control unit 15 causes the display unit 26 to display the characters “NG” on the monitor 20 (step S7), and ends the print state inspection processing routine.
一方、ステップＳ５の判定結果が肯定判定である場合、制御部１５は、全ての桁の検査が終わったか否かを判定する（ステップＳ８）。ステップＳ８の判定結果が否定判定である場合、制御部１５のマッチング処理部２２は、次の桁と対応するテンプレート３０及び各分割テンプレート３１ａ，３１ｂに切り替えて（ステップＳ９）、再びステップＳ４の処理を行う。一方、ステップＳ８の判定結果が肯定判定である場合、制御部１５のマッチング処理部２２は、撮像パターン１４Ａの製造年月日の「月」部分を囲む検査領域Ｓを設定する（ステップＳ１０）。 On the other hand, if the determination result of step S5 is affirmative, the control unit 15 determines whether or not all the digits have been checked (step S8). If the determination result of step S8 is negative, the matching processing unit 22 of the control unit 15 switches to the template 30 and the divided templates 31a and 31b corresponding to the next digit (step S9), and the process of step S4 again. I do. On the other hand, when the determination result of step S8 is affirmative, the matching processing unit 22 of the control unit 15 sets the inspection region S surrounding the “month” part of the date of manufacture of the imaging pattern 14A (step S10).
続いて、制御部１５は、後述するマッチング検査処理ルーチンを実行する（ステップＳ１１）。このステップＳ１１のマッチング検査処理ルーチンでは、ステップＳ４と同様に、撮像パターン１４Ａの製造年月日の「月」部分を囲む検査領域Ｓのパターンマッチングを対応するテンプレート３０及び各分割テンプレート３１ａ，３１ｂを用いて桁（ここでは「１」及び「０」）毎に１つずつ行う。 Subsequently, the control unit 15 executes a matching inspection processing routine which will be described later (step S11). In the matching inspection processing routine of step S11, as in step S4, the template 30 and the divided templates 31a and 31b corresponding to the pattern matching of the inspection region S surrounding the “month” part of the manufacturing date of the imaging pattern 14A are stored. Use one for each digit (here "1" and "0").
続いて、制御部１５は、合格フラグがＯＮであるか否かを判定する（ステップＳ１２）。ステップＳ１２の判定結果が否定判定である場合、制御部１５の排除処理部２４は、検査中の飲料容器１２を特定し、該特定した飲料容器１２がベルトコンベア１３上から排除されるように、排除機構１８の駆動を制御する（ステップＳ６）。その後、制御部１５は、表示部２６によってモニタ２０に「ＮＧ」の文字を表示させ（ステップＳ７）、印字状態検査処理ルーチンを終了する。 Subsequently, the control unit 15 determines whether or not the pass flag is ON (step S12). When the determination result in step S12 is negative, the exclusion processing unit 24 of the control unit 15 identifies the beverage container 12 being inspected, and the identified beverage container 12 is excluded from the belt conveyor 13. The drive of the exclusion mechanism 18 is controlled (step S6). Thereafter, the control unit 15 causes the display unit 26 to display the characters “NG” on the monitor 20 (step S7), and ends the print state inspection processing routine.
一方、ステップＳ１２の判定結果が肯定判定である場合、制御部１５は、全ての桁の検査が終わったか否かを判定する（ステップＳ１３）。ステップＳ１３の判定結果が否定判定である場合、制御部１５のマッチング処理部２２は、次の桁と対応するテンプレート３０及び各分割テンプレート３１ａ，３１ｂに切り替えて（ステップＳ１４）、再びステップＳ１１の処理を行う。一方、ステップＳ１３の判定結果が肯定判定である場合、制御部１５のマッチング処理部２２は、撮像パターン１４Ａの製造年月日の「日」部分を囲む検査領域Ｓを設定する（ステップＳ１５）。 On the other hand, when the determination result in step S12 is affirmative, the control unit 15 determines whether or not all the digits have been checked (step S13). When the determination result of step S13 is negative, the matching processing unit 22 of the control unit 15 switches to the template 30 and the divided templates 31a and 31b corresponding to the next digit (step S14), and the process of step S11 again. I do. On the other hand, when the determination result of step S13 is affirmative, the matching processing unit 22 of the control unit 15 sets the inspection region S that surrounds the “day” part of the date of manufacture of the imaging pattern 14A (step S15).
続いて、制御部１５は、後述するマッチング検査処理ルーチンを実行する（ステップＳ１６）。このステップＳ１６のマッチング検査処理ルーチンでは、ステップＳ４と同様に、撮像パターン１４Ａの製造年月日の「日」部分を囲む検査領域Ｓのパターンマッチングを対応するテンプレート３０及び各分割テンプレート３１ａ，３１ｂを用いて桁（ここでは「２」及び「４」）毎に１つずつ行う。 Subsequently, the control unit 15 executes a matching inspection processing routine described later (step S16). In the matching inspection processing routine of step S16, as in step S4, the template 30 and the divided templates 31a and 31b corresponding to the pattern matching of the inspection region S surrounding the “day” part of the manufacturing date of the imaging pattern 14A are stored. Use one for each digit (here "2" and "4").
続いて、制御部１５は、合格フラグがＯＮであるか否かを判定する（ステップＳ１７）。ステップＳ１７の判定結果が否定判定である場合、制御部１５の排除処理部２４は、検査中の飲料容器１２を特定し、該特定した飲料容器１２がベルトコンベア１３上から排除されるように、排除機構１８の駆動を制御する（ステップＳ６）。その後、制御部１５は、表示部２６によってモニタ２０に「ＮＧ」の文字を表示させ（ステップＳ７）、印字状態検査処理ルーチンを終了する。 Subsequently, the control unit 15 determines whether or not the pass flag is ON (step S17). When the determination result in step S17 is negative, the exclusion processing unit 24 of the control unit 15 identifies the beverage container 12 being inspected, and the identified beverage container 12 is excluded from the belt conveyor 13. The drive of the exclusion mechanism 18 is controlled (step S6). Thereafter, the control unit 15 causes the display unit 26 to display the characters “NG” on the monitor 20 (step S7), and ends the print state inspection processing routine.
一方、ステップＳ１７の判定結果が肯定判定である場合、制御部１５は、全ての桁の検査が終わったか否かを判定する（ステップＳ１８）。ステップＳ１８の判定結果が否定判定である場合、制御部１５のマッチング処理部２２は、次の桁と対応するテンプレート３０及び各分割テンプレート３１ａ，３１ｂに切り替えて（ステップＳ１９）、再びステップＳ１６の処理を行う。一方、ステップＳ１８の判定結果が肯定判定である場合、制御部１５は、表示部２６によってモニタ２０に「ＧＯＯＤ」の文字を表示させ（ステップＳ２０）、印字状態検査処理ルーチンを終了する。 On the other hand, when the determination result of step S17 is affirmative, the control unit 15 determines whether or not all the digits have been checked (step S18). If the determination result of step S18 is negative, the matching processing unit 22 of the control unit 15 switches to the template 30 and the divided templates 31a and 31b corresponding to the next digit (step S19), and the process of step S16 again. I do. On the other hand, if the determination result in step S18 is affirmative, the control unit 15 causes the display unit 26 to display “GOOD” on the monitor 20 (step S20), and ends the print state inspection processing routine.
次に、本実施形態の制御部１５（コンピュータ２１）が実行するマッチング検査処理ルーチンについて図９に示すフローチャートに基づき説明する。なお、ここでは撮像パターン１４Ａの製造年月日の「年」部分を囲む検査領域Ｓを設定した場合のマッチング検査処理ルーチン（ステップＳ４）について説明する。 Next, a matching inspection processing routine executed by the control unit 15 (computer 21) of the present embodiment will be described based on the flowchart shown in FIG. Here, the matching inspection processing routine (step S4) when the inspection region S surrounding the “year” part of the manufacturing date of the imaging pattern 14A is set will be described.
このマッチング検査処理ルーチンにおいて、制御部１５のマッチング処理部２２は、まず、記憶部２５から１つ目の桁の数字と対応する「０」のテンプレート３０を読み出す（ステップＳ３０）。続いて、マッチング処理部２２は、図４及び図５に示すように、この「０」のテンプレート３０を検査領域Ｓにおける左側から右側へ向かって、及び上側から下側へ向かって所定画素分（例えば、１〜３画素分）ずつ順次移動させながら該検査領域Ｓ内の全ての位置で第１の一致度を逐次算出する（ステップＳ３１）。 In this matching inspection processing routine, the matching processing unit 22 of the control unit 15 first reads out the template 30 of “0” corresponding to the first digit number from the storage unit 25 (step S30). Subsequently, as shown in FIGS. 4 and 5, the matching processing unit 22 applies this “0” template 30 for a predetermined number of pixels (from the left side to the right side and from the upper side to the lower side in the inspection region S). For example, the first coincidence is sequentially calculated at all positions in the inspection region S while sequentially moving by 1 to 3 pixels) (step S31).
続いて、制御部１５の判定部２３は、ステップＳ３１において算出された各第１の一致度の中で最も大きい値が第１の閾値以上であるか否かを判定する（ステップＳ３２）。ステップＳ３２の判定結果が否定判定である場合、制御部１５は、合格フラグをＯＦＦにした後（ステップＳ３３）、マッチング検査処理ルーチンを終了する。一方、ステップＳ３２の判定結果が肯定判定である場合、マッチング処理部２２は、記憶部２５から「０」の上側分割テンプレート３１ａ及び下側分割テンプレート３１ｂを読み出す、即ち「０」のテンプレート３０を「０」の各分割テンプレート３１ａ，３１ｂに切り替える（ステップＳ３４）。 Subsequently, the determination unit 23 of the control unit 15 determines whether or not the largest value among the first matching degrees calculated in step S31 is equal to or greater than the first threshold (step S32). When the determination result of step S32 is negative, the control unit 15 ends the matching inspection processing routine after turning off the pass flag (step S33). On the other hand, if the determination result of step S32 is affirmative, the matching processing unit 22 reads the upper divided template 31a and the lower divided template 31b of “0” from the storage unit 25, that is, the template 30 of “0” is “ “0” is switched to each of the divided templates 31a and 31b (step S34).
続いて、マッチング処理部２２は、図６に示すように、撮像パターン１４Ａの「０」に対して、対応する部分において「０」の各分割テンプレート３１ａ，３１ｂでそれぞれパターンマッチングを行い、それぞれの第２の一致度を算出する（ステップＳ３５）。すなわち、撮像パターン１４Ａの「０」のほぼ上側半分を「０」の上側分割テンプレート３１ａでパターンマッチングを行うとともに、撮像パターン１４Ａの「０」のほぼ下側半分を「０」の下側分割テンプレート３１ｂでパターンマッチングを行い、上側半分及び下側半分についてそれぞれ第２の一致度を算出する。 Subsequently, as shown in FIG. 6, the matching processing unit 22 performs pattern matching on “0” of the imaging pattern 14 </ b> A using the divided templates 31 a and 31 b of “0” in the corresponding portions, respectively. A second matching degree is calculated (step S35). That is, pattern matching is performed on the upper half of “0” of the imaging pattern 14A with the upper division template 31a of “0”, and the lower half of “0” of the imaging pattern 14A is the lower division template of “0”. Pattern matching is performed at 31b, and second matching degrees are calculated for the upper half and the lower half, respectively.
続いて、判定部２３は、ステップＳ３５において算出された各第２の一致度の値が第２の閾値以上であるか否かを判定する（ステップＳ３６）。ステップＳ３６の判定結果が否定判定である場合、制御部１５は、合格フラグをＯＦＦにした後（ステップＳ３３）、マッチング検査処理ルーチンを終了する。一方、ステップＳ３６の判定結果が肯定判定である場合、制御部１５は、合格フラグをＯＮにした後（ステップＳ３７）、マッチング検査処理ルーチンを終了する。 Subsequently, the determination unit 23 determines whether or not each second coincidence value calculated in step S35 is equal to or greater than a second threshold (step S36). If the determination result of step S36 is negative, the control unit 15 ends the matching inspection processing routine after turning off the pass flag (step S33). On the other hand, when the determination result in step S36 is affirmative, the control unit 15 sets the pass flag to ON (step S37) and ends the matching inspection processing routine.
なお、撮像パターン１４Ａの製造年月日の「月」部分を囲む検査領域Ｓを設定した場合及び撮像パターン１４Ａの製造年月日の「日」部分を囲む検査領域Ｓを設定した場合のマッチング検査処理ルーチン（ステップＳ１１及びステップＳ１６）については、上述した撮像パターン１４Ａの製造年月日の「年」部分を囲む検査領域Ｓを設定した場合のマッチング検査処理ルーチン（ステップＳ４）と同様であるため、説明を省略する。 The matching inspection when the inspection region S surrounding the “month” part of the imaging pattern 14A is set and when the inspection region S surrounding the “day” part of the imaging pattern 14A is set. The processing routine (step S11 and step S16) is the same as the matching inspection processing routine (step S4) in the case where the inspection region S surrounding the “year” part of the manufacturing date of the imaging pattern 14A is set. The description is omitted.
また、本実施形態では、ステップＳ３１が第１算出ステップ及び第１算出手順を構成し、ステップＳ３２が第１判定ステップ及び第１判定手順を構成し、ステップＳ３５が第２算出ステップ及び第２算出手順を構成し、ステップＳ３６が第２判定ステップ及び第２判定手順を構成している。 In the present embodiment, step S31 constitutes a first calculation step and a first calculation procedure, step S32 constitutes a first determination step and a first determination procedure, and step S35 constitutes a second calculation step and a second calculation procedure. The procedure is configured, and step S36 configures the second determination step and the second determination procedure.
上述したように、本実施形態のマッチング検査処理ルーチンでは、撮像パターン１４Ａの各数字に対して、テンプレート３０でパターンマッチングを行った後、さらにテンプレート３０よりも面積の小さい各分割テンプレート３１ａ，３１ｂでパターンマッチングを行っている。この場合、図６に示すように、例えば、撮像パターン１４Ａの「５」の下端部に印字の欠けた不良部分Ｋが存在していた場合には、テンプレート３０でのパターンマッチングの際の該テンプレート３０に対する不良部分Ｋの占める割合よりも、下側分割テンプレート３１ｂでのパターンマッチングの際の該下側分割テンプレート３１ｂに対する不良部分Ｋの占める割合の方が格段に大きくなる。このため、第１の閾値と第２の閾値とが同じ値であることから、テンプレート３０での検査よりも各分割テンプレート３１ａ，３１ｂでの検査の方が、検査の合格条件が厳しくなる。 As described above, in the matching inspection processing routine of the present embodiment, after pattern matching is performed on each number of the imaging pattern 14 </ b> A using the template 30, the divided templates 31 a and 31 b having a smaller area than the template 30 are used. Pattern matching is performed. In this case, as shown in FIG. 6, for example, when a defective portion K lacking printing exists at the lower end portion of “5” of the imaging pattern 14A, the template at the time of pattern matching with the template 30 The ratio of the defective portion K to the lower divided template 31b at the time of pattern matching in the lower divided template 31b is significantly larger than the ratio of the defective portion K to 30. For this reason, since the first threshold value and the second threshold value are the same value, the inspection conditions for each of the divided templates 31 a and 31 b are stricter than the inspection for the template 30.
したがって、テンプレート３０でのパターンマッチングで第１の一致度が第１の閾値以上であったとしても、各分割テンプレート３１ａ，３１ｂでのパターンマッチングで第２の一致度が第２の閾値に達しない場合には不合格となることから、より精度の高い撮像パターン１４Ａ（製造年月日を表す数字１４の印字状態）の検査を実現できる。 Therefore, even if the first matching degree is equal to or higher than the first threshold value in the pattern matching in the template 30, the second matching degree does not reach the second threshold value in the pattern matching in each of the divided templates 31a and 31b. In this case, since the image is rejected, it is possible to realize a more accurate inspection of the imaging pattern 14A (printing state of the number 14 indicating the date of manufacture).
以上詳述した実施形態によれば次のような効果が発揮される。
（１）飲料容器１２に印字された製造年月日を表す数字１４の撮像パターン１４Ａを、テンプレート３０との照合で検査した後に、さらに該テンプレート３０を上下２つに分割した各分割テンプレート３１ａ，３１ｂとの照合でより条件の厳しい検査を行うため、数字１４の印字状態の検査精度を向上させることができる。すなわち、テンプレート３０でのパターンマッチングを行った後に、該テンプレート３０よりも単位面積の小さい各分割テンプレート３１ａ，３１ｂで撮像パターン１４Ａのパターンマッチングを再度行うことで、不良部分が強調されて発見しやすくなるので、従来に比べて検査精度を格段に向上させることができる。
According to the embodiment detailed above, the following effects are exhibited.
(1) After inspecting the imaging pattern 14A of the number 14 representing the date of manufacture printed on the beverage container 12 by collation with the template 30, each divided template 31a, which is further divided into two in the upper and lower directions, Since the inspection with stricter conditions is performed by collation with 31b, the inspection accuracy of the printed state of the numeral 14 can be improved. That is, after performing pattern matching with the template 30, by performing pattern matching of the imaging pattern 14 </ b> A again with each of the divided templates 31 a and 31 b having a smaller unit area than the template 30, the defective portion is emphasized and easily found. As a result, the inspection accuracy can be remarkably improved as compared with the conventional case.
（２）各分割テンプレート３１ａ，３１ｂ同士は、これらの境界部分が互いに重複している。このため、各分割テンプレート３１ａ，３１ｂによって撮像パターン１４Ａの検査（パターンマッチング）を行う際に、該撮像パターン１４Ａにおける各分割テンプレート３１ａ，３１ｂ同士の境界部分と対応する部分が検査漏れすることを抑制することができる。加えて、各分割テンプレート３１ａ，３１ｂ同士の境界部分で画素が分割されることも抑制することができる。 (2) The boundary portions of the divided templates 31a and 31b overlap each other. For this reason, when inspection (pattern matching) of the imaging pattern 14A is performed by each of the divided templates 31a and 31b, it is possible to suppress a portion of the imaging pattern 14A corresponding to the boundary portion between the divided templates 31a and 31b from being inspected. can do. In addition, it is possible to prevent the pixels from being divided at the boundary portion between the divided templates 31a and 31b.
（３）マッチング検査処理ルーチンにおけるステップＳ３２（第１判定ステップ）またはステップＳ３６（第２判定ステップ）で否定判定がなされた印字状態が不合格の数字１４が印字された飲料容器１２が、印字状態検査処理ルーチンのステップＳ６で特定されてベルトコンベア１３上から排除される。このため、印字状態が不合格の数字１４が印字された飲料容器１２と印字状態が合格の数字１４が印字された飲料容器１２とを確実に区別することができる。 (3) The beverage container 12 in which the number 14 is printed in which the printing state that has been negatively determined in step S32 (first determination step) or step S36 (second determination step) in the matching inspection processing routine is printed. It is specified in step S6 of the inspection processing routine and excluded from the belt conveyor 13. For this reason, it is possible to reliably distinguish between the beverage container 12 printed with the number 14 whose printing state is unacceptable and the beverage container 12 printed with the number 14 whose printing state is passed.
（変更例）
なお、上記実施形態は、次のように変更して具体化することも可能である。
・マッチング検査処理ルーチンにおいて、第１の一致度が第１の閾値以上である場合には、該第１の一致度の値に基づいてステップＳ３４におけるテンプレート３０の分割数を設定するようにしてもよい。この場合、テンプレート３０を３つ、４つ、あるいは５つ以上に分割した分割テンプレートを必要な分だけ記憶部２５に記憶させておき、第１の一致度の値に応じて適切な分割テンプレートを選択して切り替えればよい。このようにすれば、テンプレート３０の分割数が多くなるほどパターンマッチングを行う際の単位面積が小さくなってより細かい不良の発見が可能となり、より適切で精度の高い撮像パターン１４Ａ（製造年月日を表す数字１４の印字状態）の検査を行うことができる。また、撮像パターン１４Ａのうち良品としたい部分については、テンプレート３０でパターンマッチングを行った後に、分割テンプレートで再度パターンマッチングを行わないようにすれば、検査時間を短縮することができる。
(Example of change)
In addition, the said embodiment can also be changed and actualized as follows.
In the matching inspection processing routine, when the first matching degree is equal to or more than the first threshold, the number of divisions of the template 30 in step S34 may be set based on the first matching degree value. Good. In this case, a required number of divided templates obtained by dividing the template 30 into three, four, or five or more are stored in the storage unit 25, and an appropriate divided template is selected according to the first matching value. Select and switch. In this way, as the number of divisions of the template 30 increases, the unit area for pattern matching becomes smaller and finer defects can be found, and a more appropriate and accurate imaging pattern 14A (with the date of manufacture). (Printing state of number 14) can be inspected. In addition, for the portion of the imaging pattern 14A that is desired to be a non-defective product, the inspection time can be shortened if pattern matching is performed using the template 30 and then pattern matching is not performed again using the divided template.
さらに、上記の場合、テンプレート３０の分割数を、第１の一致度の値が大きいときよりも小さいときの方が多くなるように設定するようにしてもよい。このようにすれば、より一層精度の高い撮像パターン１４Ａの検査を行うことができる。なぜなら、通常、第１の一致度の値が大きいときよりも小さいときの方が不良である可能性が高いため、より高い検査精度を必要とするからである。すなわち、第１の一致度の値が第１の閾値に近づくほど、合否の判定をより厳格に行わなければならないからである。 Further, in the above case, the number of divisions of the template 30 may be set so as to increase when the first matching degree value is smaller than when it is large. In this way, it is possible to inspect the imaging pattern 14A with higher accuracy. This is because, when the value of the first degree of coincidence is small, it is more likely that the first coincidence value is defective, and thus higher inspection accuracy is required. That is, as the first matching degree value approaches the first threshold value, the pass / fail judgment must be made more strictly.
ここで、具体的にテンプレート（ここでは数字の「０」）の分割に伴う該テンプレートと画素データ（ここでは数字の「０」）との相関値（一致度）の変化を図１０に基づいて説明する。なお、相関値は、図１０（ａ）に示した既知の正規化相関式によって求められる。 Here, the change in the correlation value (degree of coincidence) between the template and pixel data (here, the number “0” here) accompanying the division of the template (here, the number “0”) based on FIG. explain. The correlation value is obtained by the known normalized correlation equation shown in FIG.
図１０（ｂ）に示すように、通常のテンプレートＸを用いて左上部分に不良部分のある通常の画素データＹのパターンマッチングを行った場合の相関値は０．８１であった。次に、図１０（ｃ）に示すように、テンプレートＸ及び画素データＹを上下２つに等分割したそれぞれの上半分（２分割）をテンプレートＸ１及び画素データＹ１（不良部分を含む）とし、テンプレートＸ１を用いて画素データＹ１のパターンマッチングを行った場合の相関値は０．６８であった。次に、図１０（ｄ）に示すように、テンプレートＸ１及び画素データＹ１を左右２つに等分割したそれぞれの左半分（４分割）をテンプレートＸ２及び画素データＹ２（不良部分を含む）とし、テンプレートＸ２を用いて画素データＹ２のパターンマッチングを行った場合の相関値は０．３８であった。 As shown in FIG. 10B, the correlation value in the case of performing pattern matching of normal pixel data Y having a defective portion in the upper left portion using a normal template X was 0.81. Next, as shown in FIG. 10C, the upper half (two divisions) obtained by equally dividing the template X and the pixel data Y into two upper and lower parts are defined as the template X1 and the pixel data Y1 (including the defective portion), When the pattern matching of the pixel data Y1 was performed using the template X1, the correlation value was 0.68. Next, as shown in FIG. 10 (d), the left half (four divisions) obtained by equally dividing the template X1 and the pixel data Y1 into two parts on the left and right are defined as the template X2 and the pixel data Y2 (including the defective part). When the pattern matching of the pixel data Y2 was performed using the template X2, the correlation value was 0.38.
このように、テンプレートと画素データとのパターンマッチングを、通常の場合、２分割の場合、４分割の場合・・・というように順次複数回行うことで、単位面積あたりの不良部分の占める割合が段階的に大きくなるので、検査精度を段階的に高くすることができる。したがって、検査対象や検査目的に応じて段階的に検査精度（検査回数）を調節することができる。 In this way, pattern matching between the template and the pixel data is normally performed a plurality of times sequentially, such as in the case of two divisions, in the case of four divisions, and so on, so that the proportion of defective portions per unit area is increased. Since it increases in steps, the inspection accuracy can be increased in steps. Therefore, the inspection accuracy (number of inspections) can be adjusted in stages according to the inspection object and inspection purpose.
・各分割テンプレート３１ａ，３１ｂ同士は、これらの境界部分が必ずしも互いに重複している必要はない。
・各分割テンプレート３１ａ，３１ｂ同士の重複部分の大きさを調節できるようにしてもよい。
The boundary portions of the divided templates 31a and 31b do not necessarily have to overlap each other.
-You may enable it to adjust the magnitude | size of the overlap part of each division | segmentation template 31a, 31b.
・分割テンプレートは、テンプレートを３つ、４つ、或いは５つ以上に分割したものであってもよい。この場合、分割の仕方は、左右に２分割したり十字状に４分割したりしてもよく、あるいは斜め方向に分割してもよい。 The divided template may be a template divided into three, four, or five or more. In this case, the method of division may be divided into left and right, divided into four in a cross shape, or may be divided in an oblique direction.
・各分割テンプレートの大きさ（面積）が互いに異なるようにテンプレートを分割してもよい。この場合、テンプレートでの検査よりも各分割テンプレートでの検査の方が、検査の合格条件が厳しくなるように、各分割テンプレートのテンプレートに対する面積の縮小割合に応じて第２の閾値を該各分割テンプレート毎に設定することが好ましい。 -You may divide | segment a template so that the magnitude | size (area) of each division | segmentation template may mutually differ. In this case, the second threshold is set according to the reduction ratio of the area of each divided template with respect to the template so that the inspection pass condition becomes stricter in the inspection with each divided template than the inspection with the template. It is preferable to set for each template.
・第１の閾値及び第２の閾値は、必ずしも同じ値に設定する必要はない。
・検査対象画像は、漢字、ひらがな、カタカナ、ローマ字、アルファベットなどの数字１４以外の文字、あるいは図形、記号、絵などであってもよい。
The first threshold value and the second threshold value are not necessarily set to the same value.
The image to be inspected may be a character other than the number 14 such as kanji, hiragana, katakana, roman, alphabet, or a figure, symbol, picture, or the like.
・印字状態検査装置１１は、製造年月日以外の文字や図形の検査、ひいては印刷物全般の印字状態の検査に用いてもよい。
・上記実施形態では、マッチング処理部２２、判定部２３、排除処理部２４、及び表示部２６をＣＰＵがプログラムを実行して構築されるソフトウェアにより実現したが、これらをＩＣなどのハードウェアにより構成してもよい。さらに、これらをソフトウェアとハードウェアとの協働により実現される構成にしてもよい。
The print state inspection device 11 may be used for inspection of characters and graphics other than the date of manufacture, and thus inspection of the print state of the entire printed matter.
In the above-described embodiment, the matching processing unit 22, the determination unit 23, the exclusion processing unit 24, and the display unit 26 are realized by software constructed by the CPU executing a program. However, these are configured by hardware such as an IC. May be. Further, these may be realized by cooperation of software and hardware.
さらに、上記各実施形態より把握できる技術的思想について以下に記載する。
（イ）前記第２の閾値は、前記第１の閾値を前記基準パターンの分割数で除した値以上であることを特徴とする請求項１に記載の画像形成状態検査方法。
Further, technical ideas that can be grasped from the above embodiments will be described below.
(A) The image forming state inspection method according to claim 1, wherein the second threshold value is equal to or greater than a value obtained by dividing the first threshold value by the number of divisions of the reference pattern.
この構成によれば、分割基準パターンとの照合による検査対象画像の撮像パターンの検査条件が基準パターンとの照合による検査対象画像の撮像パターンの検査条件よりも厳しくなるので、対象物に形成された検査対象画像の画像形成状態の検査精度を確実に向上させることが可能となる。 According to this configuration, since the inspection condition of the imaging pattern of the inspection target image by collation with the division reference pattern is stricter than the inspection condition of the imaging pattern of the inspection target image by collation with the reference pattern, It is possible to reliably improve the inspection accuracy of the image formation state of the inspection target image.
１１…画像形成状態検査装置としての印字状態検査装置、１２…対象物としての飲料容器、１４…検査対象画像としての数字、１４Ａ…撮像パターン、１５…制御手段としての制御部、１７…撮像手段としてのカメラ、２１…コンピュータ、２２…算出手段としてのマッチング処理部、２３…判定手段としての判定部、３０…基準パターンとしてのテンプレート、３１ａ…分割基準パターンとしての上側分割テンプレート、３１ｂ…分割基準パターンとしての下側分割テンプレート。 DESCRIPTION OF SYMBOLS 11 ... Print state inspection apparatus as image formation state inspection apparatus, 12 ... Beverage container as target object, 14 ... Number as inspection object image, 14A ... Imaging pattern, 15 ... Control part as control means, 17 ... Imaging means , 21... Computer, 22... Matching processing section as calculation means, 23... Determination section as determination means, 30... Template as reference pattern, 31 a. Lower split template as a pattern.
Claims (4)
該撮像ステップで撮像された前記検査対象画像の撮像パターンを所定領域において予め設定された１文字ごとの基準パターンと照合して前記撮像パターンの前記基準パターンに対する第１の一致度を算出する第１算出ステップと、
該第１算出ステップで算出された前記第１の一致度の最大値が予め設定した第１の閾値以上であるか否かを判定する第１判定ステップと、
前記第１の一致度の最大値が前記第１の閾値以上である場合に、前記第１算出ステップにおける第１の一致度の値に基づいて設定された分割数により前記撮像パターンを分割し、当該分割された前記撮像パターンを、前記１文字からなる基準パターンを隣接する分割基準パターンとの境界部分が互いに重複するように前記分割数に予め分割してテンプレートとして記憶された分割基準パターンを選択して、対応する部分においてそれぞれ照合して前記撮像パターンの前記各分割基準パターンに対する第２の一致度をそれぞれ算出する第２算出ステップと、
該第２算出ステップで算出された前記各第２の一致度が予め設定した第２の閾値以上であるか否かをそれぞれ判定する第２判定ステップと
を備え、
前記第１の一致度及び第２の一致度は、
前記第２算出ステップにおいて前記第１算出ステップにおける第１の一致度の値に基づいて設定された前記分割数に基づいて前記第２の閾値を設定するとともに、
該第２の閾値は、前記第１の閾値を前記基準パターンの分割数で除した値以上であることを特徴とする画像形成状態検査方法。 An imaging step of imaging a character that is an inspection target image formed on the object;
A first matching level of the imaging pattern with respect to the reference pattern is calculated by comparing an imaging pattern of the inspection target image captured in the imaging step with a reference pattern for each character set in advance in a predetermined area. A calculation step;
A first determination step of determining whether or not the maximum value of the first coincidence calculated in the first calculation step is equal to or greater than a first threshold set in advance;
When the maximum value of the first matching degree is equal to or greater than the first threshold, the imaging pattern is divided by the number of divisions set based on the first matching degree value in the first calculation step; the the divided image pickup pattern, select the pre-divided and divided reference pattern stored as a template in the division number as the boundary portion between the divided reference pattern adjacent the reference pattern consisting of the 1 character overlap each other A second calculation step of calculating a second degree of coincidence with respect to each of the division reference patterns of the imaging pattern by collating each of the corresponding portions;
A second determination step for determining whether or not each second matching degree calculated in the second calculation step is greater than or equal to a second threshold set in advance.
The first matching degree and the second matching degree are:
In the second calculation step, the second threshold value is set based on the number of divisions set based on the first matching degree value in the first calculation step, and
The second threshold value, the image formation state inspection method, characterized in that said at first the threshold value the reference pattern division number at the value obtained by dividing the above.
該撮像手段によって撮像された前記検査対象画像の撮像パターンを所定領域において予め設定された１文字ごとの基準パターンと照合して前記撮像パターンの前記基準パターンに対する第１の一致度を算出する算出手段と、
該算出手段によって算出された前記第１の一致度の最大値が予め設定した第１の閾値以上であるか否かを判定する判定手段と、
前記第１の一致度の最大値が前記第１の閾値以上である場合に、前記算出手段における第１の一致度の値に基づいて設定された分割数により前記撮像パターンを分割し、当該分割された前記撮像パターンを、前記１文字からなる基準パターンを隣接する分割基準パターンとの境界部分が互いに重複するように前記分割数に予め分割してテンプレートとして記憶された分割基準パターンを選択して、対応する部分においてそれぞれ照合して前記撮像パターンの前記各分割基準パターンに対する第２の一致度を前記算出手段によってそれぞれ算出させ、該算出された前記各第２の一致度が予め設定した第２の閾値以上であるか否かを前記判定手段によってそれぞれ判定させる制御手段とを備え、
前記第１の一致度及び第２の一致度は、
前記制御手段は、前記算出手段における第１の一致度の値に基づいて設定された前記分割数に基づいて前記第２の閾値を設定するとともに、
該第２の閾値は、前記第１の閾値を前記基準パターンの分割数で除した値以上とすることを特徴とする画像形成状態検査装置。 Imaging means for imaging characters that are inspection target images formed on the object;
A calculating means for calculating a first degree of coincidence of the image pickup pattern with respect to the reference pattern by comparing an image pickup pattern of the inspection target image picked up by the image pickup means with a reference pattern for each character preset in a predetermined area. When,
Determining means for determining whether or not the maximum value of the first degree of coincidence calculated by the calculating means is greater than or equal to a first threshold set in advance;
When the maximum value of the first matching degree is equal to or greater than the first threshold, the imaging pattern is divided by the number of divisions set based on the first matching degree value in the calculating unit, and the division the imaging patterns, select the pre-divided and divided reference pattern stored as a template in the division number as the boundary portion between the divided reference pattern adjacent the reference pattern consisting of the 1 character overlap each other The second matching degree of each of the imaging patterns with respect to each of the division reference patterns is calculated by the calculation means by collating the corresponding parts, and the calculated second matching degrees are set to the second values set in advance. Control means for causing the determination means to determine whether or not the threshold is equal to or greater than
The first matching degree and the second matching degree are:
The control means sets the second threshold based on the number of divisions set based on the value of the first degree of coincidence in the calculation means,
The second threshold value, the image formation state inspection apparatus characterized by the said first threshold value divided by the above number of divisions of the reference pattern.
対象物に形成された検査対象画像である文字を撮像手段によって撮像させる撮像手順と、
該撮像手順で撮像された前記検査対象画像の撮像パターンを所定領域において予め設定された１文字ごとの基準パターンと照合して前記撮像パターンの前記基準パターンに対する第１の一致度を算出手段によって算出させる第１算出手順と、
該第１算出手順で算出された前記第１の一致度の最大値が予め設定した第１の閾値以上であるか否かを判定手段によって判定させる第１判定手順と、
前記第１の一致度の最大値が前記第１の閾値以上である場合に、前記第１算出手順における第１の一致度の値に基づいて設定された分割数により前記撮像パターンを分割し、当該分割された前記撮像パターンを、前記１文字からなる基準パターンを隣接する分割基準パターンとの境界部分が互いに重複するように前記分割数に予め分割してテンプレートとして記憶された分割基準パターンを選択して、対応する部分においてそれぞれ照合して前記撮像パターンの前記各分割基準パターンに対する第２の一致度をそれぞれ前記算出手段によって算出させる第２算出手順と、
該第２算出手順で算出された前記各第２の一致度が予め設定した第２の閾値以上であるか否かを前記判定手段によってそれぞれ判定させる第２判定手順と
を実行させるとともに、
前記第１の一致度及び第２の一致度は、
前記第２判定手順では前記第１判定手順における第１の一致度の値に基づいて設定された前記分割数に基づいて前記第２の閾値を設定させるとともに、
該第２の閾値は、前記第１の閾値を前記基準パターンの分割数で除した値以上とさせるための画像形成状態検査用プログラム。 On the computer,
An imaging procedure for imaging characters that are inspection target images formed on an object by an imaging unit;
The imaging unit calculates the first degree of coincidence of the imaging pattern with respect to the reference pattern by comparing the imaging pattern of the inspection target image captured in the imaging procedure with a reference pattern preset for each character in a predetermined area. A first calculation procedure for
A first determination procedure for determining whether or not the maximum value of the first degree of coincidence calculated in the first calculation procedure is greater than or equal to a preset first threshold;
When the maximum value of the first matching degree is equal to or greater than the first threshold, the imaging pattern is divided by the number of divisions set based on the first matching degree value in the first calculation procedure, the the divided image pickup pattern, select the pre-divided and divided reference pattern stored as a template in the division number as the boundary portion between the divided reference pattern adjacent the reference pattern consisting of the 1 character overlap each other A second calculation procedure in which the calculation unit calculates the second degree of coincidence of the imaging pattern with respect to each of the division reference patterns by matching the corresponding portions.
A second determination procedure for determining whether or not each of the second coincidence calculated in the second calculation procedure is equal to or greater than a second threshold value set in advance, by the determination means;
The first matching degree and the second matching degree are:
In the second determination procedure, the second threshold value is set based on the number of divisions set based on the value of the first matching degree in the first determination procedure,
The second threshold value, the image formation state inspection program for the value obtained by dividing more than the first threshold division number of the reference pattern.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009266723A JP5558081B2 (en) | 2009-11-24 | 2009-11-24 | Image formation state inspection method, image formation state inspection device, and image formation state inspection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009266723A JP5558081B2 (en) | 2009-11-24 | 2009-11-24 | Image formation state inspection method, image formation state inspection device, and image formation state inspection program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011112398A JP2011112398A (en) | 2011-06-09 |
| JP5558081B2 true JP5558081B2 (en) | 2014-07-23 |
Family
ID=44234856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009266723A Active JP5558081B2 (en) | 2009-11-24 | 2009-11-24 | Image formation state inspection method, image formation state inspection device, and image formation state inspection program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5558081B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6126450B2 (en) * | 2013-04-25 | 2017-05-10 | 株式会社ブリヂストン | Inspection device |
| JP6177010B2 (en) * | 2013-06-03 | 2017-08-09 | 新電元工業株式会社 | Stamp symbol inspection method, seal symbol inspection apparatus, and electronic equipment |
| EP3103058A1 (en) | 2014-02-04 | 2016-12-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Hough processor |
| US20230334649A1 (en) | 2020-05-08 | 2023-10-19 | Kabushiki Kaisha N-Tech | Print inspection device, print inspection method, and program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0520459A (en) * | 1991-07-16 | 1993-01-29 | Mazda Motor Corp | Method and device for recognizing pattern |
| JPH113425A (en) * | 1997-06-13 | 1999-01-06 | F F C:Kk | Image processor |
| JP2001216473A (en) * | 2000-01-31 | 2001-08-10 | Keyence Corp | Method and device for processing image and recording medium |
| JP4372660B2 (en) * | 2004-10-21 | 2009-11-25 | シャープマニファクチャリングシステム株式会社 | Image determination method and image processing apparatus |
| JP2007158855A (en) * | 2005-12-06 | 2007-06-21 | Matsushita Electric Ind Co Ltd | Motion vector detector and motion vector detecting method |
-
2009
- 2009-11-24 JP JP2009266723A patent/JP5558081B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011112398A (en) | 2011-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4006224B2 (en) | Image quality determination method, determination device, and determination program | |
| US11004194B2 (en) | Inspection device, image forming apparatus, and inspection method | |
| CN105320951B (en) | Optical character recognition device and optical character recognition method | |
| TWI669519B (en) | Board defect filtering method and device thereof and computer-readabel recording medium | |
| JP5558081B2 (en) | Image formation state inspection method, image formation state inspection device, and image formation state inspection program | |
| US10254168B2 (en) | Colorimeter device and colorimetery method | |
| JP5061543B2 (en) | Printed matter inspection device, printed matter inspection method | |
| EP2784746A1 (en) | Setting up an area sensing imaging system to capture single line images | |
| JP2000067247A (en) | Image recognizing device | |
| JP2002163637A (en) | Device and method for examining image | |
| US8682057B2 (en) | Optical imaging and analysis of a graphic symbol | |
| JP5195096B2 (en) | Image processing inspection method and image processing inspection system | |
| CN114813761B (en) | Double-light-stroboscopic-based film pinhole and bright spot defect identification system and method | |
| JP4306716B2 (en) | Printed matter inspection apparatus and printed matter inspection method | |
| US20050186002A1 (en) | Printing condition inspection method, a character string inspection method and an inspection apparatus using the methods | |
| JP4631384B2 (en) | Printing state inspection method, character inspection method, and inspection apparatus using these methods | |
| JP2002008029A (en) | Image inspection device | |
| JP7171269B2 (en) | Image matching system, image matching method, and program | |
| JP2022123634A (en) | Inspection device, control method thereof and program | |
| JPH0995028A (en) | Printing inspection device | |
| JP2019215348A (en) | Image inspection robot | |
| JP4872930B2 (en) | Character recognition device, fuel pump module assembling device equipped with such device, and character recognition method | |
| US8488220B1 (en) | Method and apparatus for calibrating imaging equipment | |
| JP4074655B1 (en) | Image processing apparatus, label inspection apparatus, and image processing method | |
| US20240029238A1 (en) | Inspection apparatus, method of controlling the same, inspection system, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110928 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121010 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130820 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131021 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140604 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5558081 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |