JP5305002B2 - Appearance inspection device - Google Patents

Appearance inspection device Download PDF

Info

Publication number
JP5305002B2
JP5305002B2 JP2008310771A JP2008310771A JP5305002B2 JP 5305002 B2 JP5305002 B2 JP 5305002B2 JP 2008310771 A JP2008310771 A JP 2008310771A JP 2008310771 A JP2008310771 A JP 2008310771A JP 5305002 B2 JP5305002 B2 JP 5305002B2
Authority
JP
Japan
Prior art keywords
defect
information
defect information
camera
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008310771A
Other languages
Japanese (ja)
Other versions
JP2010133846A (en
Inventor
雅博 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2008310771A priority Critical patent/JP5305002B2/en
Publication of JP2010133846A publication Critical patent/JP2010133846A/en
Application granted granted Critical
Publication of JP5305002B2 publication Critical patent/JP5305002B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

この発明は、紙,フィルム,不織布,鉄鋼,非鉄金属等のシート状の素材(物品)の外観を検査する外観検査装置に関する。   The present invention relates to an appearance inspection apparatus for inspecting the appearance of a sheet-like material (article) such as paper, film, nonwoven fabric, steel, and non-ferrous metal.

紙(ロール紙)その他のシート状物等の製造システムでは、品質を保持するため、製造過程においてリアルタイムで異物の付着や孔あき等の欠陥の有無を監視している。係る欠陥の有無を監視するための監視システム(検査システム)は、たとえば、製造工程の各所にカメラを設置し、そこから得られた画像データに基づいて検査装置が画像認識処理を行い欠陥の有無を判断し、欠陥があった場合には検出した欠陥について分析し、欠陥の位置、大きさ(異物または穴等の縦横長さ、面積)、種類等を判断する。これら判断結果は欠陥に関する情報と扱われ、これら情報は欠陥画像とともに表示装置へ出力されることで、監視員(オペレータ)に知らせるようにしたものがある。   In order to maintain quality in a manufacturing system for paper (roll paper) and other sheet-like materials, the presence or absence of defects such as adhesion of foreign matter and perforations is monitored in real time during the manufacturing process. A monitoring system (inspection system) for monitoring the presence or absence of such defects includes, for example, cameras installed in various parts of the manufacturing process, and the inspection apparatus performs image recognition processing based on image data obtained from the cameras, and whether or not there are defects. If there is a defect, the detected defect is analyzed, and the position, size (length and width of foreign matter or hole, area), type, etc. are determined. These judgment results are treated as information about defects, and these information are output to a display device together with a defect image, so that there are some which are notified to an observer (operator).

表示装置に表示する情報は、欠陥位置を特定する位置情報や、大きさ(縦・横の長さや面積等)や、欠陥の種類等を示すテキスト情報と、実際の画像データである画像情報がある。この表示レイアウトは、たとえば、図1に示すように、テキスト情報は、1つの欠陥について関連する情報を1列に示した表形式とし、画像情報は、別枠で所定数(図では3個)を出力するようにしている。テキスト情報は、検出された順番に逐次出力する。同様に、画像情報も最新の所定数(たとえば3個)を出力することになる。この種の画像認識処理により紙等のシート状物に対して欠陥の有無を検査する検査システムとしては、例えば特許文献1等に開示されている。
特許第3982646号公報
The information displayed on the display device includes position information for specifying the defect position, text information indicating the size (vertical / horizontal length and area, etc.), the type of defect, and image information that is actual image data. is there. In this display layout, for example, as shown in FIG. 1, the text information is in a tabular form in which information related to one defect is shown in one column, and the image information has a predetermined number (three in the figure) in another frame. I am trying to output. Text information is sequentially output in the order in which it was detected. Similarly, the latest predetermined number (for example, three) of image information is output. An inspection system for inspecting a sheet-like object such as paper for the presence or absence of defects by this type of image recognition processing is disclosed in, for example, Patent Document 1 and the like.
Japanese Patent No. 398646

上述した従来の外観検査システムでは、欠陥を検出した場合には、その欠陥についてのテキスト情報並びに画像情報を逐次表示装置に出力表示するとともに、それらの情報を記憶装置に保存している。   In the conventional visual inspection system described above, when a defect is detected, text information and image information about the defect are sequentially output and displayed on a display device, and the information is stored in a storage device.

一方、画像認識処理の対象となる画像データは、紙等の被検査対象物の反射光や透過光であり、2次元の画像データを撮像するエリアセンサカメラや、1次元のラインセンサカメラ等(以下、“カメラ“)を用いて取得する。そして、係る被検査対象物の表面や裏面の両面を検査したり、紙等の被監視対象物が複数工程を経て製造されることからどの工程で欠陥を生じたかを検証するために各工程の処理直後の被検査対象物を検査したりするため、カメラはそれぞれの製造工程の各場所に複数設置されることが多々ある。しかも、ある工程で欠陥が生じた場合、1個のみ欠陥が発生することもあるが、ある範囲に複数或いは多数欠陥が集中的に発生することもある。   On the other hand, image data to be subjected to image recognition processing is reflected light or transmitted light of an inspection object such as paper, and is an area sensor camera that captures two-dimensional image data, a one-dimensional line sensor camera, and the like ( Hereinafter, it is acquired using “camera”). In order to inspect both the front and back surfaces of the object to be inspected, and to verify which process caused the defect because the object to be monitored such as paper is manufactured through a plurality of processes. In order to inspect an object to be inspected immediately after processing, a plurality of cameras are often installed at each location in each manufacturing process. Moreover, when a defect occurs in a certain process, only one defect may occur, but a plurality of or many defects may occur intensively in a certain range.

すると、ある上流側の工程で欠陥が生じた場合、その欠陥がその後の各工程の処理後にも現れることになり、そうすると、被監視対象物上に存在する一つの欠陥(同一の欠陥)が複数のカメラにて取得した画像データ中に存在することになる。従って、一つの欠陥は、それぞれのカメラで画像データとして検出された都度、その検出されたタイミングで欠陥として検出され、表示装置に出力されることになる。つまり被監視対象物上に欠陥が一つ存在すると、各検査場所で検出された欠陥検査結果が複数生じることになる。一方、カメラは生産ラインの各所に点在することになり、ロール紙の生産ラインでは、その全長が100m以上になることも多々あることから、被監視対象物上に存在する一つの欠陥について、個々のカメラにて得られた画像データに現れるタイミングは大きくずれることになり、各検査場所での検出タイミングもずれることになる。   Then, if a defect occurs in a certain upstream process, the defect will appear after each subsequent process. Then, there are a plurality of one defect (identical defect) existing on the monitored object. It exists in the image data acquired by the camera. Therefore, each time a defect is detected as image data by each camera, it is detected as a defect at the detected timing and output to the display device. That is, if there is one defect on the monitored object, a plurality of defect inspection results detected at each inspection place are generated. On the other hand, cameras are scattered in various parts of the production line, and the roll paper production line often has a total length of 100 m or more, so about one defect existing on the monitored object, The timing appearing in the image data obtained by each camera is greatly shifted, and the detection timing at each inspection location is also shifted.

すると、表示装置には、生産ラインに沿って複数箇所に設置された各カメラで検出された欠陥に関する情報が、時々刻々と更新されながら多数表示されることになり、特にカメラの設置箇所数が多くなると、ある上流側の工程で欠陥が生じた場合、その欠陥がその後の各工程の処理後にも現れることになり、そうすると、同じ欠陥が複数のカメラにて取得した画像データ中に存在することになる。   Then, a lot of information about defects detected by each camera installed at multiple locations along the production line will be displayed on the display device while being updated from time to time, especially the number of camera locations. If the number of defects increases in an upstream process, the defect will appear after each subsequent process, and the same defect exists in image data acquired by multiple cameras. become.

しかも、出現するタイミングがばらばらとなり、上流側のカメラで検出された欠陥Aの欠陥情報(画像.テキスト)が表示された後で、異なる欠陥に基づく欠陥情報が表示され、さらにその後に先に表示された欠陥Aについて下流側の別のカメラで検出された欠陥情報が表示されるため、現在表示されている欠陥情報が、初めて検出された欠陥についてのものか、すでにいったん表示された欠陥情報と同じ欠陥についての別のカメラで検出された2回目以降の欠陥情報の表示がわからない。よって、システム全体として出力される不要な情報がさらに多くなるとともに情報が錯綜することになり、オペレータは、かえって整理できずに適切な監視をすることができなくなるおそれがある。   In addition, the appearance timing varies, and after the defect information (image.text) of the defect A detected by the upstream camera is displayed, defect information based on a different defect is displayed, and then displayed first. Since the defect information detected by another camera on the downstream side of the detected defect A is displayed, whether the currently displayed defect information is about the defect detected for the first time or the already displayed defect information I do not know the display of the defect information for the second and subsequent times detected by another camera for the same defect. Therefore, unnecessary information output as a whole system is further increased and information is complicated, and there is a possibility that the operator cannot be properly organized and cannot perform appropriate monitoring.

この発明は、被監視対象物上に存在する一つの欠陥について各検査場所のカメラで異なるタイミングで検出されることがある検査システムにおいて、表示・出力する欠陥情報を適切に絞り込み、オペレータ(ユーザ)が適切かつ見落とし等することなく欠陥情報を認識し、生産ラインでの不具合等の分析を行うための情報を提供することができる外観検査装置を提供することを目的とする。   The present invention appropriately narrows down defect information to be displayed / output in an inspection system in which one defect existing on an object to be monitored may be detected by a camera at each inspection location at different timings, and an operator (user) It is an object of the present invention to provide an appearance inspection apparatus capable of recognizing defect information appropriately and without oversight or the like, and providing information for analyzing defects on a production line.

上記の目的を達成するため、本発明に係る外観検査装置は、(1)シート状の物品の外観検査装置であって、前記物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段と、その判断手段で欠陥を検出した場合に、その欠陥を表す欠陥情報を抽出する欠陥情報抽出手段と、その欠陥情報抽出手段で抽出された異なるカメラ装置で撮像された物品上に存在する一つの欠陥、つまり同一の欠陥についての欠陥情報を比較し、決定ルールに従って決定された前記異なるカメラ装置のうちの1つのカメラ装置で撮像された画像データに基づき抽出した欠陥情報を代表欠陥情報として決定する代表欠陥情報決定手段と、その代表欠陥情報決定手段で決定された前記代表欠陥情報を表示装置に出力する出力手段と、を備え、前記決定ルールは、各カメラ装置から出力された画像データに対して画像認識して抽出された特徴の種類が、カメラ装置ごとに予め決めたパターンと一致した場合に、そのパターンで決められた1つのカメラ装置から出力された画像データに基づく欠陥情報を前記代表欠陥情報に決定するものを含むように構成する。これは、実施形態では、図6で示したルールに対応する。 In order to achieve the above object, an appearance inspection apparatus according to the present invention is (1) an appearance inspection apparatus for a sheet-like article, and a plurality of camera devices arranged at the front and rear along the conveyance direction of the article. In addition to acquiring the image data captured in step, image recognition processing is performed in units of image data from each camera device, and when a defect is detected by the determination unit, the defect is detected. The defect information extracting means for extracting the defect information to be represented and the defect information for one defect existing on the article imaged by the different camera device extracted by the defect information extracting means, that is, the defect information for the same defect is determined and determined. Representative defect information determination that determines, as representative defect information, defect information extracted based on image data captured by one of the different camera devices determined according to the rule Stage and, e Bei output means for outputting to the display device the representative defect information determined by the representative defect information obtaining means, wherein the decision rule, the image recognition on the image data output from the camera device When the type of feature extracted in this manner matches a predetermined pattern for each camera device, defect information based on image data output from one camera device determined by the pattern is used as the representative defect information. Configure to include what is to be determined . In the embodiment, this corresponds to the rule shown in FIG.

判断手段は、実施形態では、検出ラック部21に対応している。出力手段は、実施形態では、データ処理部23に対応している。出力する欠陥情報は、実施形態では、検出ラック部21と欠陥処理部22とにより作成される。つまり、欠陥情報抽出手段は、実施形態では、検出ラック部21と欠陥処理部22に対応する。実施形態では、検出ラック部21で一旦画像の切り出しと、それに関連する付属情報(位置情報)の生データを作成し、欠陥処理部22でその生データから人間が見て理解しやすいデータ(加工付属情報)を作成しているが(位置情報の場合は、“パルス値やビット”の生データから、“mやmm”のように直感しやすいデータに変換している)が、本発明ではこのように2つの処理手段で2段階に行うものに限ることはなく、両者の機能を1つの処理手段でまとめて行ったり、直接、追加加工情報を求めたり、逆に、生データのままとしたりするなど、各種の方法が採れる。カメラ装置は、実施形態では、ラインセンサカメラを用いたが、エリアセンサカメラでも良い。また、実施形態は、ロール紙のように幅が広いために、1つのカメラ装置を複数のラインCCDカメラで構成したが、検査対象物の物品の幅と、カメラの視野との関係から単独のカメラで構成してももちろん良い。また、欠陥情報は、実施形態では、画像データとテキスト情報を含んでいるが、いずれか一方でも良い。代表欠陥情報決定手段は、実施形態では、データ処理部23の一機能として実現される。   The determination means corresponds to the detection rack unit 21 in the embodiment. The output means corresponds to the data processing unit 23 in the embodiment. The defect information to be output is created by the detection rack unit 21 and the defect processing unit 22 in the embodiment. That is, the defect information extraction unit corresponds to the detection rack unit 21 and the defect processing unit 22 in the embodiment. In the embodiment, once the image is cut out by the detection rack unit 21 and the raw data of the associated information (position information) is created, the defect processing unit 22 uses the raw data to easily understand the data (processing) (Incidental information) is created (in the case of position information, the raw data of “pulse value and bit” is converted into intuitive data such as “m and mm”). In this way, the processing is not limited to two processing means, but the functions of both are performed together by one processing means, additional processing information is obtained directly, or conversely, raw data is left as it is. Various methods can be taken. In the embodiment, the line sensor camera is used as the camera device, but an area sensor camera may be used. In addition, in the embodiment, since the width is wide like roll paper, one camera device is configured by a plurality of line CCD cameras. However, the single camera device is independent from the relationship between the width of the article to be inspected and the field of view of the camera. Of course, it may be configured with a camera. Further, in the embodiment, the defect information includes image data and text information, but either one may be used. The representative defect information determination means is realized as one function of the data processing unit 23 in the embodiment.

本発明の外観検査装置では、異なるカメラ装置でそれぞれ撮像した画像データ中に検出された物品上に存在する一つの欠陥、つまり同一欠陥のものとみなされる欠陥情報が存在する場合、代表欠陥情報が出力されるようにしたので、1つの欠陥については1つのカメラ装置から得られた欠陥情報が出力されることになり、複数のカメラ装置で撮像された画像データに基づく同一欠陥についての欠陥情報が検出される都度リアルタイムで出力されることがなく、オペレータは、欠陥の発生を適切に認識することができる。なお「同一欠陥」というのは、欠陥属性が共通であるという意味でなく、各検査場所において検出された各欠陥対象が実は物品上においては同一の位置に存在していて、対象としてみると同じ欠陥であるという意味である。   In the appearance inspection apparatus of the present invention, when there is one defect existing on the detected article in the image data captured by different camera devices, that is, defect information that is regarded as the same defect, the representative defect information is Since the defect information obtained from one camera device is output for one defect, defect information for the same defect based on image data captured by a plurality of camera devices is output. Each time it is detected, it is not output in real time, and the operator can appropriately recognize the occurrence of a defect. Note that “the same defect” does not mean that the defect attributes are common, but the defect objects detected at each inspection location are actually present at the same position on the article, and are the same as the object. It means that it is a defect.

(2)前記判断手段で欠陥を検出した場合に、その検出した欠陥の前記物品上の位置を特定する位置情報を検出し、その位置情報に基づいて同一の欠陥について異なるカメラ装置で撮像された欠陥情報を抽出するようにするとよい。異なるカメラ装置で検出されたとしても、同一の欠陥であれば、物品上の位置は同じであるので、係る位置に基づいて同一の欠陥についての欠陥情報を認識することができる。なお、実施形態でも説明するように、検出誤差や物品の伸縮等により前後左右方向にずれることがあるので、一定の許容範囲を設定し、その許容範囲内にあるものは同一の欠陥に基づく欠陥の可能性があるとして各種の処理を行うと良い。 (2) When a defect is detected by the determination means, position information for specifying the position of the detected defect on the article is detected, and the same defect is imaged by different camera devices based on the position information. It is preferable to extract defect information. Even if it is detected by different camera devices, if the defect is the same, the position on the article is the same, so that defect information about the same defect can be recognized based on the position. In addition, as described in the embodiment, since it may be displaced in the front-rear and left-right directions due to detection error or expansion / contraction of the article, a certain allowable range is set, and those within the allowable range are defects based on the same defect It is advisable to perform various processes as there is a possibility.

(3)前記カメラ装置の存在位置から物品の搬送ライン上に設定した仮想検出位置までの当該物品の移動距離であるシフト距離を前記カメラ装置ごとに記憶保持し、前記物品の移動距離を算出する移動距離算出手段を備え、前記判断手段で欠陥を検出した場合に、その検出した欠陥の前記物品上の位置を取得し、前記移動距離算出手段により前記物品の移動距離を求め、その欠陥が検出されたカメラ装置に設定されたシフト距離だけ当該物品が移動したことを契機に、その欠陥についての欠陥情報を出力するタイミングとするとよい。このようにすると、どのカメラ装置で検出された欠陥情報(代表欠陥情報)も、その欠陥が仮想検査位置に至った際に表示されるので、表示順と欠陥の発生(前後方向の位置)順とが一致するとともに、出力するタイミングも物品の前後の距離と対応するので、検査・確認がしやすい。   (3) The shift distance, which is the movement distance of the article from the position where the camera apparatus exists to the virtual detection position set on the article conveyance line, is stored for each camera apparatus, and the movement distance of the article is calculated. When a defect is detected by the determination means, the position of the detected defect on the article is obtained, the movement distance of the article is obtained by the movement distance calculation means, and the defect is detected. When the article has moved by the shift distance set in the camera device, the timing of outputting defect information about the defect may be set. In this way, defect information (representative defect information) detected by any camera device is displayed when the defect reaches the virtual inspection position, so the order of display and the order of occurrence of defects (position in the front-rear direction) And the output timing corresponds to the distance before and after the article, so that inspection and confirmation are easy.

(4)同一の欠陥についての欠陥情報のうち、前記代表欠陥情報のみを表示する統合表示モードと、全ての欠陥情報を表示する表示モードを備えるとよい。このようにすると、表示モードによって、同一の欠陥について異なるカメラ装置で得た全ての欠陥情報を出力したとしても、それらはまとまって表示されるので、オペレータは認識しやすく、しかも、まとまって表示されたものを比較することで、各カメラ装置の設置位置の直前等で行われた工程による状態の変化等も比較・検討することができるので好ましい。   (4) Of the defect information for the same defect, an integrated display mode for displaying only the representative defect information and a display mode for displaying all defect information may be provided. In this way, even if all the defect information obtained by different camera devices for the same defect is output depending on the display mode, they are displayed together, so that the operator can easily recognize and display them together. Compared with each other, it is preferable because a change in state due to a process performed immediately before the installation position of each camera device can be compared and examined.

(5)前記決定ルールは、画像認識して抽出した特徴の種類が同じ場合に、最も大きいものを前記代表欠陥情報に決定するものを含むようにできる。これは、実施形態では、図7で示したルールに対応する。 (5) The determination rule may include a rule that determines the largest defect as the representative defect information when the types of features extracted by image recognition are the same. In the embodiment, this corresponds to the rule shown in FIG.

本発明は、同一の欠陥について複数のカメラで異なるタイミングで検出されることがある検査システムにおいて、表示・出力する欠陥情報を適切に絞り込み、オペレータ(ユーザ)が適切かつ見落とし等することなく欠陥情報を認識し、生産ラインでの不具合等の分析を行うための情報を提供することができる。   In an inspection system in which a plurality of cameras may detect the same defect at different timings, the defect information to be displayed / output is appropriately narrowed down, and the defect information is not appropriately overlooked by an operator (user). Can be provided, and information for analyzing defects on the production line can be provided.

図2は、本発明の好適な一実施形態を示している。本実施形態の外観検査システムは、紙(ロール紙)の生産ラインに組み込まれ、生産ライン上を搬送される被検査対象物である帯状の紙を撮像して得られた画像データに基づいて欠陥(不良)の有無を判断するものである。   FIG. 2 shows a preferred embodiment of the present invention. The appearance inspection system according to the present embodiment is incorporated into a paper (roll paper) production line and has defects based on image data obtained by imaging a strip-shaped paper that is an object to be inspected that is conveyed on the production line. This is to determine the presence or absence of (defect).

具体的には、紙1に正対して、複数のカメラ装置10を設置する。各カメラ装置10は、いずれも複数のラインCCDカメラ11を横一列に配置したカメラの集合体で構成される。それら1つのカメラ装置10に実装される複数個のラインCCDカメラ11は、同一ライン上、つまり、紙1を進行方向と直交する(幅方向に横断する)一直線上を検出するように配置される。   Specifically, a plurality of camera devices 10 are installed facing the paper 1. Each of the camera devices 10 is composed of a camera assembly in which a plurality of line CCD cameras 11 are arranged in a horizontal row. A plurality of line CCD cameras 11 mounted on the one camera device 10 are arranged so as to detect on the same line, that is, on a straight line perpendicular to the traveling direction (crossing in the width direction) of the paper 1. .

また、図では、便宜上、カメラ装置10を等間隔に3個設け、それぞれが紙1の同一面側に配置するようにしたが、実際には、紙1の表面や裏面の外観を検出すべく、異なる面に配置することもあるし、配置間隔は各工程を行う装置の配置レイアウトに応じて適宜異なる。つまり、ロール紙の生産ラインは、例えば、不純物を取り除き、漂白して煮溶かした液体(チップ(繊維))を網の上に乗せるとともに絞って水分を除去するワイヤーパート→その網に乗せたまま更に圧縮して平坦にするプレスパート→紙を乾燥させるドライヤーパート→乾燥させた紙の表面に対してコーティング等の表面加工処理を行う工程→厚みを整える工程→帯状に連続して搬送されてくる紙を巻き取る工程等、複数の工程を順次実行するもので、各工程を行うための処理装置が生産工場内の各所に配置される。その全長は、100m以上になることもあり、上記のカメラ装置10は、所定の処理装置の下流側に配置される。そして、カメラ装置10は、設置した位置において、検出したい欠陥の種類等に適した画像データを得るため、透過光或いは反射光を検出したり、光量その他のパラメータが調整されている。   Further, in the figure, for convenience, three camera devices 10 are provided at equal intervals and are arranged on the same surface side of the paper 1, but in reality, the appearance of the front surface and the back surface of the paper 1 should be detected. In some cases, they may be arranged on different planes, and the arrangement interval differs appropriately depending on the arrangement layout of the apparatus performing each step. In other words, the roll paper production line, for example, removes impurities, puts the bleached and boiled liquid (chips (fibers)) on the net and squeezes it to remove moisture → remains on the net Press part to further compress and flatten → Dryer part to dry paper → Process to perform surface treatment such as coating on the surface of dried paper → Process to adjust thickness → Continuously transported in a strip shape A plurality of processes such as a paper winding process are sequentially performed, and processing devices for performing each process are arranged at various locations in the production factory. The total length may be 100 m or more, and the camera device 10 is disposed on the downstream side of a predetermined processing device. The camera device 10 detects transmitted light or reflected light and adjusts the amount of light and other parameters in order to obtain image data suitable for the type of defect desired to be detected at the installed position.

各カメラ装置10(ラインCCDカメラ11)の出力は、リアルタイムで順次画像認識処理装置20に与えられる。画像認識処理装置20は、パーソナルコンピュータ或いは専用の装置等で構成され、検出ラック部21と、欠陥処理部22と、データ処理部23と、を備えている。各カメラ装置10から1ラインずつ送られる画像データは、検出ラック部21に与えられる。この検出ラック部21は、生産ラインを構成する紙1を搬送する搬送装置の駆動系に接続されたエンコーダからのパルス出力も与えられる。画像認識処理装置20は、パルスの1周期で進む紙1の距離を初期データとして持っており、その距離とパルス数を乗算することで、カメラ装置10で撮像した画像データ(ライン)の位置、つまり、任意の検査開始位置からの撮像した画像データまでの距離を求めることができる。   The output of each camera device 10 (line CCD camera 11) is sequentially supplied to the image recognition processing device 20 in real time. The image recognition processing device 20 is configured by a personal computer or a dedicated device, and includes a detection rack unit 21, a defect processing unit 22, and a data processing unit 23. Image data sent line by line from each camera apparatus 10 is given to the detection rack unit 21. The detection rack unit 21 is also supplied with a pulse output from an encoder connected to a drive system of a transport device that transports the paper 1 constituting the production line. The image recognition processing device 20 has, as initial data, the distance of the paper 1 that travels in one pulse cycle, and by multiplying the distance by the number of pulses, the position of the image data (line) imaged by the camera device 10, That is, the distance from the arbitrary inspection start position to the captured image data can be obtained.

検出ラック部21は、各カメラ装置10から時々刻々と入力される1ライン毎の画像データを一時記憶メモリに格納するとともに、nライン分の画像データを読み出し、所定の寸法の2次平面画像データからなる認識対象画像を生成し、その認識対象画像に対して画像認識処理を行い、異物不着・孔空き等の欠陥の有無を判断する。そして、欠陥を検出した場合には、その欠陥を含む所定の大きさ(例えば256×256)の画像データを切り出すと共に、その切り出した画像データとその欠陥についての付属情報を関連付けて欠陥処理部22に渡す。欠陥の有無を認識するための画像認識処理アルゴリズムは、特許文献1に記載のものや、その他の各種のアルゴリズムを用いることができる。   The detection rack unit 21 stores image data for each line input from the camera device 10 every moment in a temporary storage memory, reads out image data for n lines, and obtains secondary plane image data having a predetermined size. A recognition target image is generated, image recognition processing is performed on the recognition target image, and the presence / absence of defects such as foreign matter non-adherence and perforation is determined. When a defect is detected, image data of a predetermined size (for example, 256 × 256) including the defect is cut out, and the defect processing unit 22 associates the cut-out image data with the attached information about the defect. To pass. As an image recognition processing algorithm for recognizing the presence or absence of a defect, the one described in Patent Document 1 and other various algorithms can be used.

検出ラック部21は、検出した欠陥を特定するための付属情報として、その存在位置のパルス値(エンコーダから取得)と、視野内の位置(紙の一方の側縁からの位置(nビット):紙の一方の側縁から各ラインCCDカメラ11の一方の端までの距離は既知であるので、係る距離に撮像したラインCCDカメラ11における端からの欠陥の位置を加算して求める)と、欠陥の幅及び長さ(前後方向)と、カメラを特定するカメラNo(ビームNo)と、欠陥の特徴としての明暗情報(“明るい/暗い”+程度等)等を求める。この求めた付属情報は、図3に示すようなデータ構造のテーブルとして欠陥処理部22へ渡される。なお、係る付属情報の算出(抽出)処理は、従来と同様の処理で実現できる。   The detection rack unit 21 includes, as attached information for identifying the detected defect, a pulse value of the existing position (obtained from the encoder) and a position in the field of view (position from one side edge of the paper (n bits): Since the distance from one side edge of the paper to one end of each line CCD camera 11 is known, it is obtained by adding the position of the defect from the end of the imaged line CCD camera 11 to the distance) Width and length (front-rear direction), camera No. (beam No.) for identifying the camera, light / dark information (such as “bright / dark” + degree) as a feature of the defect, and the like. The obtained accessory information is transferred to the defect processing unit 22 as a table having a data structure as shown in FIG. Note that the attached information calculation (extraction) process can be realized by a process similar to the conventional one.

また、ラインCCDカメラ11は、1ライン毎に画像データを取得するものであるので、上述したように2次元の認識対象画像を生成するためには、複数ライン分の画像データをまとめて読み出す必要がある。そこで、例えば、ラインCCDカメラ11分のリングバッファを用意し、各ラインCCDカメラ11から送られてくる画像データを対応するリングバッファに振り分けて格納し、各リングバッファから所定ライン分を読み出すことで対応できる。   Further, since the line CCD camera 11 acquires image data for each line, in order to generate a two-dimensional recognition target image as described above, it is necessary to read out image data for a plurality of lines collectively. There is. Therefore, for example, a ring buffer for the line CCD camera 11 is prepared, the image data sent from each line CCD camera 11 is distributed and stored in the corresponding ring buffer, and a predetermined line is read from each ring buffer. Yes.

欠陥処理部22は、検出ラック部21から送られてきた欠陥についての付属情報から、人間(オペレータ)が認識できるデータに加工し、求めた加工付属情報をデータ処理部23に送る。加工付属情報のデータ構造は、例えば、欠陥位置を特定する前後方向の位置(巻長さデータ)及び紙の一方側縁からの距離データ(FR距離)と、欠陥の寸法を特定する欠陥幅及び欠陥長さと、カメラNoと、明暗情報等がある。長さに関するデータは、検出ラック部21で作成したものは、生データであるのでその単位がビット数やパルス数などであったが、この欠陥処理部22では、m,mm等の人が容易に認識できる単位に変換している。具体的には、エンコーダから出力されるパルスの1周期で進む紙1の距離を初期データとして持っており、任意の検査開始位置からのパルス数から、現在の紙の長さ方向の位置を求めることができる。そこで、欠陥処理部22は、パルス値に1パルス当たりの移動長さを乗算することで、欠陥が生じている位置の紙1の検査開始位置からの距離(巻長さ)を求めることができる。また、画素数・ビット数で特定していた欠陥位置や、欠陥の大きさは、1画素,1ビット当たりの長さ(mm)を知っているので、検出ラック部21から生データから、単位換算をしてm或いはmmを単位とした数値に変換する。これにより、例えば図4に示すようなデータ構造からなる加工付属情報を生成し、記憶装置31に格納する。なお、係る加工付属情報の算出(抽出)処理は、従来と同様の処理で実現できる。記憶装置31に格納する加工(修正)付属情報は、検出された順にレコード番号(図では、左端に記載)が付与され、その順に格納される。   The defect processing unit 22 processes the attached information about the defect sent from the detection rack unit 21 into data that can be recognized by a human (operator), and sends the obtained processing attached information to the data processing unit 23. The data structure of the processing attachment information includes, for example, a position in the front-rear direction (winding length data) that specifies the defect position, distance data from one side edge of the paper (FR distance), a defect width that specifies the dimension of the defect, and There are defect length, camera No., brightness information, and the like. The data related to the length is generated by the detection rack unit 21 because it is raw data, and its unit is the number of bits, the number of pulses, etc. However, in this defect processing unit 22, people such as m and mm are easy. It is converted to a unit that can be recognized. Specifically, the initial data includes the distance of the paper 1 that travels in one cycle of the pulses output from the encoder, and the current position in the length direction of the paper is obtained from the number of pulses from the arbitrary inspection start position. be able to. Therefore, the defect processing unit 22 can obtain the distance (winding length) from the inspection start position of the paper 1 at the position where the defect occurs by multiplying the pulse value by the movement length per pulse. . Further, since the defect position specified by the number of pixels and the number of bits and the size of the defect know the length (mm) per pixel and 1 bit, the unit from the raw data from the detection rack unit 21 is known. Convert to a numerical value in units of m or mm. Thereby, for example, processing attached information having a data structure as shown in FIG. 4 is generated and stored in the storage device 31. The processing ancillary information calculation (extraction) process can be realized by a process similar to the conventional process. The processing (correction) attached information stored in the storage device 31 is assigned a record number (described at the left end in the figure) in the order of detection, and stored in that order.

データ処理部23は、欠陥処理部22で作成され、記憶装置31に格納された画像データ(欠陥を含む切り出しデータ)と、加工付属情報に基づき、所定の条件に合致する情報(画像/テキスト)を表示装置30に出力する。表示装置30の表示画面に表示する欠陥情報(画像データ+テキストデータ)のレイアウトは、従来と同様に図1に示すものを用いることができる。   The data processing unit 23 is information (image / text) that matches a predetermined condition based on the image data (cut-out data including the defect) created by the defect processing unit 22 and stored in the storage device 31 and the processing attached information. Is output to the display device 30. The layout of defect information (image data + text data) displayed on the display screen of the display device 30 can be the one shown in FIG.

本実施形態では、データ処理部23は、被検査物体上の同一位置に存在する欠陥について異なるラインCCDカメラ11で撮像した画像データに基づいて検出された欠陥情報を表示装置30に表示するタイミングを同じにするように制御する。すなわち、図5に示すように、紙1の搬送ラインの任意の地点(最終のカメラ装置10(リニアCCDカメラ11)の後方所定位置に仮想検査点を設定する。生産ライン上における各カメラ装置10の設置位置は既知であるので、それぞれのカメラ装置10から仮想検査点までの移動距離を求め、それぞれを対応するカメラ装置10に関するシフト距離とする。   In the present embodiment, the data processing unit 23 displays the timing at which the defect information detected based on the image data captured by different line CCD cameras 11 on the display device 30 for the defects existing at the same position on the object to be inspected. Control to be the same. That is, as shown in FIG. 5, a virtual inspection point is set at an arbitrary point on the transport line of the paper 1 (a predetermined position behind the final camera device 10 (linear CCD camera 11). Each camera device 10 on the production line. Since the installation positions of the camera devices 10 are known, the movement distances from the respective camera devices 10 to the virtual inspection points are obtained, and the shift distances for the corresponding camera devices 10 are obtained.

画像認識処理装置20は、生産ラインを構成する紙1を搬送する搬送装置の駆動系に接続されたエンコーダからのパルス出力をカウントすることで、紙1の移動距離を算出することができる。つまり、上述したように、画像認識処理装置20は、パルスの1周期で進む紙1の距離(基準距離)を初期データとして持っているので、各シフト距離を基準距離で除算した値が、シフト距離だけ移動した場合に出力されるパルスの総数となる。そこで、欠陥が検出された場合、その検出されてから出力されるパルスをカウントし、その総数が対応するシフト距離に応じた値になったならば、その検出された欠陥の欠陥情報(テキスト,画像)を出力する。これにより、異なるカメラ装置10で撮像した画像データ中に存在する同一の欠陥は、その欠陥の紙1における位置は同じであるので、その欠陥が仮想検査位置に至ったときに、各カメラ装置10で撮像した画像データ中に存在する欠陥に基づく欠陥情報が、表示装置に出力される。   The image recognition processing device 20 can calculate the moving distance of the paper 1 by counting the pulse output from the encoder connected to the drive system of the transport device that transports the paper 1 constituting the production line. That is, as described above, since the image recognition processing device 20 has the distance (reference distance) of the paper 1 that advances in one cycle of the pulse as initial data, the value obtained by dividing each shift distance by the reference distance is the shift value. This is the total number of pulses that are output when moving by a distance. Therefore, when a defect is detected, the pulses output after the detection are counted, and if the total number becomes a value corresponding to the corresponding shift distance, the defect information (text, Image). As a result, the same defect existing in the image data captured by the different camera devices 10 has the same position on the paper 1, and therefore when each defect reaches the virtual inspection position, each camera device 10. The defect information based on the defects present in the image data picked up in is output to the display device.

このシフト距離を用いたデータを出力するタイミングの補正制御は、検出ラック部21,欠陥処理部22,データ処理部23のいずれで行っても良い。仮に検出ラック部21で行った場合には、欠陥処理部22,データ処理部23では、受け取ったデータはすでにシフト距離の補正がすんでいるので、受け取った順に上記の各処理部で行う機能に従いデータを処理すればよい。これにより、たとえば検出ラック部21でシフト距離の補正を行った場合、すでに説明したが、検出ラック部21からは、図3に示すような順で欠陥処理部22へ欠陥情報が渡される。また、欠陥処理部22からは、図4に示すような順でデータ処理部23へ加工された欠陥情報が渡される。   The correction control of the timing for outputting data using the shift distance may be performed by any of the detection rack unit 21, the defect processing unit 22, and the data processing unit 23. If it is performed in the detection rack unit 21, the defect processing unit 22 and the data processing unit 23 have already received the shift distance correction for the received data. Can be processed. Thereby, for example, when the shift distance is corrected by the detection rack unit 21, as already described, defect information is passed from the detection rack unit 21 to the defect processing unit 22 in the order shown in FIG. Further, the defect information processed by the defect processing unit 22 is transferred to the data processing unit 23 in the order shown in FIG.

このとき、欠陥発生距離が9500カウント地点(巻長さ950m:以下、カウント地点のみを表記)で発生した欠陥は、1番目のカメラ装置(ビームNo.1)10内の端から2番目のリニアCCDカメラ11,2番目のカメラ装置(ビームNo.2)10内の端から2番目のリニアCCDカメラ11,3番目のカメラ装置(ビームNo.3)10内の端から2番目のリニアCCDカメラ11でそれぞれ撮像した画像データから抽出され、その抽出された欠陥の欠陥情報が、連続して記録されている。そして、紙1において上記の欠陥(9500カウント地点)の次に出現する欠陥(9510カウント地点)は、1番目のカメラ装置(ビームNo.1)10内の端から2番目のリニアCCDカメラ11のみで検出されている。すなわち、各カメラ装置10で検出された順にデータが記録され、最終的にその検出された順に表示装置30に表示されるので、1番目のカメラ装置10で9500カウント地点の欠陥が検出された後は、その欠陥が2番目のカメラ装置10で検出されるよりも先に9510カウント地点の欠陥が1番目のカメラ装置10で検出されることになる。従って、従来方式であれば、検出された順となるので、図3,図4のレコード番号(図の左端の欄の番号)でいうと、1→4→2→3→5の順番で処理され、最終的に表示されることになる。そして、実際には、上記の同一の欠陥についての欠陥情報であるレコード番号1番と2番の間に多数の別の欠陥情報が出現し、同一画面上に同時に表示される可能性は少ないと共に、仮に同時に表示されたとしても、リアルタイムでは多数の欠陥情報が表示された状態では、同一の欠陥に基づく欠陥情報であることを認識することは困難である。   At this time, the defect occurring at a defect occurrence distance of 9500 count points (winding length 950 m: hereinafter, only the count point is indicated) is the second linear from the end in the first camera device (beam No. 1) 10. CCD camera 11, second linear CCD camera 11 from the end in the second camera device (Beam No. 2) 10, second linear CCD camera from the end in the third camera device (Beam No. 3) 10 11 is extracted from the image data captured respectively, and defect information of the extracted defects is continuously recorded. The defect (9510 count point) that appears next to the above defect (9500 count point) on the paper 1 is only the second linear CCD camera 11 from the end in the first camera device (beam No. 1) 10. Has been detected. That is, since data is recorded in the order detected by each camera device 10 and finally displayed on the display device 30 in the order detected, after the first camera device 10 detects a defect at 9500 count points, The defect at the 9510 count point is detected by the first camera device 10 before the defect is detected by the second camera device 10. Therefore, in the case of the conventional method, the order of detection is the order of detection, so in terms of record numbers in FIGS. 3 and 4 (numbers in the leftmost column of the figure), processing is performed in the order of 1 → 4 → 2 → 3 → 5. Will eventually be displayed. Actually, a lot of other defect information appears between the record numbers 1 and 2, which are defect information about the same defect, and it is unlikely to be displayed on the same screen at the same time. Even if they are simultaneously displayed, it is difficult to recognize that the defect information is based on the same defect in a state where a lot of defect information is displayed in real time.

これに対し、同じ欠陥については、シフト距離の補正を行うことで、表示装置30に表示するタイミングが同じ(ほぼ同時)になるので、仮に、同じ欠陥が複数のカメラ装置10で検出された場合には、欠陥情報のうちテキスト情報からなる加工付属情報は図4に示すように連続して上下に並んだ状態で出力されることになり、また、本実施形態では、画像データは、最新の3個が表示されることから、あるタイミングでは、同じ欠陥について各カメラ装置10で撮像した画像データが3個同時に表示されることになる。   On the other hand, for the same defect, the correction of the shift distance results in the same (substantially simultaneous) timing for display on the display device 30. Therefore, if the same defect is detected by a plurality of camera devices 10 In the present embodiment, the processing attached information consisting of text information among the defect information is output in a state of being continuously arranged vertically as shown in FIG. 4, and in this embodiment, the image data is the latest Since three are displayed, at a certain timing, three pieces of image data captured by each camera device 10 for the same defect are displayed simultaneously.

さらに、本実施形態では、上記の検出された全ての欠陥情報を表示する標準表示モードに加え、同一の欠陥についての欠陥情報は統合・合成し、代表する1つの欠陥情報を表示し、他の欠陥情報は非表示にする統合表示モードを用意した。これにより、1つの欠陥が複数のカメラ装置で撮像されて検出された場合、そのうちの1つのカメラ装置10で撮像して得られた画像データに基づく欠陥情報のみが表示されることになるので、表示装置30には、1つの欠陥に対しては1つの欠陥情報のみ出力表示され、情報が必要以上に多数出力されてしまうことが抑制されると共に、表示する欠陥情報がその欠陥を代表する(わかりやすい)ものとすることで、より適切な情報のみが出力表示されることになるので、オペレータが適切かつ見落としすることなく欠陥情報を認識し、生産ラインでの不具合等の分析を行うことができる。   Furthermore, in this embodiment, in addition to the standard display mode for displaying all the detected defect information, defect information for the same defect is integrated and combined, one representative defect information is displayed, and the other defect information is displayed. An integrated display mode is provided to hide defect information. Thereby, when one defect is imaged and detected by a plurality of camera devices, only defect information based on image data obtained by imaging with one camera device 10 among them is displayed. On the display device 30, only one piece of defect information is output and displayed for one defect, and it is suppressed that information is output more than necessary, and the displayed defect information represents the defect ( By making it easy to understand, only more appropriate information will be output and displayed, so the operator can recognize defect information properly and without oversight, and analyze defects on the production line, etc. .

データ処理部23は、あらかじめ記憶している決定ルールに従い、同一の欠陥に基づく欠陥情報を抽出し、そのうちの1つを代表に決定し、表示装置30に出力する機能を持つ。また、データ処理部23は、そのように代表に決定した欠陥情報に対し、フラグ等を付けて記憶装置31に格納する機能を備えても良い。具体的な決定ルールの一例としては、以下のものを用いることができる。   The data processing unit 23 has a function of extracting defect information based on the same defect in accordance with a determination rule stored in advance, determining one of them as a representative, and outputting it to the display device 30. Further, the data processing unit 23 may have a function of adding a flag or the like to the defect information determined as a representative and storing the defect information in the storage device 31. As an example of a specific decision rule, the following can be used.

すなわち、それぞれのカメラ装置10で発生・抽出した欠陥情報は、検出光源・方式(反射・透過)等の相違から、たとえ欠陥の状態に変化がない(欠陥の種類が“穴あき”で、その穴の径が一定)場合でも、出力される欠陥情報が相違することが多々あり、一目では同じ欠陥についてのものであることが理解しにくいこともある。たとえば、紙1に“穴”があいた欠陥が搬送されてきた場合、透過式で撮像するカメラ装置の場合、“穴”の部分が明るくなるので“明欠陥”として検出され、逆に反射式で撮像するカメラ装置の場合、“穴”の部分は暗くなるので“暗欠陥”として検出される。そこで、たとえば、図6中のパターン1の決定ルールとして示すように、第1ビームのカメラ装置10が反射式で、第2ビームのカメラ装置10が透過式とした場合、被検査物体上の同一地点(紙1の搬送方向の位置であるカウント地点(巻長さ)が同じで、幅方向の端からの距離も同じであり、物体上の同じ位置に存在するとみなせるもの)について図示するように、第1ビームの明暗の極性が“暗大”で第2ビームの極性が“明大”とすると、欠陥種が“穴”で同じ欠陥についてのもの欠陥情報であると推定できるので、両者を統合・合成し、代表する欠陥情報は、第2ビームから抽出した情報(テキスト・画像)を表示する。両者は、明欠陥と暗欠陥の関係が穴欠陥についてのものと一致し、その大きさもほぼ一致しているので、同一の欠陥についてのものと推定できる。そして、表示する欠陥情報は、特に画像データについては、明欠陥の方が見やすいことから、第2ビームのものを採用するようにした。   That is, the defect information generated / extracted by each camera device 10 is not changed in the defect state (difference type is “perforated” due to differences in detection light source / method (reflection / transmission), etc. Even when the hole diameter is constant, the output defect information is often different, and it may be difficult to understand at a glance that the defect is about the same defect. For example, when a defect having a “hole” in the paper 1 is conveyed, in the case of a camera device that captures images with a transmission type, the “hole” portion is brightened so that it is detected as a “bright defect”. In the case of a camera device that captures an image, the “hole” portion is darkened and thus detected as a “dark defect”. Therefore, for example, when the first beam camera device 10 is a reflection type and the second beam camera device 10 is a transmission type, as shown as the determination rule of the pattern 1 in FIG. As shown in the figure, the point (the count point (winding length) that is the position in the transport direction of the paper 1 is the same, the distance from the end in the width direction is the same, and can be regarded as being at the same position on the object) If the first beam's light / dark polarity is “dark” and the second beam's polarity is “bright”, it can be estimated that the defect type is “hole” and the defect information is for the same defect. As the defect information that is integrated and synthesized and is representative, information (text / image) extracted from the second beam is displayed. In both cases, the relationship between the bright defect and the dark defect is the same as that for the hole defect, and the sizes are almost the same. The defect information to be displayed is the second beam, particularly for image data, since bright defects are easier to see.

なお、たとえば、紙の表面に付着した汚れの場合、その汚れの材質・色等にもよるが、反射式の場合には明欠陥として検出でき、透過式の場合には通常検出されない。また、同一地点として検出された欠陥であっても、たとえば、検出精度による誤差や、紙1の伸縮等の要因から前後左右方向でずれを生じることがあり、異なる欠陥に基づく欠陥情報が同一地点となることがある。しかし、係る場合には、たとえば、第2ビームで検出された欠陥が“穴欠陥”に基づくものであると明欠陥(明大)となり、第1ビームで検出された欠陥が“汚れ欠陥”に基づくものであると明欠陥(明大)となり、パターン1と一致しないので、統合・合成されずにそれぞれの欠陥情報が出力される。   For example, in the case of dirt attached to the surface of the paper, depending on the material and color of the dirt, it can be detected as a bright defect in the reflection type and is not usually detected in the transmission type. In addition, even if the defect is detected as the same spot, for example, there may be a deviation in the front / rear / left / right direction due to an error due to detection accuracy or a factor such as expansion / contraction of the paper 1, and defect information based on different defects is the same spot. It may become. However, in such a case, for example, if the defect detected by the second beam is based on a “hole defect”, it becomes a bright defect (Meiji University), and the defect detected by the first beam becomes a “dirt defect”. If it is based, it becomes a bright defect (brightness) and does not coincide with the pattern 1, so that each defect information is output without being integrated and synthesized.

また、このように同一地点と算出された欠陥同士が実際には異なる場合があるので、換言すると、シフト距離補正を行って同一地点とされなかった欠陥情報同士が実際には同じ欠陥についてのもの場合もある。そこで、好ましくは、パターンに一致するか否かを検証する対象として、第1優先としては同一地点と算出されたもの同士を比較するが、合わせて、前後左右方向に一定の許容誤差を設定し、その設定誤差範囲内に存在するものと同士を比較し、決定ルールのパターンに一致するものがある場合には、その一致する組み合わせのものが同一の欠陥に基づくものとして統合し、ルールに従っていずれか1つを代表として選択するとよい。このとき、一致する組み合わせとして複数の組み合わせが存在する場合には、たとえば、位置ずれの距離が最も短い組み合わせを選択すると良い。なお、前後方向と左右方向の許容誤差は、等しくても良いが、前後方向の方がずれる可能性が高いので前後方向の許容範囲を長くすると良い。   In addition, since the defect calculated in the same point may be different from each other in this way, in other words, the defect information that is not made the same point by performing the shift distance correction is actually the same defect. In some cases. Therefore, preferably, as a target for verifying whether or not it matches with the pattern, the first priority is compared with those calculated at the same point, but in addition, a certain allowable error is set in the front-rear and left-right directions. Compared with those that exist within the set error range, and if there is a match with the decision rule pattern, the matching combination is integrated as being based on the same defect and One of them may be selected as a representative. At this time, if there are a plurality of combinations as matching combinations, for example, a combination with the shortest distance of positional deviation may be selected. The allowable error in the front-rear direction and the left-right direction may be the same, but since the possibility of deviation in the front-rear direction is high, the allowable range in the front-rear direction is preferably increased.

また、別のパターンとしては、たとえば図6のパターン32として示したように、第1ビームの明暗の極性が“暗小”で第2ビームの極性が“明大”とすると、欠陥種が“穴”で同じ欠陥についてのもの欠陥情報であると推定でき、第1ビームが上流側に位置している場合には、穴の径が広がったと考えられるのでるので、やはり、上記のパターン1の場合と同様に同一の欠陥についてのものと推定でき、ここでも、画像として見やすい明欠陥である第2ビームの欠陥情報を代表として決定する。   As another pattern, for example, as shown as a pattern 32 in FIG. 6, if the first beam has a light / dark polarity of “dark” and the second beam has a “bright” polarity, the defect type is “ It can be presumed that the defect information is for the same defect in the “hole”, and when the first beam is located on the upstream side, it is considered that the diameter of the hole has increased, so that the pattern 1 described above Similarly to the case, it can be estimated that the defect is about the same defect, and here, the defect information of the second beam, which is a bright defect that is easy to see as an image, is determined as a representative.

もちろん、大きさは、実際の欠陥の大きさにある程度対応するものの、反射に基づいて得られた画像データと透過に基づいて得られた画像データで、その抽出される大きさが異なることがあると共に、そのときの光量や周囲の明るさや画像処理等の要因から実際の大きさに完全に比例するものではない。そこで、係る点も考慮して、決定ルールを設定する。また、例示した2つのパターンは、2つのビームの組み合わせについて示したが、3つ以上のビームの組み合わせももちろん存在する。   Of course, the size corresponds to the size of the actual defect to some extent, but the extracted size may differ between the image data obtained based on reflection and the image data obtained based on transmission. At the same time, it is not completely proportional to the actual size because of factors such as the amount of light, ambient brightness, and image processing. Therefore, a decision rule is set in consideration of such points. In addition, although the two illustrated patterns are shown for a combination of two beams, there are of course combinations of three or more beams.

また、決定ルールとしては、図6に示したものに限ることはなく、たとえば、シフト距離補正を行い同一地点(上述した前後・左右方向の許容範囲を含む)にある欠陥情報について、同一極性(明欠陥同士,暗欠陥同士)の組み合わせについて、大きい1つを優先して選択するようにしている。これは、特に比較対象のカメラ装置が同じ方式で画像データを撮像する場合に適する。そして、大きいものを選択することで、より欠陥の特徴が現れており、画像データとして表示した場合に見やすいものを代表に決定することで、オペレータが監視・確認を容易に行える。   Further, the decision rule is not limited to that shown in FIG. 6. For example, the defect information at the same point (including the above-described front and rear and left and right tolerances) is corrected and the same polarity ( For the combination of bright defects and dark defects, the larger one is preferentially selected. This is particularly suitable when the camera device to be compared captures image data using the same method. Then, by selecting a larger one, the feature of the defect appears more, and when it is displayed as image data, the one that is easy to see is determined as a representative so that the operator can easily monitor and confirm.

一例を示すと、たとえば図7に示すように、第1,第2ビームが共に明欠陥で、第1ビームが明大であれば、第1ビームを代表に決定する。また、第1,第2ビームが共に暗欠陥で、第2ビームが暗大であれば、第2ビームを代表に決定する。これに対し、第1ビームと第2ビームの欠陥の極性が異なる(不一致)場合には、合成せず、それぞれのビームで検出された欠陥情報をそれぞれ表示する。もちろん、図では2つのビームを例に示したが、実施形態でも示すように、3つ以上の場合も同様のルールに従って代表の欠陥情報を決定することができる。また、最も大きいものが複数存在した場合には、予め決めたルール(たとえば最も下流側に位置するもの)に従って、代表のものを決定する。   As an example, as shown in FIG. 7, for example, if the first and second beams are both bright defects and the first beam is bright, the first beam is determined as a representative. If both the first and second beams are dark defects and the second beam is dark, the second beam is determined as a representative. On the other hand, when the polarities of the defects of the first beam and the second beam are different (mismatch), the defect information detected for each beam is displayed without being synthesized. Of course, in the figure, two beams are shown as an example, but as shown in the embodiment, representative defect information can be determined according to the same rule in the case of three or more beams. When there are a plurality of the largest ones, the representative one is determined according to a predetermined rule (for example, the one located most downstream).

上記の決定ルールに従って、図4に示す5つの欠陥情報を統合表示モードで出力するようにした場合、図7に示すルールが適用され、レコードNo.1から3の3つが同じ欠陥に基づくもので、同じ暗欠陥で大きさが最も大きいレコードNo3の欠陥情報が代表に決定される。その結果、図8に示すように、レコードNo.1,2は表示されず、レコードNo3の欠陥情報が表示されることになる。また、レコードNo.4,5は、同一の欠陥とみなせるものがないので、そのまま表示される。   When the five pieces of defect information shown in FIG. 4 are output in the integrated display mode in accordance with the determination rule, the rule shown in FIG. Three of 1 to 3 are based on the same defect, and the defect information of the record No. 3 having the same dark defect and the largest size is determined as a representative. As a result, as shown in FIG. 1 and 2 are not displayed, and the defect information of record No. 3 is displayed. In addition, record No. 4 and 5 are displayed as they are because there is nothing that can be regarded as the same defect.

なお、データ処理部23は、統合表示モードが選択された場合には、上述した決定ルールに従って、表示すべき代表となる欠陥情報を決定し表示するが、係る決定ルールは、基準として予め登録されているようにしても良いし、ユーザが使用状況に応じて登録するようにしても良い。これらの決定ルールは、画像認識処理装置10を構成するパソコンの内部・外部記憶装置に格納され、使用に際し呼び出されるようにすることができる。また、標準表示モードと統合表示モードの切り替えは、画像認識処理装置10を構成するパソコンの入力装置を介して与えられる指示に従って、データ処理部23が適宜のタイミングで行うことになる。   In addition, when the integrated display mode is selected, the data processing unit 23 determines and displays defect information as a representative to be displayed in accordance with the determination rule described above, but the determination rule is registered in advance as a reference. The user may be registered according to the usage status. These decision rules can be stored in an internal / external storage device of a personal computer constituting the image recognition processing apparatus 10 and called up when used. Further, switching between the standard display mode and the integrated display mode is performed by the data processing unit 23 at an appropriate timing in accordance with an instruction given via an input device of a personal computer constituting the image recognition processing device 10.

このように、本実施形態では、統合表示モードを利用することで、1つの欠陥については1つの欠陥情報を表示し、しかも、代表となって表示される欠陥情報は認識しやすいものとすることで、オペレータが、欠陥の発生を見逃す可能性を可及的に抑制し、生産への影響を確認できる。紙の生産において不良欠陥による紙切れは大きな生産ロスにつながるが、本実施形態の統合表示モードによる表示を活用することで生産の上流側へフィードバックするアクションを迅速に行うことができ、品質管理及び生産の効率化に役立つことができる。   As described above, in this embodiment, by using the integrated display mode, one defect information is displayed for one defect, and the defect information displayed as a representative is easily recognized. Thus, it is possible to suppress the possibility that the operator misses the occurrence of the defect as much as possible and to confirm the influence on the production. Out of paper due to defective defects in paper production leads to a large production loss, but by using the display in the integrated display mode of this embodiment, the action of feeding back to the upstream side of production can be performed quickly, quality control and production Can help improve efficiency.

なお、上述した実施形態では、明欠陥と暗欠陥について示したが、欠陥の特徴として現れる要素(種類)はこれに限ることはなく、たとえば、濃淡であったり、色であったり、その他各種のものが適用することができ、さらにそれら複数種のものを適宜組み合わせる(明暗と濃淡の組み合わせ等)こともできる。   In the above-described embodiment, the bright defect and the dark defect are shown. However, the element (type) appearing as the defect feature is not limited to this, and for example, it is a shade, a color, and other various types. Those can be applied, and a plurality of them can be combined as appropriate (a combination of light and dark and light and shade).

上述した実施形態の各処理部(検査ラック部21,欠陥処理部22,データ処理部23)は、ハードウェアとして実現することもできるし、ソフトウェア(アプリケーションプログラム)として実現することもできる。   Each processing unit (the inspection rack unit 21, the defect processing unit 22, and the data processing unit 23) of the above-described embodiment can be realized as hardware or can be realized as software (application program).

欠陥情報の表示レイアウトの一例を示す図である。It is a figure which shows an example of the display layout of defect information. 本発明の好適な一実施形態を示す図である。It is a figure which shows suitable one Embodiment of this invention. 検出ラック部で生成される付属情報のデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of the attached information produced | generated in a detection rack part. 欠陥処理部で生成される加工付属情報のデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of the process attachment information produced | generated in a defect process part. 欠陥情報の表示タイミングを説明する図である。It is a figure explaining the display timing of defect information. 表示する代表の欠陥情報を決定する決定ルールの一例を示す図である。It is a figure which shows an example of the determination rule which determines the representative defect information to display. 表示する代表の欠陥情報を決定する決定ルールの一例を示す図である。It is a figure which shows an example of the determination rule which determines the representative defect information to display. 欠陥情報の表示例を示す図である。It is a figure which shows the example of a display of defect information.

符号の説明Explanation of symbols

10 カメラ装置
11 ラインCCDカメラ
20 画像認識処理装置
21 検出ラック部
22 欠陥処理部
23 データ処理部
30 表示装置
31 記憶装置
DESCRIPTION OF SYMBOLS 10 Camera apparatus 11 Line CCD camera 20 Image recognition processing apparatus 21 Detection rack part 22 Defect processing part 23 Data processing part 30 Display apparatus 31 Memory | storage device

Claims (5)

シート状の物品の外観検査装置であって、
前記物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段と、
その判断手段で欠陥を検出した場合に、その欠陥を表す欠陥情報を抽出する欠陥情報抽出手段と、
その欠陥情報抽出手段で抽出された異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を比較し、決定ルールに従って決定された前記異なるカメラ装置のうちの1つのカメラ装置で撮像された画像データに基づき抽出した欠陥情報を代表欠陥情報として決定する代表欠陥情報決定手段と、
その代表欠陥情報決定手段で決定された前記代表欠陥情報を表示装置に出力する出力手段と、
を備え、
前記決定ルールは、各カメラ装置から出力された画像データに対して画像認識して抽出された特徴の種類が、カメラ装置ごとに予め決めたパターンと一致した場合に、そのパターンで決められた1つのカメラ装置から出力された画像データに基づく欠陥情報を前記代表欠陥情報に決定するものを含むことを特徴とする外観検査装置。
A visual inspection apparatus for a sheet-like article,
Acquire image data picked up by a plurality of camera devices arranged at the front and back along the conveyance direction of the article, and perform image recognition processing in units of image data from each camera device to determine the presence or absence of defects. Judgment means,
When a defect is detected by the determining means, defect information extracting means for extracting defect information representing the defect;
Image data picked up by one of the different camera devices determined according to the decision rule by comparing defect information of the same defect picked up by different camera devices extracted by the defect information extracting means Representative defect information determining means for determining the defect information extracted based on the representative defect information;
Output means for outputting the representative defect information determined by the representative defect information determining means to a display device;
Bei to give a,
The determination rule is determined based on a pattern when the type of feature extracted by image recognition for image data output from each camera device matches a pattern predetermined for each camera device. An appearance inspection apparatus including one that determines defect information based on image data output from two camera apparatuses as the representative defect information .
前記判断手段で欠陥を検出した場合に、その検出した欠陥の前記物品上の位置を特定する位置情報を検出し、
その位置情報に基づいて同一の欠陥について異なるカメラ装置で撮像された欠陥情報を抽出することを特徴とする請求項1に記載の外観検査装置。
When a defect is detected by the determination means, position information that identifies the position of the detected defect on the article is detected,
The appearance inspection apparatus according to claim 1, wherein defect information captured by different camera devices for the same defect is extracted based on the position information.
前記カメラ装置の存在位置から物品の搬送ライン上に設定した仮想検出位置までの当該物品の移動距離であるシフト距離を前記カメラ装置ごとに記憶保持し、
前記物品の移動距離を算出する移動距離算出手段を備え、
前記判断手段で欠陥を検出した場合に、その検出した欠陥の前記物品上の位置を取得し、前記移動距離算出手段により前記物品の移動距離を求め、その欠陥が検出されたカメラ装置に設定されたシフト距離だけ当該物品が移動したことを契機に、その欠陥についての欠陥情報を出力するタイミングとする請求項1または2に記載の外観検査装置。
A shift distance, which is a movement distance of the article from the position where the camera apparatus exists to a virtual detection position set on the article conveyance line, is stored and held for each camera apparatus,
A moving distance calculating means for calculating a moving distance of the article;
When a defect is detected by the determination means, the position of the detected defect on the article is obtained, the movement distance calculation means obtains the movement distance of the article, and is set in the camera device in which the defect is detected. The appearance inspection apparatus according to claim 1 or 2, wherein the defect information about the defect is output at a timing when the article is moved by the shift distance.
同一の欠陥についての欠陥情報のうち、前記代表欠陥情報のみを表示する統合表示モードと、全ての欠陥情報を表示する表示モードを備えたことを特徴とする請求項3に記載の外観検査装置。   4. The appearance inspection apparatus according to claim 3, further comprising: an integrated display mode for displaying only the representative defect information among defect information for the same defect, and a display mode for displaying all defect information. 前記決定ルールは、画像認識して抽出した特徴の種類が同じ場合に、最も大きいものを前記代表欠陥情報に決定するものを含むことを特徴とする請求項1から4のいずれか1項に記載の外観検査装置。   5. The determination rule according to claim 1, wherein, when the types of features extracted by image recognition are the same, the determination rule includes a rule that determines the largest one as the representative defect information. 6. Visual inspection equipment.
JP2008310771A 2008-12-05 2008-12-05 Appearance inspection device Active JP5305002B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008310771A JP5305002B2 (en) 2008-12-05 2008-12-05 Appearance inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008310771A JP5305002B2 (en) 2008-12-05 2008-12-05 Appearance inspection device

Publications (2)

Publication Number Publication Date
JP2010133846A JP2010133846A (en) 2010-06-17
JP5305002B2 true JP5305002B2 (en) 2013-10-02

Family

ID=42345278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008310771A Active JP5305002B2 (en) 2008-12-05 2008-12-05 Appearance inspection device

Country Status (1)

Country Link
JP (1) JP5305002B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103534582A (en) * 2011-05-10 2014-01-22 旭硝子株式会社 Method for inspecting minute defect of translucent board-like body, and apparatus for inspecting minute defect of translucent board-like body
KR101315102B1 (en) * 2011-07-25 2013-10-07 동우 화인켐 주식회사 System and method for predicting yield of a film
JP2018091698A (en) * 2016-12-02 2018-06-14 Nok株式会社 Product defect occurrence analysis system
CN112083000B (en) * 2020-08-12 2022-12-02 中国电力科学研究院有限公司 Intelligent identification method and system for appearance defects of substation equipment
CN114330404A (en) * 2021-12-28 2022-04-12 易唯思智能自动化装备无锡有限公司 Two-dimensional code engraving effect verification method, system and storage medium
CN117055249B (en) * 2023-08-30 2024-02-13 安徽创显电子科技有限公司 Sampling quality inspection analysis system for liquid crystal display screen assembly processing line

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2693677B2 (en) * 1991-12-27 1997-12-24 住友金属工業株式会社 Flaw inspection device
JP3669256B2 (en) * 2000-09-19 2005-07-06 Jfeスチール株式会社 Surface defect inspection equipment
JP2003262593A (en) * 2002-03-08 2003-09-19 Mitsubishi Rayon Co Ltd Apparatus and method for detection of defect
JP2005114713A (en) * 2003-09-19 2005-04-28 Keyence Corp Magnification observation device, method of observing magnified image, operation program for magnification observation, and computer-readable recording medium
JP2007033339A (en) * 2005-07-28 2007-02-08 Dainippon Printing Co Ltd Method and device for determining detection of fisheye

Also Published As

Publication number Publication date
JP2010133846A (en) 2010-06-17

Similar Documents

Publication Publication Date Title
JP5305002B2 (en) Appearance inspection device
US20070286471A1 (en) Auto Distinction System And Auto Distinction Method
JP6150248B2 (en) Fabric defect inspection method and apparatus
US8023720B2 (en) Method and apparatus for identifying repeated patterns
JP2020008501A (en) Surface defect detection device and surface defect detection method
JP4331541B2 (en) Endoscope device
WO2020079694A1 (en) Optimizing defect detection in an automatic visual inspection process
JP2015197396A (en) Image inspection method and image inspection device
JP2001209798A (en) Method and device for inspecting outward appearance
JP2013145171A (en) Appearance inspection device
JP2003262593A (en) Apparatus and method for detection of defect
US20070115462A1 (en) Method for inspecting the quality criteria of flat textile structures embodied in a multi-layer form according to a contour
TW201504591A (en) Hole inspection device
JP2004109105A (en) Flaw type classification boundary setting method in surface defect detection, and defect detection method
JP2018091771A (en) Method for inspection, preliminary image selection device, and inspection system
JP6126290B1 (en) Appearance inspection device
JP2010127809A (en) Visual inspection apparatus, visual inspection system, and program
JP2010078487A (en) Appearance inspection apparatus and program
EP2957860B1 (en) Shape measuring device
JP2010236976A (en) Wire inspection apparatus, wire inspection method and wire inspection-use program
JP6459550B2 (en) Anomaly detection method and anomaly detection apparatus for mechanical equipment
JP2002008029A (en) Image inspection device
JP2008304958A (en) Method for inspecting work defect by image processing
JP2008164338A (en) Position sensor
JP2019178928A (en) Inspection device and inspection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130611

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5305002

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250