JP5274346B2 - Surface inspection apparatus and surface inspection method - Google Patents

Surface inspection apparatus and surface inspection method Download PDF

Info

Publication number
JP5274346B2
JP5274346B2 JP2009092273A JP2009092273A JP5274346B2 JP 5274346 B2 JP5274346 B2 JP 5274346B2 JP 2009092273 A JP2009092273 A JP 2009092273A JP 2009092273 A JP2009092273 A JP 2009092273A JP 5274346 B2 JP5274346 B2 JP 5274346B2
Authority
JP
Japan
Prior art keywords
image
template
latch
value
straight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009092273A
Other languages
Japanese (ja)
Other versions
JP2010243332A (en
Inventor
俊繁 永尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2009092273A priority Critical patent/JP5274346B2/en
Publication of JP2010243332A publication Critical patent/JP2010243332A/en
Application granted granted Critical
Publication of JP5274346B2 publication Critical patent/JP5274346B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To distinguish a latch in an open state of a cover, using a simple constitution. <P>SOLUTION: A surface inspection apparatus which inspects a state of a component attaching to an object by contrasting a template image and an image obtained by photographing the component, while relatively making the object move, includes: a collation value calculating section 27 for extracting a plurality of contours of the component and calculating the collation value, representing the degree of coincidence between a template and each contour, by executing a template matching for the contour and the template corresponding to the contour; and an image determining section 24 for determining the contour image of the component, based on the absolute value of the collation value. <P>COPYRIGHT: (C)2011,JPO&amp;INPIT

Description

この発明は、移動物体の表面検査を行う表面検査装置および表面検査方法に関するものである。   The present invention relates to a surface inspection apparatus and a surface inspection method for performing surface inspection of a moving object.

一般的に、鉄道車両の床下部には、車両を走行させるために必要な駆動装置制御用機器や空調機器などを収納固定した収納箱が設置され、収納箱の側面には、検査の際に開閉されるカバーが取り付けられている。当該カバーは、ほぼ同じ高さの位置に横並びに設けられた複数のボルトや回転式ラッチによって固定されている。これらのボルトまたは回転式ラッチは、カバーの開閉頻度に応じて使い分けられ、例えば、定期的に検査が行われるため比較的に開閉頻度が多いカバーの固定にはラッチが使用され、比較的に開閉頻度が低いカバーにはボルトが使用されている。ボルトまたは回転式ラッチの周囲には、一般に略円形の補強金具が装着され、当該補強金具の直径は、ボルト用とラッチ用とで異なるという特徴を有している。   Generally, a storage box is installed in the lower floor of a railway vehicle to store and fix drive device control equipment and air conditioning equipment necessary for running the vehicle. A cover that can be opened and closed is attached. The cover is fixed by a plurality of bolts and a rotary latch provided side by side at substantially the same height. These bolts or rotary latches are used according to the opening and closing frequency of the cover. For example, since a periodic inspection is performed, a latch is used to fix a cover that is opened and closed relatively frequently. Bolts are used for infrequent covers. A generally circular reinforcing metal fitting is generally mounted around the bolt or the rotary latch, and the diameter of the reinforcing metal fitting is different for the bolt and the latch.

定期検査の際、作業員が収納箱内の装置類を点検するためにラッチを90度回転させて開放状態に切替えてカバーを取り外す。そして、点検が終わると、作業員がカバーを収納箱側面に取付けてラッチを90度逆回転させ閉鎖状態に切換える。このとき、作業員がラッチを閉鎖し忘れると、走行中にカバーが脱落し軌道周辺設備や住民に対し、重大な被害を与えかねないため、全てのラッチが閉鎖状態になっているかを確認することが、重要点検項目の1つとなっている。ただし、鉄道車両一編成分のカバーのラッチ本数は膨大なものであり、作業員の疲労蓄積による見落とし、点検時間の増大化を招く恐れがあるだけでなく、時間的制約によって大量に点検作業員を投入すれば経費も過大になるという問題を有していた。   During periodic inspection, an operator rotates the latch 90 degrees to check the devices in the storage box, switches to the open state, and removes the cover. When the inspection is completed, the worker attaches the cover to the side of the storage box and reverses the latch by 90 degrees to switch to the closed state. At this time, if the operator forgets to close the latches, the cover will fall off while driving, and it may cause serious damage to the track and surrounding facilities and residents. Check that all the latches are closed. This is one of the important inspection items. However, the number of latches for the cover of a single train is huge, which may lead to oversight due to accumulated worker fatigue and increase inspection time, as well as a large number of inspection workers due to time constraints. There was a problem that the cost would be excessive if the power was introduced.

このようなニーズを満たす手段として、下記特許文献1に示される従来技術は、ボルトの締結状態の情報とボルトの正常締結状態における情報とを比較し、ボルト緩みの有無を判定することによって、ボルト緩み検査の高速化、点検作業に要する経費の低減を可能としている。   As means for satisfying such needs, the prior art disclosed in the following Patent Document 1 compares the information on the fastening state of the bolt with the information on the normal fastening state of the bolt, and determines whether or not the bolt is loosened. It makes it possible to speed up the looseness inspection and reduce the cost of inspection work.

特開平08−278116号公報Japanese Patent Laid-Open No. 08-278116

しかしながら、上記特許文献1に代表される従来技術では、ボルト輪郭の高精度な角度情報検出を図るために、直線を成す多数個の点データを使用して統計的な計算をしなければならず、複雑な処理によって点検作業が遅延する場合があるという課題があった。   However, in the prior art represented by the above-mentioned Patent Document 1, statistical calculation must be performed using a large number of point data forming a straight line in order to detect highly accurate angle information of the bolt contour. There is a problem that the inspection work may be delayed due to complicated processing.

本発明は、上記に鑑みてなされたものであって、表面検査の更なる高速化を実現可能とする表面検査装置および表面検査方法を得ることを目的とする。   The present invention has been made in view of the above, and an object of the present invention is to obtain a surface inspection apparatus and a surface inspection method that can realize further increase in speed of surface inspection.

上記目的を達成するため、この発明は、鉄道車両を相対移動させながら前記鉄道車両の表面に付属する部品を撮像した画像とテンプレート画像との対比によって、前記部品の状態を検査する表面検査装置において、所望状態にあるラッチ中心部輪郭画像を表わす第1のテンプレート、および前記所望状態にあるラッチに対して相対回転角度が所定の範囲を超えた非所望状態にある回転式のラッチ中心部輪郭画像を表わす第2のテンプレートによるテンプレートマッチングに基づいて、前記第1のテンプレートと判定対象の前記ラッチ中心部輪郭画像とが一致する度合いを示す第1の照合値、および前記第2のテンプレートと判定対象の前記ラッチ中心部輪郭画像とが一致する度合いを示す第2の照合値を算出する照合値算出部と、前記第2の照合値の最大値が前記第1の照合値の最大値に比して大きい場合、前記ラッチ中心部輪郭画像が非所望状態であると判定する画像判定部と、前記画像判定部の判定結果に基づいて前記鉄道車両の表面に付属する部品の検査を行う表面検査部と、を備えたことを特徴とする。 To achieve the above object, the present invention is by comparison between the image and the template image of the captured components to be attached to the surface of the railway vehicle while the rail vehicles are relatively moved, the surface inspection apparatus for inspecting the condition of the component , the center of the rotary latch in a non-desired state in which the first template representing a heart outline image of the latch, and the relative rotational angle with respect to latch on the desired state exceeds a predetermined range of the desired state A first matching value indicating a degree of coincidence between the first template and the center contour image of the latch to be determined based on template matching by a second template representing a contour image; and the second template and the verification value calculation unit and the central unit outline image of said latch to be determined to calculate the second verification value indicating the degree of matching, prior If the maximum value of the second matching value is greater than the maximum value of the first matching value, and determines the image determining unit that the heart outline image of said latch is non desired state, the image determining unit And a surface inspection unit that inspects parts attached to the surface of the railcar based on the determination result.

本発明によれば、予め蓄積されたラッチなどの画像に関するテンプレートとラインセンサカメラから取り込まれたラッチなどの画像との一致度合いを示すマッチングスコアを算出し、各テンプレートに対応するマッチングスコアに基づいて、輪郭画像の向きを判定するようにしたので、表面検査の更なる高速化を実現することができるという効果を奏する。   According to the present invention, a matching score indicating a degree of coincidence between a template related to an image such as a latch stored in advance and an image such as a latch captured from a line sensor camera is calculated, and based on the matching score corresponding to each template. Since the orientation of the contour image is determined, there is an effect that the surface inspection can be further speeded up.

図1は、本発明の実施の形態1に係る表面検査システムの構成を示す図である。FIG. 1 is a diagram showing a configuration of a surface inspection system according to Embodiment 1 of the present invention. 図2は、鉄道車両の側面を示す図である。FIG. 2 is a diagram illustrating a side surface of the railway vehicle. 図3は、実施の形態1に係る表面検査装置の構成を示すブロック図である。FIG. 3 is a block diagram illustrating a configuration of the surface inspection apparatus according to the first embodiment. 図4は、実施の形態1に係る表面検査装置の動作手順を示すフローチャートである。FIG. 4 is a flowchart showing an operation procedure of the surface inspection apparatus according to the first embodiment. 図5は、マッチングスコアの算出処理を説明するための図である。FIG. 5 is a diagram for explaining a matching score calculation process. 図6は、ラッチ中央部の輪郭を判別するためのテンプレートの一例を示す図である。FIG. 6 is a diagram illustrating an example of a template for determining the contour of the latch central portion. 図7は、実施の形態1に係る輪郭画像の向きの判別処理を説明するための図である。FIG. 7 is a diagram for explaining the orientation image orientation determination process according to the first embodiment. 図8は、実施の形態2に係る表面検査装置によって作成されたラッチ中央部の輪郭画像の一例を示す図である。FIG. 8 is a diagram illustrating an example of a contour image of a latch central portion created by the surface inspection apparatus according to the second embodiment. 図9は、直線群によって横向き輪郭画像をハフ変換する状態を説明するための図である。FIG. 9 is a diagram for explaining a state in which a horizontal outline image is subjected to Hough transform using a straight line group. 図10は、実施の形態2に係る輪郭画像の向きの判別処理を説明するための図である。FIG. 10 is a diagram for explaining the orientation image orientation determination processing according to the second embodiment.

以下に、本発明にかかる表面検査装置および表面検査方法の実施の形態を図面に基づき詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。   Embodiments of a surface inspection apparatus and a surface inspection method according to the present invention will be described below in detail with reference to the drawings. Note that the present invention is not limited to the embodiments.

実施の形態1.
(表面検査システムの構成)
図1は、本発明の実施の形態1に係る表面検査システムの構成を示す図であり、図2は、鉄道車両の側面を示す図である。
Embodiment 1 FIG.
(Configuration of surface inspection system)
1 is a diagram showing a configuration of a surface inspection system according to Embodiment 1 of the present invention, and FIG. 2 is a diagram showing a side surface of a railway vehicle.

図1において、表面検査システム100は、移動物体である車両4、車両4を照明する手段である照明3、表面検査装置1、およびラインセンサカメラ(以下単に「カメラ」と称する)2を備えており、図1は、これらの配置関係を平面図として表わしている。   In FIG. 1, a surface inspection system 100 includes a vehicle 4 that is a moving object, an illumination 3 that is a means for illuminating the vehicle 4, a surface inspection device 1, and a line sensor camera (hereinafter simply referred to as “camera”) 2. FIG. 1 shows these arrangement relationships as a plan view.

車両4は、例えば電車などの鉄道の車両である。照明3は、例えば、ハロゲンランプなどの連続光源であり、カメラ2で車両4を撮像する際に、車両4の表面に照明光を照射し、カメラ2による撮像範囲よりも少し広い縦長の領域を照明する。また、カメラ2の背後に遮光版を配設すれば、背景光が車両4の表面に反射して撮像されることがなくなる。   The vehicle 4 is a railway vehicle such as a train. The illumination 3 is a continuous light source such as a halogen lamp, for example. When the vehicle 4 is imaged by the camera 2, the illumination light is irradiated on the surface of the vehicle 4, and a vertically long region slightly wider than the imaging range by the camera 2 is formed. Illuminate. Further, if a light shielding plate is provided behind the camera 2, the background light is not reflected on the surface of the vehicle 4 and captured.

カメラ2は、列マトリックス状に配置された複数の画素を内蔵しており、車両4の移動方向に対して垂直方向の撮像範囲(縦長の領域)を、1次元画像として撮像するものである。カメラ2は、車両4を相対移動させながら車両4の各部分、例えば、図2に示されるような画像撮像範囲7を順次撮像し、撮像した画像を表面検査装置1に送出する。図1では、カメラ2の光軸を、車両4からカメラ2の方向へ伸びている矢印で示している。   The camera 2 includes a plurality of pixels arranged in a column matrix, and captures an imaging range (vertically long region) in a direction perpendicular to the moving direction of the vehicle 4 as a one-dimensional image. The camera 2 sequentially images each part of the vehicle 4, for example, an image imaging range 7 as shown in FIG. 2 while relatively moving the vehicle 4, and sends the captured image to the surface inspection apparatus 1. In FIG. 1, the optical axis of the camera 2 is indicated by an arrow extending from the vehicle 4 toward the camera 2.

カメラ2は、所定の位置に固定設置され、例えば、車庫に進入してきた車両4の側面、例えば、床下のカバー13を固定する第1の部品であるボルト10と、第2の部品である横向きラッチ11または縦向きラッチ12とが締結される画像撮像範囲7を撮像する。画像撮像範囲7の横方向の幅は、車両4の長さと略同長さに相当し、縦方向の幅は、カメラ2によって撮影可能な所定の幅Wである。ラッチの種類には、カバー13の閉鎖状態を示す横向きラッチ11(以下単に「ラッチ11」と称する)や、開放状態を示す縦向きラッチ12(以下単に「ラッチ12」と称する)が存在する。なお、ラッチの向きには、締め付け状態によっては、完全な垂直あるいは水平方向を示さなくても、閉鎖あるいは開放状態となる場合があるため、本実施の形態では、これらの要因を加味したラッチの向きを、閉鎖あるいは開放状態として説明する。   The camera 2 is fixedly installed at a predetermined position. For example, a side surface of the vehicle 4 that has entered the garage, for example, a bolt 10 that is a first part for fixing a cover 13 under the floor, and a lateral direction that is a second part. An image capturing range 7 in which the latch 11 or the vertical latch 12 is fastened is captured. The horizontal width of the image capturing range 7 corresponds to substantially the same length as the vehicle 4, and the vertical width is a predetermined width W that can be captured by the camera 2. As the types of latches, there are a lateral latch 11 (hereinafter simply referred to as “latch 11”) indicating the closed state of the cover 13 and a vertical latch 12 (hereinafter simply referred to as “latch 12”) indicating the open state. Depending on the tightening state, the latch may be in a closed or open state without showing a complete vertical or horizontal direction. Therefore, in this embodiment, the latch is considered in consideration of these factors. The direction will be described as closed or open.

表面検査装置1は、車両4がカメラ2の前を通過するとき、カメラ2から送られてくる1次元の画像信号を取り込み、2次元画像データを連続して生成することによって車両4の表面検査を行うコンピュータなどである。以下、表面検査装置1の内部構成について説明する。   When the vehicle 4 passes in front of the camera 2, the surface inspection apparatus 1 takes in a one-dimensional image signal sent from the camera 2 and continuously generates two-dimensional image data to thereby inspect the surface of the vehicle 4. A computer that performs Hereinafter, the internal configuration of the surface inspection apparatus 1 will be described.

(表面検査装置の構成)
図3は、実施の形態1に係る表面検査装置の構成を示すブロック図である。表面検査装置1は、主たる構成として、画像入力部21、画像蓄積部22、テンプレート記憶部23、照合値算出部27、画像判定部24、出力部25、表面検査部28、およびこれらの各構成要素の動作を司る制御部20を有して構成されている。
(Configuration of surface inspection equipment)
FIG. 3 is a block diagram illustrating a configuration of the surface inspection apparatus according to the first embodiment. The surface inspection apparatus 1 mainly includes an image input unit 21, an image storage unit 22, a template storage unit 23, a collation value calculation unit 27, an image determination unit 24, an output unit 25, a surface inspection unit 28, and respective components thereof. It has the control part 20 which manages operation | movement of an element.

画像入力部21には、カメラ2によって撮像された車両4の画像として、車両4の画像撮像範囲7の画像が入力され、画像入力部21は、当該画像を画像蓄積部22へ送出する。   An image of the image capturing range 7 of the vehicle 4 is input to the image input unit 21 as an image of the vehicle 4 captured by the camera 2, and the image input unit 21 sends the image to the image storage unit 22.

テンプレート記憶部23は、撮像対象であるボルト10、ラッチ11、およびラッチ12に関する形状をテンプレートとして記憶する領域であり、画像蓄積部22は、画像入力部21から送られてくる画像撮像範囲7の画像を組み合わせることによって車両4の移動方向の全体画像を作成・蓄積する領域である。   The template storage unit 23 is an area for storing the shapes of the bolts 10, the latches 11, and the latches 12 to be imaged as templates, and the image storage unit 22 stores the image capturing range 7 sent from the image input unit 21. This is an area for creating and storing an entire image in the moving direction of the vehicle 4 by combining the images.

テンプレートは、例えば、ボルト10の外周円部の輪郭画像に対応する第1のテンプレートであるボルト用テンプレートA(以下単に「テンプレートA」と称する)と、ラッチ11またはラッチ12の外周円部の輪郭画像に対応する第2のテンプレートであるラッチ用テンプレートB(以下単に「テンプレートB」と称する)である。   The template includes, for example, a bolt template A (hereinafter simply referred to as “template A”) corresponding to the contour image of the outer peripheral circular portion of the bolt 10, and the contour of the outer peripheral circular portion of the latch 11 or the latch 12. This is a latching template B (hereinafter simply referred to as “template B”) which is a second template corresponding to an image.

さらに、テンプレートは、ラッチ11の中央部の小判型物体の輪郭画像に対応する第3のテンプレートである横向きラッチ用テンプレートH1(以下単に「テンプレートH1」と称する)と、ラッチ12の中央部の小判型物体の輪郭画像に対応する第4のテンプレートである縦向きラッチ用テンプレートV1(以下単に「テンプレートV1」と称する)である。   Further, the template includes a horizontal latch template H1 (hereinafter simply referred to as “template H1”), which is a third template corresponding to the contour image of the oval object at the center of the latch 11, and the oval at the center of the latch 12. This is a vertical latch template V1 (hereinafter simply referred to as “template V1”), which is a fourth template corresponding to the contour image of the mold object.

なお、テンプレートH1は、所望状態にある部品の輪郭画像を表わし、テンプレートV1は、所望状態にある部品に対して相対回転角度が所定の範囲を超えた非所望状態にある部品の輪郭画像を表わす。また、本実施の形態では、所望状態にある部品は、例えば水平方向に楕円形状の輪郭を有する横向きラッチ11として説明し、非所望状態にある部品は、例えば垂直方向に楕円形状の輪郭を有する縦向きラッチ12として以下説明するが、これらの形状に限定されるものではない。   The template H1 represents a contour image of a component in a desired state, and the template V1 represents a contour image of a component in an undesired state with a relative rotation angle exceeding a predetermined range with respect to the component in the desired state. . Further, in the present embodiment, a part in a desired state is described as a horizontal latch 11 having an elliptical outline in the horizontal direction, for example, and a part in an undesired state has an elliptical outline in the vertical direction, for example. The vertical latch 12 will be described below, but is not limited to these shapes.

(照合値算出部)
照合値算出部27は、画像蓄積部22に記録されている画像上で、各テンプレートA、Bと、ボルト10、ラッチ11、およびラッチ12の輪郭画像とのテンプレートマッチングあるいはパターンマッチング処理を行い、各テンプレートA、Bと各画像とが一致する度合いを示すマッチングスコアを算出する。
(Verification value calculation unit)
The matching value calculation unit 27 performs template matching or pattern matching processing between the templates A and B and the contour images of the bolt 10, the latch 11, and the latch 12 on the image recorded in the image storage unit 22, A matching score indicating the degree of matching between each template A and B and each image is calculated.

照合値算出部27は、マッチングスコアの最大値を用いて、画像内のラッチ11またはラッチ12の位置を特定する。その後、ラッチ11またはラッチ12の中央領域の輪郭画像に対するマッチングスコアを算出する。このとき、照合値算出部27は、ラッチ11とラッチ12のそれぞれに対して、水平方向のマッチングスコアShと垂直方向のマッチングスコアSvとを算出する。   The collation value calculation unit 27 specifies the position of the latch 11 or the latch 12 in the image using the maximum value of the matching score. Thereafter, a matching score for the contour image of the central region of the latch 11 or the latch 12 is calculated. At this time, the collation value calculation unit 27 calculates a horizontal matching score Sh and a vertical matching score Sv for each of the latch 11 and the latch 12.

(画像判定部)
画像判定部24は、マッチングスコアShとSvを用いて、ラッチ11とラッチ12の向きが閉鎖状態であるか開放状態であるかを判断する。縦向きラッチ12であると判断した場合、画像判定部24は、表面検査部28に対して判定結果を送出する。
(Image judgment part)
The image determination unit 24 uses the matching scores Sh and Sv to determine whether the directions of the latch 11 and the latch 12 are the closed state or the open state. When determining that the latch 12 is the vertical latch 12, the image determination unit 24 sends a determination result to the surface inspection unit 28.

表面検査部28は、取り込まれた画像内の縦向きラッチ12の位置を特定して、出力部25に所定の情報を出力する。出力部25は、図示しない警告装置などに判定結果を送出する。その結果、検査対象であるラッチなどの中に、開放状態の縦向きラッチ12が含まれていることを、作業員に知らせることが可能である。   The surface inspection unit 28 specifies the position of the vertical latch 12 in the captured image and outputs predetermined information to the output unit 25. The output unit 25 sends the determination result to a warning device (not shown). As a result, it is possible to notify the worker that the latch 12 to be inspected includes the open vertical latch 12.

(表面検査装置の動作)
つぎに、実施の形態1に係る表面検査装置1の動作手順について説明する。図4は、実施の形態1に係る表面検査装置の動作手順を示すフローチャートである。表面検査装置1のテンプレート記憶部23には、予め各テンプレート情報を記憶させておく。線路上を移動する車両4が、カメラ2の光軸が指す位置を車両4の先頭部から後端部まで通過したとき、カメラ2は、車両4の側面の画像撮像範囲7を順次撮像し、撮像した画像を表面検査装置1に送出する。
(Operation of surface inspection equipment)
Next, an operation procedure of the surface inspection apparatus 1 according to the first embodiment will be described. FIG. 4 is a flowchart showing an operation procedure of the surface inspection apparatus according to the first embodiment. Each template information is stored in advance in the template storage unit 23 of the surface inspection apparatus 1. When the vehicle 4 moving on the track passes the position pointed to by the optical axis of the camera 2 from the head portion to the rear end portion of the vehicle 4, the camera 2 sequentially captures the image capturing range 7 on the side surface of the vehicle 4, The captured image is sent to the surface inspection apparatus 1.

(ステップS110)
画像入力部21は、画像撮像範囲7の画像を取り込み、当該画像を画像蓄積部22に送出する。画像蓄積部22は、画像入力部21からの画像を組み合わせることによって、車両4の移動方向の全体画像を蓄積する(ステップS110)。
(Step S110)
The image input unit 21 captures an image in the image capturing range 7 and sends the image to the image storage unit 22. The image storage unit 22 stores the entire image in the moving direction of the vehicle 4 by combining the images from the image input unit 21 (step S110).

(ステップS120)
図5は、マッチングスコアの算出処理を説明するための図である。図5に示される画像は、画像蓄積部22に蓄積された画像である。当該画像は、車両4の左から順次撮像された横長画像の一部を示すものであり、ボルト10が2つ、横向きラッチ11、および縦向きラッチ12が表示されている。
(Step S120)
FIG. 5 is a diagram for explaining a matching score calculation process. The image shown in FIG. 5 is an image stored in the image storage unit 22. The image shows a part of a horizontally long image sequentially captured from the left of the vehicle 4, and two bolts 10, a horizontal latch 11, and a vertical latch 12 are displayed.

ボルト10などの周囲には、上述したように、円形形状の補強金具が装着されており、ボルト10用の補強金具の円形部分の大きさと、ラッチ11またはラッチ12用の補強金具の円形部分の大きさとは異なるという特徴がある。これらの円形部分は、輪郭抽出処理あるいはエッジ抽出処理によって、図5に示されるように、輪郭30〜32の部分が強調された画像として表わされる。なお、輪郭抽出処理などは、公知技術であるためその説明を割愛する。   As described above, the circular reinforcing metal fittings are mounted around the bolts 10 and the like, and the size of the circular metal fittings for the bolts 10 and the circular metal parts of the reinforcing metal fittings for the latch 11 or the latch 12 are as follows. It is characterized by being different from the size. These circular portions are represented as an image in which the portions of the contours 30 to 32 are emphasized as shown in FIG. 5 by the contour extraction processing or the edge extraction processing. Note that the outline extraction process and the like are well-known techniques, and thus the description thereof is omitted.

図5には、当該画像の上端から下端方向に順次移動しているテンプレートAまたはテンプレートBの状態が示されている。テンプレートAの一辺の長さは、輪郭30の直径に相当し、テンプレートBの一辺の長さは、輪郭31または輪郭32の直径に相当する。図5には、Y軸方向におけるテンプレートAまたはBと、ボルト10などの各輪郭画像とのマッチングスコアの変化が示されている。   FIG. 5 shows a state of the template A or the template B that is sequentially moved from the upper end to the lower end of the image. The length of one side of the template A corresponds to the diameter of the contour 30, and the length of one side of the template B corresponds to the diameter of the contour 31 or the contour 32. FIG. 5 shows a change in matching score between the template A or B in the Y-axis direction and each contour image such as the bolt 10.

照合値算出部27は、画像蓄積部22に記憶されたボルト10などの輪郭画像と、テンプレート記憶部23に記憶されているテンプレートAまたはBとのパタンマッチングスコアを以下の手順で算出する。   The matching value calculation unit 27 calculates a pattern matching score between the contour image such as the bolt 10 stored in the image storage unit 22 and the template A or B stored in the template storage unit 23 in the following procedure.

照合値算出部27は、ボルト10の位置を特定するために、テンプレートAを画面の垂直方向に順次移動させる。次に、ラッチ11または12の位置を特定するために、テンプレートBを画面の垂直方向に順次移動させる。ここで、垂直方向のマッチングスコアは、輪郭30〜32の大きさに比例するため、輪郭30〜32が最大となるポイントで最大値Sypを示す。したがって、照合値算出部27は、テンプレートAまたはテンプレートBをY軸方向に移動させた際に、マッチングスコアが最大値Sypを算出することによって、検査対象であるボルト10等の位置を特定する(ステップS120)。   The collation value calculation unit 27 sequentially moves the template A in the vertical direction of the screen in order to specify the position of the bolt 10. Next, in order to specify the position of the latch 11 or 12, the template B is sequentially moved in the vertical direction of the screen. Here, since the matching score in the vertical direction is proportional to the size of the contours 30 to 32, the maximum value Syp is indicated at a point where the contours 30 to 32 are maximum. Accordingly, when the template A or the template B is moved in the Y-axis direction, the matching value calculation unit 27 specifies the position of the bolt 10 or the like to be inspected by calculating the maximum value Syp of the matching score ( Step S120).

(ステップS130)
次に、照合値算出部27は、図5に示される横長の画像に対して、水平方向のマッチングスコアを算出する。
(Step S130)
Next, the collation value calculation unit 27 calculates a horizontal matching score for the horizontally long image shown in FIG.

図5の左側には、テンプレート記憶部23に記憶されているテンプレートAとテンプレートBの一例が示されている。図5の右側には、X軸方向におけるテンプレートAと各輪郭30〜32とのマッチングスコアの変化、およびX軸方向におけるテンプレートBと各輪郭30〜32とのマッチングスコアの変化が示されている。   An example of template A and template B stored in the template storage unit 23 is shown on the left side of FIG. The right side of FIG. 5 shows changes in the matching score between the template A and each of the contours 30 to 32 in the X-axis direction, and changes in the matching score between the template B and each of the contours 30 to 32 in the X-axis direction. .

照合値算出部27は、テンプレートAまたはBと各輪郭30〜32とのX軸方向におけるマッチングスコアを連続的に算出する。図5には、テンプレートAに対するX軸方向のマッチングスコアの一例として、テンプレートAと各輪郭30または31とが一致する度合いを示す第1の照合値であるマッチングスコアSpa1とマッチングスコアSpa2が示される。また、図5には、テンプレートBに対するX軸方向のマッチングスコアの一例として、テンプレートBと各輪郭30または31とが一致する度合いを示す第2の照合値であるマッチングスコアSpb1とマッチングスコアSpb2が示されている。   The matching value calculation unit 27 continuously calculates a matching score between the template A or B and each of the contours 30 to 32 in the X-axis direction. FIG. 5 shows a matching score Spa1 and a matching score Spa2, which are first matching values indicating the degree of matching between the template A and each contour 30 or 31, as an example of the matching score in the X-axis direction with respect to the template A. . Further, in FIG. 5, as an example of the matching score in the X-axis direction with respect to the template B, a matching score Spb1 and a matching score Spb2 that are second matching values indicating the degree of matching between the template B and each contour 30 or 31 are shown. It is shown.

マッチングスコアSpa1は、マッチングスコアSpa2に比して大きな値を示し、マッチングスコアSpb2は、マッチングスコアSpb1に比して大きな値を示す。すなわち、Spa1>Spa2、Spb1<Spb2という関係になる。   The matching score Spa1 has a larger value than the matching score Spa2, and the matching score Spb2 has a larger value than the matching score Spb1. That is, the relationship is Spa1> Spa2, Spb1 <Spb2.

画像判定部24は、各輪郭30〜32に対して、テンプレートAによる横(X)方向の最大値Spaと、テンプレートBによる横方向の最大値Spbとを比較し、Spa<Spbの場合(ステップS130,Yes)、その位置には横向きラッチ11または縦向きラッチ12が存在すると判断する。   The image determination unit 24 compares the horizontal (X) direction maximum value Spa by the template A and the horizontal maximum value Spb by the template B for each of the contours 30 to 32, and if Spa <Spb (step) S130, Yes), it is determined that the horizontal latch 11 or the vertical latch 12 exists at that position.

一方、Spa>Spbの場合(ステップS130,No)、画像判定部24は、その位置には横向きラッチ11または縦向きラッチ12が存在しないと判断し、照合値算出部27は、ステップS120の処理を実行する。   On the other hand, when Spa> Spb (step S130, No), the image determination unit 24 determines that the horizontal latch 11 or the vertical latch 12 does not exist at that position, and the collation value calculation unit 27 performs the process of step S120. Execute.

なお、ボルト10またはラッチ11あるいはラッチ12の正確な位置は、Y軸方向のマッチングスコアとX軸方向のマッチングスコアが、共に最大値を示したときである。このようにして、表面検査装置1による検査対象の識別処理は、検査対象となる横向きラッチ11または縦向きラッチ12の位置を特定する。   The exact position of the bolt 10 or the latch 11 or the latch 12 is when the matching score in the Y-axis direction and the matching score in the X-axis direction both show maximum values. In this way, the identification processing of the inspection object by the surface inspection apparatus 1 specifies the position of the horizontal latch 11 or the vertical latch 12 to be inspected.

(ステップS140)
次に、ラッチ11、12の方向判別の動作について説明する。図6は、ラッチ中央部の輪郭を判別するためのテンプレートの一例を示す図であり、図7は、実施の形態1に係る輪郭画像の向きの判別処理を説明するための図である。
(Step S140)
Next, the operation for determining the direction of the latches 11 and 12 will be described. FIG. 6 is a diagram showing an example of a template for discriminating the contour of the latch center, and FIG. 7 is a diagram for explaining the contour image orientation discrimination processing according to the first embodiment.

図6の左側に示される横向き(閉)ラッチ11は、その中央部に、図中X軸方向を長軸とする楕円形状あるいは小判形状とする輪郭41を有している。また、縦向き(開)ラッチ12は、その中央部に、図中Y軸方向を長軸とする楕円形状あるいは小判形状とする輪郭42を有している。   The lateral (closed) latch 11 shown on the left side of FIG. 6 has an outline 41 having an elliptical shape or an oval shape with the X-axis direction as a major axis in the drawing. Further, the vertical (open) latch 12 has an outline 42 having an elliptical shape or an oval shape having a major axis in the Y-axis direction in the drawing.

また、図6の右側には、輪郭41の領域を切り出して作成された輪郭51を有する横向きラッチ用テンプレートH1が示され、さらに、輪郭42の領域を切り出して作成された輪郭52を有する縦向きラッチ用テンプレートV1が示されている。輪郭51は輪郭41に対応し、輪郭52は輪郭42に対応しており、テンプレートH1およびV1は、テンプレート記憶部23に予め記憶されているものとする。   Further, on the right side of FIG. 6, a horizontal latch template H1 having a contour 51 created by cutting out the region of the contour 41 is shown, and the portrait orientation having the contour 52 created by cutting out the region of the contour 42 is shown. A latch template V1 is shown. The contour 51 corresponds to the contour 41, the contour 52 corresponds to the contour 42, and the templates H1 and V1 are stored in the template storage unit 23 in advance.

照合値算出部27は、各輪郭41および42とテンプレートH1とが一致する度合いを示す第1の照合値であるマッチングスコアShを算出し、各輪郭41および42とテンプレートV1とが一致する度合いを示す第2の照合値であるマッチングスコアSvを算出する。   The matching value calculation unit 27 calculates a matching score Sh that is a first matching value indicating the degree of matching between the contours 41 and 42 and the template H1, and determines the degree of matching between the contours 41 and 42 and the template V1. A matching score Sv, which is the second matching value shown, is calculated.

ここで、テンプレートH1の輪郭51は、図6で述べたように、輪郭41に略等しいため、テンプレートH1と横向きラッチ11とのマッチングスコアの最大値Shは、テンプレートV1と横向きラッチ11とのマッチングスコアの最大値Svに比して大きな値を示す。   Here, since the outline 51 of the template H1 is substantially equal to the outline 41 as described in FIG. 6, the maximum value Sh of the matching score between the template H1 and the horizontal latch 11 is the matching between the template V1 and the horizontal latch 11. The value is larger than the maximum value Sv of the score.

また、テンプレートV1の輪郭52は、輪郭42に略等しいため、テンプレートV1と縦向きラッチ12とのマッチングスコアの最大値Svは、テンプレートV1と縦向きラッチ12とのマッチングスコアの最大値Shに比して大きな値を示す。すなわち、テンプレートH1に対しては、Sh>Sv、テンプレートV1に対しては、Sh<Svという関係になる。   Further, since the contour 52 of the template V1 is substantially equal to the contour 42, the maximum value Sv of the matching score between the template V1 and the vertical latch 12 is compared with the maximum value Sh of the matching score between the template V1 and the vertical latch 12. Shows a large value. That is, Sh> Sv for the template H1, and Sh <Sv for the template V1.

その結果、画像判定部24は、Sh>Svの場合にはラッチが閉鎖状態であると判定し、Sh<Svの場合にはラッチが開放状態であると判定する。Sh<Svの場合(ステップS140,Yes)、画像判定部24は、表面検査部28に対して判定結果を送出し、表面検査部28は、出力部25に開放状態のラッチ12の位置を送出し、出力部25は、図示しない警告装置などに判定結果を送出する(ステップS150)。一方、Sh>Svの場合(ステップS140,No)、照合値算出部27は、ステップS120の処理を実行する。   As a result, the image determination unit 24 determines that the latch is in a closed state when Sh> Sv, and determines that the latch is in an open state when Sh <Sv. If Sh <Sv (step S140, Yes), the image determination unit 24 transmits the determination result to the surface inspection unit 28, and the surface inspection unit 28 transmits the position of the opened latch 12 to the output unit 25. Then, the output unit 25 sends the determination result to a warning device (not shown) (step S150). On the other hand, when Sh> Sv (step S140, No), the matching value calculation unit 27 executes the process of step S120.

なお、本実施の形態では、図2などに示すように、ボルト10などの輪郭31〜32は、相似する円形であるが、円形に限定されるものではなく、互いの外径が同一でなければ、凹凸などを含む相似の輪郭でもよい。また、図6などに示すように、輪郭41は、長手方向が略水平方向に伸びる楕円形状であり、輪郭42は、長手方向が略垂直方向に伸びる楕円形状であるが、楕円形状に限定されるものではなく、互いに形状が異なるものであれば、例えば、凹凸などを含む輪郭でもよい。さらに、各テンプレートは、例えば、ボルト10などを撮像したときの明暗画像や色彩などの情報を含むものであってもよい。   In the present embodiment, as shown in FIG. 2 and the like, the contours 31 to 32 of the bolt 10 or the like are similar circular shapes, but are not limited to circular shapes, and their outer diameters must be the same. For example, a similar contour including irregularities may be used. Further, as shown in FIG. 6 and the like, the contour 41 is an elliptical shape whose longitudinal direction extends in a substantially horizontal direction, and the contour 42 is an elliptical shape whose longitudinal direction extends in a substantially vertical direction, but is limited to an elliptical shape. As long as the shapes are different from each other, for example, a contour including unevenness may be used. Further, each template may include information such as a bright and dark image and color when the bolt 10 is imaged.

また、図5に示される画面上にテンプレートAまたはBを移動させる速度は、一定速度に限定されるものではなく、速度が変化している場合においても適用可能である。例えば、最初に各テンプレートを荒いピッチで移動させた後、各マッチングスコアの最大値付近において、各テンプレートを細かいピッチで移動させるように構成してもよい。   Further, the speed at which the template A or B is moved on the screen shown in FIG. 5 is not limited to a constant speed, and can be applied even when the speed changes. For example, after each template is first moved at a rough pitch, each template may be moved at a fine pitch near the maximum value of each matching score.

また、本実施の形態では、車両4側が移動したときの画像を利用しているが、これに限定されるものではなく、車両4とカメラ2を相対移動させて得られた画像を用いてもよい。   Further, in the present embodiment, an image when the vehicle 4 side is moved is used, but the present invention is not limited to this, and an image obtained by relatively moving the vehicle 4 and the camera 2 may be used. Good.

以上に説明したように、本実施の形態にかかる表面検査装置1は、テンプレート記憶部23に予め蓄積されたラッチ11などの画像に関するテンプレートとカメラ2から取り込まれたラッチ11などの画像とのマッチングスコアを算出し、各テンプレートに対応するマッチングスコアに基づいて、横向きラッチ11または縦向きラッチ12の方向を判定するようにしたので、表面検査の更なる高速化を実現可能とすることが可能である。その結果、従来技術に比して、点検作業の一層の効率化を図れるとともに、点検作業に要する経費を一層低減することが可能である。   As described above, the surface inspection apparatus 1 according to the present embodiment matches a template related to an image such as the latch 11 stored in the template storage unit 23 in advance with an image such as the latch 11 captured from the camera 2. Since the score is calculated and the direction of the horizontal latch 11 or the vertical latch 12 is determined based on the matching score corresponding to each template, it is possible to realize further speedup of the surface inspection. is there. As a result, it is possible to further increase the efficiency of the inspection work and to further reduce the cost required for the inspection work as compared with the prior art.

実施の形態2.
実施の形態2では、カメラ2からの画像の中に、Hough変換(ハフ変換)などの直線要素抽出技法を利用して、横向きラッチ11および縦向きラッチ12の向きを判定するように構成されている。実施の形態2にかかる表面検査装置1の各部構成は、基本的に第1の実施の形態と同様であり、以下、第1の実施の形態と同様の部分については、同じ符号を付して詳細な説明は省略する。また、実施の形態1にかかるステップS110〜ステップS130の動作は、本実施の形態でも同様であり、以下、その説明を省略する。
Embodiment 2. FIG.
In the second embodiment, the image from the camera 2 is configured to determine the orientations of the horizontal latch 11 and the vertical latch 12 using a linear element extraction technique such as Hough transform (Hough transform). Yes. The configuration of each part of the surface inspection apparatus 1 according to the second embodiment is basically the same as that of the first embodiment. Hereinafter, the same reference numerals are given to the same parts as those of the first embodiment. Detailed description is omitted. The operations in steps S110 to S130 according to the first embodiment are the same in the present embodiment, and the description thereof will be omitted below.

図8は、実施の形態2に係る表面検査装置によって作成されたラッチ中央部の輪郭画像の一例を示す図である。照合値算出部27は、横向きラッチ11からラッチ中央部の輪郭41を含む円形領域を切り出し、図8の右側に示されるような輪郭51を有する横向き輪郭画像H2を作成する。また、照合値算出部27は、縦向きラッチ12からラッチ中央部の輪郭42を含む円形領域を切り出し、図8の右側に示されるような輪郭52を有する縦向き輪郭画像V2を作成する。   FIG. 8 is a diagram illustrating an example of a contour image of a latch central portion created by the surface inspection apparatus according to the second embodiment. The collation value calculation unit 27 cuts out a circular area including the contour 41 at the center of the latch from the horizontal latch 11 and creates a horizontal contour image H2 having a contour 51 as shown on the right side of FIG. In addition, the collation value calculation unit 27 cuts out a circular area including the latch 42 at the center of the latch from the vertical latch 12, and creates a vertical contour image V2 having a contour 52 as shown on the right side of FIG.

(第1の直線群と第1の値)
図9は、直線群によって横向き輪郭画像をハフ変換する状態を説明するための図である。図9(A)の左側には、横向きラッチ11の輪郭画像H2が示され、輪郭画像H2の左側には、輪郭の短手方向の直線部に対して所望状態にある部品の輪郭画像に平行な直線V3と当該直線V3から所定角度範囲にある直線とを含む第1の直線群である直線群71が示されている。直線群71の所定角度範囲は、例えば、所望状態にある部品の輪郭画像に平行な直線V3に対して+80度〜+100度に設定される。この直線群71と輪郭画像の中心輪郭部が接する度合いを示す第1の値であるスコアShは、図9(A)の右側の図に示されるように、直線V3と短手方向の直線部とが接したときに最大となる。なお、図示しない縦向き輪郭画像を用いた場合の直線群と第1の値であるスコアShとの関係に関しては、図9(A)に示された輪郭画像H2を縦向き輪郭画像V2に読み替えて、以下省略する。
(First straight line group and first value)
FIG. 9 is a diagram for explaining a state in which a horizontal outline image is subjected to Hough transform using a straight line group. The left side of FIG. 9A shows a contour image H2 of the lateral latch 11, and the left side of the contour image H2 is parallel to the contour image of the component in a desired state with respect to the straight portion in the short direction of the contour. A straight line group 71 which is a first straight line group including a straight line V3 and a straight line within a predetermined angle range from the straight line V3 is shown. For example, the predetermined angle range of the straight line group 71 is set to +80 degrees to +100 degrees with respect to the straight line V3 parallel to the contour image of the component in the desired state. The score Sh, which is the first value indicating the degree of contact between the straight line group 71 and the central contour portion of the contour image, is, as shown in the diagram on the right side of FIG. Maximum when touched. In addition, regarding the relationship between the straight line group and the first value score Sh when a vertically oriented contour image (not shown) is used, the contour image H2 shown in FIG. 9A is read as the vertically oriented contour image V2. The description is omitted below.

図9(B)の左側には、横向きラッチ11の輪郭画像H2が示され、輪郭画像H2の左側には、輪郭の長手方向の直線部に対して所望状態にある部品の輪郭画像に平行な直線H3と当該直線H3から所定角度範囲にある直線とを含む第2の直線群である直線群70が示されている。直線群70の所定角度範囲は、例えば、所望状態にある部品の輪郭画像に平行な直線H3に対して+10度〜−10度に設定される。この直線群70と輪郭画像の中心輪郭部が接する度合いを示す第2の値であるスコアSvは、図9(B)の右側の図に示されるように、直線H3と長手方向の直線部とが接したときにスコアSvが最大となる。なお、図示しない縦向き輪郭画像を用いた場合の直線群と第2の値であるスコアSvとの関係に関しては、図9(B)に示された輪郭画像H2を縦向き輪郭画像V2に読み替えて、以下省略する。なお、上述した所定角度範囲は、これらに限定されるものではない。   The left side of FIG. 9B shows a contour image H2 of the horizontal latch 11, and the left side of the contour image H2 is parallel to the contour image of the component in a desired state with respect to the straight line portion in the longitudinal direction of the contour. A straight line group 70 that is a second straight line group including the straight line H3 and a straight line within a predetermined angle range from the straight line H3 is shown. The predetermined angle range of the straight line group 70 is set to, for example, +10 degrees to −10 degrees with respect to the straight line H3 parallel to the contour image of the component in the desired state. The score Sv, which is the second value indicating the degree of contact between the straight line group 70 and the center contour portion of the contour image, is represented by the straight line H3 and the straight straight portion in the longitudinal direction, as shown in the diagram on the right side of FIG. The score Sv is maximized when touching. As for the relationship between the straight line group and the score Sv as the second value when a vertical contour image (not shown) is used, the contour image H2 shown in FIG. 9B is read as the vertical contour image V2. The description is omitted below. The predetermined angle range described above is not limited to these.

図10は、実施の形態2に係る輪郭画像の向きの判別処理を説明するための図である。画像判定部24は、図8〜9で説明したハフ変換のスコアShの最大値とスコアSvの最大値とを比較した場合、Sh>Svの場合には横向きのラッチ11と判定し、Sh<Svの場合には縦向きのラッチ12と判定する。   FIG. 10 is a diagram for explaining the orientation image orientation determination processing according to the second embodiment. When comparing the maximum value of the Hough transform score Sh described in FIGS. 8 to 9 with the maximum value of the score Sv, the image determination unit 24 determines that the latch 11 is in the horizontal direction when Sh> Sv, and Sh < In the case of Sv, it is determined that the latch 12 is vertically oriented.

なお、本実施の形態では、ラッチ中心部の輪郭41、42が横向き(水平方向)または縦向き(垂直方向)の場合についてのみハフ変換を行っているが、これに限定されるものではなく、例えば、輪郭41、42の長手方向の角度が、水平方向に対して斜め45度あるいは135度などの角度の場合にも適用可能である。   In the present embodiment, the Hough transform is performed only when the contours 41 and 42 of the latch center portion are in the horizontal direction (horizontal direction) or the vertical direction (vertical direction). However, the present invention is not limited to this. For example, the present invention can also be applied when the longitudinal angle of the contours 41 and 42 is an angle of 45 degrees or 135 degrees with respect to the horizontal direction.

以上に説明したように、本実施の形態にかかる表面検査装置1は、カメラ2から取り込まれたラッチ11および12から、その中央部の画像H2およびV2を抜き出し、ハフ変換によって画像H2およびV2に対応するハフ変換のスコアShおよびSvを判定するようにしたので、取り込まれたラッチの画像輪郭が、製造誤差や経年劣化等によってテンプレートと完全に一致しないような場合であっても、ラッチ12の向きを判別することが可能である。   As described above, the surface inspection apparatus 1 according to the present embodiment extracts the images H2 and V2 at the center from the latches 11 and 12 fetched from the camera 2 and converts them into the images H2 and V2 by Hough transform. Since the corresponding Hough transform scores Sh and Sv are determined, even if the captured image contour of the latch does not completely match the template due to a manufacturing error or aging deterioration, the latch 12 It is possible to determine the direction.

なお、実施の形態1および2に示した表面検査装置の構成は、本発明の内容の一例を示すものであり、更なる別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、一部を省略する等、変更して構成することも可能であることは無論である。   The configuration of the surface inspection apparatus shown in Embodiments 1 and 2 shows an example of the contents of the present invention, and can be combined with another known technique, and the gist of the present invention. Of course, it is possible to change and configure such as omitting a part without departing from the above.

以上のように、本発明に係る表面検査装置および表面検査方法は、移動物体の表面検査に適している。   As described above, the surface inspection apparatus and the surface inspection method according to the present invention are suitable for surface inspection of a moving object.

1 表面検査装置
2 ラインセンサカメラ
3 照明
4 車両
7 画像撮像範囲
10 ボルト(第1の部品)
11 横向きラッチ(第2の部品)
12 縦向きラッチ(第2の部品)
13 カバー
20 制御部
21 画像入力部
22 画像蓄積部
23 テンプレート記憶部
24 画像判定部
25 出力部
27 照合値算出部
28 表面検査部
30,31,32,41,42,51,52 輪郭
70,71 直線群(第1の直線群、第2の直線群)
100 表面検査システム
A ボルト用テンプレート(第1のテンプレート)
B ラッチ用テンプレート(第2のテンプレート)
H1 横向きラッチ用テンプレート(第3のテンプレート)
H2 横向き輪郭画像
H3,V3 輪郭画像に平行な直線
V1 縦向きラッチ用テンプレート(第4のテンプレート)
V2 縦向き輪郭画像
Sh 水平方向のマッチングスコア(第1の照合値,第1の値)
Sv 垂直方向のマッチングスコア(第2の照合値,第2の値)
Syp Y軸方向のマッチングスコア最大値
Spa テンプレートAに対するX軸方向のマッチングスコア最大値(第1の照合値)
Spa1 テンプレートAによるボルトでの最大値
Spa2 テンプレートAによるラッチでの最大値
Spb テンプレートBに対するX軸方向のマッチングスコア最大値(第2の照合値)
Spb1 テンプレートBによるボルトでの最大値
Spb2 テンプレートBによるラッチでの最大値
W 所定の幅
DESCRIPTION OF SYMBOLS 1 Surface inspection apparatus 2 Line sensor camera 3 Illumination 4 Vehicle 7 Image pick-up range 10 Volt (1st component)
11 Lateral latch (second part)
12 Longitudinal latch (second part)
DESCRIPTION OF SYMBOLS 13 Cover 20 Control part 21 Image input part 22 Image storage part 23 Template memory | storage part 24 Image determination part 25 Output part 27 Collation value calculation part 28 Surface inspection part 30, 31, 32, 41, 42, 51, 52 Contour 70, 71 Straight line group (first straight line group, second straight line group)
100 Surface inspection system A Bolt template (first template)
B Latch template (second template)
H1 Sideways latch template (third template)
H2 Landscape profile H3, V3 Straight line parallel to the profile image V1 Vertical latch template (fourth template)
V2 Vertical profile image Sh Horizontal matching score (first matching value, first value)
Sv Vertical matching score (second matching value, second value)
Syp Maximum matching score in the Y axis direction Spa Maximum matching score value in the X axis direction for the template A (first matching value)
Spa1 Maximum value in bolts by template A Spa2 Maximum value in latches by template A Spb Maximum matching score in the X-axis direction for template B (second matching value)
Spb1 Maximum value at bolt by template B Spb2 Maximum value at latch by template B W Predetermined width

Claims (8)

鉄道車両を相対移動させながら前記鉄道車両の表面に付属する部品を撮像した画像とテンプレート画像との対比によって、前記部品の状態を検査する表面検査装置において、
所望状態にあるラッチ中心部輪郭画像を表わす第1のテンプレート、および前記所望状態にあるラッチに対して相対回転角度が所定の範囲を超えた非所望状態にある回転式のラッチ中心部輪郭画像を表わす第2のテンプレートによるテンプレートマッチングに基づいて、前記第1のテンプレートと判定対象の前記ラッチ中心部輪郭画像とが一致する度合いを示す第1の照合値、および前記第2のテンプレートと判定対象の前記ラッチ中心部輪郭画像とが一致する度合いを示す第2の照合値を算出する照合値算出部と、
前記第2の照合値の最大値が前記第1の照合値の最大値に比して大きい場合、前記ラッチ中心部輪郭画像が非所望状態であると判定する画像判定部と、
前記画像判定部の判定結果に基づいて前記鉄道車両の表面に付属する部品の検査を行う表面検査部と、
を備えたことを特徴とする表面検査装置。
In the surface inspection apparatus for inspecting the state of the component by comparing the template image and the image obtained by imaging the component attached to the surface of the rail vehicle while relatively moving the rail vehicle ,
First template, and the relative rotational angle with respect to latch on the desired state of the rotary latch in a non-desired state exceeds a predetermined range center contour representing the heart outline image of the latch on the desired state Based on template matching by a second template representing an image, a first matching value indicating a degree of coincidence between the first template and a central part contour image of the determination target latch , and the second template A collation value calculating unit that calculates a second collation value indicating the degree of coincidence with the central part contour image of the latch to be determined;
If the maximum value of the second matching value is greater than the maximum value of the first matching value, and determines the image determining unit that the heart outline image of said latch is non desired state,
A surface inspection unit for inspecting parts attached to the surface of the railcar based on the determination result of the image determination unit;
A surface inspection apparatus comprising:
鉄道車両を相対移動させながら前記鉄道車両の表面に付属する部品を撮像した画像とテンプレート画像との対比によって、前記鉄道車両の表面に付属する部品の検査を行う表面検査部を備えた表面検査装置において、
ボルト外周輪郭画像を表わす第1のテンプレート、およびラッチ外周輪郭画像を表わす第2のテンプレートによるテンプレートマッチングに基づいて、前記第1のテンプレートと前記ボルト外周輪郭画像とが一致する度合いを示す第1の照合値、前記第2のテンプレートと前記ラッチ外周輪郭画像とが一致する度合いを示す第2の照合値を算出する照合値算出部と、
前記第2の照合値の最大値が前記第1の照合値の最大値に比して大きい場合、撮像された部品の輪郭画像が回転式のラッチの輪郭画像であると判定する画像判定部と、
を備え、
前記照合値算出部は、
所望状態にある前記ラッチ中心部輪郭画像を表わす第3のテンプレート、および前記所望状態にある前記ラッチに対して相対回転角度が所定の範囲を超えた非所望状態にある前記ラッチ中心部輪郭画像を表わす第4のテンプレートによるテンプレートマッチングに基づいて、前記第3のテンプレートと判定対象の前記ラッチ中心部輪郭画像とが一致する度合いを示す第1の照合値、および前記第4のテンプレートと判定対象の前記ラッチ中心部輪郭画像とが一致する度合いを示す第2の照合値を算出し、
前記画像判定部は、
前記第2の照合値の最大値が前記第1の照合値の最大値に比して大きい場合、前記ラッチの輪郭画像が非所望状態であると判定し、
前記表面検査部は、
前記画像判定部の判定結果に基づいて前記鉄道車両の表面に付属する部品の検査を行うこと、
を特徴とする表面検査装置。
A surface inspection apparatus comprising a surface inspection unit that inspects a part attached to the surface of the railway vehicle by comparing a template image with an image obtained by imaging the part attached to the surface of the railway vehicle while relatively moving the railway vehicle. In
Based on the template matching by the first template representing the outer periphery contour image of the bolt and the second template representing the outer contour image of the latch , the degree of matching between the first template and the outer contour image of the bolt is shown. A collation value calculation unit that calculates a first collation value, a second collation value indicating a degree of coincidence between the second template and the outer peripheral contour image of the latch ;
If the maximum value of the second matching value is greater than the maximum value of the first matching value, and the determined image determining unit outline image of the imaged part is a contour image of the latching rotary ,
With
The collation value calculation unit
Third template, and the relative rotational angle with respect to the latch on the desired state of the latch in a non-desired state exceeds a predetermined range center contour representing the heart outline image of the latch on the desired state Based on template matching by a fourth template representing an image, a first matching value indicating a degree of coincidence between the third template and a central part contour image of the determination target latch , and the fourth template Calculating a second collation value indicating a degree of coincidence with the central outline image of the latch to be determined;
The image determination unit
If the maximum value of the second verification value is larger than the maximum value of the first verification value, determine that the contour image of the latch is in an undesired state;
The surface inspection unit is
Inspecting parts attached to the surface of the railway vehicle based on the determination result of the image determination unit;
Surface inspection device characterized by.
物体を相対移動させながら前記物体の表面に付属する部品を撮像した画像とテンプレート画像との対比によって、前記部品の状態を検査する表面検査装置において、
所望状態にある部品の輪郭画像に平行な直線と当該直線から所定角度範囲にある直線とを含む第1の直線群、および前記所望状態にある部品に対して相対回転角度が所定の範囲を超えた非所望状態にある部品の輪郭画像に平行な直線と当該直線から所定角度範囲にある直線とを含む第2の直線群を用いたハフ変換に基づいて、前記第1の直線群と判定対象の前記部品の輪郭画像とが接する度合いを示す第1の値、および前記第2の直線群と判定対象の前記部品の輪郭画像とが接する度合いを示す第2の値を算出する照合値算出部と、
前記第2の値の絶対値が前記第1の値の絶対値に比して大きい場合、前記部品の輪郭画像が非所望状態であると判定する画像判定部と、
前記画像判定部の判定結果に基づいて前記物体の表面に付属する部品の検査を行う表面検査部と、
を備えたことを特徴とする表面検査装置。
In a surface inspection apparatus that inspects the state of the component by comparing a template image with an image obtained by imaging a component attached to the surface of the object while relatively moving the object,
A first straight line group including a straight line parallel to a contour image of a part in a desired state and a straight line within a predetermined angle range from the straight line, and a relative rotation angle with respect to the part in the desired state exceeds a predetermined range Based on the Hough transform using the second straight line group including the straight line parallel to the contour image of the part in the undesired state and the straight line within the predetermined angle range from the straight line, the first straight line group and the determination target A collation value calculating unit that calculates a first value indicating a degree of contact between the contour image of the part and a second value indicating a degree of contact between the second line group and the contour image of the part to be determined When,
An image determination unit that determines that the contour image of the component is in an undesired state when the absolute value of the second value is larger than the absolute value of the first value;
A surface inspection unit that inspects parts attached to the surface of the object based on a determination result of the image determination unit;
A surface inspection apparatus comprising:
前記所定角度範囲は、前記所望状態にある部品の輪郭画像に平行な直線から+10度〜−10度の範囲、または前記非所望状態にある部品の輪郭画像に平行な直線から+80度〜+100度の範囲であること特徴とする請求項3に記載の表面検査装置。 The predetermined angle range is +10 degrees to -10 degrees from a straight line parallel to the contour image of the part in the desired state, or +80 degrees to +100 degrees from a straight line parallel to the contour image of the part in the undesired state. surface inspection apparatus according to claim 3, characterized in that in the range of. 前記所望状態にある部品の輪郭画像は、長手方向が略水平方向である直線部と、短手方向が略垂直方向である直線部とからなる略楕円形状の輪郭であることを特徴とする請求項に記載の表面検査装置。 The contour image of the component in the desired state is a substantially elliptical contour composed of a linear portion whose longitudinal direction is a substantially horizontal direction and a linear portion whose transverse direction is a substantially vertical direction. Item 5. The surface inspection apparatus according to Item 4 . 鉄道車両を相対移動させながら前記鉄道車両の表面に付属する部品を撮像した画像とテンプレート画像との対比によって、前記部品の状態を検査する表面検査装置に適用可能な表面検査方法において、
所望状態にあるラッチ中心部輪郭画像を表わす第1のテンプレート、および前記所望状態にあるラッチに対して相対回転角度が所定の範囲を超えた非所望状態にあるラッチ中心部輪郭画像を表わす第2のテンプレートを記憶するステップと、
前記第1のテンプレート、および前記第2のテンプレートによるテンプレートマッチングに基づいて、前記第1のテンプレートと判定対象の前記ラッチ中心部輪郭画像とが一致する度合いを示す第1の照合値、および前記第2のテンプレートと判定対象の前記ラッチ中心部輪郭画像とが一致する度合いを示す第2の照合値を算出する照合値算出ステップと、
前記照合値算出ステップからの前記第2の照合値の最大値が前記第1の照合値の最大値に比して大きい場合、前記ラッチの輪郭画像が非所望状態であると判定する判定ステップと、
前記判定ステップからの判定結果に基づいて前記鉄道車両の表面に付属する部品の検査を行うステップと、
を含むことを特徴とする表面検査方法。
In a surface inspection method applicable to a surface inspection apparatus that inspects the state of the component by comparing a template image with an image obtained by imaging a component attached to the surface of the rail vehicle while relatively moving the rail vehicle ,
It represents the heart outline image of the latch in a non-desired state in which the first template, and the relative rotational angle with respect to latch on the desired state exceeds a predetermined range representing a heart outline image of the latch on the desired state Storing a second template;
Based on template matching by the first template and the second template, a first collation value indicating a degree of matching between the first template and a central part contour image of the latch to be determined; and A collation value calculating step of calculating a second collation value indicating the degree of coincidence between the second template and the central portion contour image of the determination target latch ;
If the maximum value of the second matching value from the verification value calculation step is greater than the maximum value of the first matching value, the outline image of said latch and determining steps to be non-desired state ,
Inspecting parts attached to the surface of the railway vehicle based on the determination result from the determination step;
A surface inspection method comprising:
物体を相対移動させながら前記物体の表面に付属する部品を撮像した画像とテンプレート画像との対比によって、前記部品の状態を検査する表面検査装置に適用可能な表面検査方法において、
所望状態にある部品の輪郭画像に平行な直線と当該直線から所定角度範囲にある直線とを含む第1の直線群、および前記所望状態にある部品に対して相対回転角度が所定の範囲を超えた非所望状態にある部品の輪郭画像に平行な直線と当該直線から所定角度範囲にある直線とを含む第2の直線群を記憶するステップと、
前記第1の直線群、および前記第2の直線群を用いたハフ変換に基づいて、前記第1の直線群と判定対象の前記部品の輪郭画像とが接する度合いを示す第1の値、および前記第2の直線群と判定対象の前記部品の輪郭画像とが接する度合いを示す第2の値を算出する照合値算出ステップと、
前記照合値算出ステップからの前記第2の値の絶対値が前記第1の値の絶対値に比して大きい場合、前記部品の輪郭画像が非所望状態であると判定する判定ステップと、
前記判定ステップからの前記画像判定部の判定結果に基づいて前記物体の表面に付属する部品の検査を行うステップと、
を含むことを特徴とする表面検査方法。
In a surface inspection method applicable to a surface inspection apparatus that inspects the state of a component by comparing a template image with an image obtained by imaging a component attached to the surface of the object while relatively moving the object,
A first straight line group including a straight line parallel to a contour image of a part in a desired state and a straight line within a predetermined angle range from the straight line, and a relative rotation angle with respect to the part in the desired state exceeds a predetermined range Storing a second straight line group including a straight line parallel to the contour image of the part in an undesired state and a straight line within a predetermined angle range from the straight line;
A first value indicating a degree of contact between the first straight line group and the contour image of the part to be determined based on the Hough transform using the first straight line group and the second straight line group; and A collation value calculating step of calculating a second value indicating the degree of contact between the second straight line group and the contour image of the part to be determined;
A determination step of determining that the contour image of the part is in an undesired state when the absolute value of the second value from the collation value calculating step is larger than the absolute value of the first value;
Inspecting parts attached to the surface of the object based on the determination result of the image determination unit from the determination step;
A surface inspection method comprising:
前記所望状態にある部品の輪郭画像は、長手方向が略水平方向である直線部と、短手方向が略垂直方向である直線部とからなる略楕円形状の輪郭であることを特徴とする請求項に記載の表面検査方法。 The contour image of the component in the desired state is a substantially elliptical contour composed of a linear portion whose longitudinal direction is a substantially horizontal direction and a linear portion whose transverse direction is a substantially vertical direction. Item 8. The surface inspection method according to Item 7 .
JP2009092273A 2009-04-06 2009-04-06 Surface inspection apparatus and surface inspection method Active JP5274346B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009092273A JP5274346B2 (en) 2009-04-06 2009-04-06 Surface inspection apparatus and surface inspection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009092273A JP5274346B2 (en) 2009-04-06 2009-04-06 Surface inspection apparatus and surface inspection method

Publications (2)

Publication Number Publication Date
JP2010243332A JP2010243332A (en) 2010-10-28
JP5274346B2 true JP5274346B2 (en) 2013-08-28

Family

ID=43096498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009092273A Active JP5274346B2 (en) 2009-04-06 2009-04-06 Surface inspection apparatus and surface inspection method

Country Status (1)

Country Link
JP (1) JP5274346B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6032812B2 (en) * 2013-02-19 2016-11-30 Kddi株式会社 Inspection assistance device
JP6444101B2 (en) * 2014-09-04 2018-12-26 東日本旅客鉄道株式会社 Vehicle inspection system
JP6737638B2 (en) * 2016-06-01 2020-08-12 東日本旅客鉄道株式会社 Appearance inspection device for railway vehicles
JP6913615B2 (en) * 2017-11-27 2021-08-04 東日本旅客鉄道株式会社 Railroad vehicle visual inspection equipment and its setting method
JP7377089B2 (en) 2019-12-11 2023-11-09 キヤノン株式会社 Information processing device, information processing method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3223108B2 (en) * 1996-04-03 2001-10-29 花王株式会社 Article recognition method and apparatus
JP2000331163A (en) * 1999-05-24 2000-11-30 Sharp Corp Image processor
JP2006310364A (en) * 2005-04-26 2006-11-09 Nidec Copal Electronics Corp Method of inspecting bonding wire
JP2008001136A (en) * 2006-06-20 2008-01-10 Takata Corp Vehicle occupant seat detection system, operating device control system, and vehicle

Also Published As

Publication number Publication date
JP2010243332A (en) 2010-10-28

Similar Documents

Publication Publication Date Title
JP5274346B2 (en) Surface inspection apparatus and surface inspection method
US10976262B2 (en) Mobile and automated apparatus for the detection and classification of damages on the body of a vehicle
US8050486B2 (en) System and method for identifying a feature of a workpiece
EP2998927B1 (en) Method for detecting the bad positioning and the surface defects of specific components and associated detection device
CN111289261B (en) Detection method for in-warehouse bottom piece
EP3388781A1 (en) System and method for detecting defects in specular or semi-specular surfaces by means of photogrammetric projection
JP2007508633A (en) Method and image processing device for analyzing object contour image, method and image processing device for detecting object, industrial visual device, smart camera, image display, security system, and computer program product
WO2017113805A1 (en) Method and system for identifying train number and model, and safety check method and system
KR20210157000A (en) System and method for underbody inspection of vehicle
JP6226368B2 (en) Vehicle monitoring apparatus and vehicle monitoring method
JP6737638B2 (en) Appearance inspection device for railway vehicles
JP6444101B2 (en) Vehicle inspection system
JP6052590B2 (en) Surface inspection apparatus and surface inspection method for automobile body
JP2009133085A (en) Crack checking device for tunnel lining
JP5287177B2 (en) Trolley wire wear and displacement measuring device by image processing
WO2019021876A1 (en) In-vehicle camera calibration device and method
JP5987195B2 (en) Rigid overhead wire support component inspection system
US20220178838A1 (en) Method and apparatus for determining deformations on an object
CN104200213B (en) One kind being based on multipart vehicle checking method
JP4817384B2 (en) Moving object detection device and program for moving object detection device
CN116309371A (en) Train part abnormality detection method and device, electronic equipment and medium
CN112444283B (en) Vehicle assembly detection device and vehicle assembly production system
JP2011141202A (en) Component inspection device and program
US20220327688A1 (en) Production-speed component inspection system and method
JP7053889B2 (en) Necking determination method for press-molded products, necking determination device for press-molded products, and programs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130514

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5274346

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250