JP5274346B2 - Surface inspection apparatus and surface inspection method - Google Patents
Surface inspection apparatus and surface inspection method Download PDFInfo
- Publication number
- JP5274346B2 JP5274346B2 JP2009092273A JP2009092273A JP5274346B2 JP 5274346 B2 JP5274346 B2 JP 5274346B2 JP 2009092273 A JP2009092273 A JP 2009092273A JP 2009092273 A JP2009092273 A JP 2009092273A JP 5274346 B2 JP5274346 B2 JP 5274346B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- template
- latch
- value
- straight line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims description 22
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 20
- 238000003860 storage Methods 0.000 description 20
- 239000002184 metal Substances 0.000 description 6
- 101100149471 Rattus norvegicus Sipa1l1 gene Proteins 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000003014 reinforcing effect Effects 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Images
Abstract
Description
この発明は、移動物体の表面検査を行う表面検査装置および表面検査方法に関するものである。 The present invention relates to a surface inspection apparatus and a surface inspection method for performing surface inspection of a moving object.
一般的に、鉄道車両の床下部には、車両を走行させるために必要な駆動装置制御用機器や空調機器などを収納固定した収納箱が設置され、収納箱の側面には、検査の際に開閉されるカバーが取り付けられている。当該カバーは、ほぼ同じ高さの位置に横並びに設けられた複数のボルトや回転式ラッチによって固定されている。これらのボルトまたは回転式ラッチは、カバーの開閉頻度に応じて使い分けられ、例えば、定期的に検査が行われるため比較的に開閉頻度が多いカバーの固定にはラッチが使用され、比較的に開閉頻度が低いカバーにはボルトが使用されている。ボルトまたは回転式ラッチの周囲には、一般に略円形の補強金具が装着され、当該補強金具の直径は、ボルト用とラッチ用とで異なるという特徴を有している。 Generally, a storage box is installed in the lower floor of a railway vehicle to store and fix drive device control equipment and air conditioning equipment necessary for running the vehicle. A cover that can be opened and closed is attached. The cover is fixed by a plurality of bolts and a rotary latch provided side by side at substantially the same height. These bolts or rotary latches are used according to the opening and closing frequency of the cover. For example, since a periodic inspection is performed, a latch is used to fix a cover that is opened and closed relatively frequently. Bolts are used for infrequent covers. A generally circular reinforcing metal fitting is generally mounted around the bolt or the rotary latch, and the diameter of the reinforcing metal fitting is different for the bolt and the latch.
定期検査の際、作業員が収納箱内の装置類を点検するためにラッチを90度回転させて開放状態に切替えてカバーを取り外す。そして、点検が終わると、作業員がカバーを収納箱側面に取付けてラッチを90度逆回転させ閉鎖状態に切換える。このとき、作業員がラッチを閉鎖し忘れると、走行中にカバーが脱落し軌道周辺設備や住民に対し、重大な被害を与えかねないため、全てのラッチが閉鎖状態になっているかを確認することが、重要点検項目の1つとなっている。ただし、鉄道車両一編成分のカバーのラッチ本数は膨大なものであり、作業員の疲労蓄積による見落とし、点検時間の増大化を招く恐れがあるだけでなく、時間的制約によって大量に点検作業員を投入すれば経費も過大になるという問題を有していた。 During periodic inspection, an operator rotates the latch 90 degrees to check the devices in the storage box, switches to the open state, and removes the cover. When the inspection is completed, the worker attaches the cover to the side of the storage box and reverses the latch by 90 degrees to switch to the closed state. At this time, if the operator forgets to close the latches, the cover will fall off while driving, and it may cause serious damage to the track and surrounding facilities and residents. Check that all the latches are closed. This is one of the important inspection items. However, the number of latches for the cover of a single train is huge, which may lead to oversight due to accumulated worker fatigue and increase inspection time, as well as a large number of inspection workers due to time constraints. There was a problem that the cost would be excessive if the power was introduced.
このようなニーズを満たす手段として、下記特許文献1に示される従来技術は、ボルトの締結状態の情報とボルトの正常締結状態における情報とを比較し、ボルト緩みの有無を判定することによって、ボルト緩み検査の高速化、点検作業に要する経費の低減を可能としている。 As means for satisfying such needs, the prior art disclosed in the following Patent Document 1 compares the information on the fastening state of the bolt with the information on the normal fastening state of the bolt, and determines whether or not the bolt is loosened. It makes it possible to speed up the looseness inspection and reduce the cost of inspection work.
しかしながら、上記特許文献1に代表される従来技術では、ボルト輪郭の高精度な角度情報検出を図るために、直線を成す多数個の点データを使用して統計的な計算をしなければならず、複雑な処理によって点検作業が遅延する場合があるという課題があった。 However, in the prior art represented by the above-mentioned Patent Document 1, statistical calculation must be performed using a large number of point data forming a straight line in order to detect highly accurate angle information of the bolt contour. There is a problem that the inspection work may be delayed due to complicated processing.
本発明は、上記に鑑みてなされたものであって、表面検査の更なる高速化を実現可能とする表面検査装置および表面検査方法を得ることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to obtain a surface inspection apparatus and a surface inspection method that can realize further increase in speed of surface inspection.
上記目的を達成するため、この発明は、鉄道車両を相対移動させながら前記鉄道車両の表面に付属する部品を撮像した画像とテンプレート画像との対比によって、前記部品の状態を検査する表面検査装置において、所望状態にあるラッチの中心部輪郭画像を表わす第1のテンプレート、および前記所望状態にあるラッチに対して相対回転角度が所定の範囲を超えた非所望状態にある回転式のラッチの中心部輪郭画像を表わす第2のテンプレートによるテンプレートマッチングに基づいて、前記第1のテンプレートと判定対象の前記ラッチの中心部輪郭画像とが一致する度合いを示す第1の照合値、および前記第2のテンプレートと判定対象の前記ラッチの中心部輪郭画像とが一致する度合いを示す第2の照合値を算出する照合値算出部と、前記第2の照合値の最大値が前記第1の照合値の最大値に比して大きい場合、前記ラッチの中心部輪郭画像が非所望状態であると判定する画像判定部と、前記画像判定部の判定結果に基づいて前記鉄道車両の表面に付属する部品の検査を行う表面検査部と、を備えたことを特徴とする。 To achieve the above object, the present invention is by comparison between the image and the template image of the captured components to be attached to the surface of the railway vehicle while the rail vehicles are relatively moved, the surface inspection apparatus for inspecting the condition of the component , the center of the rotary latch in a non-desired state in which the first template representing a heart outline image of the latch, and the relative rotational angle with respect to latch on the desired state exceeds a predetermined range of the desired state A first matching value indicating a degree of coincidence between the first template and the center contour image of the latch to be determined based on template matching by a second template representing a contour image; and the second template and the verification value calculation unit and the central unit outline image of said latch to be determined to calculate the second verification value indicating the degree of matching, prior If the maximum value of the second matching value is greater than the maximum value of the first matching value, and determines the image determining unit that the heart outline image of said latch is non desired state, the image determining unit And a surface inspection unit that inspects parts attached to the surface of the railcar based on the determination result.
本発明によれば、予め蓄積されたラッチなどの画像に関するテンプレートとラインセンサカメラから取り込まれたラッチなどの画像との一致度合いを示すマッチングスコアを算出し、各テンプレートに対応するマッチングスコアに基づいて、輪郭画像の向きを判定するようにしたので、表面検査の更なる高速化を実現することができるという効果を奏する。 According to the present invention, a matching score indicating a degree of coincidence between a template related to an image such as a latch stored in advance and an image such as a latch captured from a line sensor camera is calculated, and based on the matching score corresponding to each template. Since the orientation of the contour image is determined, there is an effect that the surface inspection can be further speeded up.
以下に、本発明にかかる表面検査装置および表面検査方法の実施の形態を図面に基づき詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。 Embodiments of a surface inspection apparatus and a surface inspection method according to the present invention will be described below in detail with reference to the drawings. Note that the present invention is not limited to the embodiments.
実施の形態1.
(表面検査システムの構成)
図1は、本発明の実施の形態1に係る表面検査システムの構成を示す図であり、図2は、鉄道車両の側面を示す図である。
Embodiment 1 FIG.
(Configuration of surface inspection system)
1 is a diagram showing a configuration of a surface inspection system according to Embodiment 1 of the present invention, and FIG. 2 is a diagram showing a side surface of a railway vehicle.
図1において、表面検査システム100は、移動物体である車両4、車両4を照明する手段である照明3、表面検査装置1、およびラインセンサカメラ(以下単に「カメラ」と称する)2を備えており、図1は、これらの配置関係を平面図として表わしている。
In FIG. 1, a
車両4は、例えば電車などの鉄道の車両である。照明3は、例えば、ハロゲンランプなどの連続光源であり、カメラ2で車両4を撮像する際に、車両4の表面に照明光を照射し、カメラ2による撮像範囲よりも少し広い縦長の領域を照明する。また、カメラ2の背後に遮光版を配設すれば、背景光が車両4の表面に反射して撮像されることがなくなる。
The vehicle 4 is a railway vehicle such as a train. The
カメラ2は、列マトリックス状に配置された複数の画素を内蔵しており、車両4の移動方向に対して垂直方向の撮像範囲(縦長の領域)を、1次元画像として撮像するものである。カメラ2は、車両4を相対移動させながら車両4の各部分、例えば、図2に示されるような画像撮像範囲7を順次撮像し、撮像した画像を表面検査装置1に送出する。図1では、カメラ2の光軸を、車両4からカメラ2の方向へ伸びている矢印で示している。
The
カメラ2は、所定の位置に固定設置され、例えば、車庫に進入してきた車両4の側面、例えば、床下のカバー13を固定する第1の部品であるボルト10と、第2の部品である横向きラッチ11または縦向きラッチ12とが締結される画像撮像範囲7を撮像する。画像撮像範囲7の横方向の幅は、車両4の長さと略同長さに相当し、縦方向の幅は、カメラ2によって撮影可能な所定の幅Wである。ラッチの種類には、カバー13の閉鎖状態を示す横向きラッチ11(以下単に「ラッチ11」と称する)や、開放状態を示す縦向きラッチ12(以下単に「ラッチ12」と称する)が存在する。なお、ラッチの向きには、締め付け状態によっては、完全な垂直あるいは水平方向を示さなくても、閉鎖あるいは開放状態となる場合があるため、本実施の形態では、これらの要因を加味したラッチの向きを、閉鎖あるいは開放状態として説明する。
The
表面検査装置1は、車両4がカメラ2の前を通過するとき、カメラ2から送られてくる1次元の画像信号を取り込み、2次元画像データを連続して生成することによって車両4の表面検査を行うコンピュータなどである。以下、表面検査装置1の内部構成について説明する。
When the vehicle 4 passes in front of the
(表面検査装置の構成)
図3は、実施の形態1に係る表面検査装置の構成を示すブロック図である。表面検査装置1は、主たる構成として、画像入力部21、画像蓄積部22、テンプレート記憶部23、照合値算出部27、画像判定部24、出力部25、表面検査部28、およびこれらの各構成要素の動作を司る制御部20を有して構成されている。
(Configuration of surface inspection equipment)
FIG. 3 is a block diagram illustrating a configuration of the surface inspection apparatus according to the first embodiment. The surface inspection apparatus 1 mainly includes an
画像入力部21には、カメラ2によって撮像された車両4の画像として、車両4の画像撮像範囲7の画像が入力され、画像入力部21は、当該画像を画像蓄積部22へ送出する。
An image of the image capturing range 7 of the vehicle 4 is input to the
テンプレート記憶部23は、撮像対象であるボルト10、ラッチ11、およびラッチ12に関する形状をテンプレートとして記憶する領域であり、画像蓄積部22は、画像入力部21から送られてくる画像撮像範囲7の画像を組み合わせることによって車両4の移動方向の全体画像を作成・蓄積する領域である。
The
テンプレートは、例えば、ボルト10の外周円部の輪郭画像に対応する第1のテンプレートであるボルト用テンプレートA(以下単に「テンプレートA」と称する)と、ラッチ11またはラッチ12の外周円部の輪郭画像に対応する第2のテンプレートであるラッチ用テンプレートB(以下単に「テンプレートB」と称する)である。
The template includes, for example, a bolt template A (hereinafter simply referred to as “template A”) corresponding to the contour image of the outer peripheral circular portion of the
さらに、テンプレートは、ラッチ11の中央部の小判型物体の輪郭画像に対応する第3のテンプレートである横向きラッチ用テンプレートH1(以下単に「テンプレートH1」と称する)と、ラッチ12の中央部の小判型物体の輪郭画像に対応する第4のテンプレートである縦向きラッチ用テンプレートV1(以下単に「テンプレートV1」と称する)である。
Further, the template includes a horizontal latch template H1 (hereinafter simply referred to as “template H1”), which is a third template corresponding to the contour image of the oval object at the center of the
なお、テンプレートH1は、所望状態にある部品の輪郭画像を表わし、テンプレートV1は、所望状態にある部品に対して相対回転角度が所定の範囲を超えた非所望状態にある部品の輪郭画像を表わす。また、本実施の形態では、所望状態にある部品は、例えば水平方向に楕円形状の輪郭を有する横向きラッチ11として説明し、非所望状態にある部品は、例えば垂直方向に楕円形状の輪郭を有する縦向きラッチ12として以下説明するが、これらの形状に限定されるものではない。
The template H1 represents a contour image of a component in a desired state, and the template V1 represents a contour image of a component in an undesired state with a relative rotation angle exceeding a predetermined range with respect to the component in the desired state. . Further, in the present embodiment, a part in a desired state is described as a
(照合値算出部)
照合値算出部27は、画像蓄積部22に記録されている画像上で、各テンプレートA、Bと、ボルト10、ラッチ11、およびラッチ12の輪郭画像とのテンプレートマッチングあるいはパターンマッチング処理を行い、各テンプレートA、Bと各画像とが一致する度合いを示すマッチングスコアを算出する。
(Verification value calculation unit)
The matching
照合値算出部27は、マッチングスコアの最大値を用いて、画像内のラッチ11またはラッチ12の位置を特定する。その後、ラッチ11またはラッチ12の中央領域の輪郭画像に対するマッチングスコアを算出する。このとき、照合値算出部27は、ラッチ11とラッチ12のそれぞれに対して、水平方向のマッチングスコアShと垂直方向のマッチングスコアSvとを算出する。
The collation
(画像判定部)
画像判定部24は、マッチングスコアShとSvを用いて、ラッチ11とラッチ12の向きが閉鎖状態であるか開放状態であるかを判断する。縦向きラッチ12であると判断した場合、画像判定部24は、表面検査部28に対して判定結果を送出する。
(Image judgment part)
The
表面検査部28は、取り込まれた画像内の縦向きラッチ12の位置を特定して、出力部25に所定の情報を出力する。出力部25は、図示しない警告装置などに判定結果を送出する。その結果、検査対象であるラッチなどの中に、開放状態の縦向きラッチ12が含まれていることを、作業員に知らせることが可能である。
The
(表面検査装置の動作)
つぎに、実施の形態1に係る表面検査装置1の動作手順について説明する。図4は、実施の形態1に係る表面検査装置の動作手順を示すフローチャートである。表面検査装置1のテンプレート記憶部23には、予め各テンプレート情報を記憶させておく。線路上を移動する車両4が、カメラ2の光軸が指す位置を車両4の先頭部から後端部まで通過したとき、カメラ2は、車両4の側面の画像撮像範囲7を順次撮像し、撮像した画像を表面検査装置1に送出する。
(Operation of surface inspection equipment)
Next, an operation procedure of the surface inspection apparatus 1 according to the first embodiment will be described. FIG. 4 is a flowchart showing an operation procedure of the surface inspection apparatus according to the first embodiment. Each template information is stored in advance in the
(ステップS110)
画像入力部21は、画像撮像範囲7の画像を取り込み、当該画像を画像蓄積部22に送出する。画像蓄積部22は、画像入力部21からの画像を組み合わせることによって、車両4の移動方向の全体画像を蓄積する(ステップS110)。
(Step S110)
The
(ステップS120)
図5は、マッチングスコアの算出処理を説明するための図である。図5に示される画像は、画像蓄積部22に蓄積された画像である。当該画像は、車両4の左から順次撮像された横長画像の一部を示すものであり、ボルト10が2つ、横向きラッチ11、および縦向きラッチ12が表示されている。
(Step S120)
FIG. 5 is a diagram for explaining a matching score calculation process. The image shown in FIG. 5 is an image stored in the
ボルト10などの周囲には、上述したように、円形形状の補強金具が装着されており、ボルト10用の補強金具の円形部分の大きさと、ラッチ11またはラッチ12用の補強金具の円形部分の大きさとは異なるという特徴がある。これらの円形部分は、輪郭抽出処理あるいはエッジ抽出処理によって、図5に示されるように、輪郭30〜32の部分が強調された画像として表わされる。なお、輪郭抽出処理などは、公知技術であるためその説明を割愛する。
As described above, the circular reinforcing metal fittings are mounted around the
図5には、当該画像の上端から下端方向に順次移動しているテンプレートAまたはテンプレートBの状態が示されている。テンプレートAの一辺の長さは、輪郭30の直径に相当し、テンプレートBの一辺の長さは、輪郭31または輪郭32の直径に相当する。図5には、Y軸方向におけるテンプレートAまたはBと、ボルト10などの各輪郭画像とのマッチングスコアの変化が示されている。
FIG. 5 shows a state of the template A or the template B that is sequentially moved from the upper end to the lower end of the image. The length of one side of the template A corresponds to the diameter of the
照合値算出部27は、画像蓄積部22に記憶されたボルト10などの輪郭画像と、テンプレート記憶部23に記憶されているテンプレートAまたはBとのパタンマッチングスコアを以下の手順で算出する。
The matching
照合値算出部27は、ボルト10の位置を特定するために、テンプレートAを画面の垂直方向に順次移動させる。次に、ラッチ11または12の位置を特定するために、テンプレートBを画面の垂直方向に順次移動させる。ここで、垂直方向のマッチングスコアは、輪郭30〜32の大きさに比例するため、輪郭30〜32が最大となるポイントで最大値Sypを示す。したがって、照合値算出部27は、テンプレートAまたはテンプレートBをY軸方向に移動させた際に、マッチングスコアが最大値Sypを算出することによって、検査対象であるボルト10等の位置を特定する(ステップS120)。
The collation
(ステップS130)
次に、照合値算出部27は、図5に示される横長の画像に対して、水平方向のマッチングスコアを算出する。
(Step S130)
Next, the collation
図5の左側には、テンプレート記憶部23に記憶されているテンプレートAとテンプレートBの一例が示されている。図5の右側には、X軸方向におけるテンプレートAと各輪郭30〜32とのマッチングスコアの変化、およびX軸方向におけるテンプレートBと各輪郭30〜32とのマッチングスコアの変化が示されている。
An example of template A and template B stored in the
照合値算出部27は、テンプレートAまたはBと各輪郭30〜32とのX軸方向におけるマッチングスコアを連続的に算出する。図5には、テンプレートAに対するX軸方向のマッチングスコアの一例として、テンプレートAと各輪郭30または31とが一致する度合いを示す第1の照合値であるマッチングスコアSpa1とマッチングスコアSpa2が示される。また、図5には、テンプレートBに対するX軸方向のマッチングスコアの一例として、テンプレートBと各輪郭30または31とが一致する度合いを示す第2の照合値であるマッチングスコアSpb1とマッチングスコアSpb2が示されている。
The matching
マッチングスコアSpa1は、マッチングスコアSpa2に比して大きな値を示し、マッチングスコアSpb2は、マッチングスコアSpb1に比して大きな値を示す。すなわち、Spa1>Spa2、Spb1<Spb2という関係になる。 The matching score Spa1 has a larger value than the matching score Spa2, and the matching score Spb2 has a larger value than the matching score Spb1. That is, the relationship is Spa1> Spa2, Spb1 <Spb2.
画像判定部24は、各輪郭30〜32に対して、テンプレートAによる横(X)方向の最大値Spaと、テンプレートBによる横方向の最大値Spbとを比較し、Spa<Spbの場合(ステップS130,Yes)、その位置には横向きラッチ11または縦向きラッチ12が存在すると判断する。
The
一方、Spa>Spbの場合(ステップS130,No)、画像判定部24は、その位置には横向きラッチ11または縦向きラッチ12が存在しないと判断し、照合値算出部27は、ステップS120の処理を実行する。
On the other hand, when Spa> Spb (step S130, No), the
なお、ボルト10またはラッチ11あるいはラッチ12の正確な位置は、Y軸方向のマッチングスコアとX軸方向のマッチングスコアが、共に最大値を示したときである。このようにして、表面検査装置1による検査対象の識別処理は、検査対象となる横向きラッチ11または縦向きラッチ12の位置を特定する。
The exact position of the
(ステップS140)
次に、ラッチ11、12の方向判別の動作について説明する。図6は、ラッチ中央部の輪郭を判別するためのテンプレートの一例を示す図であり、図7は、実施の形態1に係る輪郭画像の向きの判別処理を説明するための図である。
(Step S140)
Next, the operation for determining the direction of the
図6の左側に示される横向き(閉)ラッチ11は、その中央部に、図中X軸方向を長軸とする楕円形状あるいは小判形状とする輪郭41を有している。また、縦向き(開)ラッチ12は、その中央部に、図中Y軸方向を長軸とする楕円形状あるいは小判形状とする輪郭42を有している。
The lateral (closed)
また、図6の右側には、輪郭41の領域を切り出して作成された輪郭51を有する横向きラッチ用テンプレートH1が示され、さらに、輪郭42の領域を切り出して作成された輪郭52を有する縦向きラッチ用テンプレートV1が示されている。輪郭51は輪郭41に対応し、輪郭52は輪郭42に対応しており、テンプレートH1およびV1は、テンプレート記憶部23に予め記憶されているものとする。
Further, on the right side of FIG. 6, a horizontal latch template H1 having a
照合値算出部27は、各輪郭41および42とテンプレートH1とが一致する度合いを示す第1の照合値であるマッチングスコアShを算出し、各輪郭41および42とテンプレートV1とが一致する度合いを示す第2の照合値であるマッチングスコアSvを算出する。
The matching
ここで、テンプレートH1の輪郭51は、図6で述べたように、輪郭41に略等しいため、テンプレートH1と横向きラッチ11とのマッチングスコアの最大値Shは、テンプレートV1と横向きラッチ11とのマッチングスコアの最大値Svに比して大きな値を示す。
Here, since the
また、テンプレートV1の輪郭52は、輪郭42に略等しいため、テンプレートV1と縦向きラッチ12とのマッチングスコアの最大値Svは、テンプレートV1と縦向きラッチ12とのマッチングスコアの最大値Shに比して大きな値を示す。すなわち、テンプレートH1に対しては、Sh>Sv、テンプレートV1に対しては、Sh<Svという関係になる。
Further, since the
その結果、画像判定部24は、Sh>Svの場合にはラッチが閉鎖状態であると判定し、Sh<Svの場合にはラッチが開放状態であると判定する。Sh<Svの場合(ステップS140,Yes)、画像判定部24は、表面検査部28に対して判定結果を送出し、表面検査部28は、出力部25に開放状態のラッチ12の位置を送出し、出力部25は、図示しない警告装置などに判定結果を送出する(ステップS150)。一方、Sh>Svの場合(ステップS140,No)、照合値算出部27は、ステップS120の処理を実行する。
As a result, the
なお、本実施の形態では、図2などに示すように、ボルト10などの輪郭31〜32は、相似する円形であるが、円形に限定されるものではなく、互いの外径が同一でなければ、凹凸などを含む相似の輪郭でもよい。また、図6などに示すように、輪郭41は、長手方向が略水平方向に伸びる楕円形状であり、輪郭42は、長手方向が略垂直方向に伸びる楕円形状であるが、楕円形状に限定されるものではなく、互いに形状が異なるものであれば、例えば、凹凸などを含む輪郭でもよい。さらに、各テンプレートは、例えば、ボルト10などを撮像したときの明暗画像や色彩などの情報を含むものであってもよい。
In the present embodiment, as shown in FIG. 2 and the like, the
また、図5に示される画面上にテンプレートAまたはBを移動させる速度は、一定速度に限定されるものではなく、速度が変化している場合においても適用可能である。例えば、最初に各テンプレートを荒いピッチで移動させた後、各マッチングスコアの最大値付近において、各テンプレートを細かいピッチで移動させるように構成してもよい。 Further, the speed at which the template A or B is moved on the screen shown in FIG. 5 is not limited to a constant speed, and can be applied even when the speed changes. For example, after each template is first moved at a rough pitch, each template may be moved at a fine pitch near the maximum value of each matching score.
また、本実施の形態では、車両4側が移動したときの画像を利用しているが、これに限定されるものではなく、車両4とカメラ2を相対移動させて得られた画像を用いてもよい。
Further, in the present embodiment, an image when the vehicle 4 side is moved is used, but the present invention is not limited to this, and an image obtained by relatively moving the vehicle 4 and the
以上に説明したように、本実施の形態にかかる表面検査装置1は、テンプレート記憶部23に予め蓄積されたラッチ11などの画像に関するテンプレートとカメラ2から取り込まれたラッチ11などの画像とのマッチングスコアを算出し、各テンプレートに対応するマッチングスコアに基づいて、横向きラッチ11または縦向きラッチ12の方向を判定するようにしたので、表面検査の更なる高速化を実現可能とすることが可能である。その結果、従来技術に比して、点検作業の一層の効率化を図れるとともに、点検作業に要する経費を一層低減することが可能である。
As described above, the surface inspection apparatus 1 according to the present embodiment matches a template related to an image such as the
実施の形態2.
実施の形態2では、カメラ2からの画像の中に、Hough変換(ハフ変換)などの直線要素抽出技法を利用して、横向きラッチ11および縦向きラッチ12の向きを判定するように構成されている。実施の形態2にかかる表面検査装置1の各部構成は、基本的に第1の実施の形態と同様であり、以下、第1の実施の形態と同様の部分については、同じ符号を付して詳細な説明は省略する。また、実施の形態1にかかるステップS110〜ステップS130の動作は、本実施の形態でも同様であり、以下、その説明を省略する。
In the second embodiment, the image from the
図8は、実施の形態2に係る表面検査装置によって作成されたラッチ中央部の輪郭画像の一例を示す図である。照合値算出部27は、横向きラッチ11からラッチ中央部の輪郭41を含む円形領域を切り出し、図8の右側に示されるような輪郭51を有する横向き輪郭画像H2を作成する。また、照合値算出部27は、縦向きラッチ12からラッチ中央部の輪郭42を含む円形領域を切り出し、図8の右側に示されるような輪郭52を有する縦向き輪郭画像V2を作成する。
FIG. 8 is a diagram illustrating an example of a contour image of a latch central portion created by the surface inspection apparatus according to the second embodiment. The collation
(第1の直線群と第1の値)
図9は、直線群によって横向き輪郭画像をハフ変換する状態を説明するための図である。図9(A)の左側には、横向きラッチ11の輪郭画像H2が示され、輪郭画像H2の左側には、輪郭の短手方向の直線部に対して所望状態にある部品の輪郭画像に平行な直線V3と当該直線V3から所定角度範囲にある直線とを含む第1の直線群である直線群71が示されている。直線群71の所定角度範囲は、例えば、所望状態にある部品の輪郭画像に平行な直線V3に対して+80度〜+100度に設定される。この直線群71と輪郭画像の中心輪郭部が接する度合いを示す第1の値であるスコアShは、図9(A)の右側の図に示されるように、直線V3と短手方向の直線部とが接したときに最大となる。なお、図示しない縦向き輪郭画像を用いた場合の直線群と第1の値であるスコアShとの関係に関しては、図9(A)に示された輪郭画像H2を縦向き輪郭画像V2に読み替えて、以下省略する。
(First straight line group and first value)
FIG. 9 is a diagram for explaining a state in which a horizontal outline image is subjected to Hough transform using a straight line group. The left side of FIG. 9A shows a contour image H2 of the
図9(B)の左側には、横向きラッチ11の輪郭画像H2が示され、輪郭画像H2の左側には、輪郭の長手方向の直線部に対して所望状態にある部品の輪郭画像に平行な直線H3と当該直線H3から所定角度範囲にある直線とを含む第2の直線群である直線群70が示されている。直線群70の所定角度範囲は、例えば、所望状態にある部品の輪郭画像に平行な直線H3に対して+10度〜−10度に設定される。この直線群70と輪郭画像の中心輪郭部が接する度合いを示す第2の値であるスコアSvは、図9(B)の右側の図に示されるように、直線H3と長手方向の直線部とが接したときにスコアSvが最大となる。なお、図示しない縦向き輪郭画像を用いた場合の直線群と第2の値であるスコアSvとの関係に関しては、図9(B)に示された輪郭画像H2を縦向き輪郭画像V2に読み替えて、以下省略する。なお、上述した所定角度範囲は、これらに限定されるものではない。
The left side of FIG. 9B shows a contour image H2 of the
図10は、実施の形態2に係る輪郭画像の向きの判別処理を説明するための図である。画像判定部24は、図8〜9で説明したハフ変換のスコアShの最大値とスコアSvの最大値とを比較した場合、Sh>Svの場合には横向きのラッチ11と判定し、Sh<Svの場合には縦向きのラッチ12と判定する。
FIG. 10 is a diagram for explaining the orientation image orientation determination processing according to the second embodiment. When comparing the maximum value of the Hough transform score Sh described in FIGS. 8 to 9 with the maximum value of the score Sv, the
なお、本実施の形態では、ラッチ中心部の輪郭41、42が横向き(水平方向)または縦向き(垂直方向)の場合についてのみハフ変換を行っているが、これに限定されるものではなく、例えば、輪郭41、42の長手方向の角度が、水平方向に対して斜め45度あるいは135度などの角度の場合にも適用可能である。
In the present embodiment, the Hough transform is performed only when the
以上に説明したように、本実施の形態にかかる表面検査装置1は、カメラ2から取り込まれたラッチ11および12から、その中央部の画像H2およびV2を抜き出し、ハフ変換によって画像H2およびV2に対応するハフ変換のスコアShおよびSvを判定するようにしたので、取り込まれたラッチの画像輪郭が、製造誤差や経年劣化等によってテンプレートと完全に一致しないような場合であっても、ラッチ12の向きを判別することが可能である。
As described above, the surface inspection apparatus 1 according to the present embodiment extracts the images H2 and V2 at the center from the
なお、実施の形態1および2に示した表面検査装置の構成は、本発明の内容の一例を示すものであり、更なる別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、一部を省略する等、変更して構成することも可能であることは無論である。
The configuration of the surface inspection apparatus shown in
以上のように、本発明に係る表面検査装置および表面検査方法は、移動物体の表面検査に適している。 As described above, the surface inspection apparatus and the surface inspection method according to the present invention are suitable for surface inspection of a moving object.
1 表面検査装置
2 ラインセンサカメラ
3 照明
4 車両
7 画像撮像範囲
10 ボルト(第1の部品)
11 横向きラッチ(第2の部品)
12 縦向きラッチ(第2の部品)
13 カバー
20 制御部
21 画像入力部
22 画像蓄積部
23 テンプレート記憶部
24 画像判定部
25 出力部
27 照合値算出部
28 表面検査部
30,31,32,41,42,51,52 輪郭
70,71 直線群(第1の直線群、第2の直線群)
100 表面検査システム
A ボルト用テンプレート(第1のテンプレート)
B ラッチ用テンプレート(第2のテンプレート)
H1 横向きラッチ用テンプレート(第3のテンプレート)
H2 横向き輪郭画像
H3,V3 輪郭画像に平行な直線
V1 縦向きラッチ用テンプレート(第4のテンプレート)
V2 縦向き輪郭画像
Sh 水平方向のマッチングスコア(第1の照合値,第1の値)
Sv 垂直方向のマッチングスコア(第2の照合値,第2の値)
Syp Y軸方向のマッチングスコア最大値
Spa テンプレートAに対するX軸方向のマッチングスコア最大値(第1の照合値)
Spa1 テンプレートAによるボルトでの最大値
Spa2 テンプレートAによるラッチでの最大値
Spb テンプレートBに対するX軸方向のマッチングスコア最大値(第2の照合値)
Spb1 テンプレートBによるボルトでの最大値
Spb2 テンプレートBによるラッチでの最大値
W 所定の幅
DESCRIPTION OF SYMBOLS 1
11 Lateral latch (second part)
12 Longitudinal latch (second part)
DESCRIPTION OF SYMBOLS 13
100 Surface inspection system A Bolt template (first template)
B Latch template (second template)
H1 Sideways latch template (third template)
H2 Landscape profile H3, V3 Straight line parallel to the profile image V1 Vertical latch template (fourth template)
V2 Vertical profile image Sh Horizontal matching score (first matching value, first value)
Sv Vertical matching score (second matching value, second value)
Syp Maximum matching score in the Y axis direction Spa Maximum matching score value in the X axis direction for the template A (first matching value)
Spa1 Maximum value in bolts by template A Spa2 Maximum value in latches by template A Spb Maximum matching score in the X-axis direction for template B (second matching value)
Spb1 Maximum value at bolt by template B Spb2 Maximum value at latch by template B W Predetermined width
Claims (8)
所望状態にあるラッチの中心部輪郭画像を表わす第1のテンプレート、および前記所望状態にあるラッチに対して相対回転角度が所定の範囲を超えた非所望状態にある回転式のラッチの中心部輪郭画像を表わす第2のテンプレートによるテンプレートマッチングに基づいて、前記第1のテンプレートと判定対象の前記ラッチの中心部輪郭画像とが一致する度合いを示す第1の照合値、および前記第2のテンプレートと判定対象の前記ラッチの中心部輪郭画像とが一致する度合いを示す第2の照合値を算出する照合値算出部と、
前記第2の照合値の最大値が前記第1の照合値の最大値に比して大きい場合、前記ラッチの中心部輪郭画像が非所望状態であると判定する画像判定部と、
前記画像判定部の判定結果に基づいて前記鉄道車両の表面に付属する部品の検査を行う表面検査部と、
を備えたことを特徴とする表面検査装置。 In the surface inspection apparatus for inspecting the state of the component by comparing the template image and the image obtained by imaging the component attached to the surface of the rail vehicle while relatively moving the rail vehicle ,
First template, and the relative rotational angle with respect to latch on the desired state of the rotary latch in a non-desired state exceeds a predetermined range center contour representing the heart outline image of the latch on the desired state Based on template matching by a second template representing an image, a first matching value indicating a degree of coincidence between the first template and a central part contour image of the determination target latch , and the second template A collation value calculating unit that calculates a second collation value indicating the degree of coincidence with the central part contour image of the latch to be determined;
If the maximum value of the second matching value is greater than the maximum value of the first matching value, and determines the image determining unit that the heart outline image of said latch is non desired state,
A surface inspection unit for inspecting parts attached to the surface of the railcar based on the determination result of the image determination unit;
A surface inspection apparatus comprising:
ボルトの外周輪郭画像を表わす第1のテンプレート、およびラッチの外周輪郭画像を表わす第2のテンプレートによるテンプレートマッチングに基づいて、前記第1のテンプレートと前記ボルトの外周輪郭画像とが一致する度合いを示す第1の照合値、前記第2のテンプレートと前記ラッチの外周輪郭画像とが一致する度合いを示す第2の照合値を算出する照合値算出部と、
前記第2の照合値の最大値が前記第1の照合値の最大値に比して大きい場合、撮像された部品の輪郭画像が回転式のラッチの輪郭画像であると判定する画像判定部と、
を備え、
前記照合値算出部は、
所望状態にある前記ラッチの中心部輪郭画像を表わす第3のテンプレート、および前記所望状態にある前記ラッチに対して相対回転角度が所定の範囲を超えた非所望状態にある前記ラッチの中心部輪郭画像を表わす第4のテンプレートによるテンプレートマッチングに基づいて、前記第3のテンプレートと判定対象の前記ラッチの中心部輪郭画像とが一致する度合いを示す第1の照合値、および前記第4のテンプレートと判定対象の前記ラッチの中心部輪郭画像とが一致する度合いを示す第2の照合値を算出し、
前記画像判定部は、
前記第2の照合値の最大値が前記第1の照合値の最大値に比して大きい場合、前記ラッチの輪郭画像が非所望状態であると判定し、
前記表面検査部は、
前記画像判定部の判定結果に基づいて前記鉄道車両の表面に付属する部品の検査を行うこと、
を特徴とする表面検査装置。 A surface inspection apparatus comprising a surface inspection unit that inspects a part attached to the surface of the railway vehicle by comparing a template image with an image obtained by imaging the part attached to the surface of the railway vehicle while relatively moving the railway vehicle. In
Based on the template matching by the first template representing the outer periphery contour image of the bolt and the second template representing the outer contour image of the latch , the degree of matching between the first template and the outer contour image of the bolt is shown. A collation value calculation unit that calculates a first collation value, a second collation value indicating a degree of coincidence between the second template and the outer peripheral contour image of the latch ;
If the maximum value of the second matching value is greater than the maximum value of the first matching value, and the determined image determining unit outline image of the imaged part is a contour image of the latching rotary ,
With
The collation value calculation unit
Third template, and the relative rotational angle with respect to the latch on the desired state of the latch in a non-desired state exceeds a predetermined range center contour representing the heart outline image of the latch on the desired state Based on template matching by a fourth template representing an image, a first matching value indicating a degree of coincidence between the third template and a central part contour image of the determination target latch , and the fourth template Calculating a second collation value indicating a degree of coincidence with the central outline image of the latch to be determined;
The image determination unit
If the maximum value of the second verification value is larger than the maximum value of the first verification value, determine that the contour image of the latch is in an undesired state;
The surface inspection unit is
Inspecting parts attached to the surface of the railway vehicle based on the determination result of the image determination unit;
Surface inspection device characterized by.
所望状態にある部品の輪郭画像に平行な直線と当該直線から所定角度範囲にある直線とを含む第1の直線群、および前記所望状態にある部品に対して相対回転角度が所定の範囲を超えた非所望状態にある部品の輪郭画像に平行な直線と当該直線から所定角度範囲にある直線とを含む第2の直線群を用いたハフ変換に基づいて、前記第1の直線群と判定対象の前記部品の輪郭画像とが接する度合いを示す第1の値、および前記第2の直線群と判定対象の前記部品の輪郭画像とが接する度合いを示す第2の値を算出する照合値算出部と、
前記第2の値の絶対値が前記第1の値の絶対値に比して大きい場合、前記部品の輪郭画像が非所望状態であると判定する画像判定部と、
前記画像判定部の判定結果に基づいて前記物体の表面に付属する部品の検査を行う表面検査部と、
を備えたことを特徴とする表面検査装置。 In a surface inspection apparatus that inspects the state of the component by comparing a template image with an image obtained by imaging a component attached to the surface of the object while relatively moving the object,
A first straight line group including a straight line parallel to a contour image of a part in a desired state and a straight line within a predetermined angle range from the straight line, and a relative rotation angle with respect to the part in the desired state exceeds a predetermined range Based on the Hough transform using the second straight line group including the straight line parallel to the contour image of the part in the undesired state and the straight line within the predetermined angle range from the straight line, the first straight line group and the determination target A collation value calculating unit that calculates a first value indicating a degree of contact between the contour image of the part and a second value indicating a degree of contact between the second line group and the contour image of the part to be determined When,
An image determination unit that determines that the contour image of the component is in an undesired state when the absolute value of the second value is larger than the absolute value of the first value;
A surface inspection unit that inspects parts attached to the surface of the object based on a determination result of the image determination unit;
A surface inspection apparatus comprising:
所望状態にあるラッチの中心部輪郭画像を表わす第1のテンプレート、および前記所望状態にあるラッチに対して相対回転角度が所定の範囲を超えた非所望状態にあるラッチの中心部輪郭画像を表わす第2のテンプレートを記憶するステップと、
前記第1のテンプレート、および前記第2のテンプレートによるテンプレートマッチングに基づいて、前記第1のテンプレートと判定対象の前記ラッチの中心部輪郭画像とが一致する度合いを示す第1の照合値、および前記第2のテンプレートと判定対象の前記ラッチの中心部輪郭画像とが一致する度合いを示す第2の照合値を算出する照合値算出ステップと、
前記照合値算出ステップからの前記第2の照合値の最大値が前記第1の照合値の最大値に比して大きい場合、前記ラッチの輪郭画像が非所望状態であると判定する判定ステップと、
前記判定ステップからの判定結果に基づいて前記鉄道車両の表面に付属する部品の検査を行うステップと、
を含むことを特徴とする表面検査方法。 In a surface inspection method applicable to a surface inspection apparatus that inspects the state of the component by comparing a template image with an image obtained by imaging a component attached to the surface of the rail vehicle while relatively moving the rail vehicle ,
It represents the heart outline image of the latch in a non-desired state in which the first template, and the relative rotational angle with respect to latch on the desired state exceeds a predetermined range representing a heart outline image of the latch on the desired state Storing a second template;
Based on template matching by the first template and the second template, a first collation value indicating a degree of matching between the first template and a central part contour image of the latch to be determined; and A collation value calculating step of calculating a second collation value indicating the degree of coincidence between the second template and the central portion contour image of the determination target latch ;
If the maximum value of the second matching value from the verification value calculation step is greater than the maximum value of the first matching value, the outline image of said latch and determining steps to be non-desired state ,
Inspecting parts attached to the surface of the railway vehicle based on the determination result from the determination step;
A surface inspection method comprising:
所望状態にある部品の輪郭画像に平行な直線と当該直線から所定角度範囲にある直線とを含む第1の直線群、および前記所望状態にある部品に対して相対回転角度が所定の範囲を超えた非所望状態にある部品の輪郭画像に平行な直線と当該直線から所定角度範囲にある直線とを含む第2の直線群を記憶するステップと、
前記第1の直線群、および前記第2の直線群を用いたハフ変換に基づいて、前記第1の直線群と判定対象の前記部品の輪郭画像とが接する度合いを示す第1の値、および前記第2の直線群と判定対象の前記部品の輪郭画像とが接する度合いを示す第2の値を算出する照合値算出ステップと、
前記照合値算出ステップからの前記第2の値の絶対値が前記第1の値の絶対値に比して大きい場合、前記部品の輪郭画像が非所望状態であると判定する判定ステップと、
前記判定ステップからの前記画像判定部の判定結果に基づいて前記物体の表面に付属する部品の検査を行うステップと、
を含むことを特徴とする表面検査方法。 In a surface inspection method applicable to a surface inspection apparatus that inspects the state of a component by comparing a template image with an image obtained by imaging a component attached to the surface of the object while relatively moving the object,
A first straight line group including a straight line parallel to a contour image of a part in a desired state and a straight line within a predetermined angle range from the straight line, and a relative rotation angle with respect to the part in the desired state exceeds a predetermined range Storing a second straight line group including a straight line parallel to the contour image of the part in an undesired state and a straight line within a predetermined angle range from the straight line;
A first value indicating a degree of contact between the first straight line group and the contour image of the part to be determined based on the Hough transform using the first straight line group and the second straight line group; and A collation value calculating step of calculating a second value indicating the degree of contact between the second straight line group and the contour image of the part to be determined;
A determination step of determining that the contour image of the part is in an undesired state when the absolute value of the second value from the collation value calculating step is larger than the absolute value of the first value;
Inspecting parts attached to the surface of the object based on the determination result of the image determination unit from the determination step;
A surface inspection method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009092273A JP5274346B2 (en) | 2009-04-06 | 2009-04-06 | Surface inspection apparatus and surface inspection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009092273A JP5274346B2 (en) | 2009-04-06 | 2009-04-06 | Surface inspection apparatus and surface inspection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010243332A JP2010243332A (en) | 2010-10-28 |
JP5274346B2 true JP5274346B2 (en) | 2013-08-28 |
Family
ID=43096498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009092273A Active JP5274346B2 (en) | 2009-04-06 | 2009-04-06 | Surface inspection apparatus and surface inspection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5274346B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6032812B2 (en) * | 2013-02-19 | 2016-11-30 | Kddi株式会社 | Inspection assistance device |
JP6444101B2 (en) * | 2014-09-04 | 2018-12-26 | 東日本旅客鉄道株式会社 | Vehicle inspection system |
JP6737638B2 (en) * | 2016-06-01 | 2020-08-12 | 東日本旅客鉄道株式会社 | Appearance inspection device for railway vehicles |
JP6913615B2 (en) * | 2017-11-27 | 2021-08-04 | 東日本旅客鉄道株式会社 | Railroad vehicle visual inspection equipment and its setting method |
JP7377089B2 (en) | 2019-12-11 | 2023-11-09 | キヤノン株式会社 | Information processing device, information processing method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3223108B2 (en) * | 1996-04-03 | 2001-10-29 | 花王株式会社 | Article recognition method and apparatus |
JP2000331163A (en) * | 1999-05-24 | 2000-11-30 | Sharp Corp | Image processor |
JP2006310364A (en) * | 2005-04-26 | 2006-11-09 | Nidec Copal Electronics Corp | Method of inspecting bonding wire |
JP2008001136A (en) * | 2006-06-20 | 2008-01-10 | Takata Corp | Vehicle occupant seat detection system, operating device control system, and vehicle |
-
2009
- 2009-04-06 JP JP2009092273A patent/JP5274346B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010243332A (en) | 2010-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5274346B2 (en) | Surface inspection apparatus and surface inspection method | |
US10976262B2 (en) | Mobile and automated apparatus for the detection and classification of damages on the body of a vehicle | |
US8050486B2 (en) | System and method for identifying a feature of a workpiece | |
EP2998927B1 (en) | Method for detecting the bad positioning and the surface defects of specific components and associated detection device | |
CN111289261B (en) | Detection method for in-warehouse bottom piece | |
EP3388781A1 (en) | System and method for detecting defects in specular or semi-specular surfaces by means of photogrammetric projection | |
JP2007508633A (en) | Method and image processing device for analyzing object contour image, method and image processing device for detecting object, industrial visual device, smart camera, image display, security system, and computer program product | |
WO2017113805A1 (en) | Method and system for identifying train number and model, and safety check method and system | |
KR20210157000A (en) | System and method for underbody inspection of vehicle | |
JP6226368B2 (en) | Vehicle monitoring apparatus and vehicle monitoring method | |
JP6737638B2 (en) | Appearance inspection device for railway vehicles | |
JP6444101B2 (en) | Vehicle inspection system | |
JP6052590B2 (en) | Surface inspection apparatus and surface inspection method for automobile body | |
JP2009133085A (en) | Crack checking device for tunnel lining | |
JP5287177B2 (en) | Trolley wire wear and displacement measuring device by image processing | |
WO2019021876A1 (en) | In-vehicle camera calibration device and method | |
JP5987195B2 (en) | Rigid overhead wire support component inspection system | |
US20220178838A1 (en) | Method and apparatus for determining deformations on an object | |
CN104200213B (en) | One kind being based on multipart vehicle checking method | |
JP4817384B2 (en) | Moving object detection device and program for moving object detection device | |
CN116309371A (en) | Train part abnormality detection method and device, electronic equipment and medium | |
CN112444283B (en) | Vehicle assembly detection device and vehicle assembly production system | |
JP2011141202A (en) | Component inspection device and program | |
US20220327688A1 (en) | Production-speed component inspection system and method | |
JP7053889B2 (en) | Necking determination method for press-molded products, necking determination device for press-molded products, and programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130514 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5274346 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |