JP6032993B2 - Outline inspection apparatus and outline inspection method - Google Patents

Outline inspection apparatus and outline inspection method Download PDF

Info

Publication number
JP6032993B2
JP6032993B2 JP2012167574A JP2012167574A JP6032993B2 JP 6032993 B2 JP6032993 B2 JP 6032993B2 JP 2012167574 A JP2012167574 A JP 2012167574A JP 2012167574 A JP2012167574 A JP 2012167574A JP 6032993 B2 JP6032993 B2 JP 6032993B2
Authority
JP
Japan
Prior art keywords
image
width
inspection object
inspection
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012167574A
Other languages
Japanese (ja)
Other versions
JP2014025855A (en
Inventor
井上 靖之
靖之 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Elemex Corp
Original Assignee
Ricoh Elemex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Elemex Corp filed Critical Ricoh Elemex Corp
Priority to JP2012167574A priority Critical patent/JP6032993B2/en
Publication of JP2014025855A publication Critical patent/JP2014025855A/en
Application granted granted Critical
Publication of JP6032993B2 publication Critical patent/JP6032993B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、外形検査装置および外形検査方法に関する。   The present invention relates to an outline inspection apparatus and an outline inspection method.

従来、長尺状の検査対象物を撮像した画像から当該検査対象物の異常を検出する外形検査装置が知られている(例えば、特許文献1)。   2. Description of the Related Art Conventionally, an external shape inspection apparatus that detects an abnormality of an inspection object from an image obtained by imaging a long inspection object is known (for example, Patent Document 1).

特開2011−011496号公報JP 2011-011496 A

この種の外形検査装置では、検査対象物の撮像部に対する接近や離間等の移動が生じる状況では、当該移動に伴って画像の大きさが変化して、外形の異常を検出しにくくなる場合があった。   In this type of external shape inspection apparatus, in a situation where movement of an inspection object such as approach or separation from the imaging unit occurs, the size of the image changes with the movement, and it may be difficult to detect an abnormality in the external shape. there were.

そこで、本発明は、一例としては、外形の異常をより検出しやすい外形検査装置および外形検査方法を得ることを目的の一つとする。   Therefore, as an example, an object of the present invention is to obtain an outline inspection apparatus and an outline inspection method that can more easily detect an abnormality in an outline.

本発明の実施形態にかかる外形検査装置にあっては、長尺状の検査対象物が長手方向に搬送されている状態で、検査対象物の幅方向の両端を含む第一画像であって検査対象物を長手方向および幅方向と交叉した第一方向から撮像した第一画像と、検査対象物の幅方向の両端を含む第二画像であって検査対象物を第一方向とは異なり長手方向および幅方向と交叉し第二方向から撮像した第二画像と、を取得し、検査対象物が所定方向に移動した場合には第一画像中で検査対象物の幅が大きくなるとともに第二画像中の検査対象物の幅が小さくなり、検査対象物が所定方向の反対方向に移動した場合には第一画像中で検査対象物の幅が小さくなるとともに第二画像中の検査対象物の幅が大きくなるよう設定された撮像部と、第一画像を画像処理して得られた検査対象物の第一の幅と第二画像を画像処理して得られた検査対象物の第二の幅とを加算した値を取得する合成データ取得部と、から検査対象物の異常を検出する異常検出部と、を備えた。 In the outer shape inspection apparatus according to the embodiment of the present invention, the first image including both ends in the width direction of the inspection object is inspected in a state where the long inspection object is conveyed in the longitudinal direction. A first image obtained by imaging the object from a first direction intersecting the longitudinal direction and the width direction, and a second image including both ends of the inspection object in the width direction. The inspection object is different from the first direction in the longitudinal direction. and obtains a second image captured from a second direction which is crossing the width direction, the second with the inspection object is the width of the inspected object in the first image is increased when moving in a predetermined direction width of the inspection object in the image is reduced, the inspection object is inspected object in the second image with the width of the inspection object in the first image when moving in the opposite direction of the predetermined direction is reduced an imaging unit that is set as the width increases, the first picture processing A first width and combining data acquisition unit that acquires a value obtained by adding the second width of the second image object to be examined obtained by the image processing of the obtained test object Te, inspected from a value And an abnormality detection unit for detecting an abnormality of the object.

本発明によれば、一例としては、外形の異常をより検出しやすい外形検査装置および外形検査方法を得ることができる。   According to the present invention, as an example, it is possible to obtain an outline inspection apparatus and an outline inspection method that can more easily detect an abnormality in the outline.

図1は、実施形態にかかる外形検査装置の一例が示された斜視図である。FIG. 1 is a perspective view illustrating an example of an outline inspection apparatus according to an embodiment. 図2は、実施形態にかかる外形検査装置の上流側に位置された検査部の一例を検査対象物の長手方向から見た模式図である。Drawing 2 is a mimetic diagram which looked at an example of the inspection part located in the upper stream side of the outline inspection device concerning an embodiment from the longitudinal direction of the inspection subject. 図3は、実施形態にかかる外形検査装置の下流側に位置された検査部の一例を検査対象物の長手方向から見た模式図である。Drawing 3 is a mimetic diagram which looked at an example of the inspection part located in the lower stream side of the outline inspection device concerning an embodiment from the longitudinal direction of the inspection subject. 図4は、実施形態にかかる外形検査装置で撮像された第一画像、第二画像、および合成画像の一例が示された模式図である。FIG. 4 is a schematic diagram illustrating an example of a first image, a second image, and a composite image captured by the outline inspection apparatus according to the embodiment. 図5は、実施形態にかかる外形検査装置で撮像された合成画像の一例が示された模式図である。FIG. 5 is a schematic diagram illustrating an example of a composite image captured by the external shape inspection apparatus according to the embodiment. 図6は、実施形態にかかる外形検査装置で撮像された画像から得られた幅のデータ(第一データ)の経時変化の一例が示されたグラフである。FIG. 6 is a graph showing an example of a change with time of width data (first data) obtained from an image captured by the outline inspection apparatus according to the embodiment. 図7は、実施形態にかかる外形検査装置で撮像された画像から得られた幅のデータ(第二データ)の経時変化の一例が示されたグラフである。FIG. 7 is a graph showing an example of a temporal change of width data (second data) obtained from an image captured by the outline inspection apparatus according to the embodiment. 図8は、図6のデータおよび図7のデータが示されたグラフである。FIG. 8 is a graph showing the data of FIG. 6 and the data of FIG. 図9は、図6のデータおよび図7のデータのうち一方が他方に対して時間方向に所定量ずらされたグラフである。FIG. 9 is a graph in which one of the data in FIG. 6 and the data in FIG. 7 is shifted by a predetermined amount in the time direction with respect to the other. 図10は、図9の二つのデータが合成されたデータのグラフである。FIG. 10 is a graph of data obtained by combining the two data of FIG. 図11は、実施形態にかかる外形検査装置の一例が示された模式的なブロック図である。FIG. 11 is a schematic block diagram illustrating an example of an outline inspection apparatus according to the embodiment. 図12は、実施形態にかかる外形検査装置の制御部の一例が示された模式的なブロック図である。FIG. 12 is a schematic block diagram illustrating an example of a control unit of the external shape inspection apparatus according to the embodiment. 図13は、実施形態にかかる外形検査装置による検査方法の一例が示されたフローチャートである。FIG. 13 is a flowchart illustrating an example of an inspection method by the external shape inspection apparatus according to the embodiment. 図14は、実施形態にかかる外形検査装置で撮像された合成画像の別の一例が示された模式図である。FIG. 14 is a schematic diagram illustrating another example of a composite image captured by the outline inspection apparatus according to the embodiment. 図15は、実施形態にかかる外形検査装置で撮像された合成画像のさらに別の一例が示された模式図である。FIG. 15 is a schematic diagram illustrating still another example of the composite image captured by the outline inspection apparatus according to the embodiment. 図16は、実施形態にかかる外形検査装置で撮像された合成画像の一例の一部が拡大されて示された模式的な説明図である。FIG. 16 is a schematic explanatory diagram illustrating an enlarged part of an example of a composite image captured by the outline inspection apparatus according to the embodiment.

本実施形態では、一例として、図1に示される外形検査装置1は、検査対象物100を撮像した画像に基づいて検査対象物100の検査を行う。検査対象物100は、一例としては、長尺状かつ円管状(または円柱状)の部品(例えば、ホース、チューブ、棒等)である。   In the present embodiment, as an example, the outer shape inspection apparatus 1 illustrated in FIG. 1 inspects the inspection object 100 based on an image obtained by imaging the inspection object 100. The inspection object 100 is, for example, a long and circular (or columnar) part (for example, a hose, a tube, a rod, etc.).

また、本実施形態では、一例として、図1に示されるように、外形検査装置1は、複数(本実施形態では、一例として二つ)の光源2U,2Dを備えている。具体的に、光源2Uおよび光源2Dは、検査対象物100の長手方向(軸方向)に離間して配置されている。光源2Uおよび光源2Dは、環状(例えば円環状)に構成されている。光源2Uおよび光源2Dは、環状に配置された複数のLED(light emitting diode)を有している。長尺状の検査対象物100は、光源2Uおよび光源2Dの環状部分の内側(例えば、中央部、中央)を貫通し、環状部分の軸方向に沿って延びている。また、光源2Uおよび光源2Dは、検査対象物100の長手方向(軸方向)と直交する面について面対称に配置されている。   In the present embodiment, as an example, as shown in FIG. 1, the outer shape inspection apparatus 1 includes a plurality of (in the present embodiment, two as an example) light sources 2U and 2D. Specifically, the light source 2U and the light source 2D are arranged apart from each other in the longitudinal direction (axial direction) of the inspection object 100. The light source 2U and the light source 2D are configured in an annular shape (for example, an annular shape). The light source 2U and the light source 2D have a plurality of LEDs (light emitting diodes) arranged in an annular shape. The elongate inspection object 100 passes through the inside (for example, the center and the center) of the annular portions of the light source 2U and the light source 2D, and extends along the axial direction of the annular portion. Further, the light source 2U and the light source 2D are arranged in plane symmetry with respect to a plane orthogonal to the longitudinal direction (axial direction) of the inspection object 100.

また、本実施形態では、一例として、検査対象物100の撮像領域Aは、光源2Uと光源2Dとの間(本実施形態では、一例として中間位置)に設定されている。光源2Uからの光は、検査対象物100の長手方向の一方側(図1では左側)から撮像領域Aに照射され、光源2Dからの光は、長手方向の他方側(図1では右側)から撮像領域Aに照射される。   In the present embodiment, as an example, the imaging region A of the inspection object 100 is set between the light source 2U and the light source 2D (in the present embodiment, an intermediate position as an example). The light from the light source 2U is applied to the imaging region A from one side in the longitudinal direction (left side in FIG. 1) of the inspection object 100, and the light from the light source 2D is from the other side in the longitudinal direction (right side in FIG. 1). The imaging area A is irradiated.

また、本実施形態では、一例として、検査対象物100は、検査中、搬送装置30(図11参照)によって、長手方向(軸方向)に搬送されている。すなわち、外形検査装置1は、搬送装置30によって搬送されて移動している検査対象物100を、検査する。したがって、撮像領域Aは、検査対象物100の移動に伴って、検査対象物100の長手方向に沿って移動する。なお、本実施形態では、一例として、検査対象物100は、光源2U側から光源2D側へ移動する。すなわち、光源2Uは、撮像領域Aに対して搬送方向の上流側に位置され、光源2Dは、撮像領域Aに対して搬送方向の下流側に位置されている。   In the present embodiment, as an example, the inspection object 100 is transported in the longitudinal direction (axial direction) by the transport device 30 (see FIG. 11) during the inspection. That is, the outer shape inspection apparatus 1 inspects the inspection object 100 that is transported and moved by the transport apparatus 30. Therefore, the imaging region A moves along the longitudinal direction of the inspection object 100 as the inspection object 100 moves. In the present embodiment, as an example, the inspection object 100 moves from the light source 2U side to the light source 2D side. That is, the light source 2U is positioned upstream in the transport direction with respect to the imaging region A, and the light source 2D is positioned downstream in the transport direction with respect to the imaging region A.

また、本実施形態では、一例として、撮像部3(例えば、カメラ等)は、検査対象物100の径方向外側に位置され、検査対象物100の表面100a(外面、周面、側面)の画像を取得する。すなわち、撮像領域Aは、検査対象物100の表面100aの一部である。   In the present embodiment, as an example, the imaging unit 3 (for example, a camera or the like) is positioned on the radially outer side of the inspection target 100 and is an image of the surface 100a (outer surface, peripheral surface, side surface) of the inspection target 100. To get. That is, the imaging region A is a part of the surface 100a of the inspection target 100.

また、本実施形態では、一例として、撮像部3は、光学部品4を介して、撮像領域Aの画像を取得する。本実施形態では、一例として、光学部品4は、複数(本実施形態では、一例として二つ)のミラー4U,4Lである。具体的に、ミラー4U,4Lは、図2,3に示されるように、検査対象物100の撮像部3とは反対側で、軸方向からの視線でV字状に配置されている。ミラー4U,4Lは互いに略120°の角度(撮像部3と検査対象物100とを結ぶ線Lに対して互いに反対側に略60°となる角度)となる姿勢で配置されている。ミラー4U,4Lは、いずれも、検査対象物100の表面100aに面した(対向した)平面状の反射面4a(鏡面)を有している。反射面4aは、検査対象物100の径方向と略直交する面に沿って拡がっている。また、ミラー4U,4Lは、検査対象物100の長手方向(軸方向)と直交する面に沿って帯状に延びている。このような構成では、撮像領域Aは、検査対象物100の表面100aの全周のうち、ミラー4U,4Lに面した7割程度の領域である。なお、本実施形態では、一例として、隣接するミラー4U,4Lは一体化されているが、分離されていてもよい。   In the present embodiment, as an example, the imaging unit 3 acquires an image of the imaging region A via the optical component 4. In the present embodiment, as an example, the optical component 4 is a plurality of (in the present embodiment, two as an example) mirrors 4U and 4L. Specifically, as shown in FIGS. 2 and 3, the mirrors 4 </ b> U and 4 </ b> L are arranged in a V shape with a line of sight from the axial direction on the opposite side of the inspection object 100 from the imaging unit 3. The mirrors 4U and 4L are arranged in a posture that is at an angle of approximately 120 ° to each other (an angle of approximately 60 ° on the opposite side with respect to the line L connecting the imaging unit 3 and the inspection object 100). Each of the mirrors 4U and 4L has a planar reflecting surface 4a (mirror surface) facing (opposed) to the surface 100a of the inspection object 100. The reflection surface 4a extends along a surface substantially orthogonal to the radial direction of the inspection object 100. Further, the mirrors 4U and 4L extend in a band shape along a plane orthogonal to the longitudinal direction (axial direction) of the inspection object 100. In such a configuration, the imaging area A is an area of about 70% facing the mirrors 4U and 4L in the entire circumference of the surface 100a of the inspection object 100. In the present embodiment, as an example, the adjacent mirrors 4U and 4L are integrated, but may be separated.

また、本実施形態では、一例として、光源2U,2D、撮像部3、および光学部品4を含む検査部10(10U,10D)が、検査対象物100の長手方向(軸方向、搬送方向)に間隔をあけて複数箇所(本実施形態では、一例として二箇所)に設けられている。これら検査部10では、撮像部3および光学部品4の配置が異なっている。本実施形態では、一例として、搬送方向の上流側(図1の左側)に位置された検査部10Uでは、図2に示されるように、検査対象物100の軸方向上流側からの視線で右側に撮像部3が位置し、左側に光学部品4が位置する。よって、検査部10Uの撮像部3は、検査対象物100の図2の左側の領域(撮像領域A)の画像を取得する。一方、下流側(図1の右側)に位置された検査部10Dでは、図3に示されるように、検査対象物100の軸方向上流側からの視線で左側に撮像部3が位置し、右側に光学部品4が位置する。よって、検査部10Dの撮像部3は、検査対象物100の図3の右側の領域(撮像領域A)の画像を取得する。すなわち、複数の撮像部3は、それぞれ、検査対象物100の表面100aの相異なる領域(部位、位置)を撮像する。   Moreover, in this embodiment, the test | inspection part 10 (10U, 10D) containing the light sources 2U and 2D, the imaging part 3, and the optical component 4 as an example is the longitudinal direction (an axial direction, a conveyance direction) of the test target object 100. It is provided at a plurality of places (in this embodiment, two places as an example) at intervals. In these inspection units 10, the arrangement of the imaging unit 3 and the optical component 4 is different. In the present embodiment, as an example, in the inspection unit 10U located on the upstream side in the transport direction (left side in FIG. 1), as shown in FIG. 2, the right side as viewed from the upstream side in the axial direction of the inspection object 100 The imaging unit 3 is located at the left side, and the optical component 4 is located at the left side. Therefore, the imaging unit 3 of the inspection unit 10U acquires an image of the left region (imaging region A) of the inspection target 100 in FIG. On the other hand, in the inspection unit 10D positioned on the downstream side (right side in FIG. 1), as shown in FIG. 3, the imaging unit 3 is positioned on the left side with the line of sight from the upstream side in the axial direction of the inspection object 100. The optical component 4 is located in the position. Therefore, the imaging unit 3 of the inspection unit 10D acquires an image of the region on the right side (imaging region A) in FIG. That is, each of the plurality of imaging units 3 images different regions (parts, positions) of the surface 100a of the inspection object 100.

また、本実施形態では、一例として、撮像部3は、ラインカメラ(ラインセンサ)として構成されている。撮像部3は、検査対象物100の幅方向に沿って一列に配置された複数の光電変換素子(撮像素子、図示されず)を有する。すなわち、撮像部3は、検査対象物100の幅方向に沿った線状の画像(画像データ、各光電変換素子に対応した画素毎の輝度値のデータ、輝度値のデータ列)を取得する。各撮像素子では、例えば256階調で輝度値のデータが取得される。撮像部3は、撮像される各時刻(タイミング)で、一次元の画像を取得する。モノクロ(白黒)の撮像部3の場合、各撮像素子について一つの画像データが取得され、カラーの撮像部3の場合、各撮像素子について複数(例えば、R(赤)G(緑)B(青)の三つ)の画像データが取得される。   In the present embodiment, as an example, the imaging unit 3 is configured as a line camera (line sensor). The imaging unit 3 has a plurality of photoelectric conversion elements (imaging elements, not shown) arranged in a line along the width direction of the inspection object 100. That is, the imaging unit 3 acquires a linear image (image data, luminance value data for each pixel corresponding to each photoelectric conversion element, luminance value data string) along the width direction of the inspection object 100. In each image sensor, luminance value data is acquired with, for example, 256 gradations. The imaging unit 3 acquires a one-dimensional image at each time (timing) when the imaging is performed. In the case of the monochrome (monochrome) imaging unit 3, one image data is acquired for each imaging device, and in the case of the color imaging unit 3, a plurality (for example, R (red) G (green) B (blue) is obtained for each imaging device. 3) of image data is acquired.

また、本実施形態では、一例として、光源2U,2Dによる検査対象物100への光の照射は交互に実行される。そして、撮像部3による撮像(画像の取得)と、光源2U,2Dによる検査対象物100への光の照射(一例としては光源2U,2Dの発光、切り替え)とが、同期されている。すなわち、本実施形態では、一例として、図4に示されるように、撮像部3は、光源2Uからの光で照らされている際の検査対象物100の一次元の画像IL1(線状画像、画像データ、図4中では「1」と表記)と、光源2Dからの光で照らされている際の検査対象物100の一次元の画像IL2(線状画像、画像データ、図4中では「2」と表記)とを、交互に取得する。画像処理部20d(図12参照)は、光源2Uからの光で照らされている際の検査対象物100の画像IL1を取得順に並べて二次元の画像IA1(画像データ、二次元に配列された輝度値のデータ群)を得ることができるとともに、光源2Dからの光で照らされている際の検査対象物100の画像IL2を取得順に並べて二次元の画像IA2(画像データ、二次元に配列された輝度値のデータ群)を得ることができる。 Moreover, in this embodiment, as an example, the light irradiation to the inspection object 100 by the light sources 2U and 2D is executed alternately. Then, imaging (acquisition of images) by the imaging unit 3 and irradiation of light to the inspection object 100 by the light sources 2U and 2D (for example, light emission and switching of the light sources 2U and 2D) are synchronized. That is, in the present embodiment, as an example, as illustrated in FIG. 4, the imaging unit 3 includes a one-dimensional image IL1 ( linear image, Image data (indicated as “1” in FIG. 4) and a one-dimensional image IL2 ( linear image, image data, in FIG. 4 “when illuminated by light from the light source 2D” 2) and alternately. The image processing unit 20d (see FIG. 12) is arranged to image IL1 of the inspection object 100 when being illuminated with light from the light source 2U are arranged in order of acquisition two-dimensional image IA1 (images data, the two-dimensional it is possible to obtain a data group) of the luminance values, the image IL2 of the inspection object 100 when being illuminated with light from the light source 2D side by acquisition order two-dimensional image IA2 (images data, arranged in a two-dimensional Data group of luminance values obtained).

また、本実施形態では、一例として、光源2U,2Dからの光の切り替えの周波数、すなわち撮像部3によるライン毎の撮像の周波数は、比較的高い値(例えば6kHz等)に設定される。よって、画像IA1,IA2を、検査対象物100の表面100a(の全周の略7割程度の領域)を静止状態でエリアセンサ(二次元の領域として撮像する撮像部)によって撮像した画像に類似させることができる。ラインセンサは、エリアセンサより分解能が比較的高く、また応答性も比較的高いため、ラインセンサを用いることで、より精度の高い異常検出(検査)が可能となる場合がある。画像IA1,IA2では、含まれる画像IL1,IL2中でのデータの配列方向(図4で左右方向)が、検査対象物100の幅方向(短手方向)に対応し、画像IA1,IA2中で画像IL1,IL2が並べられた方向(図4で上下方向)が、検査対象物100の長手方向(軸方向)に対応する。   In the present embodiment, as an example, the switching frequency of the light from the light sources 2U and 2D, that is, the imaging frequency for each line by the imaging unit 3 is set to a relatively high value (for example, 6 kHz). Therefore, the images IA1 and IA2 are similar to images obtained by imaging the surface 100a of the inspection object 100 (an area of approximately 70% of the entire circumference) with the area sensor (imaging unit that images as a two-dimensional area) in a stationary state. Can be made. Since the line sensor has a relatively high resolution and a relatively high response compared to the area sensor, the use of the line sensor may enable more accurate abnormality detection (inspection). In the images IA1 and IA2, the arrangement direction of data in the included images IL1 and IL2 (left and right direction in FIG. 4) corresponds to the width direction (short direction) of the inspection object 100, and in the images IA1 and IA2. The direction in which the images IL1 and IL2 are arranged (the vertical direction in FIG. 4) corresponds to the longitudinal direction (axial direction) of the inspection object 100.

本実施形態では、さらに画像IA1と画像IA2とが合成(加算)された画像ICが得られる。画像ICの合成では、画像IA1,IA2中に含まれ互いに隣接した時間(タイミング、時刻)の画像IL1と画像IL2とが重ねられる。なお、互いに隣接する画像IL1と画像IL2とは、図4に示されるように、厳密には1ライン分だけタイミングがずれるが、特に光の照射あるいは撮像の切り替え周波数が比較的高い場合には、ほぼ同じ場所の画像(画像データ)と見なすことができる。   In this embodiment, an image IC obtained by further combining (adding) the image IA1 and the image IA2 is obtained. In the synthesis of the image IC, the image IL1 and the image IL2 included in the images IA1 and IA2 and adjacent to each other (timing, time) are overlapped. As shown in FIG. 4, the images IL1 and IL2 that are adjacent to each other are shifted in timing by exactly one line. However, particularly when the light irradiation or imaging switching frequency is relatively high, It can be regarded as an image (image data) in almost the same place.

図5に、画像IA1と画像IA2とが合成(加算)された画像ICの一例が示されている。上述したように、撮像部3は、複数(本実施形態では、一例として二つ)のミラー4U,4Lを介して検査対象物100の画像を取得するため、図5に示されるように、上記構成の外形検査装置1で得られた画像ICには、それぞれ、検査対象物100の複数(二つ)の画像Ia,Ibが含まれる。図示されないが、画像IA1,IA2中にも、画像Ia,Ibが含まれる。これら画像Ia,Ibは、検査対象物100の撮像部3とは反対側(ミラー4U,4Lが位置された側)を、撮像部3と検査対象物100とを結ぶ線L(図2,3参照)から外れた位置より見た画像である。また、二次元の画像ICには、画像Iaと画像Ibとの間に、検査対象物100のミラー4U,4Lを介さない画像Inが含まれている。図示されないが、画像IA1,IA2中にも、画像Inが含まれる。しかしながら、本実施形態では、一例として、撮像部3の焦点は、画像Ia,Ibに対応して設定されているため、画像Inはぼやけている。すなわち、本実施形態では、一例として、画像Inは、異常検出には用いられない。また、これら画像Ia,Ib,Inの背景は、暗く設定されている。本実施形態にかかる外形検査装置1の画像処理部20d(図12参照)は、このようにして得られた二次元の画像ICに基づいて画像処理を実行し、検査対象物100の外形(画像Ia,Ibの外形、例えば、寸法、大きさ、間隔、距離、位置関係等)を検出する。この外形検査装置1で検出対象となる外形には、一例としては、図5に示されるように、検査対象物100の幅Wa,Wb等がある。なお、外形検査装置1は、幅以外の外形(の異常)も検出することができる。また、画像IL1,IL2にも、画像Ia,Ib,In(ただし、1ライン分)は含まれている。画像Ia,Ibのうち一方は、第一画像の一例であり、他方は、第二画像の一例である。 FIG. 5 shows an example of an image IC obtained by combining (adding) the image IA1 and the image IA2. As described above, the imaging unit 3 acquires an image of the inspection object 100 via a plurality of (in the present embodiment, two as an example) mirrors 4U and 4L. Each of the image ICs obtained by the configuration inspection apparatus 1 includes a plurality (two) of images Ia and Ib of the inspection object 100. Although not shown, images IA1 and IA2 also include images Ia and Ib. These images Ia and Ib are lines L (FIGS. 2 and 3) connecting the imaging unit 3 and the inspection object 100 on the opposite side of the inspection object 100 from the imaging unit 3 (the side where the mirrors 4U and 4L are located). It is an image viewed from a position deviating from (see). The two-dimensional image IC includes an image In that does not pass through the mirrors 4U and 4L of the inspection object 100 between the image Ia and the image Ib. Although not shown, the image In is also included in the images IA1 and IA2. However, in the present embodiment, as an example, the focus of the imaging unit 3 is set corresponding to the images Ia and Ib, and thus the image In is blurred. That is, in this embodiment, as an example, the image In is not used for abnormality detection. The backgrounds of these images Ia, Ib, and In are set dark. The image processing unit 20d (see FIG. 12) of the external shape inspection apparatus 1 according to the present embodiment performs image processing based on the two-dimensional image IC obtained in this manner, and the external shape (image) of the inspection object 100 The outer shape of Ia and Ib (for example, dimensions, size, interval, distance, positional relationship, etc.) is detected. As an example, the outer shape to be detected by the outer shape inspection apparatus 1 includes the widths Wa and Wb of the inspection object 100 as shown in FIG. Note that the outer shape inspection apparatus 1 can also detect an outer shape (abnormality) other than the width. The images IL1 and IL2 also include images Ia, Ib, and In (however, for one line). One of the images Ia and Ib is an example of a first image, and the other is an example of a second image.

図6,7には、合成された画像ICから得られた検査対象物100に対応した画像Iaの幅Waならびに画像Ibの幅Wbの値(データ)の経時変化の一例が示されている。横軸は、線状の画像IL1,IL2が得られた時間t(タイミング、時刻)を示している。上述したように、検査対象物100は、長手方向(軸方向)に搬送されているため、横軸は、検査対象物100の長手方向(軸方向)の位置に対応している。また、縦軸は、幅Wa,Wbの値(画素数)に対応している。図6の例では、幅Waの値は時間の経過とともに減少(漸減)していることがわかる。一方、図7の例では、幅Wbの値は時間の経過とともに増大(漸増)していることがわかる。このような現象は、ミラー4U,4Lと検査対象物100との位置関係に起因する場合がある。すなわち、外形検査装置1において、検査対象物100が上下方向に移動(振動)可能な状況で、検査対象物100が下方に移動した場合、当該検査対象物100は下方へ移動するにつれてミラー4Uから離間するため、当該ミラー4Uを介して取得された検査対象物100の画像Iaから得られた幅Waの値は、時間の経過とともに減少する。また、検査対象物100は下方へ移動するにつれてミラー4Lには近接するため、当該ミラー4Lを介して取得された検査対象物100の画像Ibから得られた幅Wbの値は、時間の経過とともに増大する。すなわち、図6,7に示されるような結果が得られる。また、図示されないが、逆に、検査対象物100が上方に移動した場合、当該検査対象物100は上方へ移動するにつれてミラー4Uに近接するため、当該ミラー4Uを介して取得された検査対象物100の画像Iaから得られた幅Waの値は、時間の経過とともに増大する。また、検査対象物100は上方に移動するにつれてミラー4Lからは離間するため、当該ミラー4Lを介して取得された検査対象物100の画像Ibから得られた幅Wbの値は、時間の経過とともに減少する。このように、画像Iaの幅Waあるいは画像Ibの幅Wbの値の変化については、検査対象物100の移動に基づく成分が含まれている場合がある。よって、幅Wa,Wbの値に基づいて検査対象物100の外形(寸法、大きさ、間隔、距離、位置関係等)あるいはその異常を検出する場合には、当該検査対象物100の移動の影響は除去されるのが望ましい。   FIGS. 6 and 7 show examples of temporal changes in the width Wa of the image Ia and the value (data) of the width Ib of the image Ib corresponding to the inspection object 100 obtained from the synthesized image IC. The horizontal axis represents time t (timing, time) when the linear images IL1 and IL2 were obtained. As described above, since the inspection object 100 is conveyed in the longitudinal direction (axial direction), the horizontal axis corresponds to the position of the inspection object 100 in the longitudinal direction (axial direction). The vertical axis corresponds to the values (number of pixels) of the widths Wa and Wb. In the example of FIG. 6, it can be seen that the value of the width Wa decreases (gradually decreases) with time. On the other hand, in the example of FIG. 7, it can be seen that the value of the width Wb increases (gradually increases) over time. Such a phenomenon may be caused by the positional relationship between the mirrors 4U and 4L and the inspection object 100. That is, in the outer shape inspection apparatus 1, when the inspection object 100 moves downward in a situation where the inspection object 100 can move (vibrates) in the vertical direction, the inspection object 100 moves from the mirror 4U as it moves downward. Since they are separated from each other, the value of the width Wa obtained from the image Ia of the inspection object 100 acquired through the mirror 4U decreases with the passage of time. Further, since the inspection object 100 moves closer to the mirror 4L as it moves downward, the value of the width Wb obtained from the image Ib of the inspection object 100 acquired through the mirror 4L is increased with time. Increase. That is, the results as shown in FIGS. Although not shown, conversely, when the inspection object 100 moves upward, the inspection object 100 comes closer to the mirror 4U as it moves upward, and thus the inspection object acquired through the mirror 4U. The value of the width Wa obtained from 100 images Ia increases with time. Further, since the inspection object 100 moves away from the mirror 4L as it moves upward, the value of the width Wb obtained from the image Ib of the inspection object 100 acquired through the mirror 4L is increased with time. Decrease. As described above, the change in the value of the width Wa of the image Ia or the width Wb of the image Ib may include a component based on the movement of the inspection object 100. Therefore, when detecting the external shape (size, size, interval, distance, positional relationship, etc.) of the inspection object 100 or its abnormality based on the values of the widths Wa and Wb, the influence of the movement of the inspection object 100 is detected. Is preferably removed.

このような現象について、発明者は、鋭意検討を重ねた結果、画像Iaに基づく外形のデータ(値、第一データ、一例としては幅Waの値)と画像Ibに基づく外形のデータ(値、第二データ、一例としては幅Wbの値)とを合成(加算)することで、検査対象物100の移動による影響を低減しやすいことを見出した。具体的には、例えば、図6,7に示されるように、幅Waの値が時間の経過とともに減少し、幅Wbの値が時間の経過とともに増大する場合には、時間毎に幅Waの値と幅Wbの値とを合成(加算)した値では、時間の経過による減少と増大とが減殺(相殺)される。このように、画像Iaに基づくデータおよび画像Ibに基づくデータに基づいて検査対象物100の外形の異常を検出する場合にあっては、画像Iaに基づくデータと画像Ibに基づくデータとを合成(加算)することにより、検査対象物100の移動による影響を低減しやすい。なお、このようなデータの合成(加算)は、画像Iaに基づくデータと画像Ibに基づくデータとの平均を算出していることと等価である。   As a result of intensive studies, the inventor has studied the outline data based on the image Ia (value, first data, for example, the value of the width Wa) and the outline data based on the image Ib (value, It has been found that the influence of the movement of the inspection object 100 can be easily reduced by combining (adding) the second data, for example, the value of the width Wb. Specifically, for example, as shown in FIGS. 6 and 7, when the value of the width Wa decreases with time and the value of the width Wb increases with time, the width Wa In the value obtained by combining (adding) the value and the value of the width Wb, the decrease and increase over time are reduced (offset). As described above, when detecting an abnormality in the outer shape of the inspection object 100 based on the data based on the image Ia and the data based on the image Ib, the data based on the image Ia and the data based on the image Ib are combined ( By adding), the influence of the movement of the inspection object 100 can be easily reduced. Note that such synthesis (addition) of data is equivalent to calculating an average of data based on the image Ia and data based on the image Ib.

さらに、発明者は、鋭意検討を重ねた結果、以下の問題点を見出した。すなわち、図6,7に示されるように、幅Wa,Wbの値は、周期的に変動している。例えば、図5に示されるように、検査対象物100(一例としては、ホース)が、螺旋状に一定のピッチで巻かれた巻回物100b(例えば、テープ、リボン、帯状体等)を有している場合には、画像Ia,Ibには、当該巻回物100bの境界部分100cの間隔(ピッチ)に対応して、周期的な凹凸形状(段差)が含まれる。そして、図8に示されるように、図6の幅Waの値(データ)と図7の幅Wbの値(データ)とを並べてみると、幅Waの値の変動および幅Wbの値の変動の、周期は同じであるが、位相は時間δtの分ずれている(位相が異なっている、位相差がある)ことがわかる。この位相差は、図5から明らかとなるように、時間方向(検査対象物100の軸方向、長手方向)の画素数d(時間δt)に対応したものであり、検査対象物100を径方向に沿った異なる方向から撮像していることに起因する。そして、このような位相差がある状態で幅Waの値と幅Wbの値とが合成(加算)された値(データ)からは、幅Wa,Wbの周期的な変動に基づく値の変化が減殺(相殺)されてしまう虞がある。   Furthermore, the inventor has found the following problems as a result of intensive studies. That is, as shown in FIGS. 6 and 7, the values of the widths Wa and Wb fluctuate periodically. For example, as shown in FIG. 5, an inspection object 100 (for example, a hose) has a wound object 100b (for example, a tape, a ribbon, a strip, etc.) that is spirally wound at a constant pitch. In such a case, the images Ia and Ib include periodic uneven shapes (steps) corresponding to the interval (pitch) of the boundary portion 100c of the wound product 100b. Then, as shown in FIG. 8, when the value (data) of the width Wa in FIG. 6 and the value (data) of the width Wb in FIG. 7 are arranged side by side, the fluctuation of the value of the width Wa and the fluctuation of the value of the width Wb. It can be seen that the period is the same, but the phase is shifted by the time δt (the phase is different and there is a phase difference). As apparent from FIG. 5, this phase difference corresponds to the number of pixels d (time δt) in the time direction (the axial direction and the longitudinal direction of the inspection object 100). This is because the images are taken from different directions along the line. Then, from the value (data) obtained by combining (adding) the value of the width Wa and the value of the width Wb in a state where there is such a phase difference, a change in the value based on the periodic fluctuation of the widths Wa and Wb is observed. There is a risk of being reduced (offset).

そこで、本実施形態では、一例として、図9に示されるように、画像Iaに基づく外形のデータ(値、第一データ、一例としては幅Wa)と画像Ibに基づく外形のデータ(値、第二データ、一例としては幅Wb)とを、時間方向(検査対象物100の軸方向、長手方向)に、位相差に対応した所定量ずらして、それらの周期的な変動を合わせる。図9から、幅Waの値の周期的な変動の位相と幅Wbの値の周期的な変動の位相とがほぼ一致していることが理解できるであろう。そして、このように位相差を減らした状態で、幅Waの値と幅Wbの値とを合成(加算)する。図10には、位相を補正された図9の幅Waの値と幅Wbの値とを合成した幅Wdの値(データ)が示される。図10から明らかとなるように、このようにして合成(加算)された幅Wdのデータからは、検査対象物100の移動に伴う経時的な増大または減少の影響が減るとともに、幅Wdのデータには、周期的な変動の成分は残っている。   Therefore, in the present embodiment, as an example, as shown in FIG. 9, the outer shape data (value, first data, for example, width Wa) based on the image Ia and the outer shape data (value, first data based on the image Ib). The two data, for example, the width Wb) are shifted by a predetermined amount corresponding to the phase difference in the time direction (the axial direction and the longitudinal direction of the inspection object 100) to match their periodic fluctuations. It can be understood from FIG. 9 that the phase of the periodic fluctuation of the value of the width Wa and the phase of the periodic fluctuation of the value of the width Wb substantially coincide. Then, with the phase difference reduced in this way, the value of the width Wa and the value of the width Wb are combined (added). FIG. 10 shows the value (data) of the width Wd obtained by synthesizing the value of the width Wa and the value of the width Wb of FIG. 9 with the phase corrected. As apparent from FIG. 10, the data of the width Wd synthesized (added) in this way reduces the influence of the increase or decrease over time associated with the movement of the inspection object 100, and the data of the width Wd. The component of periodic fluctuations remains.

本実施形態では、一例として、図11に示されるように、外形検査装置1は、制御部20(例えばCPU(central processing unit)等)や、ROM21(read only memory)、RAM22(random access memory)、SSD23(solid state drive)、光照射コントローラ24、撮像コントローラ25、搬送コントローラ26、表示コントローラ27等を備えることができる。光照射コントローラ24は、制御部20からの制御信号に基づいて、光源2U,2Dの発光(オン、オフ)等を制御する。なお、開閉を切り替えて光の出射と出射停止とを切り替えるシャッター等の可変装置が設けられた場合には、当該可変装置の動作が制御される。撮像コントローラ25は、制御部20からの制御信号に基づいて、撮像部3による撮像を制御する。搬送コントローラ26は、制御部20から受けた制御信号に基づいて、搬送装置30を制御し、検査対象物100の搬送(開始、停止、速度等)を制御する。表示コントローラ27は、制御部20からの制御信号に基づいて、表示装置40を制御する。また、制御部20は、不揮発性の記憶部としてのROM21やSSD23等にインストールされたプログラム(アプリケーション)を読み出して実行する。RAM22は、制御部20がプログラムを実行して種々の演算処理を実行する際に用いられる各種データを一時的に記憶する。なお、図11に示されるハードウエアの構成はあくまで一例であって、例えばチップやパッケージにする等、種々に変形して実施することが可能である。また、各種演算処理は、並列処理することが可能であり、制御部20等は、並列処理が可能なハードウエア構成とすることが可能である。   In the present embodiment, as an example, as shown in FIG. 11, the outline inspection apparatus 1 includes a control unit 20 (for example, a CPU (central processing unit)), a ROM 21 (read only memory), a RAM 22 (random access memory). SSD 23 (solid state drive), light irradiation controller 24, imaging controller 25, transport controller 26, display controller 27, and the like. The light irradiation controller 24 controls light emission (ON, OFF) and the like of the light sources 2U and 2D based on a control signal from the control unit 20. Note that when a variable device such as a shutter that switches between opening and closing of light by switching between opening and closing is provided, the operation of the variable device is controlled. The imaging controller 25 controls imaging by the imaging unit 3 based on a control signal from the control unit 20. The transport controller 26 controls the transport device 30 based on the control signal received from the control unit 20 and controls transport (start, stop, speed, etc.) of the inspection object 100. The display controller 27 controls the display device 40 based on a control signal from the control unit 20. Further, the control unit 20 reads and executes a program (application) installed in the ROM 21 or the SSD 23 as a nonvolatile storage unit. The RAM 22 temporarily stores various data used when the control unit 20 executes programs and executes various arithmetic processes. Note that the hardware configuration shown in FIG. 11 is merely an example, and can be implemented with various modifications such as a chip or a package. Various arithmetic processes can be performed in parallel, and the control unit 20 or the like can have a hardware configuration capable of parallel processing.

また、本実施形態では、一例として、制御部20は、ハードウエアとソフトウエア(プログラム)との協働によって、外形検査装置1の少なくとも一部として機能(動作)する。すなわち、図12に示されるように、制御部20は、光照射制御部20aや、撮像制御部20b、搬送制御部20c、画像処理部20d、表示制御部20e等として機能する。光照射制御部20aは、光照射コントローラ24を制御する。撮像制御部20bは、撮像コントローラ25を制御する。搬送制御部20cは、搬送コントローラ26を制御する。画像処理部20dは、撮像部3が取得した画像データを画像処理する。この画像処理部20dによる画像処理によって、検査対象物100の異常が検出される。よって、画像処理部20dは、異常検出部の一例である。表示制御部20eは、表示装置40(例えば、LCD(liquid crystal display)、OELD(organic electroluminescent display)等)を制御する。   In the present embodiment, as an example, the control unit 20 functions (operates) as at least a part of the outer shape inspection apparatus 1 in cooperation with hardware and software (program). That is, as illustrated in FIG. 12, the control unit 20 functions as a light irradiation control unit 20a, an imaging control unit 20b, a conveyance control unit 20c, an image processing unit 20d, a display control unit 20e, and the like. The light irradiation control unit 20 a controls the light irradiation controller 24. The imaging control unit 20b controls the imaging controller 25. The conveyance control unit 20 c controls the conveyance controller 26. The image processing unit 20d performs image processing on the image data acquired by the imaging unit 3. An abnormality of the inspection object 100 is detected by the image processing by the image processing unit 20d. Therefore, the image processing unit 20d is an example of an abnormality detection unit. The display control unit 20e controls the display device 40 (for example, an LCD (liquid crystal display), an OELD (organic electroluminescent display), etc.).

また、本実施形態にかかる外形検査装置1は、その外周に螺旋状の凹部または凸部を有した検査対象物100の検査を行うことができる。螺旋状の凹部または凸部(溝、突起、段差等)は、螺旋状の巻回物(例えば、テープ、リボン、ワイヤ等、図示されず)を有した場合等に形成されやすい。巻回物は、外周に露出するものと、露出しないものとがある。巻回物が外周に露出せず、外壁(壁部)の内部に巻回物(例えば、ワイヤ等)が設けられた場合、巻回物を覆う部分が螺旋状に突出する。   Further, the outer shape inspection apparatus 1 according to the present embodiment can inspect the inspection object 100 having a spiral concave portion or convex portion on the outer periphery thereof. A spiral recess or projection (groove, protrusion, step, etc.) is likely to be formed when a spiral wound (eg, tape, ribbon, wire, etc., not shown) is included. There are some which are exposed to the outer periphery and some which are not exposed. When the wound product is not exposed to the outer periphery and a wound product (for example, a wire) is provided inside the outer wall (wall portion), the portion covering the wound product protrudes in a spiral shape.

本実施形態では、一例として、外形検査装置1の制御部20は、図13に示されるような手順で画像処理ならびに異常検出を実行する。制御部20は、検査対象物100が一定速度で移動している状態で、光照射制御部20aならびに撮像制御部20bとして機能し、光照射コントローラ24および撮像コントローラ25ひいては光源2U,2Dならびに撮像部3を制御して、一次元の画像IL1と画像IL2とを交互に取得する(ステップS10)。次に、制御部20は、画像処理部20dとして機能し、上述したように複数列の画像IL1と画像IL2とを所定期間内でそれぞれ取得された順に並べて、二次元の画像IA1と画像IA2とを得る(ステップS11)。次に、制御部20は、画像処理部20dとして機能し、上述したように画像IA1と画像IA2とを合成(加算)して、画像ICを得る(ステップS12)。なお、画像ICは、画像IA1および画像IA2を経由して生成することは必須ではなく、画像IL1および画像IL2から生成してもよい。   In the present embodiment, as an example, the control unit 20 of the outer shape inspection apparatus 1 executes image processing and abnormality detection according to a procedure as shown in FIG. The control unit 20 functions as the light irradiation control unit 20a and the imaging control unit 20b in a state where the inspection object 100 is moving at a constant speed, and the light irradiation controller 24, the imaging controller 25, and the light sources 2U and 2D, and the imaging unit. 3 is controlled to alternately obtain one-dimensional images IL1 and IL2 (step S10). Next, the control unit 20 functions as the image processing unit 20d, and arranges a plurality of columns of images IL1 and IL2 in the order obtained in a predetermined period as described above, and generates two-dimensional images IA1 and IA2. Is obtained (step S11). Next, the control unit 20 functions as the image processing unit 20d, and combines (adds) the image IA1 and the image IA2 as described above to obtain an image IC (step S12). Note that the image IC is not necessarily generated via the image IA1 and the image IA2, and may be generated from the image IL1 and the image IL2.

次に、制御部20は、画像処理部20dとして機能し、画像Ia,Ibのエッジを検出する(ステップS13)。ここで、エッジとは、画像Ia,Ibの幅方向(検査対象物100の幅方向、図5の左右方向)の両側の端部(縁部)を意味する。このステップS13では、画像Ia,Ibの出現位置はほぼ定まっているため、制御部20は、例えば、閾値に対する大小によって二値化処理されたデータから、画像Ia,Ibのエッジを、値が変化する位置として検出することができる。   Next, the control unit 20 functions as the image processing unit 20d and detects the edges of the images Ia and Ib (step S13). Here, an edge means the edge part (edge part) of the both sides of the width direction (The width direction of the test target object 100, the left-right direction of FIG. 5) of the images Ia and Ib. In this step S13, since the appearance positions of the images Ia and Ib are almost fixed, the control unit 20 changes the values of the edges of the images Ia and Ib from the data binarized according to the threshold value, for example. It can be detected as a position to perform.

次に、制御部20は、画像処理部20dとして機能し、画像Ia,Ibの幅Wa,Wbを算出する(ステップS14)。このステップS14で、幅Wa,Wbの値は、例えば、ステップS13で検出された画像Ia,Ib毎の二つのエッジ間の距離として算出されることができる。また、幅Wa,Wbの値は、データが取得された時間t(タイミング、時刻)毎に、すなわち、画像Ia,Ibの長手方向の各位置で、算出される。幅Waのデータは、第一データの一例であり、幅Wbのデータは第二データの一例である。   Next, the control unit 20 functions as the image processing unit 20d and calculates the widths Wa and Wb of the images Ia and Ib (step S14). In step S14, the values of the widths Wa and Wb can be calculated as, for example, the distance between two edges for each of the images Ia and Ib detected in step S13. Further, the values of the widths Wa and Wb are calculated every time t (timing, time) when data is acquired, that is, at each position in the longitudinal direction of the images Ia and Ib. The data of the width Wa is an example of the first data, and the data of the width Wb is an example of the second data.

ここで、本実施形態では、一例として、制御部20は、上述したように位相をずらす場合には(ステップS15でYes)、幅Waの値(データ)および幅Wbの値(データ)の経時変化のうち一方を他方に対して時間方向に所定量ずらして、時間毎に合成(加算)して、当該各時間における幅Wdの値(データ、合成データ)を取得する(ステップS16)。このステップS16で、経時変化のデータの時間方向のずらし量δt(所定量、位相差に対応した画素数、図8参照)は、検査部10における各部品のレイアウトや、検査対象物100のスペック(大きさ、巻回物100bのピッチ)等に応じて定まる。よって、一例としては、事前のトライアル等にて取得し、設定しておくことができる。なお、幅Wdは、厳密には実測値に対応するものではなく、異常検出等に用いるための値(パラメータ、代表値)に相当する。   Here, in the present embodiment, as an example, when the phase is shifted as described above (Yes in step S15), the control unit 20 is time-dependent of the value of width Wa (data) and the value of width Wb (data). One of the changes is shifted from the other by a predetermined amount in the time direction, and is synthesized (added) every time to obtain the value (data, synthesized data) of the width Wd at each time (step S16). In step S16, the shift amount δt in the time direction of the time-dependent data (predetermined amount, the number of pixels corresponding to the phase difference, see FIG. 8) is used to determine the layout of each component in the inspection unit 10 and the specifications of the inspection object 100. It is determined according to (size, pitch of the roll 100b) and the like. Therefore, as an example, it can be acquired and set in advance trial or the like. Strictly speaking, the width Wd does not correspond to an actual measurement value, but corresponds to a value (parameter, representative value) used for abnormality detection or the like.

一方、制御部20は、特に位相をずらさない場合には(ステップS15でNo)、幅Waの値(データ)および幅Wbの値(データ)を時間毎に合成(加算)して、当該各時間における幅Wdの値(データ、合成データ)を取得する(ステップS17)。   On the other hand, when the phase is not particularly shifted (No in step S15), the control unit 20 synthesizes (adds) the value (data) of the width Wa and the value (data) of the width Wb for each time. The value (data, composite data) of the width Wd in time is acquired (step S17).

次に、制御部20は、画像処理部(異常検出部)20dとして機能し、ステップS16またはステップS17で合成された幅Wdの値(データ)の経時変化(すなわち、一例としては図10のデータ)に基づいて、異常を検出する(ステップS18)。このステップS18では、制御部20は、一例として、図16に示されるように、時間方向(検査対象物100の長手方向、軸方向、図10,16では横軸方向)の所定区間における幅Wdの値の平均値Wavと、各時間での幅Wdの値(図16中の四角形)との差の積分値(図16中のハッチングを施した領域Aa〜Aeの面積、大きさ)に基づいて、当該積分値が閾値と同じかあるいは超えた場合に、当該箇所(一例としては、図16中の領域Aaの部分)に異常があると判断することができる。この場合、積分値は、撮像された画像Ia,Ib中の異常箇所(例えば、凸部、凹部、突起、段差等)の二次元的な大きさに対応した値(パラメータ、代表値)に相当する。また、このステップS18では、制御部20は、画像Ia,Ib中の巻回物100bと巻回物100bとの境界部分100cに出現する凹凸形状(例えば、凹部、凸部、突起、段差等)については、異常として検出しない。   Next, the control unit 20 functions as the image processing unit (abnormality detection unit) 20d, and changes with time in the value (data) of the width Wd synthesized in step S16 or step S17 (that is, as an example, the data in FIG. 10). ) Is detected (step S18). In this step S18, as an example, as shown in FIG. 16, the control unit 20 has a width Wd in a predetermined section in the time direction (longitudinal direction of the inspection object 100, axial direction, horizontal axis direction in FIGS. 10 and 16). Based on the integrated value (area and size of hatched areas Aa to Ae in FIG. 16) of the difference between the average value Wav of the values and the value of the width Wd at each time (rectangle in FIG. 16) When the integral value is equal to or exceeds the threshold value, it can be determined that there is an abnormality at the location (for example, the region Aa in FIG. 16). In this case, the integral value corresponds to a value (parameter, representative value) corresponding to a two-dimensional size of an abnormal portion (for example, a convex portion, a concave portion, a protrusion, or a step) in the captured images Ia and Ib. To do. In step S18, the control unit 20 has a concavo-convex shape (for example, a concave portion, a convex portion, a protrusion, a step, etc.) appearing at a boundary portion 100c between the wound material 100b and the wound material 100b in the images Ia and Ib. Is not detected as abnormal.

次に、制御部20は、表示制御部20eとして機能し、ステップS18で検出された異常を表示装置40の表示画面に表示させる(ステップS19)。このステップS19で、制御部20は、例えば、異常を、図5,14,15等に示されるような、画像Iaや画像Ib中に指標(矢印や、マーク、文字、図形等、図示されず)で表示することができる。この際、制御部20は、ステップS16で位相をずらした場合には、当該ずらした分を考慮して画像Iaまたは画像Ib中の異常に対応した位置に、異常を示す指標を表示する。   Next, the control unit 20 functions as the display control unit 20e and displays the abnormality detected in step S18 on the display screen of the display device 40 (step S19). In step S19, the control unit 20 indicates, for example, an abnormality (an arrow, a mark, a character, a figure, or the like) in the image Ia or the image Ib as shown in FIGS. ) Can be displayed. At this time, when the phase is shifted in step S16, the control unit 20 displays an index indicating the abnormality at a position corresponding to the abnormality in the image Ia or the image Ib in consideration of the shifted amount.

上述した本実施形態にかかる外形検査装置1の制御部20は、例えば、図5,14,15に示されるような異常を検出することができる。図5の例では、制御部20は、画像Ia中の凸部A1(突起)ならびに画像Ib中の凸部A2(突起)を異常として検出することができる。この例では、凸部A1および凸部A2は一つの(同じ、一塊の)凸部である可能性がある。このような異常を検出するため、ステップS16で、制御部20は、幅Waの値または幅Wbの値を、画像Ia,Ib中の対応する部分同士(隣接する部分や同じ部分)が重なり合うようにずらす。また、図14の例では、制御部20は、画像Ia中の凹部A3ならびに画像Ib中の凹部A4を異常として検出することができる。この例では、凹部A3および凹部A4は一つの(同じ、一塊の)凹部である可能性がある。また、図15の例では、制御部20は、画像Ia中の凹部A5ならびに画像Ib中の凸部A6を異常として検出することができる。この例では、凹部A5および凸部A6はそれぞれ別の異常である。このような場合にあっても、閾値を適切に設定することで、制御部20は、当該異常を検出することができる。   For example, the control unit 20 of the outline inspection apparatus 1 according to the present embodiment described above can detect an abnormality as shown in FIGS. In the example of FIG. 5, the control unit 20 can detect the convex portion A1 (protrusion) in the image Ia and the convex portion A2 (protrusion) in the image Ib as abnormal. In this example, the convex part A1 and the convex part A2 may be one (the same, one block) convex part. In order to detect such an abnormality, in step S16, the control unit 20 sets the value of the width Wa or the value of the width Wb so that corresponding portions (adjacent portions or the same portion) in the images Ia and Ib overlap each other. Shift to In the example of FIG. 14, the control unit 20 can detect the concave portion A3 in the image Ia and the concave portion A4 in the image Ib as abnormal. In this example, the recess A3 and the recess A4 may be one (the same, a lump) recess. In the example of FIG. 15, the control unit 20 can detect the concave portion A5 in the image Ia and the convex portion A6 in the image Ib as abnormal. In this example, the concave portion A5 and the convex portion A6 are different abnormalities. Even in such a case, the control unit 20 can detect the abnormality by appropriately setting the threshold value.

以上、説明したように、本実施形態にかかる外形検査装置1では、一例として、撮像部3は、画像Ia(例えば第一画像)中で検査対象物100が大きくなった場合には画像Ib(例えば第二画像)中の検査対象物100が小さくなり、画像Ia中で検査対象物100が小さくなった場合には画像Ib中の検査対象物100が大きくなるよう設定される。そして、画像処理部20d(異常検出部)は、画像Iaを画像処理して得られた検査対象物100の外形に応じた幅Waのデータ(第一データ)と画像Ibを画像処理して得られた検査対象物100の外形に応じた幅Wbのデータ(第二データ)とを合成(加算)した幅Wdのデータ(合成データ)から検査対象物100の異常を検出する。よって、本実施形態によれば、一例としては、検査対象物100の外形の異常の検出に対する検査対象物100の移動による影響が低減されやすい。 As described above, in the outer shape inspection apparatus 1 according to the present embodiment, as an example, the imaging unit 3 causes the image Ib (when the inspection object 100 becomes large in the image Ia ( for example, the first image)). For example, when the inspection object 100 in the second image) becomes small and the inspection object 100 becomes small in the image Ia, the inspection object 100 in the image Ib is set large. Then, the image processing unit 20d (abnormality detection unit) obtains the data (first data) of the width Wa corresponding to the outer shape of the inspection object 100 obtained by image processing of the image Ia and the image Ib by image processing. The abnormality of the inspection object 100 is detected from the data (composite data) of the width Wd obtained by combining (adding) the data (second data) of the width Wb corresponding to the outer shape of the inspection object 100 thus obtained. Therefore, according to the present embodiment, as an example, the influence of the movement of the inspection object 100 on the detection of the abnormality of the outer shape of the inspection object 100 is easily reduced.

また、本実施形態では、一例として、画像Iaおよび画像Ibのうち一方は検査対象物100を上側から撮像した画像であり、他方は下側から撮像した画像である。検査対象物100は、重力の作用によって上下方向に移動しやすい場合がある。よって、本実施形態によれば、一例としては、このような場合に、検査対象物100の外形の異常の検出に対する検査対象物100の移動による影響が低減されやすい。   In the present embodiment, as an example, one of the image Ia and the image Ib is an image obtained by imaging the inspection object 100 from the upper side, and the other is an image obtained by imaging from the lower side. The inspection object 100 may be easily moved in the vertical direction by the action of gravity. Therefore, according to the present embodiment, as an example, in such a case, the influence of the movement of the inspection object 100 on the detection of the abnormality in the outer shape of the inspection object 100 is easily reduced.

また、本実施形態では、一例として、撮像部3は、光を屈折あるいは反射させる光学部品4(ミラー4U,4L)を介して複数の部位の画像を取得する。よって、本実施形態によれば、一例としては、複数の部位の画像を取得する構成が、より簡素な構成として得られやすい。二つのミラー4U,4Lが一体化された光学部品4が用いられる場合、当該外形検査装置1の製造時やメンテナンス時に、ミラー4U,4Lをより取り扱いやすくなる。   In the present embodiment, as an example, the imaging unit 3 acquires images of a plurality of parts via the optical component 4 (mirrors 4U and 4L) that refracts or reflects light. Therefore, according to the present embodiment, as an example, a configuration for acquiring images of a plurality of parts is easily obtained as a simpler configuration. When the optical component 4 in which the two mirrors 4U and 4L are integrated is used, it becomes easier to handle the mirrors 4U and 4L at the time of manufacturing and maintenance of the external shape inspection apparatus 1.

また、本実施形態では、一例として、画像処理部20d(合成データ取得部)は、幅Waのデータおよび幅Wbのデータを長手方向(時間方向)に対応した方向にずらして合成する。また、本実施形態では、一例として、画像処理部20d(合成データ取得部)は、幅Waのデータのピッチに応じたデータの変動と、幅Wbのデータのピッチに応じたデータの変動との位相差が減るように幅Waのデータおよび幅Wbのデータをずらして合成する。よって、本実施形態によれば、一例としては、幅Waのデータおよび幅Wbのデータが周期的に変動し、当該周期的な変動の位相がずれている場合に、幅Waのデータおよび幅Wbのデータの合成(加算)によって周期的な変動の成分が減殺(相殺)されるのが抑制される。よって、一例としては、周期的な変動がある状態で、検査対象物100の外形の異常がより精度良く検出されやすくなる。   In this embodiment, as an example, the image processing unit 20d (composite data acquisition unit) synthesizes the data of the width Wa and the data of the width Wb by shifting in a direction corresponding to the longitudinal direction (time direction). In the present embodiment, as an example, the image processing unit 20d (composite data acquisition unit) performs a data variation according to the data pitch of the width Wa and a data variation according to the data pitch of the width Wb. The data of the width Wa and the data of the width Wb are shifted and combined so that the phase difference is reduced. Therefore, according to the present embodiment, as an example, when the data of the width Wa and the data of the width Wb fluctuate periodically and the phase of the periodic fluctuation is shifted, the data of the width Wa and the width Wb It is suppressed that the component of the periodic fluctuation is reduced (cancelled) by combining (adding) the data. Therefore, as an example, an abnormality in the outer shape of the inspection object 100 is easily detected with high accuracy in a state where there is periodic fluctuation.

また、本実施形態では、一例として、検査対象物100は、一定のピッチで螺旋状に巻かれた巻回物100bを有した。また、本実施形態では、一例として、検査対象物100は、外周に螺旋状の凹部または凸部を有した長尺状部品である。よって、本実施形態によれば、一例としては、幅Waのデータおよび幅Wbのデータが周期的に変動する検査対象物100の外形の異常がより精度良く検出されやすくなる。   Further, in the present embodiment, as an example, the inspection object 100 has a wound object 100b wound spirally at a constant pitch. In the present embodiment, as an example, the inspection object 100 is a long component having a spiral concave portion or convex portion on the outer periphery. Therefore, according to the present embodiment, as an example, an abnormality in the outer shape of the inspection target object 100 in which the data of the width Wa and the data of the width Wb fluctuate periodically can be detected more accurately.

以上、本発明の実施形態を例示したが、上記実施形態はあくまで一例である。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、実施形態の構成や形状は、部分的に他の構成や形状と入れ替えて実施することも可能である。また、各構成や形状等のスペック(構造や、種類、方向、角度、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、材質等)は、適宜に変更して実施することができる。例えば、検査対象物は、長尺状部品以外であってもよい。また、外形検査装置は、上述した異常以外の異常を画像処理で検出することができる。また、外形検査装置は、静止状態で取得された画像で検査してもよい。また、光学部品はミラー以外(例えば、レンズ、プリズム等)であってもよい。また、画像中に検査対象物の三つ以上の部位が含まれてもよい。また、撮像部は、幅方向と交叉する方向(斜め方向)に延びた線状の画像を取得してもよい。   As mentioned above, although embodiment of this invention was illustrated, the said embodiment is an example to the last. The embodiment can be implemented in various other forms, and various omissions, replacements, combinations, and changes can be made without departing from the scope of the invention. In addition, the configuration and shape of the embodiment can be partially replaced with other configurations and shapes. In addition, specifications (structure, type, direction, angle, shape, size, length, width, thickness, height, number, arrangement, position, material, etc.) of each configuration, shape, etc. are changed as appropriate. Can be implemented. For example, the inspection object may be other than an elongated part. Moreover, the external shape inspection apparatus can detect abnormalities other than the abnormalities described above by image processing. The external shape inspection apparatus may inspect with an image acquired in a stationary state. The optical component may be other than a mirror (for example, a lens, a prism, etc.). Further, three or more parts of the inspection object may be included in the image. Further, the imaging unit may acquire a linear image extending in a direction crossing the width direction (oblique direction).

1…外形検査装置、3…撮像部、4…光学部品、20d…画像処理部(合成データ取得部、異常検出部)、100…検査対象物、100b…巻回物。   DESCRIPTION OF SYMBOLS 1 ... External shape inspection apparatus, 3 ... Imaging part, 4 ... Optical component, 20d ... Image processing part (synthetic data acquisition part, abnormality detection part), 100 ... Inspection object, 100b ... Rolled object.

Claims (7)

長尺状の検査対象物が長手方向に搬送されている状態で、前記検査対象物の幅方向の両端を含む第一画像であって前記検査対象物を前記長手方向および前記幅方向と交叉した第一方向から撮像した第一画像と、前記検査対象物の幅方向の両端を含む第二画像であって前記検査対象物を前記第一方向とは異なり前記長手方向および前記幅方向と交叉し第二方向から撮像した第二画像と、を取得し、前記検査対象物が所定方向に移動した場合には前記第一画像中で前記検査対象物の幅が大きくなるとともに前記第二画像中の前記検査対象物の幅が小さくなり、前記検査対象物が前記所定方向の反対方向に移動した場合には前記第一画像中で前記検査対象物の幅が小さくなるとともに前記第二画像中の前記検査対象物の幅が大きくなるよう設定された撮像部と、
前記第一画像を画像処理して得られた前記検査対象物の第一の前記幅と前記第二画像を画像処理して得られた前記検査対象物の第二の前記幅とを加算した値を取得する合成データ取得部と、
前記から前記検査対象物の異常を検出する異常検出部と、
を備えた、外形検査装置。
In a state where a long inspection object is conveyed in the longitudinal direction, the inspection object is a first image including both ends in the width direction, and the inspection object is crossed with the longitudinal direction and the width direction . A first image captured from a first direction and a second image including both ends in the width direction of the inspection object , wherein the inspection object is crossed with the longitudinal direction and the width direction , unlike the first direction. and a second image captured from the second direction, acquires the second image in conjunction with the inspection object is the width of the inspected object is large in the first image when moving in a predetermined direction the width of said test object is reduced, together with the inspection object is the width of the test object is reduced in the first image when moving in the opposite direction of the predetermined direction of the second in the image setting of such a width of the test object is larger And the imaging unit was,
The first of the width and the second of said width and the value obtained by adding the second image the inspection object obtained by the image processing of the inspection object obtained by the image processing said first image A synthetic data acquisition unit for acquiring
An abnormality detection unit for detecting an abnormality of the inspection object from the value ;
An external form inspection apparatus.
前記第一画像および前記第二画像のうち一方は前記検査対象物を上側から撮像した画像であり、他方は下側から撮像した画像である、請求項1に記載の外形検査装置。   The external inspection apparatus according to claim 1, wherein one of the first image and the second image is an image obtained by imaging the inspection object from above, and the other is an image obtained by imaging from the lower side. 前記撮像部は、光を屈折あるいは反射させる光学部品を介して前記第一画像および前記第二画像を取得する、請求項1または2に記載の外形検査装置。   The external shape inspection apparatus according to claim 1, wherein the imaging unit acquires the first image and the second image via an optical component that refracts or reflects light. 前記合成データ取得部は、前記長手方向の各位置での前記第一の幅を示す第一データおよび前記長手方向の各位置での前記第二の幅を示す第二データを前記長手方向に対応した方向にずらして合成する、請求項1〜3のうちいずれか一つに記載の外形検査装置。 The synthesized data acquisition unit corresponds to the first data indicating the first width at each position in the longitudinal direction and the second data indicating the second width at each position in the longitudinal direction in the longitudinal direction. The external shape inspection apparatus according to claim 1, wherein the outer shape inspection apparatus is combined in a shifted direction. 前記検査対象物は、一定のピッチで螺旋状に巻かれた巻回物を有した、請求項4に記載の外形検査装置。   The external inspection apparatus according to claim 4, wherein the inspection object has a wound object that is spirally wound at a constant pitch. 前記合成データ取得部は、前記第一データの前記ピッチに応じたデータの変動と、前記第二データの前記ピッチに応じたデータの変動との位相差が減るように前記第一データおよび前記第二データをずらして合成した、請求項5に記載の外形検査装置。   The composite data acquisition unit is configured to reduce the phase difference between the data variation according to the pitch of the first data and the data variation according to the pitch of the second data. The external shape inspection apparatus according to claim 5, wherein the two data are combined while being shifted. 長尺状の検査対象物が長手方向に搬送されている状態で撮像された当該検査対象物の画像を画像処理して当該検査対象物の異常を検出する外形検査装置による外形検査方法であって、
前記外形検査装置が、
前記検査対象物の幅方向の両端を含む第一画像であって前記検査対象物を前記長手方向および前記幅方向と交叉した第一方向から撮像した第一画像と、前記検査対象物の幅方向の両端を含む第二画像であって前記検査対象物を前記第一方向とは異なり前記長手方向および前記幅方向と交叉した第二方向から撮像した第二画像と、を取得するステップであって、前記検査対象物が所定方向に移動した場合には前記第一画像中で前記検査対象物の幅が大きくなるとともに前記第二画像中の前記検査対象物の幅が小さくなり、前記検査対象物が前記所定方向の反対方向に移動した場合には前記第一画像中で前記検査対象物の幅が小さくなるとともに前記第二画像中の前記検査対象物の幅が大きくなるよう設定されたステップと、
記第一画像を画像処理して得られた前記検査対象物の第一の前記幅と前記第二画像を画像処理して得られた前記検査対象物の第二の前記幅とを加算した値を取得するステップと、
前記値から前記検査対象物の異常を検出するステップと、
実行する、外形検査方法。
An external form inspection method using an external form inspection apparatus that detects an abnormality of an inspection object by performing image processing on an image of the inspection object that is imaged in a state where a long inspection object is conveyed in a longitudinal direction. ,
The outline inspection apparatus is
A first image including both ends of the inspection object in the width direction, the first image obtained by imaging the inspection object from a first direction crossing the longitudinal direction and the width direction, and the width direction of the inspection object comprising the steps of: obtaining a second image, a where the second image is a by the test object imaged from a second direction which is crossing with the longitudinal direction and the width direction different from the first direction including the opposite ends of When the inspection object moves in a predetermined direction, the width of the inspection object in the first image is increased and the width of the inspection object in the second image is reduced, so that the inspection object is Is set so that the width of the inspection object in the first image is reduced and the width of the inspection object in the second image is increased when moving in the direction opposite to the predetermined direction. ,
Obtained by adding the second of the width before Symbol the inspection object to the second image and the first of the width of the object to be examined obtained by the first image and image processing obtained by the image processing Obtaining a value;
Detecting an abnormality of the inspection object from the value ;
Perform the outline inspection method.
JP2012167574A 2012-07-27 2012-07-27 Outline inspection apparatus and outline inspection method Expired - Fee Related JP6032993B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012167574A JP6032993B2 (en) 2012-07-27 2012-07-27 Outline inspection apparatus and outline inspection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012167574A JP6032993B2 (en) 2012-07-27 2012-07-27 Outline inspection apparatus and outline inspection method

Publications (2)

Publication Number Publication Date
JP2014025855A JP2014025855A (en) 2014-02-06
JP6032993B2 true JP6032993B2 (en) 2016-11-30

Family

ID=50199630

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012167574A Expired - Fee Related JP6032993B2 (en) 2012-07-27 2012-07-27 Outline inspection apparatus and outline inspection method

Country Status (1)

Country Link
JP (1) JP6032993B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6487763B2 (en) * 2015-04-24 2019-03-20 株式会社日立ハイテクファインシステムズ Inspection apparatus and inspection method
JP6612153B2 (en) * 2016-03-03 2019-11-27 北海道電力株式会社 Imaging apparatus and imaging method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61246605A (en) * 1985-04-24 1986-11-01 Honda Motor Co Ltd Measuring method for size of object
JPS6479605A (en) * 1987-09-22 1989-03-24 Toshiba Corp Apparatus for detecting winding pitch of insulating tape
JPH0961124A (en) * 1995-08-22 1997-03-07 Sumitomo Electric Ind Ltd Dimension measuring device of rod steel with screw
JP5033672B2 (en) * 2008-02-18 2012-09-26 貴雄 根本 Male screw measuring device and judging device
JP2011209112A (en) * 2010-03-30 2011-10-20 Furukawa Electric Co Ltd:The Appearance inspection method of to-be-inspected object and appearance inspection apparatus of the same

Also Published As

Publication number Publication date
JP2014025855A (en) 2014-02-06

Similar Documents

Publication Publication Date Title
US20120236318A1 (en) Inspecting apparatus, three-dimensional profile measuring apparatus, and manufacturing method of structure
US10430940B2 (en) Inspection system and inspection method
JP2014062835A (en) Inspection device
JP2011141864A5 (en)
JP6085188B2 (en) Pattern inspection device
JP5824278B2 (en) Image processing device
JP2011112639A (en) Three-dimensional shape measuring system
JP6032993B2 (en) Outline inspection apparatus and outline inspection method
JP2019158351A (en) Object recognition method, height measurement method, and three-dimensional measurement method
JP6093527B2 (en) Inspection device
JP2016035405A (en) Image inspection device, image inspection system, and image inspection method
JP5946705B2 (en) Inspection apparatus and inspection method
JP5956296B2 (en) Shape measuring apparatus and shape measuring method
JP6191623B2 (en) Image generating apparatus, defect inspection apparatus, and defect inspection method
JP2007078483A (en) Liquid level measuring method and liquid quantity measuring method
KR102122275B1 (en) Light distribution characteristic measurement apparatus and light distribution characteristic measurement method
JP2015230264A (en) Film thickness measurement method and film thickness measurement device
JP2008180578A (en) Cyclic pattern nonuniformity inspection device
JP2008170281A (en) Shape measuring device and shape measuring method
JP7136064B2 (en) Apparatus for inspecting surface of object to be inspected and method for inspecting surface of object to be inspected
JP5359919B2 (en) Method and apparatus for inspecting surface condition of inspection object having flexibility
KR101269128B1 (en) Surface roughness measurement apparatus and method having intermediate view generator
JP2008170282A (en) Shape measuring device
JP7165564B2 (en) Image inspection device
JP2009150792A (en) Film inspecting apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161025

R150 Certificate of patent or registration of utility model

Ref document number: 6032993

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees