JP5728699B2 - Surface inspection apparatus, surface inspection method, and surface inspection program - Google Patents

Surface inspection apparatus, surface inspection method, and surface inspection program Download PDF

Info

Publication number
JP5728699B2
JP5728699B2 JP2010044706A JP2010044706A JP5728699B2 JP 5728699 B2 JP5728699 B2 JP 5728699B2 JP 2010044706 A JP2010044706 A JP 2010044706A JP 2010044706 A JP2010044706 A JP 2010044706A JP 5728699 B2 JP5728699 B2 JP 5728699B2
Authority
JP
Japan
Prior art keywords
measurement object
image
measurement
light
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010044706A
Other languages
Japanese (ja)
Other versions
JP2011179982A (en
Inventor
存偉 盧
存偉 盧
岳彦 大橋
岳彦 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
fukuokakougyoudaigaku
Original Assignee
fukuokakougyoudaigaku
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by fukuokakougyoudaigaku filed Critical fukuokakougyoudaigaku
Priority to JP2010044706A priority Critical patent/JP5728699B2/en
Publication of JP2011179982A publication Critical patent/JP2011179982A/en
Application granted granted Critical
Publication of JP5728699B2 publication Critical patent/JP5728699B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P20/00Technologies relating to chemical industry
    • Y02P20/50Improvements relating to the production of bulk chemicals
    • Y02P20/52Improvements relating to the production of bulk chemicals using catalysts, e.g. selective catalysts

Description

本発明は、自動車のボディやその部品などの光沢塗装が施されるなどして表面反射の強い計測対象物の擦り疵、飛び石疵、塗装剥がれ、色褪せや凹みなどの表面欠陥を非接触で検査する表面検査装置、表面検査方法および表面検査プログラムに関する。   The present invention provides non-contact inspection of surface defects such as rubbing, stepping stones, paint peeling, fading and dents on objects subject to strong surface reflections, such as by applying glossy paint to automobile bodies and parts. The present invention relates to a surface inspection apparatus, a surface inspection method, and a surface inspection program.

対象物体の画像を撮像する撮像装置と画像処理技術を用いた物体の正面検査は、非接触で高速かつ高精度に対象物体の様子を把握することができるので、近年産業界で幅広く使用されている。しかしながら、自動車のボディは表面が滑らかであり、光沢塗装が施されているので、鏡面反射が酷く、画像計測には不利である。また、自動車のボディは部位により形状が異なり、塗装の色も様々である。したがって、様々な形状、表面色や反射特性に対応できる表面検査装置が要求されている。   Frontal inspection of an object using an imaging device that captures an image of the target object and image processing technology has been widely used in the industry in recent years because it can grasp the state of the target object with high speed and high accuracy without contact. Yes. However, since the body of an automobile has a smooth surface and a gloss coating, the specular reflection is severe, which is disadvantageous for image measurement. In addition, the shape of the body of an automobile varies depending on the part, and the colors of painting are also various. Therefore, there is a demand for a surface inspection apparatus that can cope with various shapes, surface colors, and reflection characteristics.

従来提案された自動車のボディの傷や塗装を検査する装置では、明暗のストライプパターンを計測部位に照射し、反射パターン画像を撮像する手法が主流である。例えば、特許文献1には、計測対象物の外周面に所定の明暗パターンを照射する明暗パターン照射手段と、計測対象物の外周面を撮像する撮像手段とを有し、計測対象物の全体を計測するために車をライン上で移動しながら明暗のパターンの照射および撮像を行って時系列画像を取得し、この時系列画像から塗装欠陥を検出する塗装欠陥検査装置が開示されている。   In a conventionally proposed apparatus for inspecting scratches or paint on the body of an automobile, a technique of irradiating a measurement site with a bright and dark stripe pattern and capturing a reflection pattern image is the mainstream. For example, Patent Document 1 includes a light / dark pattern irradiating unit that irradiates a predetermined light / dark pattern on an outer peripheral surface of a measurement object, and an imaging unit that images the outer peripheral surface of the measurement object. A coating defect inspection apparatus is disclosed in which a time-series image is obtained by irradiating and capturing a light and dark pattern while moving a vehicle on a line for measurement, and a coating defect is detected from the time-series image.

また、特許文献2には、特許文献1と同様にストライプ式の明暗パターンを用いる塗装欠陥検査装置であって、自動車を動かすことなく、2台のアームロボットを用いて光照射手段および撮像手段を動かすことにより、計測対象物の全体を撮像する塗装欠陥検査装置が開示されている。   Patent Document 2 discloses a coating defect inspection apparatus using a stripe-type light and dark pattern as in Patent Document 1, and includes a light irradiation unit and an imaging unit using two arm robots without moving an automobile. A coating defect inspection device that captures an image of the entire measurement object by moving it is disclosed.

特許文献1,2に記載の塗装欠陥検査装置のように、ストライプパターンを照射して検査する装置の場合、計測対象物の全体にストライプ式の明暗パターンを照射する必要がある。同様に、この照射した明暗パターンを撮像するために計測対象物の全体を撮像する必要がある。ところが、光照射手段の照射範囲や撮像手段の撮像範囲には制約があるため、明暗パターンの照射および撮像は1回につき一部の局所領域でしか行うことができない。   In the case of an apparatus that irradiates and inspects a stripe pattern, such as the coating defect inspection apparatus described in Patent Documents 1 and 2, it is necessary to irradiate the entire measurement object with a stripe-type light and dark pattern. Similarly, it is necessary to image the entire measurement object in order to image the illuminated light / dark pattern. However, since there are restrictions on the irradiation range of the light irradiation means and the imaging range of the imaging means, the illumination and imaging of the light / dark pattern can be performed only in a part of the local area at a time.

そのため、このような検査装置を用いて計測対象物の全体に亘って塗装欠陥を検査する場合には、計測対象物全体に亘って部分的な明暗パターンの照射および撮像を行い、時系列画像を取得して、この時系列画像に基づいて複雑な画像処理を行う必要がある。このため、検査装置は複雑となり、計測時間も長く、コストも高くなる。   Therefore, when a coating defect is inspected over the entire measurement object using such an inspection apparatus, a partial light pattern is irradiated and imaged over the entire measurement object, and a time-series image is obtained. It is necessary to acquire and perform complex image processing based on this time-series image. For this reason, the inspection apparatus is complicated, the measurement time is long, and the cost is high.

一方、凹みのような形状変化に伴う欠陥の場合、明暗のストライプパターンを照射した際に表面色特性が変化することもあれば、変化しないこともある。表面色特性の変化を伴わない凹みは、一般の色情報解析に基づく二次元式の検査方法では検出できず、形状変化を検出できる三次元計測手法の使用が必要となる。   On the other hand, in the case of a defect accompanying a shape change such as a dent, the surface color characteristics may or may not change when a bright and dark stripe pattern is irradiated. Recesses that do not involve changes in surface color characteristics cannot be detected by a two-dimensional inspection method based on general color information analysis, and it is necessary to use a three-dimensional measurement technique that can detect shape changes.

通常、三次元形状の画像計測は、計測対象物に計測の補助となる特定の光や電波などを照射することなく計測を行う受動型と、光、音波や電波などを計測対象物に照射し、その情報を利用して計測を行う能動型とに分類される。   In general, three-dimensional image measurement is performed by irradiating the measurement target with a passive type that performs measurement without irradiating the measurement target with specific light or radio waves that assist measurement, and with light, sound waves, or radio waves. The active type that performs measurement using the information is classified.

受動型の代表的な方法は、2台のカメラを用いて、人間の両目のように計測対象物の画像を異なる視点から撮像し、三角測量の原理により計測対象物の三次元形状を算出するステレオ視方法である。ステレオ視による三次元形状計測方法は、2台もしくは2台以上のカメラだけを用いて、計測対象物の三次元形状を計測できる方法であり、簡単な設備を使って物体の三次元形状を計測できる利点がある。   A typical passive method uses two cameras to capture images of a measurement object from different viewpoints, such as human eyes, and calculates the three-dimensional shape of the measurement object based on the principle of triangulation. Stereo viewing method. Stereoscopic three-dimensional shape measurement method is a method that can measure the three-dimensional shape of an object to be measured using only two or more cameras, and measures the three-dimensional shape of an object using simple equipment. There are advantages you can do.

しかしながら、このような受動法では、複数枚の画像から計測点および対応点を抽出する、いわゆる対応付けが必要である。そのため、前記の色変化がないヘコミは特徴がないので計測できない。また、色変化との対応関係の複雑のヘコミの計測も困難である。   However, in such a passive method, so-called association is required in which measurement points and corresponding points are extracted from a plurality of images. For this reason, a dent without the color change has no characteristics and cannot be measured. It is also difficult to measure complicated dents in correspondence with color changes.

一方、能動型の三次元情報計測方法として、例えば特許文献3に記載のパターン光投影による方法が知られている。パターン光投影による三次元情報計測方法では、パターン光を計測対象物に投影して、その反射パターンの解析により、物体の表面形状の三次元情報を求める方法であり、特徴のない計測対象物の計測も可能であるという特徴がある。   On the other hand, as an active three-dimensional information measurement method, for example, a method by pattern light projection described in Patent Document 3 is known. In the three-dimensional information measurement method using pattern light projection, pattern light is projected onto a measurement object, and the reflection pattern is analyzed to obtain three-dimensional information on the surface shape of the object. There is a feature that measurement is also possible.

図6は従来のパターン光投影による三次元情報計測方法の基本原理を示す幾何関係図である。図6において、OPはパターン光投影機のレンズ中心であり、OCは観測用カメラのレンズ中心である。パターン光投影機とカメラとは一定の距離bだけ離して配置されている。パターン光投影機は、計測用のパターン光をβの角度を以て計測点Mに投影する。一方、観測用カメラは、計測点Mを観測し、画像を撮像する。このときの観測角度はαとする。 FIG. 6 is a geometric relationship diagram showing the basic principle of a conventional three-dimensional information measurement method using pattern light projection. In FIG. 6, O P is the lens center of the pattern light projector, O C is the lens center of the observation camera. The pattern light projector and the camera are spaced apart by a certain distance b. The pattern light projector projects the measurement pattern light onto the measurement point M with an angle of β. On the other hand, the observation camera observes the measurement point M and captures an image. The observation angle at this time is α.

このときの計測点Mの三次元空間世界座標系(O、X、Y、Z)における奥行座標Zは、次式のように求められる。

Figure 0005728699
The depth coordinate Z in the three-dimensional space world coordinate system (O, X, Y, Z) of the measurement point M at this time is obtained as follows.
Figure 0005728699

αは観測角度(観測用カメラから見た計測点の所在の視角)、βは投影角度(パターン光投光機から計測対象物に投影した光の方向角)、bは観測用カメラ中心からパターン光投影機中心までの距離である。   α is the observation angle (the viewing angle of the measurement point as seen from the observation camera), β is the projection angle (the direction angle of the light projected from the pattern light projector onto the measurement object), and b is the pattern from the center of the observation camera This is the distance to the center of the optical projector.

特許第3211681号公報Japanese Patent No. 3211681 特許第4014027号公報Japanese Patent No. 4014027 特開2006−145405号公報JP 2006-145405 A

ところが、前述のように計測対象物が自動車のボディなどのように表面反射の強い物体の場合、パターン光を計測対象物に投影すると、観測用カメラに正反射した部分ではハイライトが形成され、パターン光が非常に強く反射される。逆に、正反射以外の部分では反射光の強度がハイライトに比べて極端に弱く、三次元情報計測に必要な反射パターンを撮像することが困難である。このため、表面反射の強い物体の場合、計測対象物の反射パターンを撮像することができないので、三次元計測ができないという問題がある。   However, as described above, when the object to be measured is an object having a strong surface reflection such as the body of an automobile, when pattern light is projected onto the object to be measured, highlights are formed in the part that is regularly reflected by the observation camera. Pattern light is reflected very strongly. On the other hand, the intensity of the reflected light is extremely weak compared to the highlight in the portion other than the regular reflection, and it is difficult to image the reflection pattern necessary for the three-dimensional information measurement. For this reason, in the case of an object with strong surface reflection, there is a problem in that three-dimensional measurement cannot be performed because the reflection pattern of the measurement object cannot be imaged.

そこで、本発明においては、自動車のボディやその部品などの光沢塗装が施されるなどして表面反射の強い計測対象物であっても、簡単な構造により低コストで高精度かつ高速に表面の疵、塗装の剥がれや凹みなどの表面欠陥を検査することが可能な表面検査装置、表面検査プログラムおよび表面検査方法を提供することを目的とする。   Therefore, in the present invention, even a measurement object having a strong surface reflection due to the glossy coating of the body of the automobile or its parts, etc., the surface of the surface can be accurately and quickly at a low cost with a simple structure. An object of the present invention is to provide a surface inspection apparatus, a surface inspection program, and a surface inspection method capable of inspecting surface defects such as wrinkles and paint peeling and dents.

本発明の表面検査装置は、曲面状壁を有する計測空間を構成する計測環境構成装置と、計測空間内の計測対象物に対して光源光を均一に減光して照明するための照明装置と、パターン光を計測対象物に直接当たらないように曲面状壁に投影して反射させ、この反射されたパターン光(以下、「反射パターン光」と称す。)を計測対象物に投影するためのパターン光投影装置と、照明装置により照明された計測対象物の全照明画像の撮像および反射パターン光が投影された計測対象物の反射パターン画像の撮像を行う撮像装置と、全照明画像および反射パターン画像から計測対象物の表面欠陥を検出するデータ処理装置とを含むものである。   A surface inspection apparatus according to the present invention includes a measurement environment configuration apparatus that configures a measurement space having a curved wall, and an illumination apparatus that uniformly illuminates and illuminates a measurement target in the measurement space with light source light. In order to project the pattern light on the curved wall so that it does not directly hit the measurement object and reflect it, and to project the reflected pattern light (hereinafter referred to as “reflection pattern light”) onto the measurement object Pattern light projection device, imaging device that captures all illumination image of measurement object illuminated by illumination device, and reflection pattern image of measurement object onto which reflection pattern light is projected, all illumination image and reflection pattern And a data processing device for detecting a surface defect of the measurement object from the image.

また、本発明の表面検査方法は、曲面状壁を有する計測空間を構成すること、計測空間内の計測対象物に対して光源光を均一に減光して照明すること、照明された計測対象物の全照明画像の撮影を行うこと、パターン光を計測対象物に直接当たらないように曲面状壁に投影して反射させ、この反射されたパターン光(反射パターン光)を計測対象物に投影すること、反射パターン光が投影された計測対象物の反射パターン画像の撮像を行うこと、全照明画像および反射パターン画像から計測対象物の表面欠陥を検出することを含む。   In addition, the surface inspection method of the present invention includes forming a measurement space having a curved wall, illuminating the measurement object in the measurement space with the light source light uniformly dimmed, and the illuminated measurement object. Take a picture of the entire illumination of the object, project the pattern light onto the curved wall so that it does not directly hit the measurement object, reflect it, and project the reflected pattern light (reflection pattern light) onto the measurement object Capturing a reflection pattern image of the measurement object onto which the reflection pattern light is projected, and detecting a surface defect of the measurement object from the entire illumination image and the reflection pattern image.

これらの発明によれば、曲面状壁を有する計測空間を構成し、計測空間内の計測対象物に対して光源光を均一に減光して照明し、照明された計測対象物の全照明画像の撮影を行うとともに、パターン光を計測対象物に直接当たらないように曲面状壁に投影して反射させ、この反射されたパターン光(反射パターン光)を計測対象物に投影し、反射パターン光が投影された計測対象物の反射パターン画像の撮像を行うため、表面反射は撮像されにくくなる。したがって、計測対象物が自動車のボディやその部品などの光沢塗装が施されるなどして表面反射の強いものであっても、計測対象物の反射パターン光を撮像することができ、全照明画像および反射パターン画像から計測対象物の表面欠陥を検出することができる。   According to these inventions, a measurement space having a curved wall is formed, and the measurement object in the measurement space is illuminated with the light source light uniformly dimmed, and the illuminated measurement object is fully illuminated. The pattern light is projected and reflected on the curved wall so that it does not directly strike the measurement object, and the reflected pattern light (reflection pattern light) is projected onto the measurement object to reflect the pattern light. Since the reflection pattern image of the measurement object on which is projected is captured, the surface reflection is difficult to be captured. Therefore, even if the object to be measured has a strong surface reflection due to the glossy coating of the body of the car or its parts, the reflected pattern light of the object to be measured can be imaged, and the entire illumination image And the surface defect of the measurement object can be detected from the reflection pattern image.

ここで、曲面状壁は、半透明素材により形成されたものであり、光源光は、曲面状壁の外部に設けられたものであり、曲面状壁を透過して計測対象物に照明されるものであることが望ましい。これにより、光源光は、曲面状壁の外部から半透明素材により形成された曲面状壁を透過する際に一様に減光されて計測対象物に照明されるとともに、曲面状壁に投影されたパターン光は一様に反射されて計測対象物に投影され、全照明画像および反射パターン画像が撮像される。   Here, the curved wall is formed of a semi-transparent material, and the light source light is provided outside the curved wall, and passes through the curved wall and is illuminated on the measurement object. It is desirable to be a thing. As a result, the light source light is uniformly dimmed when passing through the curved wall formed of a semi-transparent material from the outside of the curved wall, and is illuminated on the measurement object and projected onto the curved wall. The pattern light is uniformly reflected and projected onto the measurement object, and the entire illumination image and the reflection pattern image are captured.

また、撮像装置は、投影パターン光の投影角とは異なる視角から反射パターン画像の撮像を行うものであることが望ましい。投影パターン光の投影角とは異なる視角から反射パターン画像を撮像することで、さらに表面反射は撮像されにくくなり、より高精度な計測対象物の表面欠陥の検出が可能となる。   Moreover, it is desirable that the imaging device captures the reflection pattern image from a viewing angle different from the projection angle of the projection pattern light. By capturing the reflection pattern image from a viewing angle different from the projection angle of the projection pattern light, it is further difficult to capture the surface reflection, and the surface defect of the measurement object can be detected with higher accuracy.

また、本発明の表面検査プログラムは、曲面状壁を有する計測空間内の計測対象物に対して光源光を均一に減光して照明すること、照明された計測対象物の全照明画像の撮影を行うこと、パターン光を計測対象物に直接当たらないように曲面状壁に投影して反射させ、この反射されたパターン光(反射パターン光)を計測対象物に投影すること、反射パターン光が投影された計測対象物の反射パターン画像の撮像を行うこと、全照明画像および反射パターン画像から計測対象物の表面欠陥を検出することをコンピュータに実行させるためのものである。このプログラムを実行したコンピュータによれば、上記本発明の表面検査方法と同様の作用、効果を奏することができる。   Further, the surface inspection program of the present invention illuminates the measurement object in the measurement space having the curved wall with the light source light being uniformly reduced, and captures all illumination images of the illuminated measurement object. The pattern light is projected and reflected on the curved wall so that it does not directly strike the measurement object, and the reflected pattern light (reflection pattern light) is projected onto the measurement object. This is for causing a computer to execute imaging of a reflection pattern image of a projected measurement object, and to detect a surface defect of the measurement object from all illumination images and reflection pattern images. According to the computer which executed this program, the same operation and effect as the above-mentioned surface inspection method of the present invention can be produced.

計測空間内の計測対象物の全照明画像および反射パターン画像を撮像し、この撮像された画像から計測対象物の表面欠陥を検出する構成により、計測対象物を普通に撮影するだけで、この撮像された画像から容易に計測対象物の表面欠陥を検出することができ、簡単な構造により低コストで高精度かつ高速に表面の傷、塗装の剥がれ、色褪せや凹みなどの表面欠陥を検査することが可能となる。   By capturing all illumination images and reflection pattern images of the measurement object in the measurement space, and detecting the surface defect of the measurement object from the captured image, this image can be obtained simply by shooting the measurement object normally. The surface defect of the measurement object can be easily detected from the captured image, and the surface defect such as surface scratches, paint peeling, fading and dents can be inspected with high accuracy and high speed at a low cost with a simple structure. Is possible.

本発明の実施の形態における自動車表面欠陥検査システムを示す全体構成図である。1 is an overall configuration diagram showing an automobile surface defect inspection system in an embodiment of the present invention. 計測空間の例を示す図である。It is a figure which shows the example of measurement space. 図1のデータ処理装置の詳細な構成を示すブロック図である。It is a block diagram which shows the detailed structure of the data processor of FIG. 本実施形態における三次元画像解析の基本原理を示す幾何関係図である。It is a geometric relationship figure which shows the basic principle of the three-dimensional image analysis in this embodiment. 図1の自動車表面欠陥検査システムによる検査の流れを示すフロー図である。It is a flowchart which shows the flow of the test | inspection by the motor vehicle surface defect inspection system of FIG. 従来のパターン光投影による三次元情報計測方法の基本原理を示す幾何関係図である。It is a geometric relationship figure which shows the basic principle of the three-dimensional information measurement method by the conventional pattern light projection.

図1は本発明の実施の形態における自動車表面欠陥検査システムを示す全体構成図、図2は計測空間の例を示す図、図3は図1のデータ処理装置の詳細な構成を示すブロック図である。   1 is an overall configuration diagram showing an automobile surface defect inspection system according to an embodiment of the present invention, FIG. 2 is a diagram showing an example of a measurement space, and FIG. 3 is a block diagram showing a detailed configuration of the data processing apparatus of FIG. is there.

図1において、本発明の実施の形態における自動車表面欠陥検査システムは、自動車のボディやその部品などの計測対象物Aの表面欠陥を非接触で検査する表面検査装置であり、計測対象物Aを計測するための計測空間1を構成する計測環境構成装置としてのテント1aと、照明装置2−1,2−2,2−3等と、パターン光を投影するパターン光投影装置3と、撮像装置としてのカメラ装置4と、カメラ装置4により撮像した画像のデータを処理するデータ処理装置5とを有する。   In FIG. 1, an automobile surface defect inspection system according to an embodiment of the present invention is a surface inspection apparatus that inspects a surface defect of a measurement object A such as an automobile body or its parts in a non-contact manner. A tent 1a as a measurement environment constituting device that constitutes a measurement space 1 for measurement, illumination devices 2-1, 2-2, 2-3, and the like, a pattern light projection device 3 that projects pattern light, and an imaging device And a data processing device 5 that processes data of an image captured by the camera device 4.

照明装置2−1,2−2,2−3、パターン光投影装置3およびカメラ装置4と、データ処理装置5とは、各データを伝送することができる伝送ケーブル6−1,6−2,6−3,6−4,6−5によってそれぞれ接続されている。   The illumination devices 2-1, 2-2, 2-3, the pattern light projection device 3 and the camera device 4, and the data processing device 5 are transmission cables 6-1, 6-2 that can transmit each data. 6-3, 6-4, and 6-5, respectively.

計測空間1は、曲面状壁1bを有する。計測空間1は、図2の(a)および(b)に示すように、ドーム状やトンネル状などの一部に曲面を有する形状に形成されており、この曲面状の部分が曲面状壁1bを構成している。曲面状壁1bは、白系などの薄い色の半透明素材により形成されたものであり、所定の光の反射特性および透過特性を有している。なお、本実施形態における曲面状壁1bの反射率は20%〜95%、透過率は5%〜80%である。   The measurement space 1 has a curved wall 1b. As shown in FIGS. 2A and 2B, the measurement space 1 is formed in a shape having a curved surface, such as a dome shape or a tunnel shape, and the curved surface portion is a curved wall 1b. Is configured. The curved wall 1b is made of a light translucent material such as white, and has predetermined light reflection characteristics and transmission characteristics. In the present embodiment, the curved wall 1b has a reflectance of 20% to 95% and a transmittance of 5% to 80%.

照明装置2−1,2−2,2−3は、普通の白熱電球、蛍光灯、ハロゲンやLED(発光ダイオード)などの照明機器である。この照明装置2−1,2−2,2−3の光源光は、曲面状壁1bにより均一に減光されるとともに拡散され、計測空間1内の計測対象物Aに照明される。   The illumination devices 2-1, 2-2, and 2-3 are illumination devices such as ordinary incandescent bulbs, fluorescent lamps, halogens, and LEDs (light emitting diodes). The light source light of the illuminating devices 2-1, 2-2 and 2-3 is uniformly dimmed and diffused by the curved wall 1 b and is illuminated on the measurement object A in the measurement space 1.

パターン光投影装置3は、データ処理装置5により形成された計測に必要なパターンデータをパターン光に変換し、計測対象物Aが存在しない方向に、すなわち、計測対象物Aに直接当たらないように曲面状壁1bに投影する装置である。この曲面状壁1bに投影されたパターン光は、曲面状壁1bに反射され、この反射されたパターン光(以下、「反射パターン光」と称す。)が計測対象物Aに投影される。パターン光投影装置3としては、液晶プロジェクタ、DLP(デジタルライトプロセッシング、商標)プロジェクタ、レーザ光プロジェクタ、LED(半導体)プロジェクタやフィルムプロジェクタなどの市販の簡単な装置を用いることができる。   The pattern light projection device 3 converts the pattern data necessary for measurement formed by the data processing device 5 into pattern light so that the measurement object A does not exist, that is, does not directly hit the measurement object A. It is a device that projects onto the curved wall 1b. The pattern light projected on the curved wall 1b is reflected on the curved wall 1b, and the reflected pattern light (hereinafter referred to as “reflection pattern light”) is projected on the measurement object A. As the pattern light projector 3, a commercially available simple device such as a liquid crystal projector, a DLP (Digital Light Processing (trademark)) projector, a laser light projector, an LED (semiconductor) projector, or a film projector can be used.

カメラ装置4はデジタル式カメラである。なお、カメラ装置4はデジタル式カメラであれば8ビット、10ビット、12ビット、16ビットのものや、CCD、CMOS等や、静止画カメラ、動画カメラ、ビデオカメラ等のどのようなものでもよい。また、カメラ装置4は、そのレンズの光軸(視角)が曲面状壁1bにより反射されたパターン光(反射パターン光)の投影方向(投影角)と同一でないように配置される。また、図1においてはカメラ装置4を1つのみ図示しているが、複数のカメラ装置4を異なる視角となるように配置している。   The camera device 4 is a digital camera. The camera device 4 may be any digital camera such as an 8-bit, 10-bit, 12-bit, or 16-bit camera, a CCD, a CMOS, a still image camera, a video camera, a video camera, or the like. . The camera device 4 is arranged so that the optical axis (viewing angle) of the lens is not the same as the projection direction (projection angle) of the pattern light (reflection pattern light) reflected by the curved wall 1b. In FIG. 1, only one camera device 4 is illustrated, but a plurality of camera devices 4 are arranged to have different viewing angles.

データ処理装置5は、表面検査プログラムを実行するコンピュータである。データ処理装置5は表面検査プログラムを実行することにより、図3に示す記憶手段10、照明手段11、全照明画像撮像手段12、投影パターン生成手段13、パターン光投影手段14、反射パターン画像撮像手段15、三次元画像合成手段16、二次元画像解析手段17、三次元画像解析手段18、欠陥検出分類サイズ推定手段19、計測結果表現手段20や保存出力手段21として機能する。   The data processing device 5 is a computer that executes a surface inspection program. The data processing apparatus 5 executes the surface inspection program to thereby store the storage means 10, the illumination means 11, the all illumination image imaging means 12, the projection pattern generation means 13, the pattern light projection means 14, and the reflection pattern image imaging means shown in FIG. 15, 3D image synthesis means 16, 2D image analysis means 17, 3D image analysis means 18, defect detection classification size estimation means 19, measurement result expression means 20, and storage output means 21.

記憶手段10は、投影パターン生成手段13によって生成された投影パターン、カメラ装置4から伝送された画像のデータや、三次元画像合成手段16、二次元画像解析手段17、三次元画像解析手段18、欠陥検出分類サイズ推定手段19、計測結果表現手段20や保存出力手段21等の各手段により算出された結果のデータ等を記憶するものである。   The storage unit 10 includes a projection pattern generated by the projection pattern generation unit 13, data of an image transmitted from the camera device 4, a three-dimensional image synthesis unit 16, a two-dimensional image analysis unit 17, a three-dimensional image analysis unit 18, Data of the results calculated by the respective means such as the defect detection classification size estimating means 19, the measurement result expressing means 20 and the storage output means 21 are stored.

照明手段11は、全照明画像をカメラ装置4により撮像するために照明装置2−1,2−2,2−3を制御するものである。照明装置2−1,2−2,2−3の光源光は、テント1aの曲面状壁1bにより均一に減光され、計測空間1内の計測対象物Aに照明される。なお、照明装置2−1,2−2,2−3の光源光は、どのような色でも良いが、模様のない均一な光である。   The illumination unit 11 controls the illumination devices 2-1, 2-2 and 2-3 in order to capture all illumination images by the camera device 4. The light source light of the illuminating devices 2-1, 2-2, 2-3 is uniformly attenuated by the curved wall 1 b of the tent 1 a and is illuminated on the measurement object A in the measurement space 1. The light source light of the lighting devices 2-1, 2-2, and 2-3 may be any color, but is uniform light without a pattern.

全照明画像撮像手段12は、照明手段11によって計測対象物Aに照明がなされているときにカメラ装置4を制御することにより、これらの照明装置2−1,2−2,2−3により照明された計測対象物Aの全照明画像を撮像し、記憶手段10に記憶するものである。   The all-illuminated image capturing unit 12 controls the camera device 4 when the measurement object A is illuminated by the illumination unit 11, thereby illuminating with these illumination devices 2-1, 2-2 and 2-3. The entire illumination image of the measured object A is captured and stored in the storage means 10.

投影パターン生成手段13は、計測用投影パターンを生成し、記憶手段10に記憶するものである。計測用投影パターンの形状は、縞状や円状のパターンを用いることが可能であるし、その他の形状でも可能である。パターンの色は、均一の色でも異なる色でも可能であるし、その強度分布は、均一でも均一でなくても良い。投影パターン生成手段13は、計測に最適な形状、色および空間周波数分布を持つ計測用投影パターンを、計測対象物Aの大きさ、形状および表面色分布に従って生成する。   The projection pattern generation unit 13 generates a measurement projection pattern and stores it in the storage unit 10. As the shape of the measurement projection pattern, a striped or circular pattern can be used, and other shapes are also possible. The color of the pattern can be uniform or different, and its intensity distribution may be uniform or non-uniform. The projection pattern generation means 13 generates a measurement projection pattern having a shape, color and spatial frequency distribution optimal for measurement according to the size, shape and surface color distribution of the measurement object A.

パターン光投影手段14は、記憶手段10に記憶された計測用投影パターンの光をパターン光投影装置3により投影するものである。パターン光投影装置3により投影されたパターン光は、計測対象物Aに直接当たらないように計測空間1の曲面状壁1bの曲面部分に投影され、この曲面部分よって反射されて、この反射されたパターン光(以下、「反射パターン光」と称す。)が計測対象物Aに投影される。   The pattern light projection unit 14 projects the light of the measurement projection pattern stored in the storage unit 10 by the pattern light projection device 3. The pattern light projected by the pattern light projector 3 is projected onto the curved surface portion of the curved wall 1b of the measurement space 1 so as not to directly hit the measurement object A, and is reflected by the curved surface portion and reflected. Pattern light (hereinafter referred to as “reflection pattern light”) is projected onto the measurement object A.

反射パターン画像撮像手段15は、この反射パターン光が計測対象物Aに投影されているときにカメラ装置4を制御することにより、反射パターン光が投影された計測対象物Aの反射パターン画像を撮像し、記憶手段10に記憶するものである。   The reflection pattern image imaging means 15 captures the reflection pattern image of the measurement object A onto which the reflection pattern light is projected by controlling the camera device 4 when the reflection pattern light is projected onto the measurement object A. And stored in the storage means 10.

三次元画像合成手段16は、複数のカメラ装置4により各視角から撮像された全照明画像および反射パターン画像をそれぞれ三次元的に幾何学変換し、同じ姿勢に整えてから合成し、広範囲の検査用画像を得るものである。得られた検査用画像は記憶手段10へ記憶される。三次元画像の合成は、式(2)に示した三次元画像の空間座標変換技術を用い、各画像の座標を三次元回転と平行移動により、統一された三次元座標空間に幾何学変換してから合成する。
X’=RX+T …(2)
ここで、Xは変換前の座標ベクトル、X’は変換後の座標ベクトル、Rは回転行列、Tは平行移動行列である。
The three-dimensional image synthesizing means 16 three-dimensionally transforms all illumination images and reflection pattern images captured from the respective viewing angles by the plurality of camera devices 4 and arranges them in the same posture, and synthesizes them for a wide range of inspections. The image for use is obtained. The obtained inspection image is stored in the storage means 10. Three-dimensional images are synthesized using the three-dimensional spatial coordinate transformation technology shown in Equation (2), and the coordinates of each image are geometrically transformed into a unified three-dimensional coordinate space by three-dimensional rotation and translation. Then synthesize.
X ′ = RX + T (2)
Here, X is a coordinate vector before conversion, X ′ is a coordinate vector after conversion, R is a rotation matrix, and T is a translation matrix.

二次元画像解析手段17は、全照明画像および反射パターン画像の色強度を解析し、欠陥の疑いがある色強度の変化が大きく、かつ印刷パターンや文字ではない領域を欠陥の候補領域1として検出するものである。検出された欠陥候補領域1は記憶手段10に記憶される。   The two-dimensional image analysis means 17 analyzes the color intensity of the entire illumination image and the reflection pattern image, and detects an area that is large in the color intensity that is suspected of being defective and that is not a print pattern or a character as the defect candidate area 1. To do. The detected defect candidate area 1 is stored in the storage means 10.

三次元画像解析手段18は、三次元画像合成手段16により合成された全照明画像および反射パターン画像の合成画像を解析し、欠陥の疑いがある奥行き座標値Zの変化が大きく、かつボディの固有の形状変化でない領域を欠陥の候補領域2として検出するものである。検出された欠陥候補領域2は記憶手段10に記憶される。なお、奥行き座標値Zの計算は以下のように行う。   The three-dimensional image analyzing unit 18 analyzes the combined image of the entire illumination image and the reflection pattern image synthesized by the three-dimensional image synthesizing unit 16 and has a large change in the depth coordinate value Z that is suspected of being a defect and is unique to the body. An area that is not a shape change is detected as a defect candidate area 2. The detected defect candidate area 2 is stored in the storage means 10. The depth coordinate value Z is calculated as follows.

図4は本実施形態における三次元画像解析の基本原理を示す幾何関係図である。
投影パターン光を反射する計測空間1の曲面状壁1bは、パターン光投影装置3のレンズ中心OPとカメラ装置4のレンズ中心OCを結んだ直線(以下、「レンズ中心線」と称す。)に対してφの角度を形成している。φは計測空間1の形状や反射点の位置により変化する。パターン光投影装置3は計測用のパターン光をβの角度を持って曲面状壁1bに投影し、曲面状壁1bから反射された光は計測対象物Aに投影される。カメラ装置4は計測対象物Aの画像を撮像し、この画像から計測対象物Aの表面上の計測点Mが観測される。このときの観測角度はαとする。
FIG. 4 is a geometric relationship diagram showing the basic principle of the three-dimensional image analysis in the present embodiment.
The curved wall 1b of the measurement space 1 that reflects the projection pattern light is referred to as a straight line connecting the lens center O P of the pattern light projection device 3 and the lens center O C of the camera device 4 (hereinafter referred to as “lens center line”). ) Is formed at an angle of φ. φ varies depending on the shape of the measurement space 1 and the position of the reflection point. The pattern light projector 3 projects the pattern light for measurement onto the curved wall 1b with an angle β, and the light reflected from the curved wall 1b is projected onto the measurement object A. The camera device 4 captures an image of the measurement object A, and a measurement point M on the surface of the measurement object A is observed from this image. The observation angle at this time is α.

計測点Mの三次元空間世界座標系(O,X,Y,Z)における奥行き座標値Zは次式(3)のように求められる。

Figure 0005728699
ここで、αは式(1)と同じく観測角度(カメラから見た計測点の所在の視角)、θは投影角度(パターン光投影装置3から曲面状壁1bに投影した光の方向角)、φは曲面状壁1bとレンズ中心線との間の角度、bはカメラ装置4のレンズ中心OCからパターン光投影装置3のレンズ中心OPまでの距離、hはレンズ中心線と曲面状壁1bとの間の距離である。 The depth coordinate value Z in the three-dimensional space world coordinate system (O, X, Y, Z) of the measurement point M is obtained as the following equation (3).
Figure 0005728699
Here, α is the observation angle (the viewing angle of the location of the measurement point as seen from the camera) as in the equation (1), θ is the projection angle (the direction angle of the light projected from the pattern light projector 3 onto the curved wall 1b), the angle between the curved wall 1b and the lens centerline phi, b is the distance from the lens center O C of the camera apparatus 4 to the lens center O P of the pattern light projection device 3, h is the lens center line curved wall It is the distance between 1b.

欠陥検出分類サイズ推定手段19は、上記欠陥候補領域1と欠陥候補領域2において、点状疵、線状疵、領域疵、色褪せ、塗装剥がれや凹みなどの固有の特性に従って、欠陥の特定と分類を行うものである。また、線状の欠陥の長さ、点状の欠陥の直径、領域状欠陥の面積、凹み状欠陥の深さ等の寸法を推定する。   In the defect candidate area 1 and the defect candidate area 2, the defect detection classification size estimation means 19 specifies and classifies defects according to specific characteristics such as pointed wrinkles, line wrinkles, area wrinkles, fading, paint peeling and dents. Is to do. In addition, dimensions such as the length of the line defect, the diameter of the dot defect, the area of the area defect, and the depth of the dent defect are estimated.

計測結果表現手段20は、カメラ装置4により撮像された画像データと欠陥検出分類サイズ推定手段19により検出された欠陥データを、CAD図面やコンピュータグラフィックス(CG)等の方法により表現するものである。   The measurement result expression means 20 expresses the image data captured by the camera device 4 and the defect data detected by the defect detection classification size estimation means 19 by a method such as CAD drawing or computer graphics (CG). .

保存出力手段21は、カメラ装置4により撮像された画像データや欠陥検出分類サイズ推定手段19により検出された欠陥データなどを、画像ファイルやテキストファイルとして記録媒体に保存したり、データシート上に印刷したりするものである。   The storage output unit 21 stores the image data captured by the camera device 4 and the defect data detected by the defect detection classification size estimation unit 19 as an image file or a text file on a recording medium or prints on a data sheet. It is something to do.

次に、上記構成の自動車表面欠陥検査システムによる表面検査方法について説明する。図5は図1の自動車表面欠陥検査システムによる検査の流れを示すフロー図である。   Next, a surface inspection method using the automobile surface defect inspection system having the above configuration will be described. FIG. 5 is a flowchart showing a flow of inspection by the automobile surface defect inspection system of FIG.

まず、計測前に、テント1a、照明装置2−1,2−2,2−3、パターン光投影装置3、カメラ装置4やデータ処理装置5などを揃えて、計測環境を構築する(ステップS101)。   First, before measurement, the tent 1a, the lighting devices 2-1, 2-2, 2-3, the pattern light projection device 3, the camera device 4, the data processing device 5, and the like are arranged to construct a measurement environment (step S101). ).

次に、計測対象物Aを計測空間1内に置き、表面検査を行う。計測のため、まず照明装置2−1,2−2,2−3を点灯し、計測対象物Aに照明光を照射(全照射)する(ステップS102)。このとき、計測対象物Aに対して照明装置2−1,2−2,2−3からの照明光は直接照射されず、計測空間1の曲面状壁1bにより減光された照明光が照射される。   Next, the measurement object A is placed in the measurement space 1 and surface inspection is performed. For measurement, the lighting devices 2-1, 2-2 and 2-3 are first turned on and the measurement object A is irradiated with illumination light (all irradiation) (step S 102). At this time, the illumination light from the illumination devices 2-1, 2-2, 2-3 is not directly irradiated onto the measurement object A, but the illumination light attenuated by the curved wall 1 b of the measurement space 1 is irradiated. Is done.

次に、全照明画像の撮像を行う(ステップS103)。全照明画像撮像手段12は、照明手段11により照明された計測対象物Aの画像、すなわち全照明画像を、撮像装置4により撮像し、データ処理装置5に伝送する。カメラ装置4から伝送された全照明画像データは、データ処理装置5により記憶手段10に記憶され、処理される。   Next, all illumination images are captured (step S103). The all-illuminated image capturing unit 12 captures the image of the measurement object A illuminated by the illuminating unit 11, that is, the all-illuminated image, by the image capturing device 4 and transmits it to the data processing device 5. All illumination image data transmitted from the camera device 4 is stored in the storage means 10 by the data processing device 5 and processed.

データ処理装置5は、この撮像された全照明画像の色強度分布を解析し、物体表面欠陥検査に必要な理想な強度分布を持っているかどうかを判断する。画像が明るすぎたり、暗すぎたりして、色強度分布が理想でない場合は、カメラ装置4のパラメータを修正し、再度全照明画像を撮像する(ステップS104)。色強度分布が理想であれば、次のステップに進む。   The data processing device 5 analyzes the color intensity distribution of all the captured illumination images, and determines whether or not it has an ideal intensity distribution necessary for the object surface defect inspection. If the image is too bright or too dark and the color intensity distribution is not ideal, the parameters of the camera device 4 are corrected and the entire illumination image is captured again (step S104). If the color intensity distribution is ideal, proceed to the next step.

次に、パターン光投影手段14は、投影パターン生成手段13より生成された計測用の投影パターンを、パターン光投影装置3により計測空間1の曲面状壁1bに投影する(ステップS105)。この投影パターンは、曲面状壁1bにより反射され、間接的に計測対象物Aに投影される(ステップS106)。   Next, the pattern light projection unit 14 projects the measurement projection pattern generated by the projection pattern generation unit 13 onto the curved wall 1b of the measurement space 1 by the pattern light projection device 3 (step S105). This projection pattern is reflected by the curved wall 1b and indirectly projected onto the measurement object A (step S106).

次に、反射パターン画像撮像手段15は、パターン光投影装置3により計測空間1の曲面状壁1bの曲面部分によって反射され、計測対象物Aに投影された反射パターン光の画像、すなわち反射パターン画像を、カメラ装置4により撮像し、データ処理装置5に伝送する(ステップS107)。カメラ装置4から伝送された反射パターン画像データは、データ処理装置5により記憶手段10に記憶され、処理される。   Next, the reflection pattern image imaging means 15 is reflected by the curved surface portion of the curved wall 1b of the measurement space 1 by the pattern light projection device 3, and is reflected on the measurement object A, that is, a reflection pattern image. Is captured by the camera device 4 and transmitted to the data processing device 5 (step S107). The reflection pattern image data transmitted from the camera device 4 is stored in the storage means 10 by the data processing device 5 and processed.

データ処理装置5は、この撮像された反射パターン画像の色強度分布を解析し、物体表面欠陥検査に必要な理想な強度分布を持っているかどうかを判断する。画像が明るすぎたり、暗すぎたりして、色強度分布が理想でない場合は、カメラ装置4のパラメータを修正し、再度反射パターン画像を撮像する(ステップS108)。色強度分布が理想であれば、次のステップに進む。   The data processing device 5 analyzes the color intensity distribution of the captured reflection pattern image and determines whether or not it has an ideal intensity distribution necessary for the object surface defect inspection. If the image is too bright or too dark and the color intensity distribution is not ideal, the parameters of the camera device 4 are corrected and a reflection pattern image is captured again (step S108). If the color intensity distribution is ideal, proceed to the next step.

次に、三次元画像合成手段16は、複数のカメラ装置4により各視角から撮像された全照明画像および反射パターン画像をそれぞれ三次元的に合成し、広範囲の検査用画像を作成する(ステップS109)。   Next, the three-dimensional image synthesizing unit 16 three-dimensionally synthesizes all illumination images and reflection pattern images captured from the respective viewing angles by the plurality of camera devices 4 to create a wide range of inspection images (step S109). ).

次に、二次元画像解析手段17は、全照明画像および反射パターン画像の色強度を解析し、欠陥の疑いがある色強度の変化が大きく、かつ印刷パターンや文字ではない領域を欠陥の候補領域1として検出する(ステップS110)。   Next, the two-dimensional image analysis means 17 analyzes the color intensity of the entire illumination image and the reflection pattern image, and determines an area that has a large change in color intensity that is suspected of being a defect and that is not a print pattern or a character as a defect candidate area. 1 is detected (step S110).

次に、三次元画像解析手段18は、全照明画像および反射パターン画像の合成画像を解析し、欠陥の疑いがある奥行き座標値Zの変化が大きく、かつボディの固有の形状変化ではない領域を欠陥の候補領域2として検出する(ステップS111)。   Next, the three-dimensional image analysis means 18 analyzes the combined image of the entire illumination image and the reflection pattern image, and determines an area where the change of the depth coordinate value Z that is suspected of being a defect is large and is not a shape change inherent to the body. It is detected as a defect candidate area 2 (step S111).

次に、欠陥検出分類サイズ推定手段19は、上記欠陥候補領域1と欠陥領域候補2において、疵、色褪せ、塗装剥がれや凹みなどの固有の特性に従って、欠陥の特定と分類を行う。また、線状の欠陥の長さ、点状の欠陥の直径、領域状欠陥の面積、凹み状欠陥の深さ等の寸法(サイズ)を推定する(ステップS112)。   Next, the defect detection classification size estimation means 19 identifies and classifies defects in the defect candidate area 1 and the defect area candidate 2 according to specific characteristics such as wrinkles, fading, paint peeling and dents. In addition, dimensions (sizes) such as the length of the line defect, the diameter of the dot defect, the area of the area defect, and the depth of the dent defect are estimated (step S112).

次に、計測結果表現手段20は、データ処理装置5のモニタ上に検出した欠陥を表示し、欠陥の種類により、異なる色のマークを付け、推定された欠陥のサイズを表示する。また、ユーザのニーズにより、計測対象物Aをいくつかの領域に分割し、各領域にある欠陥の数および種類や、計測対象物A全体における欠陥の分布状況などを表示する(ステップS113)。   Next, the measurement result expression means 20 displays the detected defect on the monitor of the data processing device 5, puts a different color mark depending on the type of defect, and displays the estimated defect size. Further, according to the user's needs, the measurement object A is divided into several areas, and the number and types of defects in each area, the distribution of defects in the entire measurement object A, and the like are displayed (step S113).

最後に、保存出力手段21は、カメラ装置4により撮像された画像データや欠陥検出分類サイズ推定手段19により検出された欠陥データなどを、画像ファイルやテキストファイルとして記録媒体に保存したり、データシート上に印刷したりする(ステップS114)。   Finally, the storage output unit 21 stores the image data captured by the camera device 4 and the defect data detected by the defect detection classification size estimation unit 19 as an image file or a text file on a recording medium, or a data sheet. Printing on the top (step S114).

以上のように、本実施形態における自動車表面欠陥検査システムによれば、計測空間1内の計測対象物Aを普通に撮影するだけで、この撮像された画像から容易に計測対象物Aの表面欠陥を検出することでき、簡単な構造により低コストで高精度かつ高速に表面の傷、塗装の剥がれ、色褪せや凹みなどの表面欠陥を検査することが可能である。   As described above, according to the automobile surface defect inspection system in the present embodiment, the surface defect of the measurement object A can be easily obtained from the captured image only by photographing the measurement object A in the measurement space 1 normally. With a simple structure, it is possible to inspect surface defects such as surface scratches, paint peeling, fading and dents at a low cost with high accuracy and high speed.

また、カメラ装置4は、計測対象物Aに対して相対的に静止した状態で計測対象物Aを撮像するので、計測対象物Aまたはカメラ装置4を移動させて計測対象物Aを走査することなく、短時間で計測対象物Aを撮像することができる。したがって、走査に必要な装置は不要であり、検査時間の短縮、検査精度の向上および検査装置のコスト削減が可能となる。   Moreover, since the camera apparatus 4 images the measurement object A in a state of being relatively stationary with respect to the measurement object A, the measurement object A or the camera apparatus 4 is moved to scan the measurement object A. The measurement object A can be imaged in a short time. Therefore, an apparatus necessary for scanning is unnecessary, and it is possible to shorten the inspection time, improve the inspection accuracy, and reduce the cost of the inspection apparatus.

また、本実施形態における自動車表面欠陥検査システムでは、二次元画像解析と三次元画像解析を同時に行うので、計測対象物A表面の形状変化に伴う疵と伴わない疵、色強度変化がある凹みや色強度変化のない凹み等のあらゆる欠陥を、比較的に容易かつ確率に検出することが可能である。   Further, in the automobile surface defect inspection system according to the present embodiment, two-dimensional image analysis and three-dimensional image analysis are performed at the same time. Any defect such as a dent without a change in color intensity can be detected relatively easily and with probability.

本発明は、計測対象物の疵、色褪せ、塗装剥がれや凹みなどの表面欠陥の計測、寸法、面積や体積などを非接触で検査する表面検査装置、表面検査方法および表面検査プログラムとして有用である。特に、本発明は、自動車やその部品、家電製品、磁器製品などの金属製品や光沢製品などの表面反射が強い計測対象物の表面検査に好適である。   INDUSTRIAL APPLICABILITY The present invention is useful as a surface inspection device, a surface inspection method, and a surface inspection program for measuring surface defects such as wrinkles, fading, paint peeling and dents on a measurement object, and inspecting dimensions, area, and volume in a non-contact manner . In particular, the present invention is suitable for surface inspection of a measurement object having a strong surface reflection, such as automobiles and parts thereof, metal products such as home appliances and porcelain products, and glossy products.

A 計測対象物
1 計測空間
1a テント
1b 曲面状壁
2−1,2−2,2−3 照明装置
3 パターン光投影装置
4 カメラ装置
5 データ処理装置
6−1,6−2,6−3,6−4,6−5 伝送ケーブル
10 記憶手段
11 照明手段
12 全照明画像撮像手段
13 投影パターン生成手段
14 パターン光投影手段
15 反射パターン画像撮像手段
16 三次元画像合成手段
17 二次元画像解析手段
18 三次元画像解析手段
19 欠陥検出分類サイズ推定手段
20 計測結果表現手段
21 保存出力手段
A Measurement object 1 Measurement space 1a Tent 1b Curved wall 2-1, 2-2, 2-3 Illumination device 3 Pattern light projection device 4 Camera device 5 Data processing device 6-1, 6-2, 6-3 6-4, 6-5 Transmission cable 10 Storage means 11 Illumination means 12 All illumination image imaging means 13 Projection pattern generation means 14 Pattern light projection means 15 Reflection pattern image imaging means 16 Three-dimensional image composition means 17 Two-dimensional image analysis means 18 Three-dimensional image analysis means 19 Defect detection classification size estimation means 20 Measurement result expression means 21 Storage output means

Claims (6)

半透明素材により形成された曲面状壁を有する計測空間を構成する計測環境構成装置と、
前記計測空間内の計測対象物に対して、前記曲面状壁の外部に設けられた光源光であり、前記曲面状壁を透過して前記計測対象物に全照射される光源光を、均一に減光して全照射するための照明装置と、
パターン光を前記計測対象物に直接当たらないように前記曲面状壁に投影して反射させ、この反射されたパターン光(以下、「反射パターン光」と称す。)を前記計測対象物に投影するためのパターン光投影装置と、
前記計測対象物に対して相対的に静止した状態で前記計測対象物を撮像する撮像装置であり、前記照明装置により全照射された前記計測対象物の全照明画像の撮像および前記反射パターン光が投影された前記計測対象物の反射パターン画像の撮像を行う撮像装置と、
前記全照明画像および前記反射パターン画像から前記計測対象物の表面欠陥を検出するデータ処理装置と
を含む表面検査装置。
A measurement environment configuration device that configures a measurement space having a curved wall formed of a translucent material;
The light source light provided outside the curved wall with respect to the measurement object in the measurement space, and the light source light that is transmitted through the curved wall and is totally irradiated to the measurement object is uniformly distributed. An illumination device for dimming and irradiating all ;
The pattern light is projected and reflected on the curved wall so as not to directly hit the measurement object, and the reflected pattern light (hereinafter referred to as “reflection pattern light”) is projected onto the measurement object. A pattern light projection device for
An imaging device for imaging the measurement object in a state of being stationary relative to the measurement object, the imaging and the reflected light pattern of the total illumination image of the measurement object, which is the total irradiation by the illumination device An imaging device for imaging the projected reflection pattern image of the measurement object;
A surface inspection apparatus including a data processing apparatus that detects a surface defect of the measurement object from the total illumination image and the reflection pattern image.
前記撮像装置は複数であり、
前記データ処理装置は、
前記複数の撮像装置により各視角から撮像された前記全照明画像および前記反射パターン画像をそれぞれ三次元的に合成し、広範囲の検査用画像を作成する三次元画像合成手段と、
前記全照明画像および前記反射パターン画像の色強度を解析し、欠陥の疑いがある領域を第1欠陥候補領域として検出する二次元画像解析手段と、
前記三次元画像合成手段により合成された前記全照明画像および前記反射パターン画像の合成画像を解析し、前記計測対象物の表面上の計測点の奥行き座標値を算出し、前記奥行き座標値に基づいて欠陥の疑いがある領域を第2欠陥候補領域として検出する三次元画像解析手段と、
前記第1欠陥候補領域と前記第2欠陥候補領域において欠陥の特定と分類を行う欠陥検出分類サイズ推定手段と
を含むものである請求項1記載の表面検査装置。
The imaging device is plural,
The data processing device includes:
Three-dimensional image synthesis means for three-dimensionally synthesizing the entire illumination image and the reflection pattern image captured from each viewing angle by the plurality of imaging devices, and creating a wide range of inspection images;
Two-dimensional image analysis means for analyzing the color intensity of the entire illumination image and the reflection pattern image and detecting a region suspected of being a defect as a first defect candidate region;
Analyzing the synthesized image of the total illumination image and the reflection pattern image synthesized by the three-dimensional image synthesis means, calculating the depth coordinate value of the measurement point on the surface of the measurement object, and based on the depth coordinate value A three-dimensional image analysis means for detecting a region suspected of being a defect as a second defect candidate region;
Defect detection classification size estimation means for identifying and classifying defects in the first defect candidate area and the second defect candidate area;
The surface inspection apparatus according to claim 1 , comprising:
前記データ処理装置は、The data processing device includes:
前記欠陥検出分類サイズ推定手段により検出した前記欠陥を表示し、前記欠陥の種類により、異なる色のマークを付け、推定された前記欠陥のサイズを表示する計測結果表現手段を含むものである請求項2記載の表面検査装置。3. The measurement result expression means for displaying the defect detected by the defect detection classification size estimation means, marking a different color depending on the type of the defect, and displaying the estimated size of the defect. Surface inspection equipment.
前記撮像装置は、前記投影パターン光の投影角とは異なる視角から前記反射パターン画像の撮像を行うものである請求項1から3のいずれかに記載の表面検査装置。   The surface inspection apparatus according to claim 1, wherein the imaging apparatus captures the reflection pattern image from a viewing angle different from a projection angle of the projection pattern light. 半透明素材により形成された曲面状壁を有する計測空間を構成すること、
前記計測空間内の計測対象物に対して、前記曲面状壁の外部に設けられた光源光であり、前記曲面状壁を透過して前記計測対象物に全照射される光源光を、均一に減光して全照射すること、
前記計測対象物に対して相対的に静止した状態で前記計測対象物を撮像する撮像装置により、前記全照射された前記計測対象物の全照明画像の撮影を行うこと、
パターン光を前記計測対象物に直接当たらないように前記曲面状壁に投影して反射させ、この反射されたパターン光(以下、「反射パターン光」と称す。)を前記計測対象物に投影すること、
前記計測対象物に対して相対的に静止した状態で前記計測対象物を撮像する撮像装置により、前記反射パターン光が投影された前記計測対象物の反射パターン画像の撮像を行うこと、
前記全照明画像および前記反射パターン画像から前記計測対象物の表面欠陥を検出すること
を含む表面検査方法。
Configuring a measurement space having a curved wall formed of a translucent material;
The light source light provided outside the curved wall with respect to the measurement object in the measurement space, and the light source light that is transmitted through the curved wall and is totally irradiated to the measurement object is uniformly distributed. Dimming and full illumination ,
Taking a full illumination image of the measurement object that has been fully irradiated by an imaging device that images the measurement object in a state of being relatively stationary with respect to the measurement object;
The pattern light is projected and reflected on the curved wall so as not to directly hit the measurement object, and the reflected pattern light (hereinafter referred to as “reflection pattern light”) is projected onto the measurement object. about,
Imaging a reflection pattern image of the measurement object on which the reflection pattern light is projected, by an imaging device that images the measurement object in a stationary state relative to the measurement object;
A surface inspection method including detecting a surface defect of the measurement object from the total illumination image and the reflection pattern image.
半透明素材により形成された曲面状壁を有する計測空間内の計測対象物に対して、前記曲面状壁を透過して前記計測対象物に全照射される光源光を、均一に減光して全照射すること、
前記計測対象物に対して相対的に静止した状態で前記計測対象物を撮像する撮像装置により、前記全照射された前記計測対象物の全照明画像の撮影を行うこと、
パターン光を前記計測対象物に直接当たらないように前記曲面状壁に投影して反射させ、この反射されたパターン光(以下、「反射パターン光」と称す。)を前記計測対象物に投影すること、
前記計測対象物に対して相対的に静止した状態で前記計測対象物を撮像する撮像装置により、前記反射パターン光が投影された前記計測対象物の反射パターン画像の撮像を行うこと、
前記全照明画像および前記反射パターン画像から前記計測対象物の表面欠陥を検出すること
をコンピュータに実行させるための表面検査プログラム。
For a measurement object in a measurement space having a curved wall formed of a semi-transparent material, light source light that is transmitted through the curved wall and is totally irradiated to the measurement object is uniformly reduced. Full irradiation ,
Taking a full illumination image of the measurement object that has been fully irradiated by an imaging device that images the measurement object in a state of being relatively stationary with respect to the measurement object;
The pattern light is projected and reflected on the curved wall so as not to directly hit the measurement object, and the reflected pattern light (hereinafter referred to as “reflection pattern light”) is projected onto the measurement object. about,
Imaging a reflection pattern image of the measurement object on which the reflection pattern light is projected, by an imaging device that images the measurement object in a stationary state relative to the measurement object;
A surface inspection program for causing a computer to detect a surface defect of the measurement object from the entire illumination image and the reflection pattern image.
JP2010044706A 2010-03-01 2010-03-01 Surface inspection apparatus, surface inspection method, and surface inspection program Active JP5728699B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010044706A JP5728699B2 (en) 2010-03-01 2010-03-01 Surface inspection apparatus, surface inspection method, and surface inspection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010044706A JP5728699B2 (en) 2010-03-01 2010-03-01 Surface inspection apparatus, surface inspection method, and surface inspection program

Publications (2)

Publication Number Publication Date
JP2011179982A JP2011179982A (en) 2011-09-15
JP5728699B2 true JP5728699B2 (en) 2015-06-03

Family

ID=44691633

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010044706A Active JP5728699B2 (en) 2010-03-01 2010-03-01 Surface inspection apparatus, surface inspection method, and surface inspection program

Country Status (1)

Country Link
JP (1) JP5728699B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6099115B2 (en) * 2011-10-26 2017-03-22 学校法人福岡工業大学 Three-dimensional surface inspection apparatus and three-dimensional surface inspection method
JP6000160B2 (en) * 2013-02-21 2016-09-28 アズビル株式会社 Peel inspection system, peel inspection apparatus, and peel inspection method
CN106066562B (en) * 2015-04-21 2020-07-10 康代有限公司 Inspection system with extended angular coverage
KR101686772B1 (en) * 2016-07-19 2016-12-28 (주) 유영정보통신 System for detecting appearance status data of vehicles
CN107289860B (en) * 2017-07-21 2018-07-13 国家林业局北京林业机械研究所 A kind of system and method measuring object dent
JP7159624B2 (en) * 2018-06-04 2022-10-25 日本製鉄株式会社 Surface texture inspection method and surface texture inspection device
CN109342320A (en) * 2018-12-13 2019-02-15 深源恒际科技有限公司 Automobile appearance damage check identifies hardware system
JP2020187227A (en) * 2019-05-13 2020-11-19 株式会社アーキジオ Omnidirectional image capturing device
CN114397303A (en) * 2022-01-25 2022-04-26 商丘职业技术学院 System and method for detecting appearance defects of automobile surface

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1010054A (en) * 1996-06-26 1998-01-16 Nissan Motor Co Ltd Inspection device for surface defect
DE19643018B4 (en) * 1996-10-18 2010-06-17 Isra Surface Vision Gmbh Method and device for measuring the course of reflective surfaces
JP3493979B2 (en) * 1997-10-20 2004-02-03 日産自動車株式会社 Method and apparatus for inspecting defects on inspected surface
JP4986679B2 (en) * 2007-03-29 2012-07-25 学校法人福岡工業大学 Non-stationary object three-dimensional image measurement apparatus, three-dimensional image measurement method, and three-dimensional image measurement program
DE102007034689B4 (en) * 2007-07-12 2009-06-10 Carl Zeiss Ag Method and device for optically inspecting a surface on an object

Also Published As

Publication number Publication date
JP2011179982A (en) 2011-09-15

Similar Documents

Publication Publication Date Title
JP5728699B2 (en) Surface inspection apparatus, surface inspection method, and surface inspection program
JP6291418B2 (en) Optical measurement arrangements and related methods
JP4784555B2 (en) Shape evaluation method, shape evaluation apparatus, and three-dimensional inspection apparatus
US20140081459A1 (en) Depth mapping vision system with 2d optical pattern for robotic applications
CN112798617A (en) Defect detection device and method for mirror-like object
EP2508871A1 (en) Inspection apparatus, measurement method for three-dimensional shape, and production method for structure
JP6099115B2 (en) Three-dimensional surface inspection apparatus and three-dimensional surface inspection method
CN105960569B (en) The method of three-dimension object is checked using two dimensional image processing
JP6605318B2 (en) Three-dimensional object inspection device
JP2016517513A (en) Diagnose and eliminate multipath interference in 3D scanners with directed probing
CA3061262C (en) Fluorescent penetrant inspection system and method
TWI589872B (en) Ultrasonic inspection system
JP5058838B2 (en) Information processing apparatus and method
JP2012047673A (en) Inspection device and inspection method
JP2017040510A (en) Inspection apparatus, inspection method, and object manufacturing method
JP2021047200A (en) Multi-stage method of determining surface properties and survey device
JP5224288B2 (en) Surface inspection apparatus and surface inspection method
JP2005148010A (en) Method and device for detecting shape and darkness of analyte
JP7159624B2 (en) Surface texture inspection method and surface texture inspection device
US11282187B2 (en) Inspection system, inspection apparatus, and method using multiple angle illumination
JP6371742B2 (en) Measuring device and acquisition method
JP5280918B2 (en) Shape measuring device
JP2008224540A (en) Distortion inspection method and inspection device
CN214749855U (en) Defect detection device for mirror-like object
JP6611872B2 (en) Measuring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150224

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150302

R150 Certificate of patent or registration of utility model

Ref document number: 5728699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250