WO2006054775A1 - 外観検査装置 - Google Patents

外観検査装置 Download PDF

Info

Publication number
WO2006054775A1
WO2006054775A1 PCT/JP2005/021475 JP2005021475W WO2006054775A1 WO 2006054775 A1 WO2006054775 A1 WO 2006054775A1 JP 2005021475 W JP2005021475 W JP 2005021475W WO 2006054775 A1 WO2006054775 A1 WO 2006054775A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional image
image
camera
inspection apparatus
appearance inspection
Prior art date
Application number
PCT/JP2005/021475
Other languages
English (en)
French (fr)
Inventor
Tomoyuki Kaneko
Akinobu Mizutani
Original Assignee
Bridgestone Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bridgestone Corporation filed Critical Bridgestone Corporation
Priority to JP2006545209A priority Critical patent/JPWO2006054775A1/ja
Priority to EP05809507A priority patent/EP1826529A4/en
Priority to US11/791,164 priority patent/US20070280529A1/en
Priority to MX2007006105A priority patent/MX2007006105A/es
Priority to BRPI0518033-3A priority patent/BRPI0518033B1/pt
Publication of WO2006054775A1 publication Critical patent/WO2006054775A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G01M17/02—Tyres
    • G01M17/027—Tyres using light, e.g. infrared, ultraviolet or holographic techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present invention relates to an appearance inspection device that inspects the appearance of a photographing object based on, for example, a shape image and a color image of the photographing object such as a tire or a tire component.
  • an object is photographed using a camera (for example, a 3D camera) that captures a shape image (3D image) and a camera (for example, a 2D camera) that captures a color image (2D image).
  • a camera for example, a 3D camera
  • a camera for example, a 2D camera
  • a shape image and a color image are taken with respect to the same object, and the object is determined by processing such information.
  • an apparatus that uses a line camera that acquires a color image of the product and an area camera that acquires a shape image has been proposed (see, for example, Japanese Patent Application Laid-Open No. 2001-249012). )
  • the apparatus described in Japanese Patent Application Laid-Open No. 2001-249012 described above compares the color image acquired by the line camera and the shape image acquired by the area camera with the color image and shape image of the product stored in advance, respectively. As a result, the appearance and shape of the product are judged.
  • the color image and the shape image have been used to determine the appearance and the shape, respectively.
  • the color image and the shape image are each pixel information, and each of the 3D camera and the 2D camera. Since the installation conditions, distance, lens aperture, and focus adjustment values differ, it was difficult to combine them.
  • an object of the present invention is to provide an appearance inspection apparatus that combines a two-dimensional image and a three-dimensional image to improve detection accuracy.
  • a feature of the present invention is an appearance inspection apparatus for inspecting the appearance of an object, the first image acquisition means for acquiring a three-dimensional image of the object, and the object 2 Second image acquisition means for acquiring a three-dimensional image, and conversion means for substituting the pixel value of the two-dimensional image corresponding to the physical coordinate of the pixel of the three-dimensional image into the physical coordinate corresponding to the pixel of the three-dimensional image.
  • the gist is that it is a visual inspection apparatus provided.
  • the visual inspection apparatus is a first basic method for acquiring in advance a lookup table for converting digitized luminance gradation data into arbitrary physical coordinates for a three-dimensional image.
  • Refer to the 3D image lookup table convert the 3D image of the object into the specified physical coordinates for each pixel, and refer to the 2D image lookup table to view the 3D image of the object.
  • the pixel value of the two-dimensional image of the object corresponding to the predetermined physical coordinate of the pixel may be substituted into the predetermined physical coordinate.
  • the lookup table for the two-dimensional image may hold the physical coordinates of the pixels of the three-dimensional image in association with the pixel values of the two-dimensional image.
  • the lookup table for the two-dimensional image may be obtained in association with the physical coordinates of the lookup table for the three-dimensional image.
  • the lookup table for the two-dimensional image may be obtained by photographing a plurality of line images at a constant interval every time the distance to the camera is changed. Good.
  • FIG. 1 is a block diagram showing the configuration of an appearance inspection apparatus 10 according to the present embodiment.
  • FIG. 2 shows a subject to be used for creating an LUT in a 3D image according to the present embodiment.
  • FIG. 3 is an example of a LUT in a 3D image according to the present embodiment.
  • FIG. 4 shows an imaging target used to create an LUT in a two-dimensional image according to the present embodiment.
  • FIG. 5 is a schematic diagram showing a procedure for creating an LUT in a two-dimensional image according to the present embodiment.
  • FIG. 6 is a diagram for explaining pixel values in a two-dimensional image according to the present embodiment.
  • FIG. 7 is an example of a LUT in a two-dimensional image according to the present embodiment.
  • FIG. 8 is a schematic diagram showing a procedure for creating an LUT in a two-dimensional image according to the present embodiment.
  • FIG. 9 is a schematic diagram showing a procedure for creating an LUT in a two-dimensional image according to the present embodiment.
  • FIG. 10 is a flowchart showing an appearance inspection method according to the present embodiment according to the present embodiment.
  • the appearance inspection apparatus 10 acquires a three-dimensional image (shape image) representing the unevenness of the surface of the object to be photographed from the 3D power camera 30, and generates a two-dimensional image (color image) representing the color (luminance) of the object to be photographed. Obtained from 2D power Mela 20. Examples of the object to be photographed include products such as tires and tire parts.
  • the appearance inspection apparatus 10 includes a 3DLUT acquisition unit 11, a 3D image acquisition unit 12, a first conversion unit 13, a 2DLUT acquisition unit 14, a 2D image acquisition unit 15, and a second conversion unit 16.
  • the 3DLUT acquisition unit 11 also acquires a look-up tape for a 3D image (Look Up Table: hereinafter referred to as "3DLUT") as well as the 3D camera 30 force.
  • 3DLUT is basic data used to convert digitized luminance gradation data into arbitrary physical coordinates, and is set for each camera. Object When processing these images, the digital data obtained is corrected using 3DLUT and output.
  • the 3DLUT is created based on an image of a grid with a fixed interval LI X L1 (for example, 5 X 5 mm).
  • LI X L1 for example, 5 X 5 mm.
  • the lattice is photographed by the 3D camera 30, the lattice is distorted as shown in FIG. Figure 3 shows an example of 3DLUT.
  • the number of pixels of the 3D camera is mX n pixels, which corresponds to the pixels of each grid power 3D camera in the figure.
  • 3D LUT holds physical coordinates (X, y) (where l ⁇ i ⁇ m, l ⁇ j ⁇ m) corresponding to each pixel.
  • the 3D image acquisition unit 12 acquires a three-dimensional image of the object to be photographed from the 3D force lens 30.
  • the first conversion unit 13 refers to the LUT obtained by the 3DLUT acquisition unit 11 and corrects the distortion of the three-dimensional image obtained by the 3D image acquisition unit 12. That is, the first converting means 13 refers to the 3DLUT and converts the 3D image of the object to be photographed into physical coordinates for each pixel. Specifically, this shape data is stored as (X, y) in the memory of the apparatus (for example, the storage means 19) for both X and y in floating point.
  • the 2DLUT acquisition unit 14 acquires an LUT (hereinafter referred to as “2DLUT”) for the two-dimensional image from the 2D camera 20.
  • 2DLUT is basic data used to correct digitized luminance gradation data to an arbitrary gradation, and is set for each camera. When processing images, the digital data obtained is corrected using 2DLUT and output.
  • 2DLUT is created on the basis of images obtained by photographing lines with a constant interval L1 (for example, 5 mm). Specifically, as shown in FIG. 5, a line arranged at a specific distance from the 2D camera 20 is photographed, and the LUT for the two-dimensional image is the line position at this time and the 2D camera corresponding to the position. It is created in association with the pixel value of.
  • L1 for example, 5 mm
  • the 2D camera 20 takes a plurality of such line images at regular intervals. For example, as shown in Fig. 5, shooting is performed while varying the distance between 0 position, 10 position, 20 position, 30 position and 2D camera 20 in the y direction to create 2DLUT shown in Figure 7 be able to.
  • the distance from the 2D camera to be changed must be related to the grid size captured by the 3D camera 30. There is.
  • FIG. 7 shows an example of 2DLUT.
  • the number of pixels of the 3D camera is mX n pixels, which corresponds to the pixels of each grid power 3D camera in the figure.
  • 2DLUT is the physical coordinates corresponding to each pixel of the 3D camera and the pixel values of the 2D camera corresponding to the physical coordinates (X, y, No) (where l ⁇ i
  • No is a number assigned to each image data obtained by the 2D camera 20.
  • the physical coordinate of point A is 0 in the direction of force and 10 in the direction of y
  • the position corresponding to the pixel of 2D camera 20 that captured point A is 2 If 2DLUT, the value (0, 10, 2) is held.
  • 2DLUT will have (10, 10 , 7), (20, 10, 12) are retained.
  • the 2D camera 20 is the same when shooting an object to be photographed even at different points (here, point P and point Q) that exist on the extension line of the viewpoint, as shown in FIG. No (the position corresponding to the pixel is the same) is obtained, but since the obtained image differs depending on the distance between the object and the camera, the obtained color image is also different.
  • the 2D image acquisition unit 15 acquires a 2D image of the object to be photographed from the 2D force camera 20.
  • the second conversion unit 16 refers to the LUT obtained by the 2DLUT acquisition unit 14 and corrects the distortion of the two-dimensional image obtained by the 2D image acquisition unit 15. Further, the second conversion means 16 uses the predetermined physical coordinates of the pixel values of the two-dimensional image corresponding to the predetermined physical coordinates of the pixels of the three-dimensional image to associate the obtained two-dimensional image with the physical coordinates of the 3DLUT. Assign to coordinates.
  • the judging means 18 judges the appearance of the object using the physical coordinates and the color obtained by the second converting means 16.
  • the appearance inspection apparatus 10 is attached to the outside of a tire.
  • the physical color data obtained by the second conversion means 16 and the physical coordinate data of the tire stored in the storage means 19 are compared to determine the quality and quality of the tire. To do.
  • the storage unit 19 records physical coordinate data of the object.
  • the storage means 19 stores reference determination data for each type of tire in advance.
  • the storage means 19 stores the 3DLUT acquired from the 3D camera 30 and the 2DLUT acquired from the 2D camera 20.
  • the storage means 19 may be an external storage device such as a hard disk or a flexible disk, which may be an internal storage device such as a RAM.
  • the appearance inspection method according to the present embodiment will be described with reference to FIG.
  • a tire is used as a photographing object.
  • the appearance inspection apparatus 10 acquires the 3DLUT and 2DL UT described above.
  • step S101 the 3D camera 30 and the 2D camera 20 continuously photograph the side surface of the tire rotating in the circumferential direction.
  • the first conversion unit 13 refers to the 3DLUT 100 obtained by the 3DLUT acquisition unit 11, and converts the 3D image obtained by the 3D image acquisition unit 12 into a pixel. Every time, it is converted into predetermined physical coordinates. At this time, the appearance inspection apparatus 10 has pixel values (shape data) in the three-dimensional image for each physical coordinate.
  • step S103 the second conversion unit 16 refers to the 2DLUT 200 obtained by the 2DLUT acquisition unit 14, and corrects the distortion of the two-dimensional image.
  • step S 104 the second conversion unit 16 refers to the 2DLUT 200 obtained by the 2DLUT acquisition unit 14 and corresponds to predetermined physical coordinates of the pixels of the 3D image.
  • the pixel value of the two-dimensional image is substituted into predetermined physical coordinates. That is, in the two-dimensional image, the corresponding pixel value is substituted into the X position at the height y.
  • the appearance inspection apparatus 10
  • Each physical coordinate has a pixel value (shape data) in a 3D image and a pixel value (color data) in a 2D image.
  • This color data is the three primary colors of light (R, G, B), for example, 8 bits each. Retained.
  • the data storage mode for each physical coordinate may be represented by (X, y, No) and three-dimensional parameters, and (X, y, R, G, B) and five-dimensional parameters. May be represented. That is
  • the holding form is not limited.
  • step S105 the judging means 18 judges the appearance of the tire using the physical coordinates (X, y) and the colors (R, G, B) obtained by the second converting means 16. To do. Specifically, the tire physical coordinate data obtained by the second conversion means 16 and the tire physical coordinate data stored in the storage means 19 are compared to determine whether the tire color and shape are good or bad. To do.
  • step S101 the 2D camera 20 and the 3D camera 30 are arranged at different phase positions in the circumferential direction of the tire side in consideration of light reflection or the like depending on the photographing method when photographing the tire. May be.
  • step S104 the second conversion unit 16 substitutes the pixel value of the two-dimensional image into predetermined physical coordinates of the pixel of the three-dimensional image captured at the same phase position.
  • step S104 the second conversion means 16 substitutes the pixel value of the 2D image into the physical coordinates of the 3D image. In this case, the position is corrected and the pixel value is substituted into appropriate coordinates.
  • the physical coordinates corresponding to the pixels of the three-dimensional image are transferred to the physical coordinates of the pixels of the three-dimensional image.
  • shape data and color data can be synthesized, and detection accuracy can be improved.
  • the appearance inspection apparatus 10 refers to the 3DLUT acquisition unit 11, the 2DLUT acquisition unit 14, and the 3DLUT, and converts the three-dimensional image into predetermined physical coordinates for each pixel.
  • 1st conversion means 13, and 2DLUT, 2nd conversion means 16 which substitutes the pixel value of the 2D picture corresponding to the predetermined physical coordinate of the pixel of a 3D picture to a predetermined physical coordinate with reference to 2DLUT .
  • shape data and color data can be synthesized using physical coordinates of a three-dimensional image.
  • the 2DLUT holds the physical coordinates of the pixels of the 3D image and the pixel values of the 2D image in association with each other. Therefore, it is possible to correct distortion of 2D images and incorporate color data into 3D images simply by referring to 2DLUT.
  • the 2DLUT is obtained by capturing a plurality of line images with a constant interval every time the distance from the camera is changed. In this way, by using 2DLUT based on the line image with the distance to the camera changed, it is possible to achieve more accurate synthesis of shape data and color data.
  • the force described on the assumption that one color image is used as a two-dimensional image is used by using a plurality of color images. It doesn't matter. For example, when the image is taken with red illumination, blue illumination, or the like, it can be synthesized by referring to the shape image.
  • the appearance inspection apparatus can synthesize a two-dimensional image and a three-dimensional image, and can improve detection accuracy.
  • a tire, a tire component, etc. It can be suitably used as an apparatus for inspecting the appearance of

Description

明 細 書
外観検査装置
技術分野
[0001] 本発明は、例えば、タイヤやタイヤ構成部品などの撮影対象物の形状画像及び色 彩画像に基づき、撮影対象物の外観を検査する外観検査装置に関する。
背景技術
[0002] 従来、形状画像（3次元画像)を撮影するカメラ (例えば、 3Dカメラ）と、色彩画像 (2 次元画像)を撮影するカメラ (例えば、 2Dカメラ）とを用いて、対象物を撮影することが 行われている。
[0003] 又、同一の対象物に対して、形状画像及び色彩画像を撮影し、これらの情報を処 理することにより、対象物を判断することが行われる。例えば、製品検査の一つとして 、当該製品の色彩画像を取得するラインカメラと、形状画像を取得するエリアカメラを 用いて撮影する装置が提案されている（例えば、特開 2001— 249012号公報参照）
[0004] 上述した特開 2001— 249012号公報に記載の装置は、ラインカメラによって取得 した色彩画像、エリアカメラによって取得した形状画像を、それぞれ予め記憶された 製品の色彩画像、形状画像と比較することにより、製品の外観及び形状の良否を判 定する。
[0005] このように、色彩画像と形状画像とをそれぞれ外観、形状の判定に用いることは行 われていたが、色彩画像と形状画像はそれぞれピクセル情報であり、 3Dカメラ及び 2 Dカメラの各々の設置条件、距離、レンズの絞り、ピントなどの調整値が異なるため、 これらを合成することが困難であった。
[0006] そこで、本発明は、上記の問題に鑑み、 2次元画像と 3次元画像を合成し、検出精 度を向上させる外観検査装置を提供することを目的とする。
発明の開示
[0007] 上記目的を達成するため、本発明の特徴は、対象物の外観を検査する外観検査 装置であって、対象物の 3次元画像を取得する第 1の画像取得手段と、対象物の 2 次元画像を取得する第 2の画像取得手段と、 3次元画像の画素に対応する物理座標 へ、当該 3次元画像の画素の物理座標に対応する 2次元画像の画素値を代入する 変換手段とを備える外観検査装置であることを要旨とする。
[0008] 又、本発明の特徴に係る外観検査装置は、 3次元画像に対する、デジタルィ匕され た輝度階調のデータを任意の物理座標に変換するルックアップテーブルを予め取得 する第 1の基本データ取得手段と、 2次元画像に対する、デジタル化された輝度階調 のデータを任意の階調に補正するルックアップテーブルを予め取得する第 2の基本 データ取得手段とを更に備え、変換手段は、 3次元画像に対するルックアップテープ ルを参照して、対象物の 3次元画像を画素毎に所定の物理座標へ変換し、 2次元画 像に対するルックアップテーブルを参照して、対象物の 3次元画像の画素の所定の 物理座標に対応する対象物の 2次元画像の画素値を所定の物理座標へ代入しても よい。
[0009] 又、本発明の特徴に係る外観検査装置において、 2次元画像に対するルックアップ テーブルは、 3次元画像の画素の物理座標と、 2次元画像の画素値とを対応付けて 保持してちょい。
[0010] 又、本発明の特徴に係る外観検査装置において、 2次元画像に対するルックアップ テーブルは、 3次元画像に対するルックアップテーブルの物理座標と結びつけて取 得してちょい。
[0011] 又、本発明の特徴に係る外観検査装置において、 2次元画像に対するルックアップ テーブルは、一定間隔のライン画像を、カメラとの距離を変更する毎に複数撮影する ことによって得られてもよい。
図面の簡単な説明
[0012] [図 1]図 1は、本実施形態に係る外観検査装置 10の構成ブロック図である。
[図 2]図 2は、本実施形態に係る 3次元画像における LUTを作成するために用いる撮 影対象である。
[図 3]図 3は、本実施形態に係る 3次元画像における LUTの一例である。
[図 4]図 4は、本実施形態に係る 2次元画像における LUTを作成するために用いる撮 影対象である。 [図 5]図 5は、本実施形態に係る 2次元画像における LUTを作成する際の手順を示 す模式図である。
[図 6]図 6は、本実施形態に係る 2次元画像における画素値を説明するための図であ る。
[図 7]図 7は、本実施形態に係る 2次元画像における LUTの一例である。
[図 8]図 8は、本実施形態に係る 2次元画像における LUTを作成する際の手順を示 す模式図である。
[図 9]図 9は、本実施形態に係る 2次元画像における LUTを作成する際の手順を示 す模式図である。
[図 10]図 10は、本実施形態に係る本実施形態に係る外観検査方法を示すフローチ ヤートである。
発明を実施するための最良の形態
[0013] 次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載にお いて、同一又は類似の部分には、同一又は類似の符号を付している。ただし、図面 は模式的なものであることに留意すべきである。
[0014] (外観検査装置）
本発明の実施の形態に係る外観検査装置 10について、図 1を用いて説明する。外 観検査装置 10は、撮影対象物の表面の凹凸を表す 3次元画像 (形状画像)を 3D力 メラ 30から取得し、撮影対象物の色彩 (輝度)を表す 2次元画像 (色彩画像)を 2D力 メラ 20から取得する。撮影対象物としては、例えば、タイヤやタイヤ部品などの製品 が挙げられる。
[0015] 外観検査装置 10は、 3DLUT取得手段 11と、 3D画像取得手段 12と、第 1の変換 手段 13と、 2DLUT取得手段 14と、 2D画像取得手段 15と、第 2の変換手段 16と、 判断手段 18と、記憶手段 19とを備える。
[0016] 3DLUT取得手段 11 (第 1の基本データ取得手段）は、 3次元画像に対するルック アップテープノレ（Look Up Table :以下において、「3DLUT」という。）を、 3Dカメラ 30 力も取得する。 3DLUTは、デジタルィ匕された輝度階調のデータを任意の物理座標 に変換するために用いられる基本データであり、カメラ毎に設定されている。対象物 の画像を処理する際は、得られたデジタルデータを、 3DLUTを用いて補正して出力 する。
[0017] 3DLUTは、図 2に示すように、一定間隔 LI X L1 (例えば 5 X 5mm)の格子を撮影 し、この画像をもとに作成される。 3Dカメラ 30によって格子を撮影すると、図 2に示す ように、格子が歪んで撮影される。図 3に、 3DLUTの例を示す。図 3では、 3Dカメラ の画素数を mX n画素とし、図中の各マス目力 3Dカメラの画素に相当する。 3DLU Tは、各画素に相当する物理座標 (X , y ) (ここで、 l≤i≤m, l≤j≤m)を保持して いる。
[0018] 3D画像取得手段 12 (第 1の画像取得手段）は、撮影対象物の 3次元画像を、 3D力 メラ 30から取得する。
[0019] 第 1の変換手段 13は、 3DLUT取得手段 11によって得られた LUTを参照して、 3 D画像取得手段 12によって得られた 3次元画像の歪みを補正する。即ち、第 1の変 換手段 13は、 3DLUTを参照して、撮影対象物の 3次元画像を画素毎に物理座標 へ変換する。具体的には、この形状データは、（X , y )として、装置のメモリ上 (例え ば、記憶手段 19)に X, y共に、浮動小数点で保持される。
[0020] 2DLUT取得手段 14 (第 2の基本データ取得手段）は、 2次元画像に対する LUT( 以下において、「2DLUT」という。）を、 2Dカメラ 20から取得する。 2DLUTは、デジ タル化された輝度階調のデータを任意の階調に補正するために用いられる基本デ ータであり、カメラ毎に設定されている。画像を処理する際は、得られたデジタルデー タを、 2DLUTを用いて補正して出力する。
[0021] 2DLUTは、図 4に示すように、一定間隔 L1 (例えば 5mm)のラインを撮影し、この 画像をもとに作成される。具体的には、図 5に示すように、 2Dカメラ 20から特定の距 離に配置されたラインを撮影し、 2次元画像に対する LUTは、このときのライン位置と 、当該位置に対応する 2Dカメラの画素値とを関連付けて作成される。
[0022] 2Dカメラ 20は、このようなライン画像を一定間隔毎に、複数撮影する。例えば、図 5 に示すように、 y方向に 0の位置、 10の位置、 20の位置、 30の位置と、 2Dカメラ 20と の距離を変動させて撮影し、図 7に示す 2DLUTを作成することができる。この変動さ せる 2Dカメラとの距離は、 3Dカメラ 30が撮影した格子サイズに関連させておく必要 がある。
[0023] 図 7に、 2DLUTの例を示す。図 7では、 3Dカメラの画素数を mX n画素とし、図中 の各マス目力 3Dカメラの画素に相当する。 2DLUTは、 3Dカメラの各画素に相当 する物理座標と物理座標に対応する 2Dカメラの画素値 (X , y , No ) (ここで、 l≤i
≤m, l≤j≤m)を保持している。ここで、「No」とは、 2Dカメラ 20によって得られた画 像データ毎に割り振られた番号である。例えば、図 5に示すように、 A点の物理座標 力 方向に 0、 y方向に 10であり、図 6に示すように、 A点を撮影した 2Dカメラ 20の画 素に対応する位置が 2である場合、 2DLUT〖こは、 (0, 10, 2)という値が保持される 。同様に、 B点を撮影した 2Dカメラ 20の画素に対応する位置が 7であり、 C点を撮影 した 2Dカメラ 20の画素に対応する位置が 12である場合、 2DLUTには、 (10, 10, 7)、 (20, 10, 12)という値が保持される。
[0024] 又、 2Dカメラ 20によってライン画像を撮影する場合、図 8に示すように、ラインと 2D カメラとの距離が小さくなればなるほど、撮影された画像のラインの間隔が大きくなる 。このように、 2Dカメラ 20は、同じ対象物であっても当該対象物との距離によって、得 られる画像が異なる。
[0025] そのため、 2Dカメラ 20は、撮影対象物を撮影する場合、図 9に示すように、視点の 延長線上に存在する異なる点（ここでは、 P点、 Q点）であっても、同じ No (画素に対 応する位置が同じ)が得られるが、当該対象物とカメラとの距離によって得られる画像 が異なるため、得られる色彩画像も異なる。
[0026] 2D画像取得手段 15 (第 2の画像取得手段）は、撮影対象物の 2次元画像を、 2D力 メラ 20から取得する。
[0027] 第 2の変換手段 16は、 2DLUT取得手段 14によって得られた LUTを参照して、 2 D画像取得手段 15によって得られた 2次元画像の歪みを補正する。又、第 2の変換 手段 16は、得られた 2次元画像を 3DLUTの物理座標に関連させるために、 3次元 画像の画素の所定の物理座標に対応する 2次元画像の画素値を所定の物理座標 へ代入する。
[0028] 判断手段 18は、第 2の変換手段 16によって得られた物理座標と色彩を用いて、対 象物の外観を判断する。例えば、本実施形態に係る外観検査装置 10をタイヤの外 観検査に用いる場合、第 2の変換手段 16によって得られた物理座標データと記憶手 段 19に記憶されたタイヤの物理座標データとを比較することにより、タイヤの色彩及 び形状の良否を判定する。
[0029] 記憶手段 19は、対象物の物理座標データを記録する。例えば、記憶手段 19は、タ ィャの種類毎に基準判定データを予め記憶する。又、記憶手段 19は、 3Dカメラ 30 力 取得した 3DLUTや 2Dカメラ 20から取得した 2DLUTを記憶する。記憶手段 19 は、 RAM等の内部記憶装置を用いても良ぐハードディスクやフレキシブルディスク 等の外部記憶装置を用いても良 、。
[0030] (外観検査方法）
次に、本実施形態に係る外観検査方法について、図 10を用いて説明する。本実施 形態に係る外観検査方法では、撮影対象物としてタイヤを用いる。
[0031] まず、対象画像を撮影する前に、外観検査装置 10は、前述した 3DLUT及び 2DL UTを取得する。
[0032] ステップ S101において、 3Dカメラ 30及び 2Dカメラ 20は、周方向に回転するタイヤ の側面を連続的に撮影する。
[0033] 次に、ステップ S102において、第 1の変換手段 13は、 3DLUT取得手段 11によつ て得られた 3DLUT100を参照して、 3D画像取得手段 12によって得られた 3次元画 像を画素毎に所定の物理座標へ変換する。このとき、外観検査装置 10は、物理座標 毎に、 3次元画像における画素値 (形状データ）を有する。
[0034] 次に、ステップ S103において、第 2の変換手段 16は、 2DLUT取得手段 14によつ て得られた 2DLUT200を参照して、 2次元画像の歪みを補正する。
[0035] 次に、ステップ S 104において、第 2の変換手段 16は、 2DLUT取得手段 14によつ て得られた 2DLUT200を参照して、 3次元画像の画素の所定の物理座標に対応す る 2次元画像の画素値を所定の物理座標へ代入する。即ち、 2次元画像において、 高さ yのときの X位置へ該当する画素値を代入する。このとき、外観検査装置 10は、 ij i
物理座標毎に、 3次元画像における画素値 (形状データ)及び 2次元画像における画 素値 (色彩データ）を有する。
[0036] この色彩データは、光の 3原色 (R, G, B)で、例えば、それぞれ 8ビットずつの値で 保持される。尚、物理座標毎のデータの保持形態は、（X , y , No)と 3次元のパラメ ータで表されてもよく、（X , y , R, G, B)と 5次元のパラメータで表されてもよい。即ち
、形状データと色彩データは、何らかのパラメータで紐付けされていればよぐその保 持形態は問わない。
[0037] 次に、ステップ S105において、判断手段 18は、第 2の変換手段 16によって得られ た物理座標 (X , y )と色彩 (R, G, B)を用いて、タイヤの外観を判断する。具体的に は、第 2の変換手段 16によって得られたタイヤの物理座標データと記憶手段 19に記 憶されたタイヤの物理座標データとを比較することにより、タイヤの色彩及び形状の 良否を判定する。
[0038] 尚、ステップ S101において、タイヤを撮影する際、撮影方法により光の反射等を考 慮して、 2Dカメラ 20と 3Dカメラ 30とがタイヤ側面の周方向において、異なる位相位 置に配置される場合がある。この場合、ステップ S 104において、第 2の変換手段 16 は、同位相位置において撮影された 3次元画像の画素の所定の物理座標に、 2次元 画像の画素値を代入する。
[0039] 3Dカメラ 30と 2Dカメラが、対象物の異なる位置を撮影した場合、ステップ S 104に おいて、第 2の変換手段 16が 3次元画像の物理座標へ 2次元画像の画素値を代入 する際に、位置の補正を行い、適正な座標へ画素値を代入する。
[0040] 又、撮影する対象物の大きさ力 2DLUT及び 3DLUTに保持される物理座標を超 える場合は、新たに 2DLUT及び 3DLUTの取得が必要となる。
[0041] (作用及び効果）
従来、 2次元画像と 3次元画像の合成は、カメラの角度、距離、レンズの絞り、ピント などの調整値がそれぞれ異なるため、困難であった。
[0042] 本発明の実施の形態に係る外観検査装置 10及び外観検査方法によると、 3次元 画像の画素に対応する物理座標へ、当該 3次元画像の画素の物理座標に対応する 2次元画像の画素値を代入することにより、形状データと色彩データを合成すること ができ、検出精度を向上させることができる。
[0043] 又、本実施形態では、外観検査装置 10は、 3DLUT取得手段 11と、 2DLUT取得 手段 14と、 3DLUTを参照して、 3次元画像を画素毎に所定の物理座標へ変換する 第 1の変換手段 13と、 2DLUTを参照して、 3次元画像の画素の所定の物理座標に 対応する 2次元画像の画素値を所定の物理座標へ代入する第 2の変換手段 16とを 備える。このように、 3次元画像の物理座標を用いて、形状データと色彩データを合 成することができる。
[0044] 又、本実施形態において、 2DLUTは、 3次元画像の画素の物理座標と、 2次元画 像の画素値とを対応付けて保持している。このため、 2DLUTを参照するだけで、 2D 画像の歪みを補正し、色彩データを 3次元画像へ組み込むことができる。
[0045] 又、本実施形態にぉ 、て、 2DLUTは、一定間隔のライン画像を、カメラとの距離を 変更する毎に複数撮影することによって得られる。このように、カメラとの距離を変更 したライン画像に基づいた 2DLUTを用いることにより、より精度の高い、形状データ と色彩データとの合成を実現することができる。
[0046] (その他の実施の形態）
本発明は上記の実施の形態によって記載したが、この開示の一部をなす論述及び 図面はこの発明を限定するものであると理解すべきではない。この開示力も当業者に は様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
[0047] 例えば、本発明の実施の形態に係る外観検査装置 10及び外観検査方法において 、 2次元画像として 1つの色彩画像を用いることを前提に説明を行った力 複数の色 彩画像を用いても構わない。例えば、赤色照明、青色照明等で撮影された場合、形 状画像を参照することにより、合成が可能である。
[0048] このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿 論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲 に係る発明特定事項によってのみ定められるものである。
産業上の利用の可能性
[0049] 以上のように、本発明に係る外観検査装置は、 2次元画像と 3次元画像を合成する ことができ、検出精度を向上させることができるため、例えば、タイヤやタイヤ構成部 品などの外観を検査する装置として好適に使用できる。

Claims

請求の範囲
[1] 対象物の外観を検査する外観検査装置（10)であって、
前記対象物の 3次元画像を取得する第 1の画像取得手段（ 12)と、
前記対象物の 2次元画像を取得する第 2の画像取得手段（15)と、
前記 3次元画像の画素に対応する物理座標へ、当該 3次元画像の画素の物理座 標に対応する 2次元画像の画素値を代入する変換手段（13, 16)と
を備えることを特徴とする外観検査装置。
[2] 3次元画像に対する、デジタル化された輝度階調のデータを任意の物理座標に変 換するルックアップテーブルを予め取得する第 1の基本データ取得手段（11)と、
2次元画像に対する、デジタル化された輝度階調のデータを任意の階調に補正す るルックアップテーブルを予め取得する第 2の基本データ取得手段（14)とを更に備 え、
前記変換手段は、
前記 3次元画像に対するルックアップテーブルを参照して、前記対象物の 3次元画 像を画素毎に所定の物理座標へ変換し、
前記 2次元画像に対するルックアップテーブルを参照して、前記対象物の 3次元画 像の画素の前記所定の物理座標に対応する前記対象物の 2次元画像の画素値を 前記所定の物理座標へ代入する
ことを特徴とする請求項 1に記載の外観検査装置。
[3] 前記 2次元画像に対するルックアップテーブルは、前記 3次元画像の画素の物理 座標と、前記 2次元画像の画素値とを対応付けて保持することを特徴とする請求項 2 に記載の外観検査装置。
[4] 前記 2次元画像に対するルックアップテーブルは、前記 3次元画像に対するルック アップテーブルの物理座標と結びつけて取得する請求項 2又は 3に記載の外観検査 装置。
[5] 前記 2次元画像に対するルックアップテーブルは、一定間隔のライン画像を、カメラ との距離を変更する毎に複数撮影することによって得られることを特徴とする請求項 2 〜4の 、ずれか 1項に記載の外観検査装置。
PCT/JP2005/021475 2004-11-22 2005-11-22 外観検査装置 WO2006054775A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006545209A JPWO2006054775A1 (ja) 2004-11-22 2005-11-22 外観検査装置
EP05809507A EP1826529A4 (en) 2004-11-22 2005-11-22 DEVICE FOR STUDYING THE EXTERNAL APPEARANCE
US11/791,164 US20070280529A1 (en) 2004-11-22 2005-11-22 External-Appearance Inspection Apparatus
MX2007006105A MX2007006105A (es) 2004-11-22 2005-11-22 Aparato de inspeccion de apariencia externa.
BRPI0518033-3A BRPI0518033B1 (pt) 2004-11-22 2005-11-22 Apparatus for inspection of external appearance

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004337566 2004-11-22
JP2004-337566 2004-11-22

Publications (1)

Publication Number Publication Date
WO2006054775A1 true WO2006054775A1 (ja) 2006-05-26

Family

ID=36407305

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/021475 WO2006054775A1 (ja) 2004-11-22 2005-11-22 外観検査装置

Country Status (6)

Country Link
US (1) US20070280529A1 (ja)
EP (1) EP1826529A4 (ja)
JP (1) JPWO2006054775A1 (ja)
BR (1) BRPI0518033B1 (ja)
MX (1) MX2007006105A (ja)
WO (1) WO2006054775A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009150673A (ja) * 2007-12-19 2009-07-09 Moriai Seiki Kk 付着物測定方法および付着物測定装置
JP2011247639A (ja) * 2010-05-24 2011-12-08 Bridgestone Corp タイヤ検査装置及びタイヤ検査方法
JP2014016358A (ja) * 2009-01-13 2014-01-30 Semiconductor Technologies & Instruments Pte Ltd ウェーハを検査するためのシステム及び方法
JP2014137291A (ja) * 2013-01-17 2014-07-28 Bridgestone Corp 外観画像生成方法及び外観画像生成装置
JP2018096844A (ja) * 2016-12-13 2018-06-21 株式会社ブリヂストン 外観画像の作成方法及びルックアップテーブル作成用冶具
JP2019211310A (ja) * 2018-06-04 2019-12-12 日本製鉄株式会社 表面性状検査方法及び表面性状検査装置
JP2021042988A (ja) * 2019-09-06 2021-03-18 住友ゴム工業株式会社 外観検査方法及び外観検査装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101349550B (zh) * 2008-08-26 2010-06-09 浙江大学 在线橡胶栓外形质量检查机
DE102010036447A1 (de) * 2010-03-26 2011-09-29 Degudent Gmbh Verfahren zur Ermittlung von Materialcharakteristika
DE102012202271A1 (de) * 2011-07-11 2013-01-17 Robert Bosch Gmbh Vorrichtung und Verfahren zur Reifenprüfung
RU2737564C2 (ru) 2016-07-26 2020-12-01 Пирелли Тайр С.П.А. Способ и станция контроля шин для колес транспортных средств
JP6878219B2 (ja) * 2017-09-08 2021-05-26 株式会社東芝 画像処理装置および測距装置
WO2019123327A1 (en) * 2017-12-20 2019-06-27 Pirelli Tyre S.P.A. Method and apparatus for checking tyres in a process and a plant for making tyres for vehicle wheels
FR3093183B1 (fr) * 2019-02-22 2021-02-19 Safran Electronics & Defense Procédé de détection d’une dégradation d’un pneumatique d’une roue

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11235308A (ja) * 1998-02-24 1999-08-31 Olympus Optical Co Ltd 計測内視鏡装置
JPH11509928A (ja) * 1995-07-26 1999-08-31 ジェームス クランプトン，ステファン スキャニング装置および方法
JP2001249012A (ja) * 1999-12-28 2001-09-14 Bridgestone Corp 被検体の外観形状検査方法及び装置
JP2003078725A (ja) * 2001-02-14 2003-03-14 Ricoh Co Ltd 画像入力装置
JP2003240521A (ja) * 2002-02-21 2003-08-27 Bridgestone Corp 被検体の外観・形状検査方法とその装置、及び、被検体の外観・形状検出装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6229913B1 (en) * 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US5930383A (en) * 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
US6775028B1 (en) * 2000-02-24 2004-08-10 Lexmark International, Inc. Non-linear method of mapping the lightness and chroma of a display device gamut onto a printing device gamut

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11509928A (ja) * 1995-07-26 1999-08-31 ジェームス クランプトン，ステファン スキャニング装置および方法
JPH11235308A (ja) * 1998-02-24 1999-08-31 Olympus Optical Co Ltd 計測内視鏡装置
JP2001249012A (ja) * 1999-12-28 2001-09-14 Bridgestone Corp 被検体の外観形状検査方法及び装置
JP2003078725A (ja) * 2001-02-14 2003-03-14 Ricoh Co Ltd 画像入力装置
JP2003240521A (ja) * 2002-02-21 2003-08-27 Bridgestone Corp 被検体の外観・形状検査方法とその装置、及び、被検体の外観・形状検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1826529A4 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009150673A (ja) * 2007-12-19 2009-07-09 Moriai Seiki Kk 付着物測定方法および付着物測定装置
JP2014016358A (ja) * 2009-01-13 2014-01-30 Semiconductor Technologies & Instruments Pte Ltd ウェーハを検査するためのシステム及び方法
JP2011247639A (ja) * 2010-05-24 2011-12-08 Bridgestone Corp タイヤ検査装置及びタイヤ検査方法
JP2014137291A (ja) * 2013-01-17 2014-07-28 Bridgestone Corp 外観画像生成方法及び外観画像生成装置
JP2018096844A (ja) * 2016-12-13 2018-06-21 株式会社ブリヂストン 外観画像の作成方法及びルックアップテーブル作成用冶具
JP2019211310A (ja) * 2018-06-04 2019-12-12 日本製鉄株式会社 表面性状検査方法及び表面性状検査装置
JP7159624B2 (ja) 2018-06-04 2022-10-25 日本製鉄株式会社 表面性状検査方法及び表面性状検査装置
JP2021042988A (ja) * 2019-09-06 2021-03-18 住友ゴム工業株式会社 外観検査方法及び外観検査装置
JP7367408B2 (ja) 2019-09-06 2023-10-24 住友ゴム工業株式会社 外観検査方法及び外観検査装置

Also Published As

Publication number Publication date
JPWO2006054775A1 (ja) 2008-06-05
US20070280529A1 (en) 2007-12-06
EP1826529A1 (en) 2007-08-29
BRPI0518033A (pt) 2008-10-28
MX2007006105A (es) 2007-07-24
BRPI0518033B1 (pt) 2017-07-04
EP1826529A4 (en) 2010-11-17

Similar Documents

Publication Publication Date Title
WO2006054775A1 (ja) 外観検査装置
US7529424B2 (en) Correction of optical distortion by image processing
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
US10521891B2 (en) Image processing apparatus, system, image processing method, and non-transitory recording medium
US7406213B2 (en) Image processing apparatus and method, and computer program
US7911514B2 (en) Defective pixel correction device
US8290271B2 (en) Method, medium and apparatus correcting projected image
JP2006211369A (ja) 色変換マトリクス算出方法および画像信号処理装置
JP6997461B2 (ja) 高ダイナミックレンジビデオのためのデバイスおよび方法
JP5757932B2 (ja) 画像補正データ生成装置および画像補正データ生成プログラム
JP2009171008A (ja) 色再現装置および色再現プログラム
JP4533287B2 (ja) 色処理方法およびその装置
JP2011124954A (ja) 画像処理方法及び画像処理装置
KR101639664B1 (ko) 촬상장치 및 촬상방법
JP2004015205A (ja) マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法
JP5135724B2 (ja) 画像表示装置の色評価方法
JP5159715B2 (ja) 画像処理装置
JP5576052B2 (ja) 色収差を補正する方法
JP2004032060A (ja) カラー画像信号処理方法およびカラー画像出力装置並びに撮影装置
JP2011128872A (ja) 画像処理装置および画像処理方法
JP2011091753A (ja) 撮像装置、画像処理装置およびプログラム
JP2001144972A (ja) マルチスペクトル画像収録・処理装置および画像収録・処理方法
JP5280940B2 (ja) 特定色検出回路
JP6696596B2 (ja) 画像処理システム、撮像装置、画像処理方法およびプログラム
JPH11205652A (ja) 学習するディジタル方式画像入力装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KN KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006545209

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: MX/a/2007/006105

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2005809507

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11791164

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2005809507

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11791164

Country of ref document: US

ENP Entry into the national phase

Ref document number: PI0518033

Country of ref document: BR