JPWO2006054775A1 - 外観検査装置 - Google Patents

Abstract

本発明は、撮影対象物の外観を検査する外観検査装置に関し、２次元画像と３次元画像を合成し、検出精度を向上させるものである。外観検査装置１０は、対象物の３次元画像を取得する３Ｄカメラ３０と、対象物の２次元画像を取得する２Ｄカメラ２０と、３次元画像の画素に対応する物理座標へ、当該３次元画像の画素の物理座標に対応する２次元画像の画素値を代入する第２の変換手段１６とを備える。

Description

本発明は、例えば、タイヤやタイヤ構成部品などの撮影対象物の形状画像及び色彩画像に基づき、撮影対象物の外観を検査する外観検査装置に関する。

従来、形状画像（３次元画像）を撮影するカメラ（例えば、３Ｄカメラ）と、色彩画像（２次元画像）を撮影するカメラ（例えば、２Ｄカメラ）とを用いて、対象物を撮影することが行われている。

又、同一の対象物に対して、形状画像及び色彩画像を撮影し、これらの情報を処理することにより、対象物を判断することが行われる。例えば、製品検査の一つとして、当該製品の色彩画像を取得するラインカメラと、形状画像を取得するエリアカメラを用いて撮影する装置が提案されている（例えば、特開２００１−２４９０１２号公報参照）。

上述した特開２００１−２４９０１２号公報に記載の装置は、ラインカメラによって取得した色彩画像、エリアカメラによって取得した形状画像を、それぞれ予め記憶された製品の色彩画像、形状画像と比較することにより、製品の外観及び形状の良否を判定する。

このように、色彩画像と形状画像とをそれぞれ外観、形状の判定に用いることは行われていたが、色彩画像と形状画像はそれぞれピクセル情報であり、３Ｄカメラ及び２Ｄカメラの各々の設置条件、距離、レンズの絞り、ピントなどの調整値が異なるため、これらを合成することが困難であった。

そこで、本発明は、上記の問題に鑑み、２次元画像と３次元画像を合成し、検出精度を向上させる外観検査装置を提供することを目的とする。

上記目的を達成するため、本発明の特徴は、対象物の外観を検査する外観検査装置であって、対象物の３次元画像を取得する第１の画像取得手段と、対象物の２次元画像を取得する第２の画像取得手段と、３次元画像の画素に対応する物理座標へ、当該３次元画像の画素の物理座標に対応する２次元画像の画素値を代入する変換手段とを備える外観検査装置であることを要旨とする。

又、本発明の特徴に係る外観検査装置は、３次元画像に対する、デジタル化された輝度階調のデータを任意の物理座標に変換するルックアップテーブルを予め取得する第１の基本データ取得手段と、２次元画像に対する、デジタル化された輝度階調のデータを任意の階調に補正するルックアップテーブルを予め取得する第２の基本データ取得手段とを更に備え、変換手段は、３次元画像に対するルックアップテーブルを参照して、対象物の３次元画像を画素毎に所定の物理座標へ変換し、２次元画像に対するルックアップテーブルを参照して、対象物の３次元画像の画素の所定の物理座標に対応する対象物の２次元画像の画素値を所定の物理座標へ代入してもよい。

又、本発明の特徴に係る外観検査装置において、２次元画像に対するルックアップテーブルは、３次元画像の画素の物理座標と、２次元画像の画素値とを対応付けて保持してもよい。

又、本発明の特徴に係る外観検査装置において、２次元画像に対するルックアップテーブルは、３次元画像に対するルックアップテーブルの物理座標と結びつけて取得してもよい。

又、本発明の特徴に係る外観検査装置において、２次元画像に対するルックアップテーブルは、一定間隔のライン画像を、カメラとの距離を変更する毎に複数撮影することによって得られてもよい。

図１は、本実施形態に係る外観検査装置１０の構成ブロック図である。 図２は、本実施形態に係る３次元画像におけるＬＵＴを作成するために用いる撮影対象である。 図３は、本実施形態に係る３次元画像におけるＬＵＴの一例である。 図４は、本実施形態に係る２次元画像におけるＬＵＴを作成するために用いる撮影対象である。 図５は、本実施形態に係る２次元画像におけるＬＵＴを作成する際の手順を示す模式図である。 図６は、本実施形態に係る２次元画像における画素値を説明するための図である。 図７は、本実施形態に係る２次元画像におけるＬＵＴの一例である。 図８は、本実施形態に係る２次元画像におけるＬＵＴを作成する際の手順を示す模式図である。 図９は、本実施形態に係る２次元画像におけるＬＵＴを作成する際の手順を示す模式図である。 図１０は、本実施形態に係る本実施形態に係る外観検査方法を示すフローチャートである。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。

（外観検査装置）
本発明の実施の形態に係る外観検査装置１０について、図１を用いて説明する。外観検査装置１０は、撮影対象物の表面の凹凸を表す３次元画像（形状画像）を３Ｄカメラ３０から取得し、撮影対象物の色彩（輝度）を表す２次元画像（色彩画像）を２Ｄカメラ２０から取得する。撮影対象物としては、例えば、タイヤやタイヤ部品などの製品が挙げられる。

外観検査装置１０は、３ＤＬＵＴ取得手段１１と、３Ｄ画像取得手段１２と、第１の変換手段１３と、２ＤＬＵＴ取得手段１４と、２Ｄ画像取得手段１５と、第２の変換手段１６と、判断手段１８と、記憶手段１９とを備える。

３ＤＬＵＴ取得手段１１（第１の基本データ取得手段）は、３次元画像に対するルックアップテーブル（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ：以下において、「３ＤＬＵＴ」という。）を、３Ｄカメラ３０から取得する。３ＤＬＵＴは、デジタル化された輝度階調のデータを任意の物理座標に変換するために用いられる基本データであり、カメラ毎に設定されている。対象物の画像を処理する際は、得られたデジタルデータを、３ＤＬＵＴを用いて補正して出力する。

３ＤＬＵＴは、図２に示すように、一定間隔Ｌ１×Ｌ１（例えば５×５ｍｍ）の格子を撮影し、この画像をもとに作成される。３Ｄカメラ３０によって格子を撮影すると、図２に示すように、格子が歪んで撮影される。図３に、３ＤＬＵＴの例を示す。図３では、３Ｄカメラの画素数をｍ×ｎ画素とし、図中の各マス目が、３Ｄカメラの画素に相当する。３ＤＬＵＴは、各画素に相当する物理座標（ｘ_ｉｊ，ｙ_ｉｊ）（ここで、１≦ｉ≦ｍ，１≦ｊ≦ｍ）を保持している。

３Ｄ画像取得手段１２（第１の画像取得手段）は、撮影対象物の３次元画像を、３Ｄカメラ３０から取得する。

第１の変換手段１３は、３ＤＬＵＴ取得手段１１によって得られたＬＵＴを参照して、３Ｄ画像取得手段１２によって得られた３次元画像の歪みを補正する。即ち、第１の変換手段１３は、３ＤＬＵＴを参照して、撮影対象物の３次元画像を画素毎に物理座標へ変換する。具体的には、この形状データは、（ｘ_ｉｊ，ｙ_ｉｊ）として、装置のメモリ上（例えば、記憶手段１９）にｘ，ｙ共に、浮動小数点で保持される。

２ＤＬＵＴ取得手段１４（第２の基本データ取得手段）は、２次元画像に対するＬＵＴ（以下において、「２ＤＬＵＴ」という。）を、２Ｄカメラ２０から取得する。２ＤＬＵＴは、デジタル化された輝度階調のデータを任意の階調に補正するために用いられる基本データであり、カメラ毎に設定されている。画像を処理する際は、得られたデジタルデータを、２ＤＬＵＴを用いて補正して出力する。

２ＤＬＵＴは、図４に示すように、一定間隔Ｌ１（例えば５ｍｍ）のラインを撮影し、この画像をもとに作成される。具体的には、図５に示すように、２Ｄカメラ２０から特定の距離に配置されたラインを撮影し、２次元画像に対するＬＵＴは、このときのライン位置と、当該位置に対応する２Ｄカメラの画素値とを関連付けて作成される。

２Ｄカメラ２０は、このようなライン画像を一定間隔毎に、複数撮影する。例えば、図５に示すように、ｙ方向に０の位置、１０の位置、２０の位置、３０の位置と、２Ｄカメラ２０との距離を変動させて撮影し、図７に示す２ＤＬＵＴを作成することができる。この変動させる２Ｄカメラとの距離は、３Ｄカメラ３０が撮影した格子サイズに関連させておく必要がある。

図７に、２ＤＬＵＴの例を示す。図７では、３Ｄカメラの画素数をｍ×ｎ画素とし、図中の各マス目が、３Ｄカメラの画素に相当する。２ＤＬＵＴは、３Ｄカメラの各画素に相当する物理座標と物理座標に対応する２Ｄカメラの画素値（ｘ_ｉｊ，ｙ_ｉｊ，Ｎｏ_ｉｊ）（ここで、１≦ｉ≦ｍ，１≦ｊ≦ｍ）を保持している。ここで、「Ｎｏ」とは、２Ｄカメラ２０によって得られた画像データ毎に割り振られた番号である。例えば、図５に示すように、Ａ点の物理座標がｘ方向に０、ｙ方向に１０であり、図６に示すように、Ａ点を撮影した２Ｄカメラ２０の画素に対応する位置が２である場合、２ＤＬＵＴには、（０，１０，２）という値が保持される。同様に、Ｂ点を撮影した２Ｄカメラ２０の画素に対応する位置が７であり、Ｃ点を撮影した２Ｄカメラ２０の画素に対応する位置が１２である場合、２ＤＬＵＴには、（１０，１０，７）、（２０，１０，１２）という値が保持される。

又、２Ｄカメラ２０によってライン画像を撮影する場合、図８に示すように、ラインと２Ｄカメラとの距離が小さくなればなるほど、撮影された画像のラインの間隔が大きくなる。このように、２Ｄカメラ２０は、同じ対象物であっても当該対象物との距離によって、得られる画像が異なる。

そのため、２Ｄカメラ２０は、撮影対象物を撮影する場合、図９に示すように、視点の延長線上に存在する異なる点（ここでは、Ｐ点、Ｑ点）であっても、同じＮｏ（画素に対応する位置が同じ）が得られるが、当該対象物とカメラとの距離によって得られる画像が異なるため、得られる色彩画像も異なる。

２Ｄ画像取得手段１５（第２の画像取得手段）は、撮影対象物の２次元画像を、２Ｄカメラ２０から取得する。

第２の変換手段１６は、２ＤＬＵＴ取得手段１４によって得られたＬＵＴを参照して、２Ｄ画像取得手段１５によって得られた２次元画像の歪みを補正する。又、第２の変換手段１６は、得られた２次元画像を３ＤＬＵＴの物理座標に関連させるために、３次元画像の画素の所定の物理座標に対応する２次元画像の画素値を所定の物理座標へ代入する。

判断手段１８は、第２の変換手段１６によって得られた物理座標と色彩を用いて、対象物の外観を判断する。例えば、本実施形態に係る外観検査装置１０をタイヤの外観検査に用いる場合、第２の変換手段１６によって得られた物理座標データと記憶手段１９に記憶されたタイヤの物理座標データとを比較することにより、タイヤの色彩及び形状の良否を判定する。

記憶手段１９は、対象物の物理座標データを記録する。例えば、記憶手段１９は、タイヤの種類毎に基準判定データを予め記憶する。又、記憶手段１９は、３Ｄカメラ３０から取得した３ＤＬＵＴや２Ｄカメラ２０から取得した２ＤＬＵＴを記憶する。記憶手段１９は、ＲＡＭ等の内部記憶装置を用いても良く、ハードディスクやフレキシブルディスク等の外部記憶装置を用いても良い。

（外観検査方法）
次に、本実施形態に係る外観検査方法について、図１０を用いて説明する。本実施形態に係る外観検査方法では、撮影対象物としてタイヤを用いる。

まず、対象画像を撮影する前に、外観検査装置１０は、前述した３ＤＬＵＴ及び２ＤＬＵＴを取得する。

ステップＳ１０１において、３Ｄカメラ３０及び２Ｄカメラ２０は、周方向に回転するタイヤの側面を連続的に撮影する。

次に、ステップＳ１０２において、第１の変換手段１３は、３ＤＬＵＴ取得手段１１によって得られた３ＤＬＵＴ１００を参照して、３Ｄ画像取得手段１２によって得られた３次元画像を画素毎に所定の物理座標へ変換する。このとき、外観検査装置１０は、物理座標毎に、３次元画像における画素値（形状データ）を有する。

次に、ステップＳ１０３において、第２の変換手段１６は、２ＤＬＵＴ取得手段１４によって得られた２ＤＬＵＴ２００を参照して、２次元画像の歪みを補正する。

次に、ステップＳ１０４において、第２の変換手段１６は、２ＤＬＵＴ取得手段１４によって得られた２ＤＬＵＴ２００を参照して、３次元画像の画素の所定の物理座標に対応する２次元画像の画素値を所定の物理座標へ代入する。即ち、２次元画像において、高さｙ_ｉｊのときのｘ_ｉ位置へ該当する画素値を代入する。このとき、外観検査装置１０は、物理座標毎に、３次元画像における画素値（形状データ）及び２次元画像における画素値（色彩データ）を有する。

この色彩データは、光の３原色（Ｒ，Ｇ，Ｂ）で、例えば、それぞれ８ビットずつの値で保持される。尚、物理座標毎のデータの保持形態は、（ｘ_ｉｊ，ｙ_ｉｊ，Ｎｏ）と３次元のパラメータで表されてもよく、（ｘ_ｉｊ，ｙ_ｉｊ，Ｒ，Ｇ，Ｂ）と５次元のパラメータで表されてもよい。即ち、形状データと色彩データは、何らかのパラメータで紐付けされていればよく、その保持形態は問わない。

次に、ステップＳ１０５において、判断手段１８は、第２の変換手段１６によって得られた物理座標（ｘ_ｉｊ，ｙ_ｉｊ）と色彩（Ｒ，Ｇ，Ｂ）を用いて、タイヤの外観を判断する。具体的には、第２の変換手段１６によって得られたタイヤの物理座標データと記憶手段１９に記憶されたタイヤの物理座標データとを比較することにより、タイヤの色彩及び形状の良否を判定する。

尚、ステップＳ１０１において、タイヤを撮影する際、撮影方法により光の反射等を考慮して、２Ｄカメラ２０と３Ｄカメラ３０とがタイヤ側面の周方向において、異なる位相位置に配置される場合がある。この場合、ステップＳ１０４において、第２の変換手段１６は、同位相位置において撮影された３次元画像の画素の所定の物理座標に、２次元画像の画素値を代入する。

３Ｄカメラ３０と２Ｄカメラが、対象物の異なる位置を撮影した場合、ステップＳ１０４において、第２の変換手段１６が３次元画像の物理座標へ２次元画像の画素値を代入する際に、位置の補正を行い、適正な座標へ画素値を代入する。

又、撮影する対象物の大きさが、２ＤＬＵＴ及び３ＤＬＵＴに保持される物理座標を超える場合は、新たに２ＤＬＵＴ及び３ＤＬＵＴの取得が必要となる。

（作用及び効果）
従来、２次元画像と３次元画像の合成は、カメラの角度、距離、レンズの絞り、ピントなどの調整値がそれぞれ異なるため、困難であった。

本発明の実施の形態に係る外観検査装置１０及び外観検査方法によると、３次元画像の画素に対応する物理座標へ、当該３次元画像の画素の物理座標に対応する２次元画像の画素値を代入することにより、形状データと色彩データを合成することができ、検出精度を向上させることができる。

又、本実施形態では、外観検査装置１０は、３ＤＬＵＴ取得手段１１と、２ＤＬＵＴ取得手段１４と、３ＤＬＵＴを参照して、３次元画像を画素毎に所定の物理座標へ変換する第１の変換手段１３と、２ＤＬＵＴを参照して、３次元画像の画素の所定の物理座標に対応する２次元画像の画素値を所定の物理座標へ代入する第２の変換手段１６とを備える。このように、３次元画像の物理座標を用いて、形状データと色彩データを合成することができる。

又、本実施形態において、２ＤＬＵＴは、３次元画像の画素の物理座標と、２次元画像の画素値とを対応付けて保持している。このため、２ＤＬＵＴを参照するだけで、２Ｄ画像の歪みを補正し、色彩データを３次元画像へ組み込むことができる。

又、本実施形態において、２ＤＬＵＴは、一定間隔のライン画像を、カメラとの距離を変更する毎に複数撮影することによって得られる。このように、カメラとの距離を変更したライン画像に基づいた２ＤＬＵＴを用いることにより、より精度の高い、形状データと色彩データとの合成を実現することができる。

（その他の実施の形態）
本発明は上記の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

例えば、本発明の実施の形態に係る外観検査装置１０及び外観検査方法において、２次元画像として１つの色彩画像を用いることを前提に説明を行ったが、複数の色彩画像を用いても構わない。例えば、赤色照明、青色照明等で撮影された場合、形状画像を参照することにより、合成が可能である。

このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

以上のように、本発明に係る外観検査装置は、２次元画像と３次元画像を合成することができ、検出精度を向上させることができるため、例えば、タイヤやタイヤ構成部品などの外観を検査する装置として好適に使用できる。

Claims (5)

1. 対象物の外観を検査する外観検査装置（１０）であって、
   前記対象物の３次元画像を取得する第１の画像取得手段（１２）と、
   前記対象物の２次元画像を取得する第２の画像取得手段（１５）と、
   前記３次元画像の画素に対応する物理座標へ、当該３次元画像の画素の物理座標に対応する２次元画像の画素値を代入する変換手段（１３，１６）と
   を備えることを特徴とする外観検査装置。
2. ３次元画像に対する、デジタル化された輝度階調のデータを任意の物理座標に変換するルックアップテーブルを予め取得する第１の基本データ取得手段（１１）と、
   ２次元画像に対する、デジタル化された輝度階調のデータを任意の階調に補正するルックアップテーブルを予め取得する第２の基本データ取得手段（１４）とを更に備え、
   前記変換手段は、
   前記３次元画像に対するルックアップテーブルを参照して、前記対象物の３次元画像を画素毎に所定の物理座標へ変換し、
   前記２次元画像に対するルックアップテーブルを参照して、前記対象物の３次元画像の画素の前記所定の物理座標に対応する前記対象物の２次元画像の画素値を前記所定の物理座標へ代入する
   ことを特徴とする請求項１に記載の外観検査装置。
3. 前記２次元画像に対するルックアップテーブルは、前記３次元画像の画素の物理座標と、前記２次元画像の画素値とを対応付けて保持することを特徴とする請求項２に記載の外観検査装置。
4. 前記２次元画像に対するルックアップテーブルは、前記３次元画像に対するルックアップテーブルの物理座標と結びつけて取得する請求項２又は３に記載の外観検査装置。
5. 前記２次元画像に対するルックアップテーブルは、一定間隔のライン画像を、カメラとの距離を変更する毎に複数撮影することによって得られることを特徴とする請求項２〜４のいずれか１項に記載の外観検査装置。

Images