JP5453080B2 - 画像処理方法、画像処理装置、画像処理プログラムおよび記録媒体 - Google Patents

画像処理方法、画像処理装置、画像処理プログラムおよび記録媒体 Download PDF

Info

Publication number
JP5453080B2
JP5453080B2 JP2009296229A JP2009296229A JP5453080B2 JP 5453080 B2 JP5453080 B2 JP 5453080B2 JP 2009296229 A JP2009296229 A JP 2009296229A JP 2009296229 A JP2009296229 A JP 2009296229A JP 5453080 B2 JP5453080 B2 JP 5453080B2
Authority
JP
Japan
Prior art keywords
image
density
calculated
value
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009296229A
Other languages
English (en)
Other versions
JP2011137658A (ja
Inventor
宗利 今田
裕勝 水草
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Toyo Tire Corp
Original Assignee
Sharp Corp
Toyo Tire and Rubber Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp, Toyo Tire and Rubber Co Ltd filed Critical Sharp Corp
Priority to JP2009296229A priority Critical patent/JP5453080B2/ja
Publication of JP2011137658A publication Critical patent/JP2011137658A/ja
Application granted granted Critical
Publication of JP5453080B2 publication Critical patent/JP5453080B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Tires In General (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像に含まれる周期的な線状模様を検出して除去する画像処理方法、画像処理装置、画像処理プログラムおよび記録媒体に関する。
自動車用タイヤの製法として、タイヤドラムにビード、ラジアルスチールコードおよびゴム生地を順番に巻きつけ、内側からブラダーと呼ばれるゴム風船をタイヤの形に膨らまし、金型へ押しつけて加硫する方法がある。加硫時のブラダーとタイヤとの間の空気を抜くため、ブラダーには溝が掘られており、この溝がタイヤの内表面の一部に転写される。タイヤに転写される溝は、斜め方向の線状の固定パターンであり、「ブラダーグルーブ」と呼ばれる。
加硫されたタイヤは、出荷される前に検査装置によって外観検査などの検査が行われる。外観検査では、タイヤが撮影された画像を用いて、タイヤの表面のキズ、コード露出などの欠陥を、画像処理によって検出する。従来の技術であるタイヤ検査装置では、画像処理によってタイヤを撮影した画像から、欠陥であるコード露出部分を検出する(たとえば特許文献1参照)。
特開2007−333531号公報
しかし、従来の技術では、画像処理を用いてタイヤの内側の外観検査をするとき、欠陥とブラダーグルーブとが、画像中で同じ輝度を有する場合、欠陥とブラダーグルーブとを区別することが困難であり、欠陥の検出を適切に行うことができない。
本発明の目的は、画像中のブラダーグルーブを検出し、検出したブラダーグルーブを画像中から除去する画像処理方法、画像処理装置、画像処理プログラムおよび記録媒体を提供する。
本発明は、周期的な線状の凹部または凸部からなる線状模様が表面に形成される検査対象物が撮影された第1画像に表わされる線状模様の長手方向とは異なる予め定める第1方向に並ぶ全画素の濃度値を加算平均する濃度射影変換を、第1画像に対して行って第2画像を作成する濃度射影変換工程と、
前記濃度射影変換工程で作成された第2画像に対して、前記第1方向に垂直な第2方向に並ぶ画素の濃度値をフーリエ展開するフーリエ展開工程と、
前記第1画像中に表わされる線状模様の第2方向の周期を、予め定める周期算出処理によって算出する周期算出工程と、
前記フーリエ展開工程で展開された周波数成分から、前記周期算出工程で算出された線状模様の周期を表す周波数成分を除去し、残余の周波数成分を逆フーリエ展開して第3画像を作成する逆フーリエ展開工程と、
前記逆フーリエ展開工程で作成された第3画像を表す除去済画像情報を出力する出力工程とを含み、
前記周期算出工程は、
第1画像上に予め定める矩形のテンプレート領域を設定し、テンプレート領域中の画素と、テンプレート領域を第2方向に移動させた領域中の画素との間の自己相関値を算出する自己相関値算出工程と、
前記自己相関値算出工程で算出されたテンプレート領域中の画素の自己相関値と、第2方向に予め定める間隔をあける画素の自己相関値とを差分処理して相関差分値を算出する差分処理工程と、
前記差分処理工程で算出された各相関差分値の極大位置を検出する極大位置検出工程と、
前記極大位置検出工程で検出されたテンプレート領域中の極大位置のうち、互いに隣接する各極大位置の間隔の平均値を算出する間隔算出工程と、
前記間隔算出工程で算出されたテンプレート領域中の極大位置の間隔の平均値に基づいて、第1画像中の線状模様が表す線状の凹部または凸部の合計数を算出し、算出した線状の凹部または凸部の合計数から第1画像中の線状模様の周期を算出する溝数算出工程とを含むことを特徴とする画像処理方法である。
また本発明は、前記濃度射影変換工程では、前記濃度射影変換を行う前に、前記第1画像に対して第2方向に並ぶ各画素の濃度値の照明に起因する濃度むらを是正する濃度補正を行って濃度補正済画像を作成し、濃度補正済画像に対して前記濃度射影変換を行って第2画像を作成し、
前記周期算出工程では、前記濃度射影変換工程で作成された濃度補正済画像に表わされる線状模様の第2方向の周期を算出することを特徴とする。
また本発明は、前記検査対象物は、タイヤであり、
前記線状の凹部または凸部は、タイヤを加硫したときに、ブラダーの溝によってタイヤの内表面に形成されたブラダーグルーブであることを特徴とする。
また本発明は、周期的な線状の凹部または凸部からなる線状模様が表面に形成される検査対象物が撮影された第1画像に表わされる線状模様の長手方向とは異なる予め定める第1方向に並ぶ全画素の濃度値を加算平均する濃度射影変換を、第1画像に対して行って第2画像を作成する濃度射影変換手段と、
前記濃度射影変換手段によって作成された第2画像に対して、前記第1方向に垂直な第2方向に並ぶ画素の濃度値をフーリエ展開するフーリエ展開手段と、
前記第1画像中に表わされる線状模様の第2方向の周期を、予め定める周期算出処理によって算出する周期算出手段と、
前記フーリエ展開手段によって展開された周波数成分から、前記周期算出手段によって算出された線状模様の周期を表す周波数成分を除去し、残余の周波数成分を逆フーリエ展開して第3画像を作成する逆フーリエ展開手段と、
前記逆フーリエ展開手段によって作成された第3画像を表す除去済画像情報を出力する出力手段とを含み、
前記周期算出手段は、
第1画像上に予め定める矩形のテンプレート領域を設定し、テンプレート領域中の画素と、テンプレート領域を第2方向に移動させた領域中の画素との間の自己相関値を算出する自己相関値算出手段と、
前記自己相関値算出手段で算出されたテンプレート領域中の画素の自己相関値と、第2方向に予め定める間隔をあける画素の自己相関値とを差分処理して相関差分値を算出する差分処理手段と、
前記差分処理手段で算出された各相関差分値の極大位置を検出する極大位置検出手段と、
前記極大位置検出手段で検出されたテンプレート領域中の極大位置のうち、互いに隣接する各極大位置の間隔の平均値を算出する間隔算出手段と、
前記間隔算出手段で算出されたテンプレート領域中の極大位置の間隔の平均値に基づいて、第1画像中の線状模様が表す線状の凹部または凸部の合計数を算出し、算出した線状の凹部または凸部の合計数から第1画像中の線状模様の周期を算出する溝数算出手段とを含むことを特徴とする画像処理装置である。
また本発明は、コンピュータに、前記画像処理方法を実行させるための画像処理プログラムである。
また本発明は、前記画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体である。
本発明によれば、画像処理方法は、濃度射影変換工程と、フーリエ展開工程と、周期算出工程と、逆フーリエ展開工程と、出力工程とを含む。濃度射影変換工程では、周期的な線状の凹部または凸部からなる線状模様が表面に形成される検査対象物が撮影された第1画像に表わされる線状模様の長手方向とは異なる予め定める第1方向に並ぶ全画素の濃度値を加算平均する濃度射影変換を、第1画像に対して行って第2画像を作成する。フーリエ展開工程では、濃度射影変換工程で作成された第2画像に対して、第1方向に垂直な第2方向に並ぶ画素の濃度値をフーリエ展開する。周期算出工程では、第1画像中に表わされる線状模様の第2方向の周期を、予め定める周期算出処理によって算出する。逆フーリエ展開工程では、フーリエ展開工程で展開された周波数成分から、周期算出工程で算出された線状模様の周期を表す周波数成分を除去し、残余の周波数成分を逆フーリエ展開して第3画像を作成する。出力工程では、逆フーリエ展開工程で作成された第3画像を表す除去済画像情報を出力する。
濃度射影変換工程では、第1方向に並ぶ全画素の濃度を加算平均するので、検査対象に付着したゴミなどの付着物および画像中に含まれるノイズが、第2方向に並ぶ画素の周波数に与える影響を緩和させることができる。これによって、周期算出工程では、第2画像に基づいて、線状模様の第2方向の周期を正確に算出することができる。
また周期算出工程は、自己相関値算出工程と、差分処理工程と、極大位置検出工程と、間隔算出工程と、溝数算出工程とを含む。自己相関値算出工程では、第1画像上に予め定める矩形のテンプレート領域を設定し、テンプレート領域中の画素と、テンプレート領域を第2方向に移動させた領域中の画素との間の自己相関値を算出する。差分処理工程では、自己相関値算出工程で算出されたテンプレート領域中の画素の自己相関値と、第2方向に予め定める間隔をあける画素の自己相関値とを差分処理して相関差分値を算出する。極大位置検出工程では、差分処理工程で算出された各相関差分値の極大位置を検出する。間隔算出工程では、極大位置検出工程で検出されたテンプレート領域中の極大位置のうち、互いに隣接する各極大位置の間隔の平均値を算出する。溝数算出工程では、間隔算出工程で算出されたテンプレート領域中の極大位置の間隔の平均値に基づいて、第1画像中の線状模様が表す線状の凹部または凸部の合計数を算出し、算出した線状の凹部または凸部の合計数から第1画像中の線状模様の周期を算出する。
これによって、周期算出工程では、第1画像中にテンプレート領域を設定するので、テンプレートを予め準備することなく、線状模様の合計数を正確に算出することができる。したがって、画像処理方法では、線状模様の間隔が異なる画像に対してでも、その画像中の線状模様の合計数を自動的に算出することができる。
また、ゴム製品、樹脂成型品、金属加工品などの検査対象物を画像処理によって外観検査する際、検査によって検出すべき欠陥と、周期的な線状模様、たとえばブラダーグルーブとを判別することができないことがあり、線状模様を欠陥と判定するなどの誤判定を起こすことがある。画像処理方法では、第1画像中の検査対象物に欠陥が含まれる場合であっても、検査対象物が撮影された第1画像から、周期的に形成される線状模様のみが除去された第3画像を作成することができる。これによって、画像処理による外観検査では、線状模様が除去された第3画像を用いて、精度良く欠陥を検出することができる。
また本発明によれば、濃度射影変換工程では、濃度射影変換を行う前に、第1画像に対して第2方向に並ぶ各画素の濃度値の照明に起因する濃度むらを是正する濃度補正を行って濃度補正済画像を作成し、濃度補正済画像に対して濃度射影変換を行って第2画像を作成する。周期算出工程では、濃度射影変換工程で作成された濃度補正済画像に表わされる線状模様の第2方向の周期を算出する。
第1画像では、検査対象物を撮影するときに照明光が第2方向から照射された場合、照明との距離の違いによって第2方向に並ぶ各画素に濃度むらが発生することがある。濃度射影変換工程では、第1画像中の第2方向に並ぶ各画素の濃度を補正して均一にすることができる。これによって、画像処理方法では、濃度補正済画像に基づいて、線状模様を除去した第3画像を安定して作成することができる。
また本発明によれば、検査対象物は、タイヤであり、線状の凹部または凸部は、タイヤを加硫したときに、ブラダーの溝によってタイヤの内表面に形成されたブラダーグルーブである。
これによって、画像処理方法では、タイヤが撮影された第1画像からブラダーグルーブを検出し、検出したブラダーグルーブを第1画像から除去した第3画像を作成することができる。したがって、画像処理によるタイヤの外観検査では、第3画像を用いて、タイヤの内表面の欠陥、たとえばキズおよびコード露出などを効率よく検出することができる。これによって、画像処理方法では、ゴム製品の中でも特に難易度の高いタイヤ内側の外観検査であっても、欠陥と誤認識する可能性の高いブラダーグルーブを除去して、欠陥を安定的に検出する外観検査を実現することができる。
また本発明によれば、画像処理装置は、濃度射影変換手段と、フーリエ展開手段と、周期算出手段と、逆フーリエ展開手段と、出力手段とを含んで構成される。濃度射影変換手段は、周期的な線状の凹部または凸部からなる線状模様が表面に形成される検査対象物が撮影された第1画像に表わされる線状模様の長手方向とは異なる予め定める第1方向に並ぶ全画素の濃度値を加算平均する濃度射影変換を、第1画像に対して行って第2画像を作成する。フーリエ展開手段は、濃度射影変換手段によって作成された第2画像に対して、第1方向に垂直な第2方向に並ぶ画素の濃度値をフーリエ展開する。周期算出手段は、第1画像中に表わされる線状模様の第2方向の周期を、予め定める周期算出処理によって算出する。逆フーリエ展開手段は、フーリエ展開手段によって展開された周波数成分から、周期算出手段によって算出された線状模様の周期を表す周波数成分を除去し、残余の周波数成分を逆フーリエ展開して第3画像を作成する。出力手段は、逆フーリエ展開手段によって作成された第3画像を表す除去済画像情報を出力する。
濃度射影変換手段では、第1方向に並ぶ全画素の濃度を加算平均するので、検査対象に付着したゴミなどの付着物および画像中に含まれるノイズが、第2方向に並ぶ画素の周波数に与える影響を緩和させることができる。これによって、周期算出手段では、第2画像に基づいて、線状模様の第2方向の周期を正確に算出することができる。
また、検査対象物を画像処理によって外観検査する際、検査によって検出すべき欠陥と周期的な線状模様、たとえばブラダーグルーブとを判別することができないことがあり、線状模様を欠陥と判定するなどの誤判定を起こすことがある。
画像処理装置では、第1画像中の検査対象物に欠陥が含まれる場合であっても、検査対象物が撮影された第1画像から、周期的に形成される線状模様のみが除去された第3画像を作成することができる。これによって、画像処理による外観検査では、線状模様が除去された第3画像を用いて、精度良く欠陥を検出することができる。
また本発明によれば、画像処理プログラムは、コンピュータに、画像処理方法を実行させることができる。
また本発明によれば、前記画像処理プログラムを記録したコンピュータ読取り可能な記録媒体として提供することができる。
本発明の一実施形態である画像処理装置1の構成を示すブロック図である。 入力部11の撮影装置によって撮影されたタイヤの画像の一例である取込画像21を示す図である。 入力部11の撮影装置によって撮影されたタイヤの画像の一例である取込画像22を示す図である。 本発明の一実施形態である画像処理方法の処理手順を示すフローチャートである。 濃度射影変換を説明するための画像およびグラフを示す図である。 制御部12が行う濃度射影変換を説明するための図である。 制御部12が行う回転射影変換を説明するための図である。 xとf(x)との関係を示すグラフである。 濃度射影変換した各画素の空間周波数の波形の一例を示すグラフ50である。 ブラダーグルーブ58を有する取込画像56の一例を模式的に示す図である。 ブラダーグルーブ58の空間周波数の波形を示すグラフ51である。 欠陥59を有する取込画像57の一例を模式的に示す図である。 欠陥59の空間周波数の波形を示すグラフ52である。 ブラダーグルーブ58および欠陥59を有する取込画像60の一例を模式的に示す図である。 ステップa5での処理を説明するためのフローチャートである。 ステップb2での自己相関値を求める処理を説明するための図である。 ステップb3での相関差分値の算出を説明するための図である。 図18(a)は、相関差分値の波形の一例であるグラフ81を示す図である。図18(b)は、グラフ81中の領域82を拡大して示す図である。 ステップb4〜b6までの処理を詳細に説明するためのフローチャートの一部である。 ステップb4〜b6までの処理を詳細に説明するためのフローチャートの残余である。
本発明の前提となる第1の参考例のブラダーグルーブを除去する画像処理方法の処理を示すフローチャートである。 入力部11の撮影装置によって撮影されたタイヤの画像の一例である取込画像91を示す図である。 第1の参考例の画像処理方法で処理された取込画像の空間周波数の波形を示すグラフ95である。 ステップd6の濃度射影変換のみで処理された取込画像の空間周波数の波形を示すグラフ96である。 第1の参考例の画像処理方法で処理される前の取込画像101を示す図である。 第1の参考例の画像処理方法で処理された後の取込画像102を示す図である。 本発明の前提となる第2の参考例のブラダーグルーブを除去する画像処理方法の処理を示すフローチャートである。
図1は、本発明の一実施形態である画像処理装置1の構成を示すブロック図である。画像処理装置1は、たとえばゴム、金属もしくは樹脂からなる成型品の外観検査を、画像処理を用いて検査する検査装置であり、以下、タイヤを検査する検査装置である画像処理装置1を例に説明する。本発明に係る画像処理方法は、たとえば画像処理装置1で実行される。
画像処理装置1は、入力部11、制御部12、記憶部13および出力部14を含んで構成される。入力部11は、たとえばマウスおよびキーボードなどの入力装置、ならびに照明部および撮影部からなる撮影装置を含んで構成される。入力装置は、たとえば検査の開始および終了を指示する情報、および検査の条件などの情報を入力する装置であり、入力部11は、入力装置によって入力された情報を制御部12に送る。
撮影装置は、タイヤの内側をライトなどの照明部によって照明し、照明光が照射されているタイヤ表面をカメラなどの撮影部によって撮影する。撮影装置は、タイヤの内側を1度に撮影することができないので、タイヤの内側の表面の位置を移動して順次撮影する。入力部11は、撮影装置によって撮影したタイヤの内側の表面、すなわち内表面の画像を制御部12に送る。
制御部12は、たとえば中央処理装置(Central Processing Unit;略称CPU)によって構成され、記憶部13に記憶されるプログラムを実行することによって、入力部11および出力部14を制御し、本発明に係る画像処理を行う後述する複数の機能を実現する。記憶部13は、たとえば半導体メモリあるいはハードディスク装置などによって構成される読み書き可能な記憶装置であり、制御部12で実行されるプログラムおよび制御部12で用いられる情報を記憶する。
出力部14は、情報を出力するディスプレイなどの表示装置あるいはプリンタなどの印刷装置によって構成され、制御部12から受け取る情報を出力する。あるいは、着脱可能な記録媒体への情報の読み書きが可能な記録再生装置、他の画像処理装置と情報の送受信を行う通信装置などを、入力装置兼出力装置とすることも可能である。制御部12は、画像処理を行った後、処理済画像に基づいて欠陥の有無を判定し、判定結果に基づく検査結果を出力部14に出力する。
図2は、入力部11の撮影装置によって撮影されたタイヤの画像の一例である取込画像21を示す図である。図3は、入力部11の撮影装置によって撮影されたタイヤの画像の一例である取込画像22を示す図である。矢符Aで示す方向は、第1方向である縦方向であり、タイヤの回転方向である。矢符Bで示す方向は、第2方向である横方向である。撮影装置から受け取る画像(以下「取込画像」という)は、ラインごとに配列された画素から構成され、記憶部13に記憶される。
取込画像21は、タイヤ内側の底面部を撮影した画像であり、取込画像22は、タイヤ内側の側面部を撮影した画像である。取込画像21では、縦方向の中央部の領域31を除いて、タイヤの表面にブラダーグルーブ26が形成されている。
ブラダーグルーブは、タイヤ内側の内表面に形成される周期的な線状の凹部または凸部である。タイヤが撮影された画像では、周期的な線状の凹部または凸部からなる線状模様がタイヤの内表面に形成される。以下、タイヤの表面のうち、タイヤ内側の面を内表面といい、タイヤ外側の面を外表面という。
取込画像22では、下端部を除いて、タイヤの表面にブラダーグルーブ26が形成されている。ブラダーグルーブ26は、取込画像21,22において横方向に周期的な線状模様として表われている。
図4は、本発明の一実施形態である画像処理方法の処理手順を示すフローチャートである。画像処理方法は、制御部12によって実行される。制御部12は、入力部11から画像情報を受け取ると、ステップa1に進んで処理を開始する。
ステップa2では、制御部12は、入力部11から受け取った第1画像である受取画像に対して、横方向の最小二乗法による濃度補正を行って濃度補正済画像を作成する。すなわち制御部12は、取込画像に対して第2方向である横方向に並ぶ各画素の濃度値の照明に起因する濃度むらを是正する濃度補正を行って、濃度補正済画像を作成する。
本実施形態では、照明部が横方向からタイヤに光を照射して、撮影部がタイヤを撮影する。したがって、たとえば撮影の際に照明光を右側から照射したとき、取込画像21の右端部が左端部よりも明るいなどの濃度むらが発生することがある。本ステップでの濃度補正を行うことによって、左右方向の濃度むらのない、すなわちタイヤに均一に照明光を照射したときの取込画像を作成することができる。濃度むらが発生していない取込画像に対しては、ステップa2での処理を行わなくてもよい。
横方向の最小二乗法による濃度補正は、たとえば差分を利用する式(1)または比率を使用する式(2)の補正式によって行われる。
各画素の補正濃度
=各画素濃度+指定基準濃度−最小二乗曲線で表わされる濃度 …(1)
各画素の補正濃度
=各画素濃度×指定基準濃度÷最小二乗曲線で表わされる濃度 …(2)
取込画像中の各画素の濃度を、式(1)または式(2)の補正式によって算出された各画素の補正濃度に補正する。本実施形態では、横方向の最小二乗法による濃度補正を行うけれども、他の実施形態では、照明に起因する濃度むらを補正する他の処理によって濃度補正を行ってもよい。
ステップa3では、制御部12は、第1画像または濃度補正済画像である取込画像に対して、縦方向に濃度射影変換を行って、第2画像である取込画像を作成する。ステップa2,a3は、濃度射影変換工程である。取込画像中の各画素の濃度を一定方向に加算平均する処理を「濃度射影変換」という。
図5は、濃度射影変換を説明するための画像およびグラフを示す図である。図5(a)は、濃度射影変換を説明するための画像を示す図である。図5(b)は、濃度射影変換を説明するためのグラフを示す図である。図5(a)に示す画像41において、白色部分を構成する画素の濃度値は、黒色部分を構成する画素の濃度値よりも高い値を示すものとする。画像41をx方向に走査して、x方向に並ぶ全画素の濃度値の合計数をそれぞれ算出する。図5(b)のグラフは、縦軸が図5におけるy方向の座標を示し、横軸が濃度の合計値を示す。
図6は、制御部12が行う濃度射影変換を説明するための図である。制御部12は、取込画像を第1方向に走査するので、走査方向D1は、第1方向に一致する。制御部12は、走査方向D1に並ぶ全画素の濃度の合計値を算出し、さらに算出した濃度の合計値を加算した画素の数で除して濃度の平均値を算出する。制御部12は、取込画像の全画素について走査方向D1に並ぶ画素の濃度の平均値を算出する。
図7は、制御部12が行う回転射影変換を説明するための図である。制御部12は、濃度射影変換の方向を角変位させる「回転射影変換」を行う。回転射影変換において走査する方向を走査方向D2とし、走査方向D2と走査方向D1とが成す角度を角度Aとする。シフト幅W1は、取込画像23の第1方向の上端部および下端部において、走査方向D1によって走査される画素と、走査方向D2によって走査される画素との間の寸法を示す。
制御部12は、走査方向D1で濃度射影変換を行った後、次に走査する画素を上端部では右に1画素分シフトさせ、下端部では左に1画素分シフトさせる。制御部12は、上端部と下端部とでそれぞれシフトさせた画素を結ぶ直線を走査する。このように制御部12は、角度Aが±5度の範囲で走査方向D2を角変位させる。
フーリエ展開工程であるステップa4では、制御部12は、濃度射影変換された画像に対して、第2方向に並ぶ画素の濃度値をフーリエ展開する。ある変数に対して、データを測定した結果がf(x)となったとし、たとえばf(x)は、各x座標に対する射影変換値とする。xの値の範囲は、有界であり、f(x)は無限ではない。このような場合、グラフf(x)は、0≦x≦1でf(x)が求められたとすると、式(3)によって展開することができ、この展開を「フーリエ展開」という。
F(x)=a0/2+Σ{an ×cos(n×π×x/L)+b×sin(n×π×x/L)} …(3)
ここで、nは欠陥の周波数である。Σの範囲は、n=1から無限大までであるけれども、実際にはいずれかの値で打ち切り、この値は、良品サンプルに関するデータがどこまで展開して復元できるかによって定める。
また、式(3)中のa,bは、式(4),(5)によって算出する。
a= 1/L×∫f(x)×cos(n×π×x/L)dx …(4)
b= 1/L×∫f(x)×sin(n×π×x/L)dx …(5)
ここで、積分の範囲は、−L≦x≦Lである。
式(3)は、データが0≦x≦1の範囲でf(x)が求められた場合に展開した式であるので、−1≦x<0の範囲でのf(x)の値を補充する必要がある。
図8は、xとf(x)との関係を示すグラフである。図8(a)のグラフ46は、xが0≦x≦1の範囲において、xが0のときf(x)が0であり、xが増加するに従ってf(x)が増加する関係を示す。図8(b)のグラフ47は、xが−1≦x<1の範囲において、xが−1のときf(x)が0であり、xが増加して0に近づくに従ってf(x)が増加し、xが0のときf(x)が0であり、xが0から増加するに従ってf(x)が増加する関係を示す。
図8(c)のグラフ48は、xが−1≦x≦1の範囲において、xが0のときf(x)が0であり、xが増加するに従ってf(x)が増加し、xが減少するに従ってf(x)が減少する関係を示す。図8(d)のグラフ49は、xが−1≦x<1の範囲において、xが−1のときf(x)が0であり、xが増加するに従ってf(x)が増加する関係を示す。
元のデータが0≦x≦1の範囲のときに、xとf(x)との関係がグラフ46に示す正比例の関係であれば、たとえばグラフ47またはグラフ48に示すような、−1≦x<0の範囲でのf(x)の値を補充することができる。式(3)の右辺が連続関数の和であり、グラフ47のような不連続なf(x)の値に収束しないので、グラフ48を用いてf(x)の値を補充することが好ましい。また、グラフ49に示すように、0≦x≦1の範囲でのf(x)の値を、−1≦x<1の範囲でのf(x)の値になるようにシフトさせることによって、f(x)の値を補充してもよい。
図9は、濃度射影変換した各画素の空間周波数の波形の一例を示すグラフ50である。グラフ50において、横軸は、画素の位置を示し、縦軸は、濃度値を示す。グラフ50で示される波形は、周期が1/nであり、成分強度として振幅が√(a 2+bn 2)で表わされる。
図10は、ブラダーグルーブ58を有する取込画像56の一例を模式的に示す図である。図11は、ブラダーグルーブ58の空間周波数の波形を示すグラフ51である。グラフ51において、横軸は、画素の位置を示し、縦軸は、濃度値を示す。取込画像56には、4本のブラダーグルーブ58が表わされている。ブラダーグルーブ58は、線状模様として形成され、ブラダーグルーブ58が形成される方向は、第1方向および第2方向とは異なる角度である。グラフ51は、取込画像56を濃度射影変換した各画素の空間周波数の波形を示す。グラフ51が示す波形には、ブラダーグルーブ58の数と同じ4個の極大点M1が表れている。
グラフ51でのブラダーグルーブ58の空間周波数の波形は、式(6)によって表示できる。
A+B×cos(4×π×x/L)+C×sin(4×π×x/L) …(6)
図12は、欠陥59を有する取込画像57の一例を模式的に示す図である。図13は、欠陥59の空間周波数の波形を示すグラフ52である。グラフ52において、横軸は、画素の位置を示し、縦軸は、濃度値を示す。取込画像57には、13本の欠陥59が表わされている。コード露出などの欠陥59は、線状に形成され、欠陥59が形成される方向は、第1方向である。グラフ52は、取込画像57を濃度射影変換した各画素の空間周波数の波形を示す。グラフ52が示す空間周波数の波形には、欠陥59の数と同じ13個の極大点M2が表れている。
グラフ52での欠陥59の空間周波数の波形は、式(7)によって表示できる。
D+E×cos(13×π×x/L)+F×sin(13×π×x/L) …(7)
図14は、ブラダーグルーブ58および欠陥59を有する取込画像60の一例を模式的に示す図である。取込画像60は、不良品のタイヤが撮影された画像であり、4本のブラダーグルーブ58と、13本の欠陥59とが混在している。取込画像60を濃度射影変換したデータをf(x)として、f(x)をフーリエ展開すると式(8)となる。
F(x)=a0/2+Σ(an×cos(n×π×x/L)+bn×sin(n×π×x/L)) …(8)
式(8)において、cos(13×π×x/L)およびsin(13×π×x/L)の係数a13,b13の値が欠陥59の存在を示す。
an×cosθ+bn×sinθ
=√(an 2+bn 2)[{an/√(an 2+bn 2)}×cosθ+{bn/√(an 2+bn 2)}×sinθ]
…(9)
ここで、an/√(an 2+bn 2)=α、bn/√(an 2+bn 2)=βとすると、α2+β2=1となり、α=sinφ、β=cosφとすると、式(9)は、式(10)となる。
an×cosθ+bn×sinθ=√(an 2+bn 2)(sinφ・cosθ+cosφ・sinθ)
=√(an 2+bn 2)×sin(φ+θ) …(10)
式(10)中の√(an 2+bn 2)は、図9で示したように波形の成分強度としての振幅を表す。13本の欠陥59を表すa13,b13は、欠陥59の強度と位置とで決まり、√(an 2+bn 2)が欠陥成分の振幅を表す。4本のブラダーグルーブ58を表すa13,b13は、ブラダーグルーブ58の固定パターンであるので、良品と判断する。このように、制御部12は、係数a,bをそれぞれ求める。ブラダーグルーブ58の本数の計測は、後に詳述する。
周期算出工程であるステップa5では、制御部12は、第1画像である取込画像中に線状模様として現れるブラダーグルーブの第2方向の周期を、予め定める周期算出処理によって算出する。ブラダーグルーブは、第2方向に周期的に形成され、自己相関値も周期的に変動する。したがって、濃度射影変換を行う前の取込画像から自己相関値を算出し、算出した自己相関値の変動周期、すなわち変動間隔を求めることによって、ブラダーグルーブの本数を求めることが可能である。自己相関値に基づくブラダーグルーブの本数および周期の算出については、後に図15に示すフローチャートを用いて詳述する。
逆フーリエ展開工程および出力工程であるステップa6では、制御部12は、逆フーリエ展開による縦方向濃度射影変換の再計算を行う。すなわち、制御部12は、ステップa4で展開された周波数成分から、ステップa5で算出されたブラダーグルーブの周期を表す周波数成分を除去し、残余の周波数成分を逆フーリエ展開する。
たとえば制御部12は、ブラダーグルーブよりも低周波の欠陥である凹凸形状を求めるとき、式(8)を(Σ)「0〜(ブラダーグルーブの本数−1)」の演算範囲で逆フーリエ展開する。したがって、ステップa5においてブラダーグルーブの本数がたとえば7本であると算出されると、式(8)の演算範囲は、「0〜6」までの周波数成分を逆フーリエ展開の対象とする。
制御部12は、逆フーリエ展開して作成した第3画像である取込画像を作成し、作成した取込画像を表す除去済画像情報を出力部14に渡す。出力部14は、制御部12から受取った除去済画像情報を出力して、ステップa7に進んで処理が終了する。
図15は、ステップa5での処理を説明するためのフローチャートである。制御部12が取込画像中のブラダーグルーブの数の算出を開始するとき、ステップb1に進んで処理が開始される。
自己相関値算出工程であるステップb2では、取込画像上に予め定める矩形のテンプレート領域を設定し、テンプレート領域中の画素と、テンプレート領域を第2方向に移動させた領域中の画素との間の自己相関値を算出する。
図16は、ステップb2での自己相関値を求める処理を説明するための図である。取込画像61は、第1方向の縦寸法が「H」であり、第2方向の横寸法が「W」であるとする。テンプレート領域は、第1方向の縦寸法が「H」であり、第2方向の横寸法が「W」であるとする。
制御部12は、取込画像61上の任意の位置に、矩形のテンプレート領域66を設定する。テンプレート領域66の縦寸法Hは、取込画像61の縦寸法Hと一致する。テンプレート領域66の横寸法Wは、取込画像61の横寸法Wよりも小さい。
さらに制御部12は、テンプレート領域66を第2方向に移動させた位置に、相関値算出領域67を設定する。相関値算出領域67は、テンプレート領域66と同一の寸法であり、縦寸法が「H」、横寸法が「W」である。
制御部12は、テンプレート領域66と相関値算出領域67とを重ね合わせて、各画素の相関値を算出する。相関値算出領域67の左上の画素の位置を(x,y)とし、位置(x,y)からの相対的なテンプレート領域66中の画素の位置を、(i,j)とすると、相関値算出領域67中の画素の位置は、(x+i,y+j)となる。
本実施形態では、相関値として、テンプレート領域66の画素の濃度値と、相関値算出領域67の画素の濃度値との正規化相関法を採用している。テンプレート領域66中の位置(i,j)の画素の濃度値を、T(i,j)とし、相関値算出領域67中の位置(x+i,y+j)の画素の濃度値を、I(x+i,y)+j)とする。相関値R(x,y)は、正規化相関法によって式(11)で算出される。制御部12は、相関値算出領域67を取込画像61内で第2方向に順次移動させて、相関値を算出する。
ここで、
IH:取込画像上における相関値算出領域67内の画素濃度の平均値
TH:テンプレート領域66内の画素の濃度平均値
x∈{ 0, 1, 2, ……, W-WT }、y∈{ 0, 1, 2, ……, H-HT }
i∈{ 0, 1, 2, ……, WT -1 }、j∈{ 0, 1, 2, ……, HT -1 }
とする。
式(11)に示すように、各画素濃度値から平均濃度値を引いた値の相関となっているので、取込画像の濃度が変動したとしても、相関値R(x,y)を安定して算出することができる。
式(11)を展開すると、式(12)が得られる。
ここで、「N:テンプレート領域のサイズ, N = W× H」とする。
正規化相関値R(x,y)は、−1≦R(x,y)≦1の範囲の値となり、「1」が完全一致を示し、「−1」が完全不一致、すなわち取込画像がテンプレート領域の画像の反転画像であることを示し、「0」が無相関を示す。また、正規化相関値R(x,y)は、整数表現するために、たとえば「10000」などの定数を乗じた値を、相関値として用いることがある。
また、本実施形態では、制御部12は、取込画像61内の任意の位置にテンプレート領域66を設定するけれども、他の実施形態では、たとえば取込画像61内の第2方向中央部にテンプレート領域66を設定して、相関値を算出する構成であってもよい。
差分処理工程であるステップb3では、制御部12は、ステップb2で算出した算出されたテンプレート領域中の画素の自己相関値と、第2方向に予め定める間隔をあける画素の自己相関値とを差分処理して相関差分値を算出する。具体的には、制御部12は、自己相関値R(x,y)から、式(13)を用いて相関差分値D(x,y)を算出する。
D(x,y) = R(x+Δx,y) − R(x,y) …(13)
ここで、差分幅Δxは、予め設定するパラメータ、たとえば5である。相関差分値は、自己相関値よりもフラットな値であるので、算出した相関差分値を用いて、ブラダーグルーブの本数の算出を容易かつ確実に行うことができる。
図17は、ステップb3での相関差分値の算出を説明するための図である。図17(a)は、入力部11の撮影装置によって撮影された取込画像70およびグラフ71を示す図である。図17(b)は、図17(a)内のグラフ71のみを示す図である。
取込画像70には、テンプレート領域66と、相関値算出領域を設定する領域である自己相関値計測領域72とが示されている。グラフ71には、相関差分値ピーク位置の検出に用いる閾値である相関差分値閾値73、自己相関値を示す波形74、および相関差分値を示す波形75が示される。グラフ71において、横軸は、画素の第2方向の位置を示し、縦軸は、自己相関値の値を示している。
極大位置検出工程であるステップb4では、制御部12は、ステップb3で算出された各相関差分値のピーク位置、すなわち極大位置を検出する。制御部12は、図17のグラフ71内の相関差分値閾値73のラインを上下方向に動的に変動させて、相関差分値の波形75が相関差分値閾値73のラインを超える位置を、相関差分値のピーク位置と判定する。ステップb4での処理は、後に図19に示すフローチャートを用いて詳述する。
間隔算出工程であるステップb5では、制御部12は、ステップb4で検出されたテンプレート領域中のピーク位置のうち、互いに隣接する各ピーク位置の間隔の平均値を算出する。ステップb5での処理は、後に図19に示すフローチャートを用いて詳述する。
図18(a)は、相関差分値の波形の一例であるグラフ81を示す図である。図18(b)は、グラフ81中の領域82を拡大して示す図である。グラフ81には、相関差分値の波形75、相関差分値閾値73、波形75の最大値83、ピーク位置84、および隣接するピーク位置の間隔であるピーク間隔85が示されている。グラフ81の横軸は、相関差分値を算出した位置Xであり、縦軸は、相関差分値Dである。位置Xは、第2方向の画素の位置を表す。
相関差分値閾値73は、たとえば波形の最大値83に対する閾値の比率として閾値比率を設定することによって、「(相関差分値閾値73)=(波形の最大値83)×(閾値比率)」によって算出される。
図18(b)には、ピーク位置84と、波形75が相関差分値閾値73を超えた位置である立上がり位置86と、波形75が相関差分値閾値73を下回った位置である立下がり位置87とが示されている。
制御部12は、ピーク位置84を、「(ピーク位置84)={(立上がり位置86)+(立下がり位置87)}/2」によって算出する。さらに制御部12は、複数のピーク位置84のうち、互いに隣接するピーク位置84の間隔をそれぞれ算出してピーク間隔85を求める。制御部12は、複数のピーク間隔85の平均値を算出する。
溝数算出工程であるステップb6では、制御部12は、ステップb5で算出したピーク間隔の平均値に基づいて、取込画像内のブラダーグルーブの合計本数を算出し、算出したブラダーグルーブの合計本数から取込画像中のブラダーグルーブの周期を算出する。ステップb6での処理は、後に図19に示すフローチャートを用いて詳述する。制御部12がブラダーグルーブの本数および周期を算出すると、ステップb5に進んで処理が終了する。
他の実施形態では、制御部12は、ステップb6での処理が終わった後、ステップb2に戻り、テンプレート領域66を第2方向に移動させて新たにテンプレート領域66を設定して、再びステップb3〜b6の処理を行ってもよい。テンプレート領域を移動させて、相関値を複数回算出するので、最初に設定したテンプレート領域にゴミなどの異物が付着していても、新たなテンプレート領域に異物が付着していなければ、ブラダーグルーブの本数を正確に算出することができる。したがって、制御部12は、ブラダーグルーブの本数の算出を、確実に行うことができる。
図19は、ステップb4〜b6までの処理を詳細に説明するためのフローチャートの一部である。図20は、ステップb4〜b6までの処理を詳細に説明するためのフローチャートの残余である。制御部12が相関差分値のピーク位置を検出するときに、ステップc1に進んで処理が開始される。
ステップc2では、制御部12は、相関差分値の閾値比率に初期値、たとえば100%を設定する。ステップc3では、制御部12は、相関差分値の閾値を設定する。相関差分値閾値は、「(相関差分値閾値)=(相関差分値の最大値)×(閾値比率)÷100」によって算出される。
ステップc4では、制御部12は、X軸走査位置に初期値として「0」を設定し、ピーク検出個数に初期値として「0」を設定して、記憶部13に記憶させる。ステップc5では、制御部12は、X軸方向の全画素の走査が終了したか否かを判定する。制御部12によって、X軸方向の全画素の走査が終了したと判定されると、ステップc16に進み、X軸方向の全画素の走査が終了していないと判定されると、ステップc6に進む。
ステップc6では、制御部12は、相関差分値が相関差分値閾値以上であるか否かを判定する。制御部12によって、相関差分値が相関差分値閾値以上であると判定されると、ステップc7に進み、相関差分値が相関差分値閾値よりも小さいと判定されると、ステップc15に進む。
ステップc7では、制御部12は、相関差分値が相関差分値閾値を超えた位置を、相関差分値の立上がり位置であると判定する。さらに制御部12は、相関差分値の立上がり位置のX座標の値を、記憶部13に記憶させる。ステップc8では、制御部12は、走査位置をX軸の正の方向へ1画素分移動させる。
ステップc9では、制御部12は、X軸方向の全画素の走査が終了したか否かを判定する。制御部12によって、X軸方向の全画素の走査が終了したと判定されると、ステップc16に進み、X軸方向の全画素の走査が終了していないと判定されると、ステップc10に進む。
ステップc10では、制御部12は、相関差分値が相関差分値閾値よりも小さいか否かを判定する。制御部12によって、相関差分値が相関差分値閾値よりも小さいと判定されると、ステップc12に進み、相関差分値が相関差分値閾値以上であると判定されると、ステップc11に進む。ステップc11では、制御部12は、走査位置をX軸の正の方向へ1画素分移動させる。
ステップc12では、制御部12は、相関差分値が相関差分値閾値を下回った位置を、相関差分値の立ち下がり位置であると判定する。さらに制御部12は、相関差分値の立ち下がり位置のX座標の値を、記憶部13に記憶させる。
ステップc13では、制御部12は、記憶部13に記憶される相関差分値の立上がりの位置と立ち下がりの位置とから、ピーク位置を算出する。ピーク位置は、「(ピーク位置)={(立上がり位置)+(立下がり位置)}÷2」によって算出される。
ステップc14では、制御部12は、記憶部13に記憶されるピーク検出個数を更新、すなわち算出されたピーク位置の個数を加算する。ステップc15では、制御部12は、走査位置をX軸の正の方向へ1画素分移動させる。
ステップc16では、制御部12は、記憶部13に記憶されるピーク検出個数が、規定個数、たとえば「4」以上であるか否かを判定する。制御部12によって、ピーク検出個数が規定個数以上であると判定されると、ステップc17に進み、ピーク検出個数が規定個数よりも少ないと判定されると、ステップc22に進む。
ステップc17では、制御部12は、ピーク間隔平均値を算出し、さらにピーク間隔偏差値を算出する。ステップc18では、制御部12は、ピーク間隔偏差値が偏差値上限、たとえば「5」よりも小さいか否かを判定する。制御部12によって、ピーク間隔偏差値が偏差値上限よりも小さいと判定されると、ステップc19に進み、ピーク間隔偏差値が偏差値上限以上であると判定されると、ステップc22に進む。
ステップc19では、制御部12は、ブラダーグルーブの本数を算出する。ブラダーグルーブの本数は、「(本数)=(ブラダーグルーブ本数算出領域幅)÷(ピーク間隔平均値)+0.5」によって算出される。さらに制御部12は、算出したブラダーグルーブの本数を、記憶部13に記憶させる。
ステップc20では、制御部12は、ブラダーグルーブの本数を正常に算出したと判定して、ステップc21に進んで処理が終了する。ステップc22では、制御部12は、相関差分値の閾値比率を更新する。閾値比率は、「(閾値比率)=(閾値比率)−5%」によって算出される。
ステップc23では、制御部12は、算出した閾値比率が「0」よりも大きいか否かを判定する。制御部12によって、閾値比率が「0」よりも大きいと判定されると、ステップc3に進み、閾値比率が「0」以下であると判定されると、ステップc24に進む。ステップc24では、制御部12は、エラー、すなわちブラダーグルーブの本数を算出できないと判定して、ステップc25に進んで処理が終了する。
上述した実施形態では、制御部12が記憶部13に記憶されるプログラムを実行することによって、入力部11および出力部14を制御するとともに、上述した機能を実現するが、上述した機能を実現するためのプログラムは、記憶部13に記憶されることに限定されるものではなく、コンピュータで読取り可能な記録媒体に記録されていてもよい。記録媒体は、たとえば図示しない外部記憶装置としてプログラム読取装置を画像処理装置1に設け、そこに記録媒体を挿入することによって読取り可能な記録媒体であってもよいし、あるいは他の装置の記憶装置であってもよい。
いずれの記録媒体であっても、記憶されているプログラムがコンピュータからアクセスされて実行される構成であればよい。あるいはいずれの記録媒体であっても、プログラムが読み出され、読み出されたプログラムが、記憶装置のプログラム記憶エリアに記憶されて、そのプログラムが実行される構成であってもよい。
画像処理装置1と分離可能に構成される記録媒体は、たとえば磁気テープ/カセットテープなどのテープ系の記録媒体、フレキシブルディスク/ハードディスクなどの磁気ディスクもしくはCD−ROM(Compact Disk Read Only Memory)/MO(Magneto Optical
disk)/MD(Mini Disc)/DVD(Digital Versatile Disk)/CD−R(Compact
Disk Recordable)/ブルーレイディスクなどの光ディスクのディスク系の記録媒体、IC(Integrated Circuit)カード(メモリカードを含む)/光カードなどのカード系の記録媒体、またはマスクROM/EPROM(Erasable Programmable Read Only Memory)/EEPROM(Electrically Erasable Programmable Read Only Memory)/フラッシュROMなどの半導体メモリを含む固定的にプログラムを担持する記録媒体であってもよい。
また、画像処理装置1を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムを供給してもよい。この通信ネットワークとしては、特に限定されず、たとえば、インターネット、イントラネット、エキストラネット、LAN(Local Area
Network)、ISDN(Integrated Services Digital Network)、VAN(Value Added Network)、CATV(Community Antenna Television)通信網、仮想専用網(Virtual
Private Network)、電話回線網、移動体通信網、または衛星通信網など通信ネットワークが利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、たとえば、IEEE1394、USB(Universal Serial Bus)、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDA(Infrared Data Association)あるいはリモートコントロールで用いられる赤外線、Bluetooth(登録商標)、802.11無線、HDR(High
Data Rate)、携帯電話網、衛星回線、地上波デジタル網などの無線でも利用可能である。なお、本発明は、上記プログラムが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
このように、画像処理方法は、ステップa2,a3である濃度射影変換工程と、ステップa4であるフーリエ展開工程と、ステップa5である周期算出工程と、ステップa6である逆フーリエ展開工程と、ステップa6である出力工程とを含む。濃度射影変換工程では、周期的な線状の凹部または凸部からなる線状模様が表面に形成される検査対象物が撮影された第1画像に表わされる線状模様の長手方向とは異なる予め定める第1方向に並ぶ全画素の濃度値を加算平均する濃度射影変換を、第1画像に対して行って第2画像を作成する。フーリエ展開工程では、濃度射影変換工程で作成された第2画像に対して、第1方向に垂直な第2方向に並ぶ画素の濃度値をフーリエ展開する。周期算出工程では、第1画像中に表わされる線状模様の第2方向の周期を、予め定める周期算出処理によって算出する。逆フーリエ展開工程では、フーリエ展開工程で展開された周波数成分から、周期算出工程で算出された線状模様の周期を表す周波数成分を除去し、残余の周波数成分を逆フーリエ展開して第3画像を作成する。出力工程では、逆フーリエ展開工程で作成された第3画像を表す除去済画像情報を出力する。
濃度射影変換工程では、第1方向に並ぶ全画素の濃度を加算平均するので、検査対象に付着したゴミなどの付着物および画像中に含まれるノイズが、第2方向に並ぶ画素の周波数に与える影響を緩和させることができる。これによって、周期算出工程では、第2画像に基づいて、線状模様の第2方向の周期を正確に算出することができる。
また、ゴム製品、樹脂成型品、金属加工品などの検査対象物を画像処理によって外観検査する際、検査によって検出すべき欠陥と周期的な線状模様とを判別することができないことがあり、線状模様を欠陥と判定するなどの誤判定を起こすことがある。画像処理方法では、第1画像中の検査対象物に欠陥が含まれる場合であっても、検査対象物が撮影された第1画像から、周期的に形成される線状模様のみが除去された第3画像を作成することができる。これによって、画像処理による外観検査では、線状模様が除去された第3画像を用いて、精度良く欠陥を検出することができる。
さらに、濃度射影変換工程では、濃度射影変換を行う前に、第1画像に対して第2方向に並ぶ各画素の濃度値の照明に起因する濃度むらを是正する濃度補正を行って濃度補正済画像を作成し、濃度補正済画像に対して濃度射影変換を行って第2画像を作成する。周期算出工程では、濃度射影変換工程で作成された濃度補正済画像に表わされる線状模様の第2方向の周期を算出する。
第1画像では、検査対象物を撮影するときに照明光が第2方向から照射された場合、照明との距離の違いによって第2方向に並ぶ各画素に濃度むらが発生することがある。濃度射影変換工程では、第1画像中の第2方向に並ぶ各画素の濃度を補正して均一にすることができる。これによって、画像処理方法では、濃度補正済画像に基づいて、線状模様を除去した第3画像を安定して作成することができる。
さらに、周期算出工程は、ステップb2である自己相関値算出工程と、ステップb3である差分処理工程と、ステップb4である極大位置検出工程と、ステップb5である間隔算出工程と、ステップb6である溝数算出工程とを含む。自己相関値算出工程では、第1画像上に予め定める矩形のテンプレート領域を設定し、テンプレート領域中の画素と、テンプレート領域を第2方向に移動させた領域中の画素との間の自己相関値を算出する。差分処理工程では、自己相関値算出工程で算出されたテンプレート領域中の画素の自己相関値と、第2方向に予め定める間隔をあける画素の自己相関値とを差分処理して相関差分値を算出する。極大位置検出工程では、差分処理工程で算出された各相関差分値のピーク位置を検出する。間隔算出工程では、極大位置検出工程で検出されたテンプレート領域中のピーク位置のうち、互いに隣接する各ピーク位置の間隔の平均値を算出する。溝数算出工程では、間隔算出工程で算出されたテンプレート領域中のピーク位置の間隔の平均値に基づいて、第1画像中の線状模様が表す線状の凹部または凸部の合計数を算出し、算出した線状の凹部または凸部の合計数から第1画像中の線状模様の周期を算出する。
これによって、周期算出工程では、第1画像中にテンプレート領域を設定するので、テンプレートを予め準備することなく、線状模様の合計数を正確に算出することができる。したがって、画像処理方法では、線状模様の間隔が異なる画像に対してでも、その画像中の線状模様の合計数を自動的に算出することができる。
さらに、検査対象物は、タイヤであり、線状の凹部または凸部は、タイヤを加硫したときに、ブラダーの溝によってタイヤの内表面に形成されたブラダーグルーブである。
これによって、画像処理方法では、タイヤが撮影された第1画像からブラダーグルーブを検出し、検出したブラダーグルーブを第1画像から除去した第3画像を作成することができる。したがって、画像処理によるタイヤの外観検査では、第3画像を用いて、タイヤの内表面の欠陥、たとえばキズおよびコード露出などを効率よく検出することができる。これによって、画像処理方法では、ゴム製品の中でも特に難易度の高いタイヤ内側の外観検査であっても、欠陥と誤認識する可能性の高いブラダーグルーブを除去して、欠陥を安定的に検出する外観検査を実現することができる。
さらに、画像処理装置1は、濃度射影変換手段と、フーリエ展開手段と、周期算出手段と、逆フーリエ展開手段と、出力手段とを含んで構成される。濃度射影変換手段は、周期的な線状の凹部または凸部からなる線状模様が表面に形成される検査対象物が撮影された第1画像に表わされる線状模様の長手方向とは異なる予め定める第1方向に並ぶ全画素の濃度値を加算平均する濃度射影変換を、第1画像に対して行って第2画像を作成する。フーリエ展開手段は、濃度射影変換手段によって作成された第2画像に対して、第1方向に垂直な第2方向に並ぶ画素の濃度値をフーリエ展開する。周期算出手段は、第1画像中に表わされる線状模様の第2方向の周期を、予め定める周期算出処理によって算出する。逆フーリエ展開手段は、フーリエ展開手段によって展開された周波数成分から、周期算出手段によって算出された線状模様の周期を表す周波数成分を除去し、残余の周波数成分を逆フーリエ展開して第3画像を作成する。出力手段は、逆フーリエ展開手段によって作成された第3画像を表す除去済画像情報を出力する。
濃度射影変換手段では、第1方向に並ぶ全画素の濃度を加算平均するので、検査対象に付着したゴミなどの付着物および画像中に含まれるノイズが、第2方向に並ぶ画素の周波数に与える影響を緩和させることができる。これによって、周期算出手段では、第2画像に基づいて、線状模様の第2方向の周期を正確に算出することができる。
また、ゴム製品、樹脂成型品、金属加工品などの検査対象物を画像処理によって外観検査する際、検査によって検出すべき欠陥と周期的な線状模様とを判別することができないことがあり、線状模様を欠陥と判定するなどの誤判定を起こすことがある。画像処理装置1では、第1画像中の検査対象物に欠陥が含まれる場合であっても、検査対象物が撮影された第1画像から、周期的に形成される線状模様のみが除去された第3画像を作成することができる。これによって、画像処理による外観検査では、線状模様が除去された第3画像を用いて、精度良く欠陥を検出することができる。
さらに、画像処理プログラムは、コンピュータに、画像処理方法を実行させることができる。
さらに、前記画像処理プログラムを記録したコンピュータ読取り可能な記録媒体として提供することができる。
図21は、本発明の前提となる第1の参考例のブラダーグルーブを除去する画像処理方法の処理を示すフローチャートである。本参考例の画像処理方法は、図1に示した画像処理装置1と同様の構成の画像処理装置2によって実行される。本画像処理方法は、濃度判別によるブラダーグルーブ除去方法である。これは、タイヤに凸状に形成されるブラダーグルーブに照明光を照射したとき、光と影が生じる性質を利用するものである。したがって、ブラダーグルーブは、取込画像中で最明部または最暗部となるので、閾値で識別して除去する。
画像処理装置2が、取込画像からブラダーグルーブを除去するとき、ステップd1に進んで処理が開始される。ステップd2では、制御部12は、取込画像をブラダーグルーブが形成される領域と形成されない領域とに分割する自動領域分割を行う。
図22は、入力部11の撮影装置によって撮影されたタイヤの画像の一例である取込画像91を示す図である。取込画像91には、ブラダーグルーブが形成される斜線パターン領域92,93と、ブラダーグルーブが形成されないパターン無し領域94とが示されている。
制御部12は、取込画像91中に縦長の矩形ウインドウを設定し、矩形ウインドウの左右端に近い場所から順に縦方向にラインスキャンを行う。制御部12は、ライン上の全画素の濃度値が一定値以上である場合、ブラダーグルーブが存在しないパターン無しラインと判定し、スキャンを停止する。
ステップd3では、制御部12は、斜線パターン領域92,93の最小濃度点を算出する。制御部12は、斜線パターン領域92,93中の画素の1ラインを縦方向にスキャンして、1ライン中の複数の画素のうち、最小濃度画素を算出する。
ステップd4では、制御部12は、ブラダーグルーブの傾き角度を検出する。具体的には、制御部12は、最小濃度点を通過するラインを引き、ライン上の画素の濃度値の和を算出する。さらに制御部12は、最小濃度点を軸としてラインを角変位させ、濃度値の和が最小となる最小濃度和ラインの角度を求めて、この角度をブラダーグルーブの傾き角度とする。
ステップd5では、制御部12は、ブラダーグルーブである斜線を、斜線パターン領域92,93から消去する。制御部12は、最小濃度和ラインの画素の平均濃度を算出し、式(14)によって最小濃度和ラインの画素の濃度を補正する。
補正後の画素の濃度=各画素濃度×指定濃度÷ライン平均濃度 …(14)
ここで、指定濃度は、予め設定される濃度値であって、たとえば150である。
ステップd6では、制御部12は、縦方向濃度射影変換を行い、ステップd7に進んで処理が終了する。縦方向濃度射影変換は、図4で示したフローチャートのステップa3と同様に処理される。
図23は、第1の参考例の画像処理方法で処理された取込画像の空間周波数の波形を示すグラフ95である。図24は、ステップd6の濃度射影変換のみで処理された取込画像の空間周波数の波形を示すグラフ96である。グラフ95,96の横軸は画素の位置、縦軸は濃度値を示す。
グラフ95,96には、取込画像を横方向に並ぶ各画像の濃度を表す波形97である。波形97には、ブラダーグルーブを示す領域98と、タイヤ表面に凹状に形成される凹欠陥を示す領域99とを有する。グラフ95は、グラフ96よりも、ブラダーグルーブを示す領域98中の波形97の振幅が小さい。したがって、参考例の画像処理方法のステップd2〜d6の処理によって、ブラダーグルーブが除去されたことがわかる。
図25は、第1の参考例の画像処理方法で処理される前の取込画像101を示す図である。図26は、第1の参考例の画像処理方法で処理された後の取込画像102を示す図である。取込画像101には、複数のブラダーグルーブ103が鮮明に表れている。これに対して、取込画像102では、ブラダーグルーブが除去されている。
本参考例の画像処理方法では、タイヤが撮影された画像中において、最小濃度点がブラダーグルーブの端であるという条件の場合に、取込画像からブラダーグルーブを除去することができる。これに対して、本発明の一実施形態の画像処理方法では、前記条件とは異なる場合、すなわち最小濃度点がブラダーグルーブの端ではない場合においても、取込画像中からブラダーグルーブを確実に除去することができる。
図27は、本発明の前提となる第2の参考例のブラダーグルーブを除去する画像処理方法の処理を示すフローチャートである。本参考例の画像処理方法は、図1に示した画像処理装置1と同様の構成の画像処理装置3によって実行される。本画像処理方法は、ハフ(Hough)変換による直線検出除去方法である。本画像処理方法は、ブラダーグルーブが曲線でも局所エリアでは直線である性質と、断続的な直線であってもハフ変換では直線検出できる性質とを利用している。取込画像中のブラダーグルーブのみを2値化した後、ハフ変換で直線検出し、検出方向の濃度補正によって、ブラダーグルーブを除去する。
画像処理装置3が、取込画像からブラダーグルーブを除去するとき、ステップe1に進んで処理が開始される。ステップe2では、制御部12は、取込画像に対して、横方向最小二乗法による濃度補正を行う。この横方向最小二乗法による濃度補正は、図4で示したフローチャートのステップa2と同様に式(1)または式(2)を用いて処理される。
ステップe3では、制御部12は、2値化処理によって取込画像中のブラダーグルーブを選別する。2値化処理においては、ブラダーグルーブのみ2値化できるように、閾値を設定する。この閾値は、後のハフ変換を考慮し、断続的であってもブラダーグルーブのみを2値化できる値とする。
ステップe4では、制御部12は、ハフ変換を行って最多投票直線を検出する。ハフ変換とは、いくつかの点が線状に分布しているとき、この各点である候補点に従って、元の直線を検出する手法である。x−y座標系のある1点(xi,yi)が与えられたとき、それを通る全ての直線群は、極座標系では、式(15)で表わされる。
ρ=xi cosθ+yi sinθ …(15)
このとき、点(xi,yi)を固定すれば、その点を通る直線群が、θ−ρ空間では1本の曲線となる。この曲線を全ての候補点に対して描き、これらの曲線が最も多く交わる点(ρ00)を見つけると、式(16)として1本の直線を特定することができる。
ρ0=xi cosθ0+yi sinθ0 …(16)
このように、式(16)で表わされる直線上の各点を結ぶと、当てはめる直線成分となる。
ステップe5では、制御部12は、斜め方向の最小二乗法による濃度補正を行う。
この斜め方向の最小二乗法による濃度補正は、図4で示したフローチャートのステップa2と同様に式(1)または式(2)を用いて処理される。
ステップe6では、制御部12は、縦方向濃度射影変換を行い、ステップe7に進んで処理が終了する。縦方向濃度射影変換は、図4で示したフローチャートのステップa3と同様に処理される。
本参考例の画像処理方法では、ステップe2での濃度補正によって、ステップe3での2値化を安定させて、最終的に取込画像中からブラダーグルーブを除去することができる。しかし、タイヤの内表面には様々な状態があるので、本参考例の画像処理方法では、ステップe3での2値化を安定して行うことができないことがある。これに対して、本発明の一実施形態の画像処理方法では、様々な状態のタイヤ内表面の取込画像に対しても、ブラダーグルーブを確実に除去することができる。
1,2,3 画像処理装置
11 入力部
12 制御部
13 記憶部
14 出力部

Claims (6)

  1. 周期的な線状の凹部または凸部からなる線状模様が表面に形成される検査対象物が撮影された第1画像に表わされる線状模様の長手方向とは異なる予め定める第1方向に並ぶ全画素の濃度値を加算平均する濃度射影変換を、第1画像に対して行って第2画像を作成する濃度射影変換工程と、
    前記濃度射影変換工程で作成された第2画像に対して、前記第1方向に垂直な第2方向に並ぶ画素の濃度値をフーリエ展開するフーリエ展開工程と、
    前記第1画像中に表わされる線状模様の第2方向の周期を、予め定める周期算出処理によって算出する周期算出工程と、
    前記フーリエ展開工程で展開された周波数成分から、前記周期算出工程で算出された線状模様の周期を表す周波数成分を除去し、残余の周波数成分を逆フーリエ展開して第3画像を作成する逆フーリエ展開工程と、
    前記逆フーリエ展開工程で作成された第3画像を表す除去済画像情報を出力する出力工程とを含み、
    前記周期算出工程は、
    第1画像上に予め定める矩形のテンプレート領域を設定し、テンプレート領域中の画素と、テンプレート領域を第2方向に移動させた領域中の画素との間の自己相関値を算出する自己相関値算出工程と、
    前記自己相関値算出工程で算出されたテンプレート領域中の画素の自己相関値と、第2方向に予め定める間隔をあける画素の自己相関値とを差分処理して相関差分値を算出する差分処理工程と、
    前記差分処理工程で算出された各相関差分値の極大位置を検出する極大位置検出工程と、
    前記極大位置検出工程で検出されたテンプレート領域中の極大位置のうち、互いに隣接する各極大位置の間隔の平均値を算出する間隔算出工程と、
    前記間隔算出工程で算出されたテンプレート領域中の極大位置の間隔の平均値に基づいて、第1画像中の線状模様が表す線状の凹部または凸部の合計数を算出し、算出した線状の凹部または凸部の合計数から第1画像中の線状模様の周期を算出する溝数算出工程とを含むことを特徴とする画像処理方法。
  2. 前記濃度射影変換工程では、前記濃度射影変換を行う前に、前記第1画像に対して第2方向に並ぶ各画素の濃度値の照明に起因する濃度むらを是正する濃度補正を行って濃度補正済画像を作成し、濃度補正済画像に対して前記濃度射影変換を行って第2画像を作成し、
    前記周期算出工程では、前記濃度射影変換工程で作成された濃度補正済画像に表わされる線状模様の第2方向の周期を算出することを特徴とする請求項1に記載の画像処理方法。
  3. 前記検査対象物は、タイヤであり、
    前記線状の凹部または凸部は、タイヤを加硫したときに、ブラダーの溝によってタイヤの内表面に形成されたブラダーグルーブであることを特徴とする請求項1または2に記載の画像処理方法。
  4. 周期的な線状の凹部または凸部からなる線状模様が表面に形成される検査対象物が撮影された第1画像に表わされる線状模様の長手方向とは異なる予め定める第1方向に並ぶ全画素の濃度値を加算平均する濃度射影変換を、第1画像に対して行って第2画像を作成する濃度射影変換手段と、
    前記濃度射影変換手段によって作成された第2画像に対して、前記第1方向に垂直な第2方向に並ぶ画素の濃度値をフーリエ展開するフーリエ展開手段と、
    前記第1画像中に表わされる線状模様の第2方向の周期を、予め定める周期算出処理によって算出する周期算出手段と、
    前記フーリエ展開手段によって展開された周波数成分から、前記周期算出手段によって算出された線状模様の周期を表す周波数成分を除去し、残余の周波数成分を逆フーリエ展開して第3画像を作成する逆フーリエ展開手段と、
    前記逆フーリエ展開手段によって作成された第3画像を表す除去済画像情報を出力する出力手段とを含み、
    前記周期算出手段は、
    第1画像上に予め定める矩形のテンプレート領域を設定し、テンプレート領域中の画素と、テンプレート領域を第2方向に移動させた領域中の画素との間の自己相関値を算出する自己相関値算出手段と、
    前記自己相関値算出手段で算出されたテンプレート領域中の画素の自己相関値と、第2方向に予め定める間隔をあける画素の自己相関値とを差分処理して相関差分値を算出する差分処理手段と、
    前記差分処理手段で算出された各相関差分値の極大位置を検出する極大位置検出手段と、
    前記極大位置検出手段で検出されたテンプレート領域中の極大位置のうち、互いに隣接する各極大位置の間隔の平均値を算出する間隔算出手段と、
    前記間隔算出手段で算出されたテンプレート領域中の極大位置の間隔の平均値に基づいて、第1画像中の線状模様が表す線状の凹部または凸部の合計数を算出し、算出した線状の凹部または凸部の合計数から第1画像中の線状模様の周期を算出する溝数算出手段とを含むことを特徴とする画像処理装置。
  5. コンピュータに、請求項1〜のいずれか1つに記載の画像処理方法を実行させるための画像処理プログラム。
  6. 請求項に記載の画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
JP2009296229A 2009-12-25 2009-12-25 画像処理方法、画像処理装置、画像処理プログラムおよび記録媒体 Active JP5453080B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009296229A JP5453080B2 (ja) 2009-12-25 2009-12-25 画像処理方法、画像処理装置、画像処理プログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009296229A JP5453080B2 (ja) 2009-12-25 2009-12-25 画像処理方法、画像処理装置、画像処理プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2011137658A JP2011137658A (ja) 2011-07-14
JP5453080B2 true JP5453080B2 (ja) 2014-03-26

Family

ID=44349225

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009296229A Active JP5453080B2 (ja) 2009-12-25 2009-12-25 画像処理方法、画像処理装置、画像処理プログラムおよび記録媒体

Country Status (1)

Country Link
JP (1) JP5453080B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6750303B2 (ja) * 2016-05-23 2020-09-02 住友ゴム工業株式会社 タイヤの欠陥検出方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4419980B2 (ja) * 2006-04-20 2010-02-24 横河電機株式会社 歪補正方法及び歪補正装置
JP5025442B2 (ja) * 2007-12-10 2012-09-12 株式会社ブリヂストン タイヤ形状検査方法とその装置

Also Published As

Publication number Publication date
JP2011137658A (ja) 2011-07-14

Similar Documents

Publication Publication Date Title
JP6795993B2 (ja) 形状測定システム、形状測定装置及び形状測定方法
TWI475186B (zh) A tire shape detecting method and a tire shape detecting device
JP6307367B2 (ja) マスク検査装置、マスク評価方法及びマスク評価システム
US7440605B2 (en) Defect inspection apparatus, defect inspection method and program
TWI412739B (zh) 缺陷檢測方法及缺陷檢測裝置
JP5421192B2 (ja) ひび割れ検出方法
JP2011141260A (ja) タイヤ形状検査方法、及びタイヤ形状検査装置
JP4206723B2 (ja) 画像処理方法および画像処理装置
CN112070766B (zh) 缺陷检测方法及装置、检测设备及可读存储介质
US7352901B2 (en) Contour inspection method and apparatus
JP4279833B2 (ja) 外観検査方法及び外観検査装置
JP5453080B2 (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび記録媒体
JP2006098217A (ja) 画像検査装置、画像検査方法及び画像検査プログラム
JP2010145145A (ja) 回路パターン検査装置および検査方法およびテストパターン
JP2006155579A (ja) 画像処理方法および画像処理装置
JP2008249413A (ja) 欠陥検出方法および装置
KR20160097651A (ko) 유효화 영상처리기법을 이용한 시료의 패턴 검사 장치 및 방법, 그리고 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP5377276B2 (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび記録媒体
JP5373593B2 (ja) 画像処理方法、画像処理装置、プログラムおよび記録媒体
JP5448798B2 (ja) 画像処理方法、画像処理装置、プログラムおよび記録媒体
JP5452035B2 (ja) 欠陥検査方法および欠陥検査装置
JP5157575B2 (ja) 欠陥検出方法
JP2010091360A (ja) 画像検査方法および画像検査装置
JP2007081513A (ja) 固体撮像素子のシミ欠陥検査方法
JP5373592B2 (ja) 画像処理方法、画像処理装置、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140106

R150 Certificate of patent or registration of utility model

Ref document number: 5453080

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250