JP5564348B2 - 画像処理装置及び外観検査方法 - Google Patents

画像処理装置及び外観検査方法 Download PDF

Info

Publication number
JP5564348B2
JP5564348B2 JP2010160711A JP2010160711A JP5564348B2 JP 5564348 B2 JP5564348 B2 JP 5564348B2 JP 2010160711 A JP2010160711 A JP 2010160711A JP 2010160711 A JP2010160711 A JP 2010160711A JP 5564348 B2 JP5564348 B2 JP 5564348B2
Authority
JP
Japan
Prior art keywords
image
distance
pixel
gradation
gray value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010160711A
Other languages
English (en)
Other versions
JP2012021909A (ja
Inventor
和人 佐伯
泰平 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2010160711A priority Critical patent/JP5564348B2/ja
Publication of JP2012021909A publication Critical patent/JP2012021909A/ja
Application granted granted Critical
Publication of JP5564348B2 publication Critical patent/JP5564348B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、ワークをカメラで撮像して、得られた画像データを用いて計測処理を実行する画像処理装置及び外観検査方法に関する。
工場など数多くの生産現場では、人の目視に頼っていた検査を自動化・高速化する画像処理装置が導入されている。画像処理装置は、ベルトコンベア等の生産ラインを流れてくるワークをカメラによって撮像し、得られた画像データを用いて所定領域のエッジ検出や面積計算などの計測処理を実行する。そして、計測処理の処理結果に基づいて、ワークの欠け検出やアライメントマークの位置検出などの検査を行い、ワークの欠けや位置ずれの有無を判定する判定信号を出力する。このように、画像処理装置は、FAセンサの一つとして利用されることがある。
FAセンサとして用いられる画像処理装置が計測処理の対象とする画像は、主に、高さ情報を含まない2次元画像である。そのため、上述したワークの欠け検出についていえば、欠けた部分の2次元形状を安定的に検出することは得意であるが、傷の凹み具合など、2次元画像としては現れにくい3次元形状を安定的に検出することは困難である。例えば、検査時にワークを照らす照明の種類や照明方向を工夫して、傷の凹みに起因する陰影を検出して、間接的に3次元形状を検出することも考えられるが、2次元画像の中で常に明瞭な陰影が検出されるとは限らない。不明瞭な陰影が検出されたときに不良品を良品と誤って判定する誤判定を防ぐために、例えば判定閾値を安全側に偏らせると、検査タクトの悪化を招く虞もある。
そこで、カメラの受光光量に応じた濃淡値を画素値とする濃淡画像だけでなく、カメラとワークまでの距離に応じた濃淡値を画素値とする距離画像(例えば特許文献1参照)を用いた外観検査が考えられる。特許文献1に開示された計測装置は、強度が周期的に変化する強度変調光をワークが存在する対象空間に照射して、光検出素子の各感光部で受光した受光光量から、ワークの距離画像を生成している。このような距離画像を上述した外観検査に利用することによって、傷の凹みを安定的に検出できる可能性がある。
特開2006−153771号公報
しかしながら、距離画像を利用した外観検査を行おうとすると、計測処理の処理負荷が重くなって、メモリ資源を効率的に活用できない虞がある。例えば、半円柱の曲面部分など凹凸のあるワークの外観検査を考えた場合、想定される傷や打痕などの欠陥の深さが浅くても(例えば数十μm)、ワークの凹凸の高さを考慮した上で(例えば数mm)、各画素のダイナミックレンジを確保しなければならない。計測処理の処理対象として、ダイナミックレンジの広い(大きい)画像データを扱わなければならないとなると、その画像データを用いて各種計測処理を実行する際にメモリ資源を効率的に活用できない。
一方で、メモリ資源の有効活用を考慮すれば、最初からダイナミックレンジの狭い(小さい)距離画像を生成し、この画像データを後段の各種計測処理の処理対象にすることも考えられる。しかし、ダイナミックレンジの狭い距離画像を生成するとなると、低い分解能しか確保することができないため、浅くて小さな傷の欠陥検出が困難になり、検出精度の低下に繋がる虞がある。
なお、ワークを流すコンベアの機械的振動によって計測面全体が上下にぶれるとき、或いは、円柱形状のワークを回転させてその外周面を検査する場合に、回転芯のぶれによってワークディスタンスが変化するようなとき等にも、上述した問題と同様の問題が生ずる。
本発明は、以上の点に鑑みてなされたものであり、その目的は、距離画像を用いて外観検査を行う際に、メモリ資源の効率的な活用と検出精度の低下を防ぐことが可能な画像処理装置及び外観検査方法を提供することにある。
本発明に係る画像処理装置は、ワークを撮像するカメラを有し、カメラから取得した画像に基づいてワークの良否を判定する画像処理装置において、カメラから取得した画像を用いて、カメラからワーク表面までの距離を算出する距離算出手段と、各画素が、算出された距離に応じた第1の階調の濃淡値を有する距離画像を生成する距離画像生成手段と、生成された距離画像の一部又は全部の画素の濃淡値から予め定められた立体形状情報に基づく値を差し引いて差分画像を求める立体形状情報削減手段と、階調数が第1の階調よりも少ない第2の階調の画像を取り扱うとともに、差分画像から特徴量を算出する特徴量算出手段と、算出された特徴量に基づいて、ワークの良否を判定する判定手段と、を備える。
すなわち、生成された距離画像の一部又は全部の画素の濃淡値から予め定められた立体形状情報に基づく値を差し引いて差分画像を求め、階調数が第1の階調よりも少ない第2の階調の画像を取り扱うとともに差分画像から特徴量を算出し、算出された特徴量に基づいてワークの良否を判定し、判定信号を出力する画像処理装置で、特徴量を算出する際に、階調数が第1の階調よりも少ない第2の階調の画像を取り扱うようにしているので、メモリ資源を効率的に活用することができる。また、距離画像を生成する段階では、例えば小さな傷などの欠陥も検出できる程のダイナミックレンジを確保し、差分画像を求める段階で、欠陥に関する情報がなるべく欠落しないように、距離画像の一部又は全部の画素の濃淡値から立体形状情報に基づく値を差し引くことによって、欠陥の検出精度の低下を防ぐことができる。
ここで、「立体形状情報に基づく値(例えば濃淡値)」は、ワークの立体形状情報を示すような濃淡値であれば、如何なる値であっても構わない。例えば、欠陥のない(又は欠陥がないと仮定可能な)ワークの立体形状が現れた画像における各画素の濃淡値であってもよい。また、例えば傾斜面を有するワーク固有の立体形状情報が、1次式(濃淡値=係数×画素位置)で現すことができる場合、ワークの立体形状情報に基づく濃淡値を、この1次式から求めてもよい。また、例えば放物曲面を有するワーク固有の立体形状情報が、2次式(濃淡値=係数×画素位置×画素位置)で現すことができる場合、ワークの立体形状情報に基づく濃淡値を、この2次式から求めてもよい。
さらに、複数枚の距離画像から平均距離画像(ワークの概形が現れた画像)を求め、その平均距離画像における各画素の濃淡値を、ワークの立体形状情報に基づく濃淡値としてもよい。その他、ワークの立体形状情報を示す値であれば、如何なる値であってもよい。なお、「予め定められた」とは、差分画像を求める際に(時点で)定められていれば(画像処理装置に記憶されていれば)、どのタイミングで定められてもよい。例えば、上述した1次式が、予め画像処理装置に記憶されていてもよいし、或いは、上述した平均距離画像が、差分画像を求める際(直前)に記憶されていてもよい。
また、本発明に係る画像処理装置において、特徴量算出手段は、差分画像の各画素の濃淡値のうち第2の階調数以上の濃淡値が存在する場合、第2の階調数以上の濃淡値を第2の階調数より小さい濃淡値に変換して、各画素の濃淡値が変換された差分画像から特徴量を算出するような構成としてもよい。これにより、特徴量算出手段が、より確実に第2の階調の画像を取り扱うことができる。
また、本発明に係る画像処理装置において、差分画像の各画素の濃淡値のうち第2の階調数以上の濃淡値が存在する場合、第2の階調数以上の濃淡値を第2の階調で表すことが可能な最大濃淡値に変換することにより、各画素の濃淡値が変換された差分画像から特徴量を算出するような構成としてもよい。これにより、第2の階調数以上の濃淡値を第2の階調で表すことが可能な最大濃淡値に変換する、という比較的簡易かつ処理負荷の軽い画像処理によって、特徴量算出手段が、より確実に第2の階調の画像を取り扱うことができる。
また、本発明に係る画像処理装置において、差分画像の各画素の濃淡値が第2の階調数より小さい濃淡値に制限されるように差分画像を圧縮する差分画像圧縮手段を有し、特徴量算出手段は、差分画像圧縮手段により圧縮された差分画像から特徴量を算出するような構成としてもよい。これにより、特徴量算出手段は、第2の階調数以上の濃淡値を当該第2の階調数より小さい濃淡値に変換する機能を有していない場合であっても、第2の階調の画像を取り扱うことができる。
以上説明したように、本発明によれば、距離画像を用いて外観検査を行う際に、メモリ資源の効率的な活用と検出精度の低下を防ぐことができる。
本発明の実施の形態に係る画像処理装置を含む画像システムのシステム構成例を示す図である。 距離画像の一例を示す説明図である。 本実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。 本実施形態に係る画像処理装置の機能構成例を示すブロック図である。 形状情報削減手段によって、距離画像のダイナミックレンジが狭くなる様子を説明するための説明図である。 形状情報削減手段によって、距離画像のダイナミックレンジが狭くなる様子を説明するための説明図である。 形状情報削減手段によって、距離画像のダイナミックレンジが狭くなる様子を説明するための説明図である。 形状情報削減手段によって、距離画像のダイナミックレンジが狭くなる様子を説明するための説明図である。 図4に示すビット数削減手段の機能を概念的に説明するための説明図である。 図4に示すビット数削減手段の機能を具体的な数値を例に挙げながら説明するための説明図である。 本実施形態に係る画像処理装置の処理動作を示すフローチャートである。 画像処理装置において図11に示す処理動作が行われたときの様子を示す具体例である。 画像処理装置において図11に示す処理動作が行われたときの様子を示す具体例である。 本発明の他の実施形態(第2実施形態)として、画像処理装置において変換テーブルを使うときの機能構成例を示す図である。 第2実施形態におけるビット数削減手段の機能を説明するための説明図である。 変換テーブルの一例である。 変換テーブルの一例である。 変換テーブルの一例である。 本発明の他の実施形態(第3実施形態)として、基準距離画像として平均距離画像を使うときの機能構成例を示す図である。 本発明の他の実施形態(第4実施形態)として、画像処理装置に補正手段を設けたときの機能構成例を示す図である。 本発明の他の実施形態(第4実施形態)に係る画像処理装置の処理動作を示すフローチャートである。
以下、本発明の実施の形態に係る画像処理装置について、図面に基づいて具体的に説明する。
[システム構成]
図1は、本発明の実施の形態に係る画像処理装置10を含む画像システム1のシステム構成例を示す図である。図1に示す画像システム1は、エッジ検出や面積計算などの計測処理を実行する画像処理装置10と、ワーク(検査対象物)を撮像するカメラ30と、液晶パネル等のモニタ40と、ユーザがモニタ40上で各種操作するためのコンソール50と、ワークを照らす照明装置60と、を有している。カメラ30、モニタ40、コンソール50、及び照明装置60は、画像処理装置10と着脱可能に接続される。これらのうち照明装置60は、距離画像(詳細は後述する)を生成するためにワークを照らす照明手段として用いられ、例えば、ワークに対してライン状のレーザ光を投光する光投影器であってもよいし、ワークに正弦波縞模様パターンを投影するためのパターン投影器であってもよい。図1では省略するが、明視野照明や暗視野照明を行うための一般的な照明装置が別途設けられてもよい(照明装置60に、一般的な照明装置としての機能をもたせることも可能である)。
画像処理装置10は、カメラ30から得られた画像データを用いて画像処理を実行し、外部接続されたPLC(Programmable Logic Controller)70などの制御機器に対し、ワークの良否などの判定結果を示す信号として判定信号を出力する。
カメラ30は、PLC70から入力される制御信号、例えばカメラ30から画像データを取り込むタイミングを規定する撮像トリガ信号に基づいて、検査対象物の撮像を行う。モニタ40は、検査対象物を撮像して得られた画像データや、その画像データを用いた計測処理の結果を表示するための表示装置である。一般に、ユーザは、モニタ40を視認することによって、画像処理装置10の動作状態を確認することができる。コンソール50は、モニタ40上でフォーカス位置を移動させたり、メニュー項目を選択したりするための入力装置である。
また、画像処理装置10は、画像処理装置10の制御プログラムを生成するためのPC80を接続することもでき、このPC80上で動作するソフトウェアによって、画像処理の処理順序を規定する処理順序プログラムを生成することができる。画像処理装置10では、その処理順序に沿って各画像処理が順次実行される。PC80と画像処理装置10とは、通信ネットワークを介して接続されており、PC80上で生成された処理順序プログラムは、例えばモニタ40の表示態様を規定するレイアウト情報などとともに、画像処理装置10に転送される。また逆に、画像処理装置10から処理順序プログラムやレイアウト情報などを取り込んで、PC80上で編集することもできる。なお、この処理順序プログラムは、PC80だけでなく、画像処理装置10においても生成できるようにしてもよい。
[距離画像の生成]
図1に示すカメラ30と照明装置60を利用することで得られる「距離画像」とは、ワークを撮像するカメラ30から、ワークまでの距離に応じて各画素の濃淡値が変化する画像をいう。換言すれば、カメラ30からワークまでの距離に基づいて濃淡値が決定される画像ともいえるし、ワークまでの距離に応じた濃淡値を有する多値画像ともいえるし、或いは、ワークの高さに応じた濃淡値を有する多値画像ともいえる。さらに、濃淡画像の画素ごとに、カメラ30からの距離を濃淡値に変換した多値画像ともいえる。例えば、図2(a)に示すように、半径の異なる円柱が2段重なったようなワークの距離画像を考える。ワークの最上面Sとカメラ30までの距離はlであり、ワークの中段面Sとカメラ30までの距離はlであり、ワークの載置面Sとカメラ30までの距離はlであり、ワークの高さはL(=l−l)である。このようなワークから、例えば図2(b)に示すような距離画像を得ることができる。図2(b)によれば、ワークの最上面Sが最も濃く(例えば黒色)、ワークの載置面Sが最も薄く(例えば白色)、ワークの中段面Sがこれらの中間色(例えば灰色)となっている。すなわち、ワークとカメラ30までの距離l,l,l(l<l<l)に応じて、最上面S,中段面S,載置面Sという順番で各画素の濃淡値が小さくなっている。このように、距離画像では、カメラ30からワークまでの距離に応じて各画素の濃淡値が変化する。
距離画像を生成するための手法としては、大きく分けて2つの方式があり、一つは、通常の画像を得るための照明条件で撮像した画像を用いて距離画像を生成するパッシブ方式(受動計測方式)、もう一つは、高さ方向の計測をするために光を能動的に照射して距離画像を生成するアクティブ方式(能動計測方式)である。パッシブ方式の代表的な手法は、ステレオ計測法である。これは、カメラ30を2台用意し、これら2台のカメラを所定の位置関係で配置するだけで距離画像を生成できることから、濃淡画像を生成するための一般的な画像システムを利用して距離画像を生成でき、システム構築コストを抑制することができる。しかし、ステレオ計測法では、一方のカメラによって得られる画像中の一点が、他方のカメラによって得られる画像中のどの点に対応しているのかを決定しなければならず、いわゆる対応点の決定処理に時間が掛かるという問題がある。また、計測位置は対応点のみであり、全画素ではないことから、この点においても外観検査の高速化には向かない。一方で、アクティブ方式の代表的な手法は、光切断法とパターン投影法である。光切断法は、上述したステレオ計測法において、一方のカメラを光投影器に置き換えて、ワークに対してライン状のレーザ光を投光し、物体表面の形状に応じたライン光の像の歪み具合からワークの3次元形状を復元する。光切断法は、対応点の決定が容易であるため、ステレオ計測法と比べてある程度、計測処理の高速化が期待できる。しかし、それでも1回の計測で1ライン分しか計測できないため、全画素の計測値を得ようとすると、レーザ光の投光を複数回行う必要があり、且つ、対象物又はカメラを走査しなければならず、高速化に限界がある。パターン投影法は、ワークに投影された所定パターンの形状や位相などをずらして複数枚の画像を撮像し、撮像した複数枚の画像を解析することでワークの3次元形状を復元するものである。パターン投影法には幾つか種類があり、正弦波縞模様パターンの位相をずらして複数枚(最低3枚以上)の画像を撮像し、複数枚の画像から画素ごとに正弦波の位相を求め、求めた位相を利用してワーク表面上の3次元座標を求める位相シフト法や、2つの規則的なパターンが合成されるときに生じる一種の空間周波数のうなり現象を利用して3次元形状を復元するモアレポトグラフィ法などが代表的である。
本実施形態に係る画像処理装置10では、上述した位相シフト法によって距離画像を生成することとしている。これにより、外観検査の高速化に資することができる。なお、本発明は、位相シフト法によって距離画像を生成することに限られず、位相シフト法以外の上述した方法によって距離画像を生成しても構わない。また、上述した方法以外の方法、例えば光レーダ法(タイムオブフライト)、合焦点法、共焦点法、白色光干渉法など、距離画像を生成するために考え得る如何なる手法を採用しても構わない。
[ハードウェア構成]
図3は、本実施形態に係る画像処理装置10のハードウェア構成例を示すブロック図である。図3に示すように、画像処理装置10は、各種プログラムに基づき数値計算や情報処理を行うとともに、ハードウェア各部の制御を行う主制御部11を有している。主制御部11は、例えば、中央演算処理装置としてのCPU11aと、主制御部11が各種プログラムを実行する際のワークエリアとして機能するRAMなどのワークメモリ11bと、起動プログラムや初期化プログラムなどが格納されたROM,フラッシュROM,又はEEPROMなどのプログラムメモリ11cとを有している。
また、画像処理装置10は、上述した距離画像を生成するために、ワークに対して正弦波縞模様パターンを位相ずらして投影するための照明制御部12と、カメラ30での撮像により得られた画像データを取り込むASIC(Application Specific Integrated Circuit)などから構成される画像入力部13と、コンソール50からの操作信号が入力される操作入力部14と、液晶パネル等のモニタ40に対して画像を表示させる表示用DSPなどから構成される表示制御部15と、外部のPLC70やPC80などと通信可能に接続される通信部16と、エッジ検出や面積計算などの計測処理を実行する演算用DSPなどから構成される画像処理部17と、を有している。なお、画像入力部13には、画像データをバッファリングするためのフレームバッファが含まれていてもよく、画像処理部17には、計測処理用に画像データを記憶するメモリが含まれていてもよく、表示制御部15には、画像を表示させる際に画像データを一時記憶するVRAMなどのビデオメモリが含まれていてもよい。これらの各ハードウェアは、バスなどの電気的な通信路(配線)を介し、通信可能に接続されている。
主制御部11内のプログラムメモリ11cには、照明制御部12、画像入力部13、操作入力部14、表示制御部15、通信部16、及び画像処理部17の各部を、CPU11aのコマンド等により制御するための制御プログラムが格納されている。また、上述した処理順序プログラム、すなわち、PC80において生成され、PC80から転送されてきた処理順序プログラムは、プログラムメモリ11cに格納される。
通信部16は、外部のPLC70に接続されたセンサ(光電センサ等)でトリガ入力があったときに、PLC70から撮像トリガ信号を受信するインターフェース(I/F)として機能する。また、PC80から転送されてくる画像処理装置10の画像処理プログラムやモニタ40の表示態様を規定するレイアウト情報などを受信するインターフェース(I/F)としても機能する。
主制御部11のCPU11aは、通信部16を介してPLC70から撮像トリガ信号を受信すると、画像入力部13に対して撮像指令(コマンド)を送る。また、処理順序プログラムに基づいて、画像処理部17に対して、実行すべき画像処理を指示するコマンドを送信する。なお、撮像トリガ信号を生成する装置として、PLC70ではなく、光電センサなどのトリガ入力用のセンサを、通信部16に直接接続することができるようにしてもよい。
操作入力部14は、ユーザの操作に基づきコンソール50からの操作信号を受信するインターフェース(I/F)として機能する。モニタ40には、コンソール50を用いたユーザの操作内容が表示される。具体的に説明すると、コンソール50には、モニタ40上に表示されるカーソルを上下左右に移動させる十字キー、決定ボタン、又はキャンセルボタンなどの各部品が配置されており、これらの各部品を操作することによって、ユーザはモニタ40上で、画像処理の処理順序を規定するフローチャートを作成したり、各画像処理のパラメータ値を編集したり、基準領域の設定をしたり、基準登録画像を編集したりすることができる。
画像入力部13は、画像データの取り込みを行う。具体的には、例えばCPU11aからカメラ30の撮像指令を受信すると、カメラ30に対して画像データ取り込み信号を送信する。そして、カメラ30で撮像が行われた後、撮像して得られた画像データを取り込む。取り込んだ画像データは、一旦バッファリング(キャッシュ)され、予め用意しておいた画像変数に代入される。なお、「画像変数」とは、数値を扱う通常の変数と異なり、対応する画像処理ユニットの入力画像として割り付けることで、計測処理や画像表示の参照先となる変数をいう。
画像処理部17は、画像データに対する計測処理を実行する。具体的には、まず画像入力部13が上述した画像変数を参照しつつ、フレームバッファから画像データを読み出して、画像処理部17内のメモリへ内部転送を行う。そして、画像処理部17は、そのメモリに記憶された画像データを読み出して、計測処理を実行する。
表示制御部15は、CPU11aから送られてきた表示指令(表示コマンド)に基づいて、モニタ40に対して所定画像(映像)を表示させるための制御信号を送信する。例えば、計測処理前又は計測処理後の画像データを表示するために、モニタ40に対して制御信号を送信する。また、表示制御部15は、コンソール50を用いたユーザの操作内容をモニタ40に表示させるための制御信号も送信する。
[機能構成]
図4は、本実施形態に係る画像処理装置10の機能構成例を示す図である。
図4に示すように、画像処理装置10は、上述したCPU11aやプログラムメモリ11cに格納された各種プログラムなどによって、ソフトウェア的に各手段を実現可能な構成となっている。具体的には、画像処理装置10は、距離画像生成手段110と、立体形状情報削減手段120と、基準距離画像登録手段130と、特徴量算出手段140と、判定手段150と、判定信号出力手段160と、を有している。
距離画像生成手段110は、ワークを撮像するカメラ30からワークまでの距離に応じて各画素の濃淡値が変化する距離画像を生成する手段である。例えば、図3に示す主制御部11並びに照明制御部12及び画像入力部13等によって具現化することができる。生成された距離画像は、上述した画像入力部13のフレームバッファに記憶してもよいし、他のメモリに記憶してもよい。また、位相シフト法を採用して距離画像を生成する本実施形態では、照明制御部12が、ワークに対して正弦波縞模様パターンを位相ずらして投影するように、照明60を制御し、画像入力部13が、それに応じて正弦波縞模様パターンの位相がずれた画像を複数枚撮像するように、カメラ30を制御する。そして、画像入力部13は、複数枚の画像から画素ごとに正弦波の位相を求め、求めた位相を利用して距離画像を生成する。なお、本実施形態では画像入力部13が距離画像の生成処理を行うようにしているが、例えば図3に示す主制御部11や画像処理部17などが距離画像の生成処理を担うこともできる。
立体形状情報削減手段120は、距離画像生成手段110により生成された距離画像に含まれるワーク固有の形状情報を削減するために、生成された距離画像の一部又は全部の画素について、それぞれ予め定められた立体形状情報に基づく濃淡値との差分を求める手段である。本実施形態に係る画像処理装置10では、距離画像生成手段110により生成された距離画像と、良品のワークを撮像したときの距離画像とみなす基準距離画像との差分画像を算出するようにしている。これにより、距離画像のダイナミックレンジを狭くすることができる。ダイナミックレンジとは、一般に、各画素の画素値(濃淡値)のうち、最大の画素値と最小の画素値の比率をいう。或いは、場合によっては、各画素の画素値(濃淡値)のうち、最大の画素値から最小の画素値を減算して得られる値(範囲)をいうこともある。
図5〜図8は、立体形状情報削減手段120によって、距離画像のダイナミックレンジが狭くなる様子を説明するための説明図である。
図5(a)は、図2(b)に示す距離画像において、中段面Sに小さな傷(凹み)からなる欠陥Xが形成されている様子を示している。図5(b)は、図2(a)に示すワークであって、良品のワークを撮像したときの距離画像とみなす基準距離画像である。図5(a)に示す距離画像と図5(b)に示す基準距離画像との差分画像を算出すると、図5(c)に示すような差分画像が得られる。この差分画像では、欠陥Xが浮き彫りになっていることが分かる。図6(a)〜図6(c)は、図5(a)〜図5(c)の各々の距離画像に対するヒストグラムを示している。図6(a)及び図6(b)に示すヒストグラムでは、最上面Sを示す山と載置面Sを示す山とが離れており、ダイナミックレンジAは広い。なお、図6(a)において、中段面Sを示す山と載置面Sを示す山との間に、欠陥Xを示す山が現れている(山の大きさ等は便宜的なものであり、概略である)。
一方で、図6(c)を見ると、最上面S、中段面S、載置面Sそれぞれを明確に示す山がなくなり、左の方に大きな山が1つ現れている(上記同様、山の大きさ等は便宜的なものであり、概略である)。また、図6(a)で示した欠陥Xの山は、その大きな山の近傍に移動している(左にシフトしている)。図6(c)に示すヒストグラムにおけるダイナミックレンジBは、図6(a)に示すヒストグラムにおけるダイナミックレンジAよりも、明らかに狭くなっている。つまり、距離画像のダイナミックレンジが狭くなっている様子が分かる。
別の例で説明すると、図7(a)は、傾斜面を有するワークをカメラ30で撮像するケースであって、傾斜面の一部に、窪みからなる欠陥Yが形成されている様子を示している。図7(b)は、図7(a)のケースにおける距離画像である。図7(b)は、図7(a)のケースにおける基準距離画像である。図7(b)に示す距離画像と図7(c)に示す基準距離画像との差分画像を算出すると、図7(d)に示すような差分画像が得られる。この差分画像では、欠陥Yが浮き彫りになっていることが分かる。図8(a)〜図8(c)は、図7(b)〜図7(d)の各々の距離画像に対するヒストグラムを示している。図8(a)及び図8(b)に示すヒストグラムは、ワークの形状に応じて台形形状の山になっており、図8(a)におけるヒストグラムの中央付近には、欠陥Yを示す凸部が現れている。
一方で、図8(c)を見ると、台形形状の山がなくなり、左の方に大きな山が1つ現れている。また、図8(a)で示した欠陥Yの凸部は、その大きな山の近傍に移動している。図8(c)に示すヒストグラムにおけるダイナミックレンジB’は、図8(a)に示すヒストグラムにおけるダイナミックレンジA’よりも、明らかに狭くなっている。つまり、距離画像のダイナミックレンジが狭くなっている様子が分かる。このように、図5〜図8を用いて説明したように、立体形状情報削減手段120によって、距離画像のダイナミックレンジを狭くすることができる。なお、立体形状情報削減手段120は、例えば、図3に示す主制御部11及び画像入力部13等によって具現化することができる。ここで算出された差分画像は、画像入力部13のフレームバッファに記憶してもよいし、他のメモリに記憶してもよい。
ここで、「基準距離画像」は、良品のワークを撮像したときの距離画像とみなすことが可能な基準距離画像として、ユーザが事前に登録しておいたものである。基準距離画像を使用可能な構成にすることにより、画像処理装置10のユーザビリティを増すことができる。事前に登録する手法は幾つかあり、例えば、ユーザがモニタ40を見ながらコンソール50を使って所定の操作をすることで、一の距離画像を基準距離画像として登録してもよいし、或いは、ユーザがPC80上で一の距離画像を基準距離画像として登録しておき、その情報を画像処理装置10に転送するようにしてもよい。なお、図4に示す基準距離画像登録手段130は、主制御部11並びにコンソール50,操作入力部14,モニタ40,及び表示制御部15等によって具現化することもできるし、或いは、主制御部11及びPC80等によって具現化することもできる。登録された基準距離画像は、画像入力部13のフレームバッファに記憶してもよいし、他のメモリに記憶してもよい。
図4に戻って、特徴量算出手段140は、距離画像生成手段110によって生成される距離画像の各画素の濃淡値が有する階調を第1の階調としたとき、階調数が、この第1の階調よりも少ない第2の階調の画像を取り扱うとともに、立体形状情報削減手段120により算出された差分画像から特徴量を算出する手段である。例えば、図3に示す主制御部11及び画像処理部17等によって具現化することができる。ここで、特徴量算出手段140が「第1の階調よりも少ない第2の階調の画像」を取り扱うことができるのは、主として、上述したように差分画像のダイナミックレンジが狭くなっているからである(図5〜図8参照)。したがって、例えば特徴量算出手段140が第2の階調の画像しか取り扱うことができない場合であっても、距離画像生成手段110により距離画像を生成する段階では、第2の階調よりも多い第1の階調の画像を取り扱うことができる。その結果、距離画像を生成する際に高い分解能を確保することができ、ひいては検出精度の低下を防ぐことができる。例えば、特徴量算出手段140が8ビット(256階調)の画像しか扱えない場合において、濃淡値が300の画素を有する画像が特徴量算出手段140に入力されると、画素値がオーバーフローしてしまい、濃淡値は44(=300−256)になってしまう。本実施形態では、立体形状情報削減手段120によって、このようなオーバーフローが生じることを防止している。また、他の例について説明すると、対象画素の濃淡値と周囲の画素の濃淡値を加算して、加算された値を周囲の画素数+1(対象画素の分)の画素数で割った値を対象画素の濃淡値とする平均化処理を考えた場合、処理対象としての距離画像のダイナミックレンジが広いと、周囲の画素の濃淡値を加算したときに一時的にオーバーフローしてしまう可能性がある(16ビットの数値しか扱えない場合に、65536以上の数値になってしまう可能性がある)。そのため、メモリ資源を効率的に活用できているとはいい難い。このようなオーバーフローを防ぐために、距離画像の画像データを格納するメモリとして、大容量のメモリを搭載することも考えられるが、装置の製造コストが嵩んでしまう。そこで、本実施形態では、立体形状情報削減手段120によって、特徴量を算出する際、階調数が第1の階調よりも少ない第2の階調の画像を取り扱うことを可能としているので、ダイナミックレンジが狭くなり、濃淡値が一時的にオーバーフローする可能性が低くなり、メモリ資源を効率的に活用することができる。
なお、距離画像から基準距離画像を差し引く際に、XY方向に正確に位置決め(或いは位置決め補正)がなされていれば、差分画像は、ほとんどのケースで第1の階調より少ない第2の階調の画像になると考えられる。しかし、位置決め誤差等によって、差分画像の全ての画素において、常に、第2の階調の画像の画素値になるとは限らない。そこで、本実施形態では、特徴量算出手段140は、差分画像の各画素の濃淡値のうち第2の階調数以上の濃淡値が存在する場合、第2の階調数以上の濃淡値を第2の階調で表すことが可能な最大濃淡値に変換することにより、各画素の濃淡値が変換された差分画像から特徴量を算出するようにしている。例えば、特徴量算出手段140が256階調(濃淡値は0〜255)の画像を取り扱うことが可能な場合に、濃淡値が300の画素があった場合、その画素は255に変換する。このような変換を行うことで、特徴量算出手段140はエラーを出すことなく正常に画像処理を行うことができる。なお、ここでは最大濃淡値に変換するようにしているが、255より小さい数であっても構わない。要は、各画素について、第2の階調数以上の濃淡値を第2の階調数より小さい濃淡値に変換すれば足りる。また、本実施形態では特徴量算出手段140に上述した変換機能を持たせているが、必ずしも上述した変換機能を持たせる必要はない。例えば、後述する図14に示す変形例のように、特徴量算出手段140が差分画像を取り扱う前に、差分画像の各画素の濃淡値が第2の階調数より小さい濃淡値に制限されるように差分画像を圧縮するような構成にしてもよい。
さらに、本実施形態では、特徴量算出手段140はビット数削減手段140aを有する構成にしている。ビット数削減手段140aは、立体形状情報削減手段120により算出された差分画像の各画素の濃淡値がとり得る範囲を2進数で表現したときのビットの数を削減する手段である。換言すれば、立体形状情報削減手段120により算出された差分画像の情報量を圧縮する手段である。さらに換言すれば、差分画像の各画素の濃淡値が取り得るレンジを第1の階調に対応する第1のレンジから第2の階調に対応する第2のレンジに制限するために、差分画像の各画素の濃淡値をビット表現したときのビット数を減らす手段である。圧縮された差分画像は、画像入力部13のフレームバッファに記憶してもよいし、他のメモリに記憶してもよい。差分画像の圧縮の詳細については、[差分画像の圧縮]において後述する。
判定手段150は、形状情報が削減された距離画像を用いて画像処理を実行して、ワークの良否を判定する手段である。本実施形態では、ビット数削減手段140aにより圧縮された差分画像を用いて、画像処理を実行してワークの良否を判定している。例えば、図3に示す主制御部11及び画像処理部17等によって具現化することができる。この判定手段150によって判定された判定結果は、判定信号出力手段160を通じて判定信号として外部機器(PLC70等)に出力される。したがって、判定手段150は、例えば、図3に示す主制御部11及び通信部16等によって具現化することができる。このように、本実施形態では、形状情報削減手段120において、生成された距離画像から差分画像を算出しておき、ビット数削減手段140aにおいて、その差分画像を圧縮し、圧縮して得られた差分画像を、判定手段150による画像処理の実行対象としている。これにより、距離画像を用いて外観検査を行う際に、処理負荷の増大と、検出精度の低下との双方を防ぐことができる。
[差分画像の圧縮]
図9は、図4に示すビット数削減手段140aの機能を概念的に説明するための説明図である。図10は、図4に示すビット数削減手段140aの機能を具体的な数値を例に挙げながら説明するための説明図である。
図9では、距離画像生成手段110によって生成された距離画像と、基準距離画像登録手段130によって登録された基準距離画像との各画素の濃淡値を2進数で表現すると、16ビットで表現される。そして、立体形状情報削減手段120によって、各画素について濃淡値の差分を算出しても、差分画像は16ビットで表現される画像のままである。ここで、距離画像と基準距離画像の差分を算出した場合には、浅くて小さな傷の欠陥情報は、下位8ビットに集約されるため、ビット数削減手段140aにより、例えば上位8ビットを削減する。これにより、検出精度の低下を防ぎつつ、差分画像の情報量を大きく圧縮することができる。つまり、ビット数削減手段140aが、差分画像の各画素の濃淡値をビット表現したときのビットのうち上位半分のビットを減らすことにより、検出精度の低下を防ぎつつ、差分画像の情報量を大きく圧縮することができる。
図10を用いてより具体的に説明すると、距離画像の任意画素の濃淡値が3390であるとすると、2進数では“0000110100111110”と表現される。また、基準距離画像の任意画素に対応する画素の濃淡値が3371であるとすると、2進数では“0000110100101011”と表現される。そして、差分画像は、3390−3371=19となり、2進数では“0000000000010011”と表現される。このとき、浅くて小さな傷の欠陥情報を示す19は、2進数で表現すると下位5ビットに集約されている。したがって、上位8ビットを削減したとしても、検出精度の低下を防ぎつつ、差分画像の情報量を大きく圧縮することができる。つまり、小さい傷などの欠陥情報を残しつつ、距離画像のもつ情報量を圧縮することができる。
なお、図9及び図10では、画像入力部13において上位8ビットを削減して情報量を圧縮したが、例えば、上位8ビットを無視して情報量を圧縮してもよい。すなわち、例えば画像入力部13において下位8ビットを抽出して新たな256階調の画像を生成し、それを新たな差分画像として定義してもよい。要は、処理として所定ビットのデータを消去する処理の有無は問わない。
[処理動作]
図11は、本実施形態に係る画像処理装置10の処理動作を示すフローチャートである。図11に示すように、まず、距離画像の生成処理が行われる(ステップS1)。具体的には、距離画像生成手段110が、カメラ30と照明60とを用いて距離画像を生成する。次いで、差分画像の算出処理が行われる(ステップS2)。具体的には、立体形状情報削減手段120が、基準距離画像を用いて形状情報を削減する。次いで、差分画像の圧縮処理が行われる(ステップS3)。具体的には、ビット数削減手段140aが、差分画像のビット数を削減して、情報量を圧縮する。次いで、判定手段150が、各種計測処理を行い(ステップS4)、ワークが良品であるか否かを判定する(ステップS5)。判定信号出力手段160は、判定手段150によってワークが良品であると判定された場合には(ステップS5:YES)、判定信号としてOK信号をPLC70に出力し、判定手段150によってワークが良品でない(不良品である)と判定された場合には(ステップS5:NO)、判定信号としてNG信号をPLC70に出力する。
図12及び図13は、画像処理装置10において図11に示す処理動作が行われたときの様子を示す具体例である。図12では、静止した円柱状のワークが検査対象であり(図12(a)参照)、図13では、回転する円柱状のワークが検査対象である(図13(a)参照)。
図12(a)では、マスクMにより抽出される領域が検査領域である。つまり、ユーザが、モニタ40やコンソール50を用いて、検査領域を設定することが可能である。上述した図11のステップS1によって、この検査領域から得られる距離画像が、図12(b)に示す距離画像である。図12(b)では、中央付近が黒いため、検査領域の中央付近がカメラ30に近く、両端付近が白いため、検査領域の両端付近がカメラ30から遠いことが分かる。つまり、円柱形状又は半円柱形状のワークであることが分かる。また、図12(b)では、欠陥らしきものは見当たらない。しかし、上述した図11のステップS2によって、ワーク固有の形状情報を削減するために差分画像を算出すると、図12(c)に示すような差分画像が得られる。図12(c)によれば、中央付近に小さな線状のゴミZが付着していることが分かる。これにより、上述した図11のステップS5〜ステップS7によってワークは不良品であると認識することが可能になる。また、ビット数削減手段140aによって、差分画像のビット数は削減されているため、上述したステップS4における各種計測処理の際、メモリ資源を効率的に活用することができる。また、ビット数が少ない差分画像を扱うことで、画像処理の処理負荷の軽減に資することもできる。また、
別の例について説明すると、図13では、円柱状のワークが回転しており、回転軸に芯ずれが生じているため、図13(a)及び図13(b)に示すように、カメラ30とワークまでの距離がhになったり、h’(>h)になったり変動する。図13(a)及び図13(b)のケースにおいて、上述したステップS1によって得られる距離画像は、それぞれ図13(c)及び図13(d)に示す距離画像である。
ここで、図13(d)は、全体的に各画素の濃淡値が小さく、ほぼ白い距離画像となっているが、これは、カメラ30とワークまでの距離が、hよりも大きなh’になったことが要因である。このように、回転軸に芯ずれが生じているときには、適切な距離画像を得られないことがある。しかし、本実施形態に係る画像処理装置10によれば、立体形状情報削減手段120によって、(カメラ30とワークまでの距離を含む)ワーク固有の形状情報を削減することができるので、上述した図11のステップS2の処理により、図13(a)及び図13(b)のケースにおいて、それぞれ図13(e)及び図13(f)の差分画像を得ることができる。図13(f)によれば、小さな線状の窪みなどの欠陥Zが形成されていることが分かる。これにより、上述した図11のステップS5〜ステップS7によってワークは不良品であると認識できる。
[変形例]
図14は、本発明の他の実施形態(第2実施形態)として、画像処理装置10において変換テーブルを使うときの機能構成例を示す図である。図14では、差分画像の各画素の濃淡値が第2の階調数より小さい濃淡値に制限されるように差分画像を圧縮する差分画像圧縮手段180が別途設けられている。さらに、本変形例では、この差分画像圧縮手段180に、図4で説明したビット数削減手段140aの機能ももたせている。ビット数削減手段140aは、形状情報が削減された距離画像の各画素の濃淡値がとり得る範囲を、そのとり得る範囲よりも狭い範囲に対応付けるための変換特性に基づいて、ビットの数を削減するようにしている。また、変換特性を示す変換テーブルは、変換特性記憶手段170に記憶されており、ビット数削減手段140aは、変換特性記憶手段170から読み出した変換テーブルに基づいて、ビットの数を削減するようにしている。すなわち、変換特性記憶手段170は、変換前の画像の濃淡値が有する第1の階調と、変換後の画像の濃淡値が有する第2の階調とを対応付けるための変換特性を示す変換テーブルを記憶しており、ビット数削減手段140aは、変換特性記憶手段170から読み出した変換テーブルに基づいて、ビットの数を削減するようにしている。なお、変換特性記憶手段170は、画像処理装置10内の各メモリ又はフレームバッファによって具現化することができる。
図15は、第2実施形態におけるビット数削減手段140aの機能を説明するための説明図である。本実施形態では、図15に示すように、16ビットの差分画像を8ビットの差分画像に圧縮する際、単純に上位8ビットを削減するのではなく(図9参照)、図16〜図18に示す各変換テーブルのいずれかを用いてビット数を削減している。図16〜図18では、横軸は変換前の各画素の濃淡値Iiを示し、縦軸は変換後の各画素の濃淡値Ioを示している。
図16(a)〜図16(c)では、変換特性を示す曲線の傾きが1から次第に小さくなっている(傾きを略1以下にすることで、データ圧縮を行うことができる)。すなわち、明るい側の分解能を下げている。これにより、ダイナミックレンジを圧縮しながら、小さい傷などの欠陥情報が欠落するのを防ぎ、ひいては外観検査精度の低下を防ぐことができる。つまり、変換前の各画素の濃淡値を横軸とし、変換後の各画素の濃淡値を縦軸としたとき、変換曲線の傾きが次第に小さくなるように構成されることで、小さい傷などの欠陥情報が欠落するのを防ぎつつ、外観検査精度の低下を防ぐことができる。具体的には、対数変換を行ったり(図16(a)参照)、逆ガンマ変換を行ったり(図16(b)参照)、折れ線による変換を行ったりすることが考えられる(図16(c)参照)。
図17(a)〜図17(b)では、変換特性を示す曲線の傾きが次第に大きくなっている。すなわち、暗い側の分解能を下げている。これにより、ダイナミックレンジを圧縮しながら、大きい凹みなどの欠陥情報が欠落するのを防ぐことができる。なお、小さい傷などの欠陥情報が欠落する可能性があるが、大きい凹みを検出したいユーザにとっては、本変換特性をもつ変換テーブルを採用することは有益である。具体的には、ガンマ変換を行ったり(図17(a)参照)、折れ線による変換を行ったりすることが考えられる(図17(b)参照)。
図18(a)〜図18(b)では、変換特性を示す曲線の傾きが一旦次第に大きくなった後、次第に小さくなっている。すなわち、暗い側の分解能と、明るい側の分解能とを下げている。これにより、ダイナミックレンジを圧縮しながら、中くらいの凹みなどの欠陥情報が欠落するのを防ぐことができる。なお、非常に小さい傷や非常に大きい傷などの欠陥情報が欠落する可能性があるが、中くらいの凹みを検出したいユーザにとっては、本変換特性をもつ変換テーブルを採用することは有益である。具体的には、シグモイド関数による変換を行ったり(図18(a)参照)、折れ線による変換を行ったりすることが考えられる(図18(b)参照)。
なお、図16〜図18では、変換後の各画素の濃淡値が飽和しないように圧縮するための変換テーブルについて説明した。変換テーブルを用いることで、圧縮処理の処理負荷を軽減することができる。ただし、変換テーブルを用いなくても圧縮処理を行うことは可能である。例えば、あえて飽和させるようにしてもよい。すなわち、変換後の各画素の濃淡値が0より小さい値になれば、0を設定し、これが最大値より大きい値になれば、最大値を設定してもよい。また、レンジオーバーが生じたことをPLC70等に報知するようにしてもよい。例えば、画像データレンジをビット数で表現できるレンジ−1とし、0又はレンジの最大値を、レンジオーバー値として用いることも考えられる。また、レンジオーバーフラグ画像のようなものを作成してもよい。
図19は、本発明の他の実施形態(第3実施形態)として、基準距離画像として平均距離画像を使うときの機能構成例を示す図である。図19では、形状情報削減手段120は、距離画像生成手段110で生成された距離画像と、平均距離画像生成手段190で生成された距離画像とを使って、形状情報の削減を行う。具体的には、平均距離画像生成手段190は、距離画像生成手段110によって生成された複数枚の距離画像に基づいて、各画素について複数枚の距離画像の平均値からなる平均距離画像を基準距離画像として生成する。これにより、基準距離画像の登録を行わなくても、立体形状情報の削減を行うことができる。つまり、欠陥のある不良品の距離画像の比率は、全体のうち凡そ数%である実情を考慮して、基準距離画像の登録処理を行わなくても、実用的に耐え得る精度を維持しながら、形状情報を削減することができる。また、ユーザは基準距離画像の登録の手間を省くことができ、画像処理装置の利便性を高めることができる。なお、平均値を求める際に、基準領域を設定しておき、基準領域内の平均値を求めて平均距離画像を生成してもよい。
図20は、本発明の他の実施形態(第4実施形態)として、画像処理装置10に補正手段190を設けたときの機能構成例を示す図である。図20では、形状情報削減手段120によって形状情報が削減された差分画像に対し、シフトスパン調整など所定の補正を行っている。これにより、差分画像の距離分解能やレンジを調整することが可能になる。図21は、本発明の他の実施形態(第4実施形態)に係る画像処理装置10の処理動作を示すフローチャートである。図21によれば、距離画像が生成され(ステップS11)、差分画像が算出された後(ステップS12)、上述したシフトスパン調整が行われる(ステップS13)。その後は、上述した図11のステップS3〜ステップS7と同様の処理(ステップS14〜ステップS18)が行われる。
なお、上述した実施形態では、いずれも形状情報削減手段120は基準距離画像との差分画像の算出を行うようにしたが、本発明はこれに限定される趣旨ではない。例えば画像入力部13(図3)において、生成された距離画像の高周波成分を低減させ、生成された距離画像と、高周波成分が低減された距離画像との差分画像を算出することも可能である。高周波成分を低減させ、傾斜又は緩やかな凹凸変化の影響を取り除く手法としては、ガウシアンフィルタ等のローパスフィルタをかけることが考えられる。また、動的なシェーディング補正を加えてもよい。或いは、凹凸変化が周期的なものであれば、フーリエ変換によって周波数空間へ変換し、所定の値以上の強度がある周波数成分を除去した後(高周波成分の値を0にした後)、逆フーリエ変換により元の画像空間へ戻すことも考えられる。これにより、ユーザはワーク固有の形状情報を予め画像処理装置に登録させておかなくてもよいため、使い勝手を向上させることができる。
また、例えば画像処理装置10内のメモリに、ワーク固有の形状情報に基づく濃淡値を予め記憶しておき、生成された距離画像の一部又は全部の画素について、それぞれ記憶された形状情報に基づく濃淡値との差分を求めることも可能である。例えばワーク固有の形状情報が多項式などの数式で表される場合、その数式に基づいて、ワーク固有の形状情報に基づく濃淡値を求めることもできる。これにより、ワーク固有の形状情報をより正確に削減することができる。
10 画像処理装置
11 主制御部
12 照明制御部
13 画像入力部
14 操作入力部
15 表示制御部
16 通信部
17 画像処理部
30 カメラ
40 モニタ
50 コンソール
60 照明
70 PLC
80 PC
110 距離画像生成手段
120 立体形状情報削減手段
130 基準距離画像登録手段
140 特徴量算出手段
140a ビット数削減手段
150 判定手段
160 判定信号出力手段

Claims (13)

  1. ワークを撮像するカメラを有し、当該カメラから取得した画像に基づいてワークの良否を判定する画像処理装置において、
    前記カメラから取得した画像を用いて、前記カメラからワーク表面までの距離を算出する距離算出手段と、
    各画素が、算出された距離に応じた第1の階調の濃淡値を有する距離画像を生成する距離画像生成手段と、
    生成された距離画像の一部又は全部の画素の濃淡値から予め定められた立体形状情報に基づく値を差し引いて差分画像を求める立体形状情報削減手段と、
    階調数が第1の階調よりも少ない第2の階調の画像を取り扱うとともに、前記差分画像の各画素の濃淡値のうち第2の階調数以上の濃淡値が存在する場合、当該第2の階調数以上の濃淡値を当該第2の階調数より小さい濃淡値に変換して、各画素の濃淡値が変換された差分画像から特徴量を算出する特徴量算出手段と、
    算出された特徴量に基づいて、ワークの良否を判定する判定手段と、を備えることを特徴とする画像処理装置。
  2. 前記特徴量算出手段は、前記差分画像の各画素の濃淡値のうち第2の階調数以上の濃淡値が存在する場合、当該第2の階調数以上の濃淡値を当該第2の階調で表すことが可能な最大濃淡値に変換することにより、各画素の濃淡値が変換された差分画像から特徴量を算出することを特徴とする請求項記載の画像処理装置。
  3. 前記差分画像の各画素の濃淡値が前記第2の階調数より小さい濃淡値に制限されるように前記差分画像を圧縮する差分画像圧縮手段を有し、
    前記特徴量算出手段は、当該差分画像圧縮手段により圧縮された差分画像から特徴量を算出することを特徴とする請求項1又は2記載の画像処理装置。
  4. 前記第1の階調と前記第2の階調を対応付けるための変換特性を記憶する変換特性記憶手段を備え、
    前記差分画像圧縮手段は、前記変換特性記憶手段に記憶された変換特性に基づいて前記差分画像を圧縮することを特徴とする請求項記載の画像処理装置。
  5. 前記変換特性記憶手段は、前記変換特性を示す変換テーブルを記憶しており、
    前記差分画像圧縮手段は、前記変換特性記憶手段に記憶された変換テーブルに基づいて前記差分画像を圧縮することを特徴とする請求項記載の画像処理装置。
  6. 前記変換特性は、変換前の各画素の濃淡値を横軸とし、変換後の各画素の濃淡値を縦軸としたとき、変換曲線の傾きが次第に小さくなるように構成されることを特徴とする請求項又は記載の画像処理装置。
  7. 前記特徴量算出手段は、前記差分画像の各画素の濃淡値が取り得るレンジを前記第1の階調に対応する第1のレンジから前記第2の階調に対応する第2のレンジに制限するために、前記差分画像の各画素の濃淡値をビット表現したときのビット数を減らすビット数削減手段を有することを特徴とする請求項1からのいずれか記載の画像処理装置。
  8. 前記ビット数削減手段は、差分画像の各画素の濃淡値をビット表現したときのビットのうち上位半分のビットを減らすことを特徴とする請求項記載の画像処理装置。
  9. 生成された距離画像の高周波成分を低減させる高周波成分低減手段を備え、
    前記立体形状情報削減手段は、生成された距離画像と、前記高周波成分低減手段により高周波成分が低減された距離画像との差分画像を求めることを特徴とする請求項1からのいずれか記載の画像処理装置。
  10. 良品のワークを撮像したときの距離画像とみなす基準距離画像を予め記憶する基準距離画像記憶手段を備え、
    前記立体形状情報削減手段は、生成された距離画像と、前記基準距離画像記憶手段により予め記憶された基準距離画像との差分画像を求めることを特徴とする請求項1からのいずれか記載の画像処理装置。
  11. ユーザから前記基準距離画像の登録を受け付ける受付手段を備えることを特徴とする請求項10記載の画像処理装置。
  12. 生成された複数枚の距離画像に基づいて、各画素について複数枚の距離画像の平均値からなる平均距離画像を前記基準距離画像として生成する平均距離画像生成手段を備えることを特徴とする請求項10又は11記載の画像処理装置。
  13. ワークを撮像するカメラを有し、当該カメラから取得した画像に基づいてワークの良否を判定する画像処理装置を用いた画像処理方法において、
    前記カメラから取得した画像を用いて、前記カメラからワーク表面までの距離を算出するステップと、
    各画素が、算出された距離に応じた第1の階調の濃淡値を有する距離画像を生成するステップと、
    生成された距離画像の一部又は全部の画素の濃淡値から予め定められた立体形状情報に基づく値を差し引いて差分画像を求めるステップと、
    階調数が第1の階調よりも少ない第2の階調の画像を取り扱うとともに、前記差分画像の各画素の濃淡値のうち第2の階調数以上の濃淡値が存在する場合、当該第2の階調数以上の濃淡値を当該第2の階調数より小さい濃淡値に変換して、各画素の濃淡値が変換された差分画像から特徴量を算出するステップと、
    算出された特徴量に基づいて、ワークの良否を判定するステップと、を備えることを特徴とする画像処理方法。
JP2010160711A 2010-07-15 2010-07-15 画像処理装置及び外観検査方法 Expired - Fee Related JP5564348B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010160711A JP5564348B2 (ja) 2010-07-15 2010-07-15 画像処理装置及び外観検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010160711A JP5564348B2 (ja) 2010-07-15 2010-07-15 画像処理装置及び外観検査方法

Publications (2)

Publication Number Publication Date
JP2012021909A JP2012021909A (ja) 2012-02-02
JP5564348B2 true JP5564348B2 (ja) 2014-07-30

Family

ID=45776301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010160711A Expired - Fee Related JP5564348B2 (ja) 2010-07-15 2010-07-15 画像処理装置及び外観検査方法

Country Status (1)

Country Link
JP (1) JP5564348B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107121090A (zh) * 2017-05-05 2017-09-01 苏州天准科技股份有限公司 一种3d曲面玻璃的快速测量方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6266243B2 (ja) * 2013-07-16 2018-01-24 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP6266244B2 (ja) * 2013-07-16 2018-01-24 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP6506914B2 (ja) * 2013-07-16 2019-04-24 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP6207270B2 (ja) * 2013-07-16 2017-10-04 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP6246513B2 (ja) * 2013-07-16 2017-12-13 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP6334861B2 (ja) * 2013-07-16 2018-05-30 株式会社キーエンス 外観検査装置、外観検査方法及び外観検査プログラム並びにコンピュータで読み取り可能な記録媒体
JP6270361B2 (ja) 2013-07-16 2018-01-31 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP6242098B2 (ja) * 2013-07-16 2017-12-06 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP6207282B2 (ja) * 2013-07-31 2017-10-04 株式会社キーエンス 画像処理装置、画像処理システム、検査方法およびプログラム
JP6207283B2 (ja) * 2013-07-31 2017-10-04 株式会社キーエンス 画像処理装置、画像処理システム、検査方法およびプログラム
JP6184289B2 (ja) * 2013-10-17 2017-08-23 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法、三次元画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2018112470A (ja) * 2017-01-11 2018-07-19 リコーエレメックス株式会社 検査システムおよび検査方法
JP2018112471A (ja) * 2017-01-11 2018-07-19 リコーエレメックス株式会社 検査システムおよび検査方法
JP6557319B2 (ja) * 2017-12-25 2019-08-07 株式会社キーエンス 三次元画像処理装置、三次元画像処理装置用ヘッド部、三次元画像処理方法、三次元画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6571831B2 (ja) * 2018-04-26 2019-09-04 株式会社キーエンス 外観検査装置
JP7153514B2 (ja) * 2018-09-25 2022-10-14 株式会社Screenホールディングス 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ
JP7393737B2 (ja) * 2020-02-27 2023-12-07 オムロン株式会社 画像検査装置及び画像検査方法
US20230083531A1 (en) 2020-03-05 2023-03-16 Fanuc Corporation Three-dimensional measuring device, and three-dimensional measuring method
JP7314091B2 (ja) * 2020-03-31 2023-07-25 富士フイルム株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP7157112B2 (ja) * 2020-10-07 2022-10-19 Ckd株式会社 半田印刷検査装置
JPWO2023032095A1 (ja) * 2021-09-01 2023-03-09
CN114878583B (zh) * 2022-07-08 2022-09-20 四川大学 用于畸变光斑照明疵病暗场成像的图像处理方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3009205B2 (ja) * 1990-11-02 2000-02-14 株式会社日立製作所 検査方法及びその装置
JPH04208803A (ja) * 1990-11-30 1992-07-30 Yaskawa Electric Corp プリント基板実装検査装置
JP3721983B2 (ja) * 2000-12-12 2005-11-30 スズキ株式会社 三次元形状の欠陥検査方法
JP4613644B2 (ja) * 2005-03-09 2011-01-19 パナソニック株式会社 回路実装基板の外観検査方法
JP5109598B2 (ja) * 2007-11-02 2012-12-26 住友ゴム工業株式会社 物品検査方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107121090A (zh) * 2017-05-05 2017-09-01 苏州天准科技股份有限公司 一种3d曲面玻璃的快速测量方法

Also Published As

Publication number Publication date
JP2012021909A (ja) 2012-02-02

Similar Documents

Publication Publication Date Title
JP5564348B2 (ja) 画像処理装置及び外観検査方法
JP7150105B2 (ja) 三次元画像処理装置及び三次元画像処理方法
JP5564349B2 (ja) 画像処理装置及び外観検査方法
US9536295B2 (en) Three-dimensional image processing apparatus, three-dimensional image processing method, three-dimensional image processing program, computer-readable recording medium, and recording device
US10373302B2 (en) Three-dimensional image processing apparatus, three-dimensional image processing method, three-dimensional image processing program, computer-readable recording medium, and recording device
JP6184289B2 (ja) 三次元画像処理装置、三次元画像処理方法、三次元画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP4894628B2 (ja) 外観検査方法および外観検査装置
JP2009036589A (ja) 校正用ターゲット、校正支援装置、校正支援方法、および校正支援プログラム
JP6246513B2 (ja) 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP4680640B2 (ja) 画像入力装置および画像入力方法
JP2011075470A (ja) 画像処理プログラム、画像処理方法および画像処理装置
JP2009180690A (ja) 三次元形状測定装置
JP2015021763A (ja) 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体
JP2015021759A (ja) 三次元画像処理装置、三次元画像処理装置用ヘッド部及び三次元画像処理方法
JP6571831B2 (ja) 外観検査装置
JP6207270B2 (ja) 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP6571830B2 (ja) 外観検査装置
JP4821524B2 (ja) 突起の高さ測定方法、突起の高さ測定装置、プログラム
JP6266243B2 (ja) 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP6334861B2 (ja) 外観検査装置、外観検査方法及び外観検査プログラム並びにコンピュータで読み取り可能な記録媒体
JP6266244B2 (ja) 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP6557319B2 (ja) 三次元画像処理装置、三次元画像処理装置用ヘッド部、三次元画像処理方法、三次元画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JPH03158710A (ja) 画像データ作成装置
JP2014134446A (ja) 反射型スクリーンの検査方法
JPH09229645A (ja) ギヤの面取り面計測装置及び面取り面照明方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140616

R150 Certificate of patent or registration of utility model

Ref document number: 5564348

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees