JP4248885B2 - 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体 - Google Patents
画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4248885B2 JP4248885B2 JP2003007531A JP2003007531A JP4248885B2 JP 4248885 B2 JP4248885 B2 JP 4248885B2 JP 2003007531 A JP2003007531 A JP 2003007531A JP 2003007531 A JP2003007531 A JP 2003007531A JP 4248885 B2 JP4248885 B2 JP 4248885B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- distortion
- marks
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 39
- 238000003672 processing method Methods 0.000 title claims description 18
- 238000012937 correction Methods 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims 2
- 238000006243 chemical reaction Methods 0.000 description 50
- 238000003384 imaging method Methods 0.000 description 29
- 238000003745 diagnosis Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 239000002131 composite material Substances 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【発明の属する技術分野】
本発明は、撮像装置などから入力された画像に対して図形処理を行う画像処理方法および画像処理装置に関し、特に画像の歪みを診断および補正する画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体に関する。
【0002】
【従来の技術】
CCDカメラなど撮像装置の普及に伴い、被写体を撮像した画像に基づいて様々な処理を行う画像処理が工場内や家庭内を問わず行われている。たとえば、工場内では、製品の組み立てや不良検査など、家庭内では、デジタルカメラやスキャナによる画像取り込み、防犯カメラによるセキュリティシステムなどで画像処理が行われている。
【0003】
これらの中でも特に、製品の組み立てにおける部品の位置合わせや、製品の不良箇所の検出では、高精度で物体の位置検出および寸法計測を実現する必要があり、画像処理に対しても高い精度の処理が要求される。
【0004】
画像処理の精度低下の主な原因として、撮像装置のあおりおよびレンズ歪み、被写体の撓みなどがある。
【0005】
このような画像の歪みは、射影変換を用いて補正することができる。射影変換による画像の歪み補正の代表的な技術として以下の3種類の技術がある。
【0006】
(1)撮像装置以外の各種センサを用いる(特許文献1参照)。
各種センサを使い、撮像装置と被写体との位置関係(距離や角度)を実測し、その実測値から変換関数を算出する。使用するセンサには加速度センサ、角速度センサ、磁気センサ、超音波センサ、赤外線センサなどがある。
【0007】
(2)マニュアルで設定する(特許文献2,3参照)。
変換関数の算出に必要な情報をマニュアルで設定する。必要な情報は4点の座標で、変換前の画像から適当な4点を選び、これらの点が変換後に移動すべき座標を指定する。変換前後の座標から変換関数を算出する。
【0008】
(3)被写体の特徴点を用いる(特許文献4参照)。
被写体から特徴点を捜し出し、その特徴点が所定位置に移動するように変換関数を算出する。被写体毎に変換関数が算出できるため、位置関係が変化する場合には有効である。
【0009】
【特許文献1】
特開2000−307947号公報
【特許文献2】
特開平7−44698号公報
【特許文献3】
特開平11−238123号公報
【特許文献4】
特開2001−177716号公報
【0010】
【発明が解決しようとする課題】
(1)のように撮像装置以外に各種センサを用いる場合は、別途センサを設ける必要があるため、装置の規模が大きくなり、コストも増大する。また、高精度で補正するには、撮像装置と、センサとの位置調整が複雑である。
【0011】
(2)のようにマニュアルで設定する場合は、作業者の負担が大きいという問題がある。また、作業者によって設定が変わるなど客観性に乏しく、必ずしも高精度とはならない。
【0012】
(3)のように被写体の特徴点を用いる場合は、被写体が適切な特徴点を備えていることが必要となる。
【0013】
また、上記のいずれの場合でも、全領域を1つの変換関数で変換するため、歪みの原因が、撮像装置のあおりだけであれば補正することは可能であるが、レンズ歪みや被写体の撓みが原因であれば、補正することはできない。
【0014】
本発明の目的は、画像の歪みを検出し、高精度で歪み補正を行う画像処理装置および画像処理方法ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体を提供することである。
【0015】
【課題を解決するための手段】
本発明は、少なくとも隣接する2つのマークの距離が所定の誤差範囲内となるべく配置された複数のマークを撮像した画像から、該撮像された画像のうち歪みが最も少ない領域のマークの配置に関するパラメータを抽出する抽出ステップと、
撮像された画像を複数の個別領域に分割する分割ステップと、
抽出されたパラメータに基づいて、前記個別領域ごとに、含まれるマークの配置の歪みを検出し、検出されたマークの配置の歪みに基づいて該マークの座標の移動量を検出する検出ステップと、
前記個別領域ごとに、検出された移動量と所定の閾値とを比較し、前記移動量が前記所定の閾値以上となる個別領域の数に基づいて、前記撮像された画像全体が歪んでいるか否かを診断する診断ステップとを有することを特徴とする画像処理方法である。
【0017】
本発明に従えば、抽出ステップでは、少なくとも隣接する2つのマークの距離が所定の誤差範囲内となるべく配置された複数のマークを撮像した画像から、該撮像された画像のうち歪みが最も少ない領域のマークの配置に関するパラメータを抽出する。校正板をCCDカメラなどを用いて撮像した画像の場合、レンズの中央部で撮像した領域、すなわち画像の中央部領域のマークに関するパラメータを抽出すればよい。
【0018】
分割ステップでは、撮像された画像を複数の個別領域に分割する。分割することで、個別領域ごとに歪み検出ができる。
【0019】
検出ステップでは、抽出されたパラメータに基づいて、個別領域ごとに、含まれるマークの配置の歪みを検出する。
【0020】
診断ステップでは、検出された移動量と所定の閾値とを比較し、前記移動量が前記所定の閾値以上となる個別領域の数に基づいて、撮像された画像全体が歪んでいるか否かを診断する。また、閾値との比較および閾値の条件に該当する個別領域の個数によって画像全体の歪みを診断するので、閾値や個別領域の数を変更することで作業者および被写体に応じて診断精度を変更することができる。
【0021】
このように、個別領域ごとに歪みを検出するので、撮像装置のあおり以外にもレンズの歪みや、被写体の撓みによる画像の歪みも診断することができる。
【0022】
また、画像の歪みを診断するためには校正板を用いるだけでよく、各種センサなどは必要が無いので、歪み診断機能が追加されても装置規模が拡大することも、複雑な装置の調整を行うこともなく、コストを抑えることができる。
【0023】
また本発明は、前記抽出ステップは、歪みが最も少ない領域内で、隣接するマーク間の距離を複数検出し、検出された距離の平均を基準距離として算出し、前記基準距離を用いて、撮像された全マークの座標を理想座標として抽出することを特徴とする。
【0024】
本発明に従えば、抽出ステップでは、まず歪みが最も少ない領域内で、隣接するマーク間の距離を複数検出する。検出された距離の平均を基準距離として算出し、この基準距離を用いて、撮像された全マークの座標を理想座標として抽出する。
【0025】
センサなどを別途用いずに、歪みを診断するための比較対象を容易に取得することができる。
【0026】
また本発明は、前記検出ステップは、前記個別領域ごとに、前記理想座標と撮像されたマークの座標とから射影変換係数を算出し、算出された射影変換係数に基づいて、射影変換による座標の移動量を検出することを特徴とする。
【0027】
本発明に従えば、検出ステップでは、個別領域ごとに、理想座標と撮像されたマークの座標とから射影変換係数を算出し、算出された射影変換係数に基づいて、射影変換による座標の移動量を検出する。
【0028】
このように、射影変換を用いるので、高精度かつ容易に歪みを検出することができる。
【0029】
また本発明は、前記診断ステップは、全領域の座標について診断することを特徴とする。
【0030】
本発明に従えば、診断ステップでは、個別領域ごとに検出された移動量と所定の閾値とを比較し、移動量が閾値以上となる個別領域の数に基づいて診断する。
【0031】
このように、閾値との比較および閾値の条件に該当する個別領域の個数によって画像全体の歪みを診断するので、閾値や個別領域の数を変更することで作業者および被写体に応じて診断精度を変更することができる。
【0032】
また本発明は、前記診断ステップで撮像された画像が歪んでいると診断されたときは、前記射影変換係数に基づいて射影変換を行うことで撮像された画像を補正する補正ステップをさらに有することを特徴とする。
【0033】
本発明に従えば、診断ステップで撮像された画像が歪んでいると診断されたときは、補正ステップで射影変換係数に基づいて射影変換を行うことで撮像された画像を補正する。
【0034】
個別領域ごとに算出された射影変換係数に基づいて補正を行うので、撮像装置のあおり以外にもレンズの歪みや、被写体の撓みによる画像の歪みも精度よく補正することができる。また、検出ステップで算出された射影変換係数を用いることで補正に必要な演算量を削減することができる。
【0035】
また本発明は、撮像された画像における画素数に基づくマーク間の距離と、前記撮像された画像に配置されたマーク間の実測距離とから、1画素当たりの距離を算出する距離算出ステップさらに有することを特徴とする。
【0036】
本発明に従えば、距離算出ステップでは、撮像された画像における画素数に基づくマーク間の距離と、前記撮像された画像に配置されたマーク間の実測距離とから、1画素当たりの距離を算出する。1画素当たりの距離は、いわゆるキャリブレーションファクタと呼ばれ、このキャリブレーションファクタを用いることで、撮像した画像から被写体の実際の寸法を計測することができる。
【0037】
また本発明は、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムである。
【0038】
本発明に従えば、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムとして提供することができる。
【0039】
また本発明は、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【0040】
本発明に従えば、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。
【0041】
また本発明は、少なくとも隣接する2つのマークの距離が所定の誤差範囲内となるべく配置された複数のマークを撮像した画像から、該撮像された画像のうち歪みが最も少ない領域のマークの配置に関するパラメータを抽出する抽出手段と、
撮像された画像を複数の個別領域に分割する分割手段と、
抽出されたパラメータに基づいて、前記個別領域ごとに、含まれるマークの配置の歪みを検出し、検出されたマークの配置の歪みに基づいて該マークの座標の移動量を検出する検出手段と、
前記個別領域ごとに、検出された移動量と所定の閾値とを比較し、前記移動量が前記所定の閾値以上となる個別領域の数に基づいて、前記撮像された画像全体が歪んでいるか否かを診断する診断手段とを有することを特徴とする画像処理装置である。
【0043】
本発明に従えば、抽出手段は、少なくとも隣接する2つのマークの距離が所定の誤差範囲内となるべく配置された複数のマークを撮像した画像から、該撮像された画像のうち歪みが最も少ない領域のマークの配置に関するパラメータを抽出する。校正板をCCDカメラなどを用いて撮像した画像の場合、レンズの中央部で撮像した領域、すなわち画像の中央部領域のマークに関するパラメータを抽出すればよい。
【0044】
分割手段は、撮像された画像を複数の個別領域に分割する。分割することで、個別領域ごとに歪み検出ができる。
【0045】
検出手段は、抽出されたパラメータに基づいて、個別領域ごとに、含まれるマークの配置の歪みを検出する。
【0046】
診断手段は、検出された移動量と所定の閾値とを比較し、前記移動量が前記所定の閾値以上となる個別領域の数に基づいて、撮像された画像全体が歪んでいるか否かを診断する。また、閾値との比較および閾値の条件に該当する個別領域の個数によって画像全体の歪みを診断するので、閾値や個別領域の数を変更することで作業者および被写体に応じて診断精度を変更することができる。
【0047】
このように、個別領域ごとに歪みを検出するので、撮像装置のあおり以外にもレンズの歪みや、被写体の撓みによる画像の歪みも診断することができる。
【0048】
また、画像の歪みを診断するためには校正板を用いるだけでよく、各種センサなどは必要が無いので、歪み診断機能が追加されても装置規模が拡大することも、複雑な装置の調整を行うこともなく、コストを抑えることができる。
【0049】
【発明の実施の形態】
図1は、画像処理システム100の構成を示すブロック図である。画像処理システム100は、撮像装置1、画像処理装置2、表示装置3を有し、たとえば、部品の位置合わせシステムを構成する。
【0050】
撮像装置1は、CCD(電荷結合素子)カメラ11、A/D(アナログ/デジタル)変換器12、カメラコントローラ13、D/A変換器14およびフレームメモリ15からなる撮像手段である。CCDカメラ11が、被写体を撮像し、受光量をアナログ画像信号として出力する。A/D変換器12は、CCDカメラ11から出力されたアナログ画像信号をデジタルデータに変換し、デジタル画像データとして出力する。カメラコントローラ14は、デジタル画像データを1フレームごとにフレームメモリ15に格納するとともに、表示装置3に表示させるために、D/A変換器14に出力する。D/A変換器は、カメラコントローラ14から出力されたデジタル画像データを表示装置3に応じたアナログ画像信号に変換して表示装置3に出力する。表示装置3は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイなどで実現され、撮像装置1から出力されたアナログ画像信号を表示する。
【0051】
画像処理装置2は、CPU(中央演算処理装置)21、RAM(Random Access Memory)22、ROM(Read Only Memory)23およびI/O(Input/Output)コントローラ24からなる。CPU21は、ROM23に記憶されている制御プログラムに基づいて画像処理装置2の動作を制御する。処理中の画像データや演算中のデータなどは一時的にRAM22に記憶される。I/Oコントローラ24は、キーボードやマウスなどの入力装置や部品の移動装置などが接続され、これらの入出力データの制御を行う。
【0052】
CPU21およびROM23は、抽出手段、分割手段、検出手段および診断手段を構成し、撮像装置2のカメラコントローラ14を介してフレームメモリ15から画像データを取得し、後述の画像処理を実行する。
【0053】
本発明は、CCD11が備えるレンズの歪み、撮像装置1の光軸が被写体に対して傾くあおり、被写体の撓みなどによる撮像画像の歪みを診断し、補正して歪みの無い補正画像を出力する。
【0054】
具体的には、基準となるマークを配列した校正板4を撮像装置1で撮像し、画像処理装置2で撮像画像に歪みがあるかどうかを診断し、歪みがあれば歪みを補正する。
【0055】
画像処理装置2が実行する画像処理方法は、撮像した画像の歪みを診断する「歪み診断モード」と、診断モードで補正が必要であると診断した場合に画像の歪みを補正する「歪み補正モード」との2つの画像処理方法からなる。
【0056】
さらに、「歪み診断モード」は、ティーチング、画像歪み診断(診断要なら変換係数変換テーブル作成)、補正確認およびキャリブレーションの3つの処理を行い、「歪み補正モード」では、診断時に作成した変換係数に基づく変換テーブル作成、変換テーブルに基づく歪み補正、歪み補正の確認の3つの処理を行う。
【0057】
まず、歪み診断モードについて説明する。図2は、歪み診断モードの処理を示すフローチャートである。歪み診断モードは、3つのステップからなり、まず、ステップA1で校正板を用いたティーチングを行い、ステップA2で画像に歪みがあるか否かを診断し、ステップA3でキャリブレーションを行う。
【0058】
以下では各ステップについて詳細を説明する。
図3は、ステップA1のティーチング処理を示すフローチャートである。
【0059】
ステップB1では、撮像装置1で基準マークを配列した校正板4を撮像する。図4および図5は、校正板4の例を示す図である。図4は、均一格子を用いた校正板4を示し、図5は複合格子を用いた校正板4を示している。校正板4には、円形の基準マークが設けられており、基準マークの大きさ、基準マーク間の距離(マーク中心間の距離)などが所定の誤差範囲となるように高精度に配置されている。
【0060】
図4に示す均一格子の場合は、基準マークの大きさおよび基準マーク間の距離が、配置されている全ての基準マークにおいて同じになっている。図5に示す複合格子の場合は、基準マークの大きさおよび基準マーク間の距離が、複数種類あり、たとえば、図のように校正板の中央領域は、基準マークが小さく、基準マーク間の距離も小さい領域となっており、周辺領域は、基準マークが大きく、基準マーク間の距離も大きい領域となっている。複合格子を用いれば、撮像装置や被写体などに応じて格子を切り替えることができるので、複数種類の校正板を用意する必要がなく、より精度を向上させることができる。
【0061】
ステップB2では、撮像された画像を表示装置3に表示し、表示されている画像から、ティーチングに使用する領域を歪み補正用ウインドウとして指定する。指定の方法は、図6に示すように、ユーザが表示装置3に表示された画像を見ながら、マウスやタブレットなどの入力装置を用いて歪み補正用ウインドウWを指定する。なお、校正板4として均一格子を用いた場合は、撮像された全ての領域をティーチングに用いてもよい。この場合は、ユーザによる操作は不要となる。
【0062】
ステップB3では、歪み補正用ウインドウW内全体の基準マーク配列パターンをユーザが設定する。設定は、縦および横に配列されている基準マークの個数を入力する。たとえば、図6のパターンは、縦6個、横6個の配列パターンである。
【0063】
ステップB4では、校正板が均一格子か複合格子か判断する。ユーザが予め使用する校正板の種類を選択しておき、その選択結果に基づいて判断する。均一格子であればステップB6に進み、複合格子であればステップB5に進む。
【0064】
複合格子の場合、複数種類の基準マークが配置されているので、撮像した画像のうち、使用する基準マークと使用しない基準マークとを区別する必要がある。ステップB5では、使用しない基準マークが配置されている領域をマスクウインドウMとして設定する。たとえば、図7に示すように、歪み補正用ウインドウW内の中央部に配置されている基準マークを使用しない場合は、歪み補正用ウインドウWと同様の方法でマスクウインドウMを設定する。
【0065】
マスクウインドウM内を除き、使用する基準マークを有効マーク配列として指定する。たとえば、図7では、上から3個、下から3個、右から3個、左から3個とそれぞれ指定する。
【0066】
ステップB6では、歪み補正用ウインドウW内の基準マークから、基準距離を算出するための中央マークを決定する。中央マークの決定は、各ウインドウの指定と同じように、ユーザが表示された画像を見ながら入力装置によって基準マークを指定する。
【0067】
ステップB7では、基準マークを検出するための2値化条件を設定する。2値化条件としては、2値化の閾値、対象の白黒指定、ノイズ除去用の面積フィルターなどがある。
【0068】
ステップB8ではティーチングを実行する。
ステップB7で設定された2値化条件で2値化処理を行い、撮像された画像内の基準マークをラベリングして各基準マークを代表する座標(X’,Y’)、たとえば本実施形態の基準マークのように円形であれば円中心の座標を検出する。
【0069】
全ての基準マークについて代表座標(X’,Y’)を検出したら、ステップB6で決定した中央マークの代表座標を不動座標として設定する。
【0070】
中央マークと、これに隣接する4つの基準マークとの距離を、不動座標と各基準マークの代表座標の距離としてそれぞれ算出し、平均値を基準距離とする。撮像された画像に歪みが無い場合には、全ての基準マーク間の距離が一定となる。全ての基準マーク間の距離が、算出された基準距離であるとし、不動座標を中心にこの基準距離を用いて、歪みが無い場合の理想的な基準マークの代表座標(理想座標)(X,Y)を算出する。
【0071】
次に、ステップA2の画像歪み診断処理について説明する。図8は、画像歪み診断処理を示すフローチャートである。
【0072】
ステップC1では、ティーチング処理のステップB7において実際に撮像した画像から検出した各基準マークの代表座標(X’,Y’)と、歪みの無い画像と想定して算出した各基準マークの理想座標(X,Y)とを用いて射影変換式の変換係数を求める。
【0073】
射影変換式は、式(1)で表される。
【0074】
ここで、(X,Y)は変換後の座標、(X’,Y’)は変換前の座標で、4点の座標を与えることで、変換係数A0〜A8を算出することができる。したがって、変換係数は、用いた4つの基準マークごとに算出される。たとえば、図9に示すように、4つの基準マークK1〜K4を用いた場合は、破線で囲まれた個別領域110内の変換係数としてA0〜A8が算出され、4つの基準マークK3〜K6を用いた場合は、破線で囲まれた個別領域111内の変換係数としてA0’〜A8’が算出される。このように用いる4つの基準マークを左から右へずらしながら各個別領域内の変換係数をそれぞれ求め、右端の個別領域の変換係数を算出すると、対象の個別領域を下にずらし、再度左から右へと算出して全ての個別領域の変換係数を算出する。
【0075】
ステップC2では、全領域の座標について移動量を算出する。移動量とは、変換前の座標と変換後の座標との距離であり、移動量が多いほど撮像された画像の歪みが大きいことを示している。
【0076】
具体的には、ステップC1で算出した変換係数を用いて変換後の座標を算出し、移動量を求める。
【0077】
ステップC3では、閾値として移動量の許容値をユーザが入力して設定する。移動量が多いほど歪みが大きいので、どの程度の歪みまでなら歪みは無いとみなすかを移動量で設定する。
【0078】
ステップC4では、歪みを補正する必要があるか否かを判断する。ステップC2で算出された全ての移動量と、ステップC3で設定された許容値とを比較し、1つの移動量だけでも許容値を越えていれば補正が必要であると判断してステップC5に進み、全ての移動量が許容値以下であれば補正は不要と判断してステップC6に進む。
【0079】
ステップC4の判断結果は、後述の補正処理に必要となるので、補正フラグとして記憶しておく。ステップC5では、補正フラグに“補正要”を記憶し、ステップC6では、補正フラグに“補正不要”を記憶する。
【0080】
図10は、キャリブレーション処理を示すフローチャートである。
ステップD1では、校正板の2つの基準マーク間の距離を画素数で計測する。これは、前述の処理で撮像している画像を用いて計測すればよい。また、別に校正されたサンプルを撮像し、その画像内の2点間の距離を測定してもよい。
【0081】
ステップD2では、上記の画像歪み診断処理で算出した変換係数を用いて、補正後の距離を算出し、補正前と補正後の距離の差分を算出する。この差分に基づいて補正の有効性を確認する。
【0082】
有効性の確認は、たとえば、差分値を表示し、ユーザが表示された差分値を見て確認する。
【0083】
ステップD3では、補正有効性の確認が終了したか否かを判断し、終了していれば、ステップD4に進み、終了していなければステップD1に戻る。
【0084】
なお、ステップC4で補正不要と判断された場合には、有効性確認のためのステップD2,D3の処理は実行しなくてもよい。
【0085】
ステップD4では、ステップD1で計測した距離の実測値を入力して設定する。校正板では、基準マーク間の距離は決まっているので、その値を入力すればよい。
【0086】
ステップD5では、ステップD4で設定した実測値と画素数からキャリブレーションファクタを算出する。キャリブレーションファクタとは、たとえば、1画素当たりXmのように単位画素当たりの長さである。
【0087】
以下では歪み補正モードについて説明する。
歪み補正モードでは、歪み診断モードで作成した変換係数に基づいて変換テーブルを作成する処理、変換テーブルに基づいて歪みを補正する処理、歪みの補正を確認する処理がある。
【0088】
1)変換テーブル作成処理
全ての領域について変換テーブルを記憶しておくには、膨大な記憶容量が必要となるので、たとえば、電源立ち上げ時やユーザが指定したときに、変換係数を算出し変換テーブルを作成する。なお、変換テーブルの作成は、画像歪み診断処理において、補正フラグに“補正要”と記憶されている場合のみ行う。
【0089】
変換テーブルは、具体的には、変換前の座標と変換後の座標とが記載されたテーブルである。
【0090】
このように、変換係数を記憶することで、記憶容量を削減することができ、変換テーブルを変換係数から作成することで演算量を削減することができる。
【0091】
2)画像歪み補正処理
変換テーブル作成処理で作成した変換テーブルを用いて、撮像装置1で撮像した画像の各画素を移動させて補正画像を作成する。
【0092】
3)補正確認処理
補正前の画像と、補正後の画像とを表示装置3に表示し、ユーザが補正処理の効果を確認する。
【0093】
図11は、補正前後の画像の表示例である。図11(a)は補正前の画像であり、特に四隅の歪みが大きい。図11(b)は補正後の画像であり、全ての基準マークが等間隔で配置される。
【0094】
以上のように、領域ごとに変換関数を算出するので、撮像装置1のあおりだけでなく、レンズの歪み、被写体の撓みに対しても画像の歪みを補正することができる。
【0095】
また、画像歪みの診断および補正を行うために別途センサを設ける必要が無いので、画像診断および補正機能が追加されても装置規模が拡大することも、複雑な装置の調整を行うこともなく、コスト抑えることができる。
【0096】
さらに、予め基準となるマークが配置された校正板を使用するので、基準点をマニュアル入力する必要が無いので、作業者の負担を軽減するとともに、補正精度を向上させることができる。
【0097】
また、本発明の実施の他の形態は、コンピュータを画像処理装置2として機能させるための画像処理プログラム、および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。これによって、画像処理プログラムおよび画像処理プログラムを記録した記録媒体を持ち運び自在に提供することができる。
【0098】
記録媒体は、プリンタやコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで、画像処理プログラムが実行される。
【0099】
コンピュータシステムの入力手段としては、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどを用いてもよい。コンピュータシステムは、これらの入力手段と、所定のプログラムがロードされることにより画像処理などを実行するコンピュータと、コンピュータの処理結果を表示するCRTディスプレイ・液晶ディスプレイなどの画像表示装置と、コンピュータの処理結果を紙などに出力するプリンタより構成される。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのモデムなどが備えられる。
【0100】
なお、記録媒体としては、プログラム読み取り装置によって読み取られるものには限らず、マイクロコンピュータのメモリ、たとえばROMであっても良い。記録されているプログラムはマイクロプロセッサがアクセスして実行しても良いし、あるいは、記録媒体から読み出したプログラムを、マイクロコンピュータのプログラム記憶エリアにダウンロードし、そのプログラムを実行してもよい。このダウンロード機能は予めマイクロコンピュータが備えているものとする。
【0101】
記録媒体の具体的な例としては、磁気テープやカセットテープなどのテープ系、フレキシブルディスクやハードディスクなどの磁気ディスクやCD−ROM(Compact Disc-Read Only Memory)/MO(Magneto Optical)ディスク/MD(Mini Disc)/DVD(Digital Versatile Disc)などの光ディスクのディスク系、IC(Integrated Circuit)カード(メモリカードを含む)/光カードなどのカード系、あるいはマスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュROMなどの半導体メモリを含めた固定的にプログラムを担持する媒体である。
【0102】
また、本実施形態においては、コンピュータはインターネットを含む通信ネットワークに接続可能なシステム構成とし、通信ネットワークを介して画像処理プログラムをダウンロードしても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード機能は予めコンピュータに備えておくか、あるいは別な記録媒体からインストールされるものであっても良い。また、ダウンロード用のプログラムはユーザーインターフェースを介して実行されるものであっても良いし、決められたURL(Uniform Resource Locater)から定期的にプログラムをダウンロードするようなものであっても良い。
【0103】
【発明の効果】
以上のように本発明によれば、個別領域ごとに歪みを検出するので、撮像装置のあおり以外にもレンズの歪みや、被写体の撓みによる画像の歪みも診断することができる。また、画像の歪みを診断するためには校正板を用いるだけでよく、各種センサなどは必要が無いので、歪み診断機能が追加されても装置規模が拡大することも、複雑な装置の調整を行うこともなく、コストを抑えることができる。
【0104】
また本発明によれば、センサなどを別途用いずに、歪みを診断するための比較対象を容易に取得することができる。
【0105】
また本発明によれば、射影変換を用いるので、高精度かつ容易に歪みを検出することができる。
【0106】
また本発明によれば、閾値との比較および閾値の条件に該当する個別領域の個数によって画像全体の歪みを診断するので、閾値や個別領域の数を変更することで作業者および被写体に応じて診断精度を変更することができる。
【0107】
また本発明によれば、個別領域ごとに算出された射影変換係数に基づいて補正を行うので、撮像装置のあおり以外にもレンズの歪みや、被写体の撓みによる画像の歪みも精度よく補正することができる。また、検出ステップで算出された射影変換係数を用いることで補正に必要な演算量を削減することができる。
【0108】
また本発明によれば、いわゆるキャリブレーションファクタを用いることで、撮像した画像から被写体の実際の寸法を計測することができる。
【0109】
また本発明によれば、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。
【図面の簡単な説明】
【図1】画像処理システム100の構成を示すブロック図である。
【図2】歪み診断モードの処理を示すフローチャートである。
【図3】ステップA1のティーチング処理を示すフローチャートである。
【図4】校正板4の例を示す図である。
【図5】校正板4の例を示す図である。
【図6】歪み補正用ウインドウWを指定する際の表示例を示す図である。
【図7】マスクウインドウMの指定および有効配列の指定を行う際の表示例を示す図である。
【図8】画像歪み診断処理を示すフローチャートである。
【図9】個別領域の例を示す図である。
【図10】キャリブレーション処理を示すフローチャートである。
【図11】補正前後の画像の表示例である。
【符号の説明】
1 撮像装置
2 画像処理装置
3 表示装置
11 CCDカメラ
12 A/D変換器
13 カメラコントローラ
14 D/A変換器
15 フレームメモリ
21 CPU
22 RAM
23 ROM
24 I/Oコントローラ
100 画像処理システム
Claims (9)
- 少なくとも隣接する2つのマークの距離が所定の誤差範囲内となるべく配置された複数のマークを撮像した画像から、該撮像された画像のうち歪みが最も少ない領域のマークの配置に関するパラメータを抽出する抽出ステップと、
撮像された画像を複数の個別領域に分割する分割ステップと、
抽出されたパラメータに基づいて、前記個別領域ごとに、含まれるマークの配置の歪みを検出し、検出されたマークの配置の歪みに基づいて該マークの座標の移動量を検出する検出ステップと、
前記個別領域ごとに、検出された移動量と所定の閾値とを比較し、前記移動量が前記所定の閾値以上となる個別領域の数に基づいて、前記撮像された画像全体が歪んでいるか否かを診断する診断ステップとを有することを特徴とする画像処理方法。 - 前記抽出ステップは、歪みが最も少ない領域内で、隣接するマーク間の距離を複数検出し、検出された距離の平均を基準距離として算出し、前記基準距離を用いて、撮像された全マークの座標を理想座標として抽出することを特徴とする請求項1記載の画像処理方法。
- 前記検出ステップは、前記個別領域ごとに、前記理想座標と撮像されたマークの座標とから射影変換係数を算出し、算出された射影変換係数に基づいて、前記移動量を検出することを特徴とする請求項2記載の画像処理方法。
- 前記診断ステップは、全領域の座標について診断することを特徴とする請求項3記載の画像処理方法。
- 前記診断ステップで撮像された画像が歪んでいると診断されたときは、前記射影変換係数に基づいて射影変換を行うことで撮像された画像を補正する補正ステップをさらに有することを特徴とする請求項3または4記載の画像処理方法。
- 撮像された画像における画素数に基づくマーク間の距離と、前記撮像された画像に配置されたマーク間の実測距離とから、1画素当たりの距離を算出する距離算出ステップさらに有することを特徴とする請求項1〜5のいずれか1つに記載の画像処理方法。
- 請求項1〜6のいずれかに記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
- 請求項1〜6のいずれかに記載の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 少なくとも隣接する2つのマークの距離が所定の誤差範囲内となるべく配置された複数のマークを撮像した画像から、該撮像された画像のうち歪みが最も少ない領域のマークの配置に関するパラメータを抽出する抽出手段と、
撮像された画像を複数の個別領域に分割する分割手段と、
抽出されたパラメータに基づいて、前記個別領域ごとに、含まれるマークの配置の歪みを検出し、検出されたマークの配置の歪みに基づいて該マークの座標の移動量を検出する検出手段と、
前記個別領域ごとに、検出された移動量と所定の閾値とを比較し、前記移動量が前記所定の閾値以上となる個別領域の数に基づいて、前記撮像された画像全体が歪んでいるか否かを診断する診断手段とを有することを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003007531A JP4248885B2 (ja) | 2003-01-15 | 2003-01-15 | 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003007531A JP4248885B2 (ja) | 2003-01-15 | 2003-01-15 | 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004220371A JP2004220371A (ja) | 2004-08-05 |
JP4248885B2 true JP4248885B2 (ja) | 2009-04-02 |
Family
ID=32897601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003007531A Expired - Fee Related JP4248885B2 (ja) | 2003-01-15 | 2003-01-15 | 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4248885B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4890294B2 (ja) * | 2007-02-26 | 2012-03-07 | 株式会社日立製作所 | 水中移動装置の位置測定システム |
JP5456330B2 (ja) * | 2009-02-04 | 2014-03-26 | アルパイン株式会社 | 画像表示装置及びそのカメラ取り付け角度算出方法 |
JP5455123B2 (ja) * | 2010-03-03 | 2014-03-26 | 富士機械製造株式会社 | 部品実装機の撮像画像処理装置 |
JP5423491B2 (ja) * | 2010-03-11 | 2014-02-19 | 日本電気株式会社 | 基準位置算出システム、および基準位置算出方法 |
JP6333250B2 (ja) * | 2013-07-08 | 2018-05-30 | 株式会社Fuji | 部品保持状態検出方法および部品実装装置 |
JP2018536141A (ja) * | 2015-08-24 | 2018-12-06 | エアロジェット ロケットダイン インコーポレイテッド | 直接ひずみ画像化を用いた非破壊検査プロセス |
KR102075630B1 (ko) * | 2018-01-16 | 2020-03-17 | 주식회사 지오멕스소프트 | 표적을 이용한 구조물 표면 균열 측정 방법 및 이를 기록한 기록매체 |
-
2003
- 2003-01-15 JP JP2003007531A patent/JP4248885B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004220371A (ja) | 2004-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU692863B2 (en) | Automated image quality control | |
CN109100363B (zh) | 一种贴合异物缺陷与灰尘的区分方法及系统 | |
US10458927B2 (en) | Image processing device, image processing method, and program | |
CN112509060B (zh) | 基于图像深度学习的ct二次扫描定位方法、系统 | |
JP4248885B2 (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体 | |
JP2005003463A (ja) | キャリブレーションチャート画像表示装置、キャリブレーション装置、キャリブレーション方法 | |
CN112102387B (zh) | 一种基于深度相机深度估计性能的测试方法与测试系统 | |
JP4114959B2 (ja) | 画像処理方法及び装置 | |
CN116630327A (zh) | 基于热力图的锅炉状态异常监测系统 | |
CN113065538A (zh) | 基于图像识别的压力传感器检测方法、装置及设备 | |
US6807288B2 (en) | Image processing apparatus, image processing method, and recording medium recording image processing program | |
JP5178781B2 (ja) | センサ出力データの補正装置及びセンサ出力データの補正方法 | |
JP2008281481A (ja) | 解像測定装置及び方法 | |
JP6148999B2 (ja) | 画像形成装置、キャリブレーションプログラムおよびキャリブレーションシステム | |
CN111935399B (zh) | 一种历史航片的数字化方法 | |
CN115684012A (zh) | 视觉检测系统、校准方法、装置和可读存储介质 | |
KR20140113449A (ko) | 묘화 데이터 생성 방법, 묘화 방법, 묘화 데이터 생성 장치, 및 묘화 장치 | |
JP2020170257A (ja) | 画像処理装置およびその制御方法 | |
JP3986326B2 (ja) | 解像度測定装置及び測定方法 | |
JP6030890B2 (ja) | 画像処理ユニット、画像処理方法、およびスタンド型スキャナ | |
JP4828728B2 (ja) | 解像度測定装置および解像度測定方法 | |
JP2004165944A (ja) | 投影情報補正方法、投影情報補正装置、プログラム、および記録媒体 | |
JP2006047077A (ja) | 画面の線欠陥の検出方法及び検出装置 | |
JP2006038701A (ja) | データの連結合成方法及び連結合成プログラム | |
JP2002077578A (ja) | 歪み補正装置およびその方法ならびに歪み補正プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090113 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090114 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |