JP4248885B2 - 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体 - Google Patents
画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4248885B2 JP4248885B2 JP2003007531A JP2003007531A JP4248885B2 JP 4248885 B2 JP4248885 B2 JP 4248885B2 JP 2003007531 A JP2003007531 A JP 2003007531A JP 2003007531 A JP2003007531 A JP 2003007531A JP 4248885 B2 JP4248885 B2 JP 4248885B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- distortion
- marks
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 39
- 238000003672 processing method Methods 0.000 title claims description 18
- 238000012937 correction Methods 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims 2
- 238000006243 chemical reaction Methods 0.000 description 50
- 238000003384 imaging method Methods 0.000 description 29
- 238000003745 diagnosis Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 239000002131 composite material Substances 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置などから入力された画像に対して図形処理を行う画像処理方法および画像処理装置に関し、特に画像の歪みを診断および補正する画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
ＣＣＤカメラなど撮像装置の普及に伴い、被写体を撮像した画像に基づいて様々な処理を行う画像処理が工場内や家庭内を問わず行われている。たとえば、工場内では、製品の組み立てや不良検査など、家庭内では、デジタルカメラやスキャナによる画像取り込み、防犯カメラによるセキュリティシステムなどで画像処理が行われている。
【０００３】
これらの中でも特に、製品の組み立てにおける部品の位置合わせや、製品の不良箇所の検出では、高精度で物体の位置検出および寸法計測を実現する必要があり、画像処理に対しても高い精度の処理が要求される。
【０００４】
画像処理の精度低下の主な原因として、撮像装置のあおりおよびレンズ歪み、被写体の撓みなどがある。
【０００５】
このような画像の歪みは、射影変換を用いて補正することができる。射影変換による画像の歪み補正の代表的な技術として以下の３種類の技術がある。
【０００６】
（１）撮像装置以外の各種センサを用いる（特許文献１参照）。
各種センサを使い、撮像装置と被写体との位置関係（距離や角度）を実測し、その実測値から変換関数を算出する。使用するセンサには加速度センサ、角速度センサ、磁気センサ、超音波センサ、赤外線センサなどがある。
【０００７】
（２）マニュアルで設定する（特許文献２，３参照）。
変換関数の算出に必要な情報をマニュアルで設定する。必要な情報は４点の座標で、変換前の画像から適当な４点を選び、これらの点が変換後に移動すべき座標を指定する。変換前後の座標から変換関数を算出する。
【０００８】
（３）被写体の特徴点を用いる（特許文献４参照）。
被写体から特徴点を捜し出し、その特徴点が所定位置に移動するように変換関数を算出する。被写体毎に変換関数が算出できるため、位置関係が変化する場合には有効である。
【０００９】
【特許文献１】
特開２０００−３０７９４７号公報
【特許文献２】
特開平７−４４６９８号公報
【特許文献３】
特開平１１−２３８１２３号公報
【特許文献４】
特開２００１−１７７７１６号公報
【００１０】
【発明が解決しようとする課題】
（１）のように撮像装置以外に各種センサを用いる場合は、別途センサを設ける必要があるため、装置の規模が大きくなり、コストも増大する。また、高精度で補正するには、撮像装置と、センサとの位置調整が複雑である。
【００１１】
（２）のようにマニュアルで設定する場合は、作業者の負担が大きいという問題がある。また、作業者によって設定が変わるなど客観性に乏しく、必ずしも高精度とはならない。
【００１２】
（３）のように被写体の特徴点を用いる場合は、被写体が適切な特徴点を備えていることが必要となる。
【００１３】
また、上記のいずれの場合でも、全領域を１つの変換関数で変換するため、歪みの原因が、撮像装置のあおりだけであれば補正することは可能であるが、レンズ歪みや被写体の撓みが原因であれば、補正することはできない。
【００１４】
本発明の目的は、画像の歪みを検出し、高精度で歪み補正を行う画像処理装置および画像処理方法ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体を提供することである。
【００１５】
【課題を解決するための手段】
本発明は、少なくとも隣接する２つのマークの距離が所定の誤差範囲内となるべく配置された複数のマークを撮像した画像から、該撮像された画像のうち歪みが最も少ない領域のマークの配置に関するパラメータを抽出する抽出ステップと、
撮像された画像を複数の個別領域に分割する分割ステップと、
抽出されたパラメータに基づいて、前記個別領域ごとに、含まれるマークの配置の歪みを検出し、検出されたマークの配置の歪みに基づいて該マークの座標の移動量を検出する検出ステップと、
前記個別領域ごとに、検出された移動量と所定の閾値とを比較し、前記移動量が前記所定の閾値以上となる個別領域の数に基づいて、前記撮像された画像全体が歪んでいるか否かを診断する診断ステップとを有することを特徴とする画像処理方法である。
【００１７】
本発明に従えば、抽出ステップでは、少なくとも隣接する２つのマークの距離が所定の誤差範囲内となるべく配置された複数のマークを撮像した画像から、該撮像された画像のうち歪みが最も少ない領域のマークの配置に関するパラメータを抽出する。校正板をＣＣＤカメラなどを用いて撮像した画像の場合、レンズの中央部で撮像した領域、すなわち画像の中央部領域のマークに関するパラメータを抽出すればよい。
【００１８】
分割ステップでは、撮像された画像を複数の個別領域に分割する。分割することで、個別領域ごとに歪み検出ができる。
【００１９】
検出ステップでは、抽出されたパラメータに基づいて、個別領域ごとに、含まれるマークの配置の歪みを検出する。
【００２０】
診断ステップでは、検出された移動量と所定の閾値とを比較し、前記移動量が前記所定の閾値以上となる個別領域の数に基づいて、撮像された画像全体が歪んでいるか否かを診断する。また、閾値との比較および閾値の条件に該当する個別領域の個数によって画像全体の歪みを診断するので、閾値や個別領域の数を変更することで作業者および被写体に応じて診断精度を変更することができる。
【００２１】
このように、個別領域ごとに歪みを検出するので、撮像装置のあおり以外にもレンズの歪みや、被写体の撓みによる画像の歪みも診断することができる。
【００２２】
また、画像の歪みを診断するためには校正板を用いるだけでよく、各種センサなどは必要が無いので、歪み診断機能が追加されても装置規模が拡大することも、複雑な装置の調整を行うこともなく、コストを抑えることができる。
【００２３】
また本発明は、前記抽出ステップは、歪みが最も少ない領域内で、隣接するマーク間の距離を複数検出し、検出された距離の平均を基準距離として算出し、前記基準距離を用いて、撮像された全マークの座標を理想座標として抽出することを特徴とする。
【００２４】
本発明に従えば、抽出ステップでは、まず歪みが最も少ない領域内で、隣接するマーク間の距離を複数検出する。検出された距離の平均を基準距離として算出し、この基準距離を用いて、撮像された全マークの座標を理想座標として抽出する。
【００２５】
センサなどを別途用いずに、歪みを診断するための比較対象を容易に取得することができる。
【００２６】
また本発明は、前記検出ステップは、前記個別領域ごとに、前記理想座標と撮像されたマークの座標とから射影変換係数を算出し、算出された射影変換係数に基づいて、射影変換による座標の移動量を検出することを特徴とする。
【００２７】
本発明に従えば、検出ステップでは、個別領域ごとに、理想座標と撮像されたマークの座標とから射影変換係数を算出し、算出された射影変換係数に基づいて、射影変換による座標の移動量を検出する。
【００２８】
このように、射影変換を用いるので、高精度かつ容易に歪みを検出することができる。
【００２９】
また本発明は、前記診断ステップは、全領域の座標について診断することを特徴とする。
【００３０】
本発明に従えば、診断ステップでは、個別領域ごとに検出された移動量と所定の閾値とを比較し、移動量が閾値以上となる個別領域の数に基づいて診断する。
【００３１】
このように、閾値との比較および閾値の条件に該当する個別領域の個数によって画像全体の歪みを診断するので、閾値や個別領域の数を変更することで作業者および被写体に応じて診断精度を変更することができる。
【００３２】
また本発明は、前記診断ステップで撮像された画像が歪んでいると診断されたときは、前記射影変換係数に基づいて射影変換を行うことで撮像された画像を補正する補正ステップをさらに有することを特徴とする。
【００３３】
本発明に従えば、診断ステップで撮像された画像が歪んでいると診断されたときは、補正ステップで射影変換係数に基づいて射影変換を行うことで撮像された画像を補正する。
【００３４】
個別領域ごとに算出された射影変換係数に基づいて補正を行うので、撮像装置のあおり以外にもレンズの歪みや、被写体の撓みによる画像の歪みも精度よく補正することができる。また、検出ステップで算出された射影変換係数を用いることで補正に必要な演算量を削減することができる。
【００３５】
また本発明は、撮像された画像における画素数に基づくマーク間の距離と、前記撮像された画像に配置されたマーク間の実測距離とから、１画素当たりの距離を算出する距離算出ステップさらに有することを特徴とする。
【００３６】
本発明に従えば、距離算出ステップでは、撮像された画像における画素数に基づくマーク間の距離と、前記撮像された画像に配置されたマーク間の実測距離とから、１画素当たりの距離を算出する。１画素当たりの距離は、いわゆるキャリブレーションファクタと呼ばれ、このキャリブレーションファクタを用いることで、撮像した画像から被写体の実際の寸法を計測することができる。
【００３７】
また本発明は、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムである。
【００３８】
本発明に従えば、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムとして提供することができる。
【００３９】
また本発明は、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００４０】
本発明に従えば、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。
【００４１】
また本発明は、少なくとも隣接する２つのマークの距離が所定の誤差範囲内となるべく配置された複数のマークを撮像した画像から、該撮像された画像のうち歪みが最も少ない領域のマークの配置に関するパラメータを抽出する抽出手段と、
撮像された画像を複数の個別領域に分割する分割手段と、
抽出されたパラメータに基づいて、前記個別領域ごとに、含まれるマークの配置の歪みを検出し、検出されたマークの配置の歪みに基づいて該マークの座標の移動量を検出する検出手段と、
前記個別領域ごとに、検出された移動量と所定の閾値とを比較し、前記移動量が前記所定の閾値以上となる個別領域の数に基づいて、前記撮像された画像全体が歪んでいるか否かを診断する診断手段とを有することを特徴とする画像処理装置である。
【００４３】
本発明に従えば、抽出手段は、少なくとも隣接する２つのマークの距離が所定の誤差範囲内となるべく配置された複数のマークを撮像した画像から、該撮像された画像のうち歪みが最も少ない領域のマークの配置に関するパラメータを抽出する。校正板をＣＣＤカメラなどを用いて撮像した画像の場合、レンズの中央部で撮像した領域、すなわち画像の中央部領域のマークに関するパラメータを抽出すればよい。
【００４４】
分割手段は、撮像された画像を複数の個別領域に分割する。分割することで、個別領域ごとに歪み検出ができる。
【００４５】
検出手段は、抽出されたパラメータに基づいて、個別領域ごとに、含まれるマークの配置の歪みを検出する。
【００４６】
診断手段は、検出された移動量と所定の閾値とを比較し、前記移動量が前記所定の閾値以上となる個別領域の数に基づいて、撮像された画像全体が歪んでいるか否かを診断する。また、閾値との比較および閾値の条件に該当する個別領域の個数によって画像全体の歪みを診断するので、閾値や個別領域の数を変更することで作業者および被写体に応じて診断精度を変更することができる。
【００４７】
このように、個別領域ごとに歪みを検出するので、撮像装置のあおり以外にもレンズの歪みや、被写体の撓みによる画像の歪みも診断することができる。
【００４８】
また、画像の歪みを診断するためには校正板を用いるだけでよく、各種センサなどは必要が無いので、歪み診断機能が追加されても装置規模が拡大することも、複雑な装置の調整を行うこともなく、コストを抑えることができる。
【００４９】
【発明の実施の形態】
図１は、画像処理システム１００の構成を示すブロック図である。画像処理システム１００は、撮像装置１、画像処理装置２、表示装置３を有し、たとえば、部品の位置合わせシステムを構成する。
【００５０】
撮像装置１は、ＣＣＤ（電荷結合素子）カメラ１１、Ａ/Ｄ（アナログ/デジタル）変換器１２、カメラコントローラ１３、Ｄ/Ａ変換器１４およびフレームメモリ１５からなる撮像手段である。ＣＣＤカメラ１１が、被写体を撮像し、受光量をアナログ画像信号として出力する。Ａ/Ｄ変換器１２は、ＣＣＤカメラ１１から出力されたアナログ画像信号をデジタルデータに変換し、デジタル画像データとして出力する。カメラコントローラ１４は、デジタル画像データを１フレームごとにフレームメモリ１５に格納するとともに、表示装置３に表示させるために、Ｄ/Ａ変換器１４に出力する。Ｄ/Ａ変換器は、カメラコントローラ１４から出力されたデジタル画像データを表示装置３に応じたアナログ画像信号に変換して表示装置３に出力する。表示装置３は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイなどで実現され、撮像装置１から出力されたアナログ画像信号を表示する。
【００５１】
画像処理装置２は、ＣＰＵ（中央演算処理装置）２１、ＲＡＭ（Random Access Memory）２２、ＲＯＭ（Read Only Memory）２３およびＩ/Ｏ（Input/Output）コントローラ２４からなる。ＣＰＵ２１は、ＲＯＭ２３に記憶されている制御プログラムに基づいて画像処理装置２の動作を制御する。処理中の画像データや演算中のデータなどは一時的にＲＡＭ２２に記憶される。Ｉ/Ｏコントローラ２４は、キーボードやマウスなどの入力装置や部品の移動装置などが接続され、これらの入出力データの制御を行う。
【００５２】
ＣＰＵ２１およびＲＯＭ２３は、抽出手段、分割手段、検出手段および診断手段を構成し、撮像装置２のカメラコントローラ１４を介してフレームメモリ１５から画像データを取得し、後述の画像処理を実行する。
【００５３】
本発明は、ＣＣＤ１１が備えるレンズの歪み、撮像装置１の光軸が被写体に対して傾くあおり、被写体の撓みなどによる撮像画像の歪みを診断し、補正して歪みの無い補正画像を出力する。
【００５４】
具体的には、基準となるマークを配列した校正板４を撮像装置１で撮像し、画像処理装置２で撮像画像に歪みがあるかどうかを診断し、歪みがあれば歪みを補正する。
【００５５】
画像処理装置２が実行する画像処理方法は、撮像した画像の歪みを診断する「歪み診断モード」と、診断モードで補正が必要であると診断した場合に画像の歪みを補正する「歪み補正モード」との２つの画像処理方法からなる。
【００５６】
さらに、「歪み診断モード」は、ティーチング、画像歪み診断（診断要なら変換係数変換テーブル作成）、補正確認およびキャリブレーションの３つの処理を行い、「歪み補正モード」では、診断時に作成した変換係数に基づく変換テーブル作成、変換テーブルに基づく歪み補正、歪み補正の確認の３つの処理を行う。
【００５７】
まず、歪み診断モードについて説明する。図２は、歪み診断モードの処理を示すフローチャートである。歪み診断モードは、３つのステップからなり、まず、ステップＡ１で校正板を用いたティーチングを行い、ステップＡ２で画像に歪みがあるか否かを診断し、ステップＡ３でキャリブレーションを行う。
【００５８】
以下では各ステップについて詳細を説明する。
図３は、ステップＡ１のティーチング処理を示すフローチャートである。
【００５９】
ステップＢ１では、撮像装置１で基準マークを配列した校正板４を撮像する。図４および図５は、校正板４の例を示す図である。図４は、均一格子を用いた校正板４を示し、図５は複合格子を用いた校正板４を示している。校正板４には、円形の基準マークが設けられており、基準マークの大きさ、基準マーク間の距離（マーク中心間の距離）などが所定の誤差範囲となるように高精度に配置されている。
【００６０】
図４に示す均一格子の場合は、基準マークの大きさおよび基準マーク間の距離が、配置されている全ての基準マークにおいて同じになっている。図５に示す複合格子の場合は、基準マークの大きさおよび基準マーク間の距離が、複数種類あり、たとえば、図のように校正板の中央領域は、基準マークが小さく、基準マーク間の距離も小さい領域となっており、周辺領域は、基準マークが大きく、基準マーク間の距離も大きい領域となっている。複合格子を用いれば、撮像装置や被写体などに応じて格子を切り替えることができるので、複数種類の校正板を用意する必要がなく、より精度を向上させることができる。
【００６１】
ステップＢ２では、撮像された画像を表示装置３に表示し、表示されている画像から、ティーチングに使用する領域を歪み補正用ウインドウとして指定する。指定の方法は、図６に示すように、ユーザが表示装置３に表示された画像を見ながら、マウスやタブレットなどの入力装置を用いて歪み補正用ウインドウＷを指定する。なお、校正板４として均一格子を用いた場合は、撮像された全ての領域をティーチングに用いてもよい。この場合は、ユーザによる操作は不要となる。
【００６２】
ステップＢ３では、歪み補正用ウインドウＷ内全体の基準マーク配列パターンをユーザが設定する。設定は、縦および横に配列されている基準マークの個数を入力する。たとえば、図６のパターンは、縦６個、横６個の配列パターンである。
【００６３】
ステップＢ４では、校正板が均一格子か複合格子か判断する。ユーザが予め使用する校正板の種類を選択しておき、その選択結果に基づいて判断する。均一格子であればステップＢ６に進み、複合格子であればステップＢ５に進む。
【００６４】
複合格子の場合、複数種類の基準マークが配置されているので、撮像した画像のうち、使用する基準マークと使用しない基準マークとを区別する必要がある。ステップＢ５では、使用しない基準マークが配置されている領域をマスクウインドウＭとして設定する。たとえば、図７に示すように、歪み補正用ウインドウＷ内の中央部に配置されている基準マークを使用しない場合は、歪み補正用ウインドウＷと同様の方法でマスクウインドウＭを設定する。
【００６５】
マスクウインドウＭ内を除き、使用する基準マークを有効マーク配列として指定する。たとえば、図７では、上から３個、下から３個、右から３個、左から３個とそれぞれ指定する。
【００６６】
ステップＢ６では、歪み補正用ウインドウＷ内の基準マークから、基準距離を算出するための中央マークを決定する。中央マークの決定は、各ウインドウの指定と同じように、ユーザが表示された画像を見ながら入力装置によって基準マークを指定する。
【００６７】
ステップＢ７では、基準マークを検出するための２値化条件を設定する。２値化条件としては、２値化の閾値、対象の白黒指定、ノイズ除去用の面積フィルターなどがある。
【００６８】
ステップＢ８ではティーチングを実行する。
ステップＢ７で設定された２値化条件で２値化処理を行い、撮像された画像内の基準マークをラベリングして各基準マークを代表する座標（Ｘ’，Ｙ’）、たとえば本実施形態の基準マークのように円形であれば円中心の座標を検出する。
【００６９】
全ての基準マークについて代表座標（Ｘ’，Ｙ’）を検出したら、ステップＢ６で決定した中央マークの代表座標を不動座標として設定する。
【００７０】
中央マークと、これに隣接する４つの基準マークとの距離を、不動座標と各基準マークの代表座標の距離としてそれぞれ算出し、平均値を基準距離とする。撮像された画像に歪みが無い場合には、全ての基準マーク間の距離が一定となる。全ての基準マーク間の距離が、算出された基準距離であるとし、不動座標を中心にこの基準距離を用いて、歪みが無い場合の理想的な基準マークの代表座標（理想座標）（Ｘ，Ｙ）を算出する。
【００７１】
次に、ステップＡ２の画像歪み診断処理について説明する。図８は、画像歪み診断処理を示すフローチャートである。
【００７２】
ステップＣ１では、ティーチング処理のステップＢ７において実際に撮像した画像から検出した各基準マークの代表座標（Ｘ’，Ｙ’）と、歪みの無い画像と想定して算出した各基準マークの理想座標（Ｘ，Ｙ）とを用いて射影変換式の変換係数を求める。
【００７３】
射影変換式は、式（１）で表される。
【００７４】
ここで、（Ｘ，Ｙ）は変換後の座標、（Ｘ’，Ｙ’）は変換前の座標で、４点の座標を与えることで、変換係数Ａ０〜Ａ８を算出することができる。したがって、変換係数は、用いた４つの基準マークごとに算出される。たとえば、図９に示すように、４つの基準マークＫ１〜Ｋ４を用いた場合は、破線で囲まれた個別領域１１０内の変換係数としてＡ０〜Ａ８が算出され、４つの基準マークＫ３〜Ｋ６を用いた場合は、破線で囲まれた個別領域１１１内の変換係数としてＡ０’〜Ａ８’が算出される。このように用いる４つの基準マークを左から右へずらしながら各個別領域内の変換係数をそれぞれ求め、右端の個別領域の変換係数を算出すると、対象の個別領域を下にずらし、再度左から右へと算出して全ての個別領域の変換係数を算出する。
【００７５】
ステップＣ２では、全領域の座標について移動量を算出する。移動量とは、変換前の座標と変換後の座標との距離であり、移動量が多いほど撮像された画像の歪みが大きいことを示している。
【００７６】
具体的には、ステップＣ１で算出した変換係数を用いて変換後の座標を算出し、移動量を求める。
【００７７】
ステップＣ３では、閾値として移動量の許容値をユーザが入力して設定する。移動量が多いほど歪みが大きいので、どの程度の歪みまでなら歪みは無いとみなすかを移動量で設定する。
【００７８】
ステップＣ４では、歪みを補正する必要があるか否かを判断する。ステップＣ２で算出された全ての移動量と、ステップＣ３で設定された許容値とを比較し、１つの移動量だけでも許容値を越えていれば補正が必要であると判断してステップＣ５に進み、全ての移動量が許容値以下であれば補正は不要と判断してステップＣ６に進む。
【００７９】
ステップＣ４の判断結果は、後述の補正処理に必要となるので、補正フラグとして記憶しておく。ステップＣ５では、補正フラグに“補正要”を記憶し、ステップＣ６では、補正フラグに“補正不要”を記憶する。
【００８０】
図１０は、キャリブレーション処理を示すフローチャートである。
ステップＤ１では、校正板の２つの基準マーク間の距離を画素数で計測する。これは、前述の処理で撮像している画像を用いて計測すればよい。また、別に校正されたサンプルを撮像し、その画像内の２点間の距離を測定してもよい。
【００８１】
ステップＤ２では、上記の画像歪み診断処理で算出した変換係数を用いて、補正後の距離を算出し、補正前と補正後の距離の差分を算出する。この差分に基づいて補正の有効性を確認する。
【００８２】
有効性の確認は、たとえば、差分値を表示し、ユーザが表示された差分値を見て確認する。
【００８３】
ステップＤ３では、補正有効性の確認が終了したか否かを判断し、終了していれば、ステップＤ４に進み、終了していなければステップＤ１に戻る。
【００８４】
なお、ステップＣ４で補正不要と判断された場合には、有効性確認のためのステップＤ２，Ｄ３の処理は実行しなくてもよい。
【００８５】
ステップＤ４では、ステップＤ１で計測した距離の実測値を入力して設定する。校正板では、基準マーク間の距離は決まっているので、その値を入力すればよい。
【００８６】
ステップＤ５では、ステップＤ４で設定した実測値と画素数からキャリブレーションファクタを算出する。キャリブレーションファクタとは、たとえば、１画素当たりＸｍのように単位画素当たりの長さである。
【００８７】
以下では歪み補正モードについて説明する。
歪み補正モードでは、歪み診断モードで作成した変換係数に基づいて変換テーブルを作成する処理、変換テーブルに基づいて歪みを補正する処理、歪みの補正を確認する処理がある。
【００８８】
１）変換テーブル作成処理
全ての領域について変換テーブルを記憶しておくには、膨大な記憶容量が必要となるので、たとえば、電源立ち上げ時やユーザが指定したときに、変換係数を算出し変換テーブルを作成する。なお、変換テーブルの作成は、画像歪み診断処理において、補正フラグに“補正要”と記憶されている場合のみ行う。
【００８９】
変換テーブルは、具体的には、変換前の座標と変換後の座標とが記載されたテーブルである。
【００９０】
このように、変換係数を記憶することで、記憶容量を削減することができ、変換テーブルを変換係数から作成することで演算量を削減することができる。
【００９１】
２）画像歪み補正処理
変換テーブル作成処理で作成した変換テーブルを用いて、撮像装置１で撮像した画像の各画素を移動させて補正画像を作成する。
【００９２】
３）補正確認処理
補正前の画像と、補正後の画像とを表示装置３に表示し、ユーザが補正処理の効果を確認する。
【００９３】
図１１は、補正前後の画像の表示例である。図１１（ａ）は補正前の画像であり、特に四隅の歪みが大きい。図１１（ｂ）は補正後の画像であり、全ての基準マークが等間隔で配置される。
【００９４】
以上のように、領域ごとに変換関数を算出するので、撮像装置１のあおりだけでなく、レンズの歪み、被写体の撓みに対しても画像の歪みを補正することができる。
【００９５】
また、画像歪みの診断および補正を行うために別途センサを設ける必要が無いので、画像診断および補正機能が追加されても装置規模が拡大することも、複雑な装置の調整を行うこともなく、コスト抑えることができる。
【００９６】
さらに、予め基準となるマークが配置された校正板を使用するので、基準点をマニュアル入力する必要が無いので、作業者の負担を軽減するとともに、補正精度を向上させることができる。
【００９７】
また、本発明の実施の他の形態は、コンピュータを画像処理装置２として機能させるための画像処理プログラム、および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。これによって、画像処理プログラムおよび画像処理プログラムを記録した記録媒体を持ち運び自在に提供することができる。
【００９８】
記録媒体は、プリンタやコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで、画像処理プログラムが実行される。
【００９９】
コンピュータシステムの入力手段としては、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどを用いてもよい。コンピュータシステムは、これらの入力手段と、所定のプログラムがロードされることにより画像処理などを実行するコンピュータと、コンピュータの処理結果を表示するＣＲＴディスプレイ・液晶ディスプレイなどの画像表示装置と、コンピュータの処理結果を紙などに出力するプリンタより構成される。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのモデムなどが備えられる。
【０１００】
なお、記録媒体としては、プログラム読み取り装置によって読み取られるものには限らず、マイクロコンピュータのメモリ、たとえばＲＯＭであっても良い。記録されているプログラムはマイクロプロセッサがアクセスして実行しても良いし、あるいは、記録媒体から読み出したプログラムを、マイクロコンピュータのプログラム記憶エリアにダウンロードし、そのプログラムを実行してもよい。このダウンロード機能は予めマイクロコンピュータが備えているものとする。
【０１０１】
記録媒体の具体的な例としては、磁気テープやカセットテープなどのテープ系、フレキシブルディスクやハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）／ＭＯ（Magneto Optical）ディスク／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）などの光ディスクのディスク系、ＩＣ（Integrated Circuit）カード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭなどの半導体メモリを含めた固定的にプログラムを担持する媒体である。
【０１０２】
また、本実施形態においては、コンピュータはインターネットを含む通信ネットワークに接続可能なシステム構成とし、通信ネットワークを介して画像処理プログラムをダウンロードしても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード機能は予めコンピュータに備えておくか、あるいは別な記録媒体からインストールされるものであっても良い。また、ダウンロード用のプログラムはユーザーインターフェースを介して実行されるものであっても良いし、決められたＵＲＬ（Uniform Resource Locater）から定期的にプログラムをダウンロードするようなものであっても良い。
【０１０３】
【発明の効果】
以上のように本発明によれば、個別領域ごとに歪みを検出するので、撮像装置のあおり以外にもレンズの歪みや、被写体の撓みによる画像の歪みも診断することができる。また、画像の歪みを診断するためには校正板を用いるだけでよく、各種センサなどは必要が無いので、歪み診断機能が追加されても装置規模が拡大することも、複雑な装置の調整を行うこともなく、コストを抑えることができる。
【０１０４】
また本発明によれば、センサなどを別途用いずに、歪みを診断するための比較対象を容易に取得することができる。
【０１０５】
また本発明によれば、射影変換を用いるので、高精度かつ容易に歪みを検出することができる。
【０１０６】
また本発明によれば、閾値との比較および閾値の条件に該当する個別領域の個数によって画像全体の歪みを診断するので、閾値や個別領域の数を変更することで作業者および被写体に応じて診断精度を変更することができる。
【０１０７】
また本発明によれば、個別領域ごとに算出された射影変換係数に基づいて補正を行うので、撮像装置のあおり以外にもレンズの歪みや、被写体の撓みによる画像の歪みも精度よく補正することができる。また、検出ステップで算出された射影変換係数を用いることで補正に必要な演算量を削減することができる。
【０１０８】
また本発明によれば、いわゆるキャリブレーションファクタを用いることで、撮像した画像から被写体の実際の寸法を計測することができる。
【０１０９】
また本発明によれば、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。
【図面の簡単な説明】
【図１】画像処理システム１００の構成を示すブロック図である。
【図２】歪み診断モードの処理を示すフローチャートである。
【図３】ステップＡ１のティーチング処理を示すフローチャートである。
【図４】校正板４の例を示す図である。
【図５】校正板４の例を示す図である。
【図６】歪み補正用ウインドウＷを指定する際の表示例を示す図である。
【図７】マスクウインドウＭの指定および有効配列の指定を行う際の表示例を示す図である。
【図８】画像歪み診断処理を示すフローチャートである。
【図９】個別領域の例を示す図である。
【図１０】キャリブレーション処理を示すフローチャートである。
【図１１】補正前後の画像の表示例である。
【符号の説明】
１ 撮像装置
２ 画像処理装置
３ 表示装置
１１ ＣＣＤカメラ
１２ Ａ／Ｄ変換器
１３ カメラコントローラ
１４ Ｄ／Ａ変換器
１５ フレームメモリ
２１ ＣＰＵ
２２ ＲＡＭ
２３ ＲＯＭ
２４ Ｉ／Ｏコントローラ
１００ 画像処理システム
【発明の属する技術分野】
本発明は、撮像装置などから入力された画像に対して図形処理を行う画像処理方法および画像処理装置に関し、特に画像の歪みを診断および補正する画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
ＣＣＤカメラなど撮像装置の普及に伴い、被写体を撮像した画像に基づいて様々な処理を行う画像処理が工場内や家庭内を問わず行われている。たとえば、工場内では、製品の組み立てや不良検査など、家庭内では、デジタルカメラやスキャナによる画像取り込み、防犯カメラによるセキュリティシステムなどで画像処理が行われている。
【０００３】
これらの中でも特に、製品の組み立てにおける部品の位置合わせや、製品の不良箇所の検出では、高精度で物体の位置検出および寸法計測を実現する必要があり、画像処理に対しても高い精度の処理が要求される。
【０００４】
画像処理の精度低下の主な原因として、撮像装置のあおりおよびレンズ歪み、被写体の撓みなどがある。
【０００５】
このような画像の歪みは、射影変換を用いて補正することができる。射影変換による画像の歪み補正の代表的な技術として以下の３種類の技術がある。
【０００６】
（１）撮像装置以外の各種センサを用いる（特許文献１参照）。
各種センサを使い、撮像装置と被写体との位置関係（距離や角度）を実測し、その実測値から変換関数を算出する。使用するセンサには加速度センサ、角速度センサ、磁気センサ、超音波センサ、赤外線センサなどがある。
【０００７】
（２）マニュアルで設定する（特許文献２，３参照）。
変換関数の算出に必要な情報をマニュアルで設定する。必要な情報は４点の座標で、変換前の画像から適当な４点を選び、これらの点が変換後に移動すべき座標を指定する。変換前後の座標から変換関数を算出する。
【０００８】
（３）被写体の特徴点を用いる（特許文献４参照）。
被写体から特徴点を捜し出し、その特徴点が所定位置に移動するように変換関数を算出する。被写体毎に変換関数が算出できるため、位置関係が変化する場合には有効である。
【０００９】
【特許文献１】
特開２０００−３０７９４７号公報
【特許文献２】
特開平７−４４６９８号公報
【特許文献３】
特開平１１−２３８１２３号公報
【特許文献４】
特開２００１−１７７７１６号公報
【００１０】
【発明が解決しようとする課題】
（１）のように撮像装置以外に各種センサを用いる場合は、別途センサを設ける必要があるため、装置の規模が大きくなり、コストも増大する。また、高精度で補正するには、撮像装置と、センサとの位置調整が複雑である。
【００１１】
（２）のようにマニュアルで設定する場合は、作業者の負担が大きいという問題がある。また、作業者によって設定が変わるなど客観性に乏しく、必ずしも高精度とはならない。
【００１２】
（３）のように被写体の特徴点を用いる場合は、被写体が適切な特徴点を備えていることが必要となる。
【００１３】
また、上記のいずれの場合でも、全領域を１つの変換関数で変換するため、歪みの原因が、撮像装置のあおりだけであれば補正することは可能であるが、レンズ歪みや被写体の撓みが原因であれば、補正することはできない。
【００１４】
本発明の目的は、画像の歪みを検出し、高精度で歪み補正を行う画像処理装置および画像処理方法ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体を提供することである。
【００１５】
【課題を解決するための手段】
本発明は、少なくとも隣接する２つのマークの距離が所定の誤差範囲内となるべく配置された複数のマークを撮像した画像から、該撮像された画像のうち歪みが最も少ない領域のマークの配置に関するパラメータを抽出する抽出ステップと、
撮像された画像を複数の個別領域に分割する分割ステップと、
抽出されたパラメータに基づいて、前記個別領域ごとに、含まれるマークの配置の歪みを検出し、検出されたマークの配置の歪みに基づいて該マークの座標の移動量を検出する検出ステップと、
前記個別領域ごとに、検出された移動量と所定の閾値とを比較し、前記移動量が前記所定の閾値以上となる個別領域の数に基づいて、前記撮像された画像全体が歪んでいるか否かを診断する診断ステップとを有することを特徴とする画像処理方法である。
【００１７】
本発明に従えば、抽出ステップでは、少なくとも隣接する２つのマークの距離が所定の誤差範囲内となるべく配置された複数のマークを撮像した画像から、該撮像された画像のうち歪みが最も少ない領域のマークの配置に関するパラメータを抽出する。校正板をＣＣＤカメラなどを用いて撮像した画像の場合、レンズの中央部で撮像した領域、すなわち画像の中央部領域のマークに関するパラメータを抽出すればよい。
【００１８】
分割ステップでは、撮像された画像を複数の個別領域に分割する。分割することで、個別領域ごとに歪み検出ができる。
【００１９】
検出ステップでは、抽出されたパラメータに基づいて、個別領域ごとに、含まれるマークの配置の歪みを検出する。
【００２０】
診断ステップでは、検出された移動量と所定の閾値とを比較し、前記移動量が前記所定の閾値以上となる個別領域の数に基づいて、撮像された画像全体が歪んでいるか否かを診断する。また、閾値との比較および閾値の条件に該当する個別領域の個数によって画像全体の歪みを診断するので、閾値や個別領域の数を変更することで作業者および被写体に応じて診断精度を変更することができる。
【００２１】
このように、個別領域ごとに歪みを検出するので、撮像装置のあおり以外にもレンズの歪みや、被写体の撓みによる画像の歪みも診断することができる。
【００２２】
また、画像の歪みを診断するためには校正板を用いるだけでよく、各種センサなどは必要が無いので、歪み診断機能が追加されても装置規模が拡大することも、複雑な装置の調整を行うこともなく、コストを抑えることができる。
【００２３】
また本発明は、前記抽出ステップは、歪みが最も少ない領域内で、隣接するマーク間の距離を複数検出し、検出された距離の平均を基準距離として算出し、前記基準距離を用いて、撮像された全マークの座標を理想座標として抽出することを特徴とする。
【００２４】
本発明に従えば、抽出ステップでは、まず歪みが最も少ない領域内で、隣接するマーク間の距離を複数検出する。検出された距離の平均を基準距離として算出し、この基準距離を用いて、撮像された全マークの座標を理想座標として抽出する。
【００２５】
センサなどを別途用いずに、歪みを診断するための比較対象を容易に取得することができる。
【００２６】
また本発明は、前記検出ステップは、前記個別領域ごとに、前記理想座標と撮像されたマークの座標とから射影変換係数を算出し、算出された射影変換係数に基づいて、射影変換による座標の移動量を検出することを特徴とする。
【００２７】
本発明に従えば、検出ステップでは、個別領域ごとに、理想座標と撮像されたマークの座標とから射影変換係数を算出し、算出された射影変換係数に基づいて、射影変換による座標の移動量を検出する。
【００２８】
このように、射影変換を用いるので、高精度かつ容易に歪みを検出することができる。
【００２９】
また本発明は、前記診断ステップは、全領域の座標について診断することを特徴とする。
【００３０】
本発明に従えば、診断ステップでは、個別領域ごとに検出された移動量と所定の閾値とを比較し、移動量が閾値以上となる個別領域の数に基づいて診断する。
【００３１】
このように、閾値との比較および閾値の条件に該当する個別領域の個数によって画像全体の歪みを診断するので、閾値や個別領域の数を変更することで作業者および被写体に応じて診断精度を変更することができる。
【００３２】
また本発明は、前記診断ステップで撮像された画像が歪んでいると診断されたときは、前記射影変換係数に基づいて射影変換を行うことで撮像された画像を補正する補正ステップをさらに有することを特徴とする。
【００３３】
本発明に従えば、診断ステップで撮像された画像が歪んでいると診断されたときは、補正ステップで射影変換係数に基づいて射影変換を行うことで撮像された画像を補正する。
【００３４】
個別領域ごとに算出された射影変換係数に基づいて補正を行うので、撮像装置のあおり以外にもレンズの歪みや、被写体の撓みによる画像の歪みも精度よく補正することができる。また、検出ステップで算出された射影変換係数を用いることで補正に必要な演算量を削減することができる。
【００３５】
また本発明は、撮像された画像における画素数に基づくマーク間の距離と、前記撮像された画像に配置されたマーク間の実測距離とから、１画素当たりの距離を算出する距離算出ステップさらに有することを特徴とする。
【００３６】
本発明に従えば、距離算出ステップでは、撮像された画像における画素数に基づくマーク間の距離と、前記撮像された画像に配置されたマーク間の実測距離とから、１画素当たりの距離を算出する。１画素当たりの距離は、いわゆるキャリブレーションファクタと呼ばれ、このキャリブレーションファクタを用いることで、撮像した画像から被写体の実際の寸法を計測することができる。
【００３７】
また本発明は、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムである。
【００３８】
本発明に従えば、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムとして提供することができる。
【００３９】
また本発明は、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００４０】
本発明に従えば、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。
【００４１】
また本発明は、少なくとも隣接する２つのマークの距離が所定の誤差範囲内となるべく配置された複数のマークを撮像した画像から、該撮像された画像のうち歪みが最も少ない領域のマークの配置に関するパラメータを抽出する抽出手段と、
撮像された画像を複数の個別領域に分割する分割手段と、
抽出されたパラメータに基づいて、前記個別領域ごとに、含まれるマークの配置の歪みを検出し、検出されたマークの配置の歪みに基づいて該マークの座標の移動量を検出する検出手段と、
前記個別領域ごとに、検出された移動量と所定の閾値とを比較し、前記移動量が前記所定の閾値以上となる個別領域の数に基づいて、前記撮像された画像全体が歪んでいるか否かを診断する診断手段とを有することを特徴とする画像処理装置である。
【００４３】
本発明に従えば、抽出手段は、少なくとも隣接する２つのマークの距離が所定の誤差範囲内となるべく配置された複数のマークを撮像した画像から、該撮像された画像のうち歪みが最も少ない領域のマークの配置に関するパラメータを抽出する。校正板をＣＣＤカメラなどを用いて撮像した画像の場合、レンズの中央部で撮像した領域、すなわち画像の中央部領域のマークに関するパラメータを抽出すればよい。
【００４４】
分割手段は、撮像された画像を複数の個別領域に分割する。分割することで、個別領域ごとに歪み検出ができる。
【００４５】
検出手段は、抽出されたパラメータに基づいて、個別領域ごとに、含まれるマークの配置の歪みを検出する。
【００４６】
診断手段は、検出された移動量と所定の閾値とを比較し、前記移動量が前記所定の閾値以上となる個別領域の数に基づいて、撮像された画像全体が歪んでいるか否かを診断する。また、閾値との比較および閾値の条件に該当する個別領域の個数によって画像全体の歪みを診断するので、閾値や個別領域の数を変更することで作業者および被写体に応じて診断精度を変更することができる。
【００４７】
このように、個別領域ごとに歪みを検出するので、撮像装置のあおり以外にもレンズの歪みや、被写体の撓みによる画像の歪みも診断することができる。
【００４８】
また、画像の歪みを診断するためには校正板を用いるだけでよく、各種センサなどは必要が無いので、歪み診断機能が追加されても装置規模が拡大することも、複雑な装置の調整を行うこともなく、コストを抑えることができる。
【００４９】
【発明の実施の形態】
図１は、画像処理システム１００の構成を示すブロック図である。画像処理システム１００は、撮像装置１、画像処理装置２、表示装置３を有し、たとえば、部品の位置合わせシステムを構成する。
【００５０】
撮像装置１は、ＣＣＤ（電荷結合素子）カメラ１１、Ａ/Ｄ（アナログ/デジタル）変換器１２、カメラコントローラ１３、Ｄ/Ａ変換器１４およびフレームメモリ１５からなる撮像手段である。ＣＣＤカメラ１１が、被写体を撮像し、受光量をアナログ画像信号として出力する。Ａ/Ｄ変換器１２は、ＣＣＤカメラ１１から出力されたアナログ画像信号をデジタルデータに変換し、デジタル画像データとして出力する。カメラコントローラ１４は、デジタル画像データを１フレームごとにフレームメモリ１５に格納するとともに、表示装置３に表示させるために、Ｄ/Ａ変換器１４に出力する。Ｄ/Ａ変換器は、カメラコントローラ１４から出力されたデジタル画像データを表示装置３に応じたアナログ画像信号に変換して表示装置３に出力する。表示装置３は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイなどで実現され、撮像装置１から出力されたアナログ画像信号を表示する。
【００５１】
画像処理装置２は、ＣＰＵ（中央演算処理装置）２１、ＲＡＭ（Random Access Memory）２２、ＲＯＭ（Read Only Memory）２３およびＩ/Ｏ（Input/Output）コントローラ２４からなる。ＣＰＵ２１は、ＲＯＭ２３に記憶されている制御プログラムに基づいて画像処理装置２の動作を制御する。処理中の画像データや演算中のデータなどは一時的にＲＡＭ２２に記憶される。Ｉ/Ｏコントローラ２４は、キーボードやマウスなどの入力装置や部品の移動装置などが接続され、これらの入出力データの制御を行う。
【００５２】
ＣＰＵ２１およびＲＯＭ２３は、抽出手段、分割手段、検出手段および診断手段を構成し、撮像装置２のカメラコントローラ１４を介してフレームメモリ１５から画像データを取得し、後述の画像処理を実行する。
【００５３】
本発明は、ＣＣＤ１１が備えるレンズの歪み、撮像装置１の光軸が被写体に対して傾くあおり、被写体の撓みなどによる撮像画像の歪みを診断し、補正して歪みの無い補正画像を出力する。
【００５４】
具体的には、基準となるマークを配列した校正板４を撮像装置１で撮像し、画像処理装置２で撮像画像に歪みがあるかどうかを診断し、歪みがあれば歪みを補正する。
【００５５】
画像処理装置２が実行する画像処理方法は、撮像した画像の歪みを診断する「歪み診断モード」と、診断モードで補正が必要であると診断した場合に画像の歪みを補正する「歪み補正モード」との２つの画像処理方法からなる。
【００５６】
さらに、「歪み診断モード」は、ティーチング、画像歪み診断（診断要なら変換係数変換テーブル作成）、補正確認およびキャリブレーションの３つの処理を行い、「歪み補正モード」では、診断時に作成した変換係数に基づく変換テーブル作成、変換テーブルに基づく歪み補正、歪み補正の確認の３つの処理を行う。
【００５７】
まず、歪み診断モードについて説明する。図２は、歪み診断モードの処理を示すフローチャートである。歪み診断モードは、３つのステップからなり、まず、ステップＡ１で校正板を用いたティーチングを行い、ステップＡ２で画像に歪みがあるか否かを診断し、ステップＡ３でキャリブレーションを行う。
【００５８】
以下では各ステップについて詳細を説明する。
図３は、ステップＡ１のティーチング処理を示すフローチャートである。
【００５９】
ステップＢ１では、撮像装置１で基準マークを配列した校正板４を撮像する。図４および図５は、校正板４の例を示す図である。図４は、均一格子を用いた校正板４を示し、図５は複合格子を用いた校正板４を示している。校正板４には、円形の基準マークが設けられており、基準マークの大きさ、基準マーク間の距離（マーク中心間の距離）などが所定の誤差範囲となるように高精度に配置されている。
【００６０】
図４に示す均一格子の場合は、基準マークの大きさおよび基準マーク間の距離が、配置されている全ての基準マークにおいて同じになっている。図５に示す複合格子の場合は、基準マークの大きさおよび基準マーク間の距離が、複数種類あり、たとえば、図のように校正板の中央領域は、基準マークが小さく、基準マーク間の距離も小さい領域となっており、周辺領域は、基準マークが大きく、基準マーク間の距離も大きい領域となっている。複合格子を用いれば、撮像装置や被写体などに応じて格子を切り替えることができるので、複数種類の校正板を用意する必要がなく、より精度を向上させることができる。
【００６１】
ステップＢ２では、撮像された画像を表示装置３に表示し、表示されている画像から、ティーチングに使用する領域を歪み補正用ウインドウとして指定する。指定の方法は、図６に示すように、ユーザが表示装置３に表示された画像を見ながら、マウスやタブレットなどの入力装置を用いて歪み補正用ウインドウＷを指定する。なお、校正板４として均一格子を用いた場合は、撮像された全ての領域をティーチングに用いてもよい。この場合は、ユーザによる操作は不要となる。
【００６２】
ステップＢ３では、歪み補正用ウインドウＷ内全体の基準マーク配列パターンをユーザが設定する。設定は、縦および横に配列されている基準マークの個数を入力する。たとえば、図６のパターンは、縦６個、横６個の配列パターンである。
【００６３】
ステップＢ４では、校正板が均一格子か複合格子か判断する。ユーザが予め使用する校正板の種類を選択しておき、その選択結果に基づいて判断する。均一格子であればステップＢ６に進み、複合格子であればステップＢ５に進む。
【００６４】
複合格子の場合、複数種類の基準マークが配置されているので、撮像した画像のうち、使用する基準マークと使用しない基準マークとを区別する必要がある。ステップＢ５では、使用しない基準マークが配置されている領域をマスクウインドウＭとして設定する。たとえば、図７に示すように、歪み補正用ウインドウＷ内の中央部に配置されている基準マークを使用しない場合は、歪み補正用ウインドウＷと同様の方法でマスクウインドウＭを設定する。
【００６５】
マスクウインドウＭ内を除き、使用する基準マークを有効マーク配列として指定する。たとえば、図７では、上から３個、下から３個、右から３個、左から３個とそれぞれ指定する。
【００６６】
ステップＢ６では、歪み補正用ウインドウＷ内の基準マークから、基準距離を算出するための中央マークを決定する。中央マークの決定は、各ウインドウの指定と同じように、ユーザが表示された画像を見ながら入力装置によって基準マークを指定する。
【００６７】
ステップＢ７では、基準マークを検出するための２値化条件を設定する。２値化条件としては、２値化の閾値、対象の白黒指定、ノイズ除去用の面積フィルターなどがある。
【００６８】
ステップＢ８ではティーチングを実行する。
ステップＢ７で設定された２値化条件で２値化処理を行い、撮像された画像内の基準マークをラベリングして各基準マークを代表する座標（Ｘ’，Ｙ’）、たとえば本実施形態の基準マークのように円形であれば円中心の座標を検出する。
【００６９】
全ての基準マークについて代表座標（Ｘ’，Ｙ’）を検出したら、ステップＢ６で決定した中央マークの代表座標を不動座標として設定する。
【００７０】
中央マークと、これに隣接する４つの基準マークとの距離を、不動座標と各基準マークの代表座標の距離としてそれぞれ算出し、平均値を基準距離とする。撮像された画像に歪みが無い場合には、全ての基準マーク間の距離が一定となる。全ての基準マーク間の距離が、算出された基準距離であるとし、不動座標を中心にこの基準距離を用いて、歪みが無い場合の理想的な基準マークの代表座標（理想座標）（Ｘ，Ｙ）を算出する。
【００７１】
次に、ステップＡ２の画像歪み診断処理について説明する。図８は、画像歪み診断処理を示すフローチャートである。
【００７２】
ステップＣ１では、ティーチング処理のステップＢ７において実際に撮像した画像から検出した各基準マークの代表座標（Ｘ’，Ｙ’）と、歪みの無い画像と想定して算出した各基準マークの理想座標（Ｘ，Ｙ）とを用いて射影変換式の変換係数を求める。
【００７３】
射影変換式は、式（１）で表される。
ここで、（Ｘ，Ｙ）は変換後の座標、（Ｘ’，Ｙ’）は変換前の座標で、４点の座標を与えることで、変換係数Ａ０〜Ａ８を算出することができる。したがって、変換係数は、用いた４つの基準マークごとに算出される。たとえば、図９に示すように、４つの基準マークＫ１〜Ｋ４を用いた場合は、破線で囲まれた個別領域１１０内の変換係数としてＡ０〜Ａ８が算出され、４つの基準マークＫ３〜Ｋ６を用いた場合は、破線で囲まれた個別領域１１１内の変換係数としてＡ０’〜Ａ８’が算出される。このように用いる４つの基準マークを左から右へずらしながら各個別領域内の変換係数をそれぞれ求め、右端の個別領域の変換係数を算出すると、対象の個別領域を下にずらし、再度左から右へと算出して全ての個別領域の変換係数を算出する。
【００７５】
ステップＣ２では、全領域の座標について移動量を算出する。移動量とは、変換前の座標と変換後の座標との距離であり、移動量が多いほど撮像された画像の歪みが大きいことを示している。
【００７６】
具体的には、ステップＣ１で算出した変換係数を用いて変換後の座標を算出し、移動量を求める。
【００７７】
ステップＣ３では、閾値として移動量の許容値をユーザが入力して設定する。移動量が多いほど歪みが大きいので、どの程度の歪みまでなら歪みは無いとみなすかを移動量で設定する。
【００７８】
ステップＣ４では、歪みを補正する必要があるか否かを判断する。ステップＣ２で算出された全ての移動量と、ステップＣ３で設定された許容値とを比較し、１つの移動量だけでも許容値を越えていれば補正が必要であると判断してステップＣ５に進み、全ての移動量が許容値以下であれば補正は不要と判断してステップＣ６に進む。
【００７９】
ステップＣ４の判断結果は、後述の補正処理に必要となるので、補正フラグとして記憶しておく。ステップＣ５では、補正フラグに“補正要”を記憶し、ステップＣ６では、補正フラグに“補正不要”を記憶する。
【００８０】
図１０は、キャリブレーション処理を示すフローチャートである。
ステップＤ１では、校正板の２つの基準マーク間の距離を画素数で計測する。これは、前述の処理で撮像している画像を用いて計測すればよい。また、別に校正されたサンプルを撮像し、その画像内の２点間の距離を測定してもよい。
【００８１】
ステップＤ２では、上記の画像歪み診断処理で算出した変換係数を用いて、補正後の距離を算出し、補正前と補正後の距離の差分を算出する。この差分に基づいて補正の有効性を確認する。
【００８２】
有効性の確認は、たとえば、差分値を表示し、ユーザが表示された差分値を見て確認する。
【００８３】
ステップＤ３では、補正有効性の確認が終了したか否かを判断し、終了していれば、ステップＤ４に進み、終了していなければステップＤ１に戻る。
【００８４】
なお、ステップＣ４で補正不要と判断された場合には、有効性確認のためのステップＤ２，Ｄ３の処理は実行しなくてもよい。
【００８５】
ステップＤ４では、ステップＤ１で計測した距離の実測値を入力して設定する。校正板では、基準マーク間の距離は決まっているので、その値を入力すればよい。
【００８６】
ステップＤ５では、ステップＤ４で設定した実測値と画素数からキャリブレーションファクタを算出する。キャリブレーションファクタとは、たとえば、１画素当たりＸｍのように単位画素当たりの長さである。
【００８７】
以下では歪み補正モードについて説明する。
歪み補正モードでは、歪み診断モードで作成した変換係数に基づいて変換テーブルを作成する処理、変換テーブルに基づいて歪みを補正する処理、歪みの補正を確認する処理がある。
【００８８】
１）変換テーブル作成処理
全ての領域について変換テーブルを記憶しておくには、膨大な記憶容量が必要となるので、たとえば、電源立ち上げ時やユーザが指定したときに、変換係数を算出し変換テーブルを作成する。なお、変換テーブルの作成は、画像歪み診断処理において、補正フラグに“補正要”と記憶されている場合のみ行う。
【００８９】
変換テーブルは、具体的には、変換前の座標と変換後の座標とが記載されたテーブルである。
【００９０】
このように、変換係数を記憶することで、記憶容量を削減することができ、変換テーブルを変換係数から作成することで演算量を削減することができる。
【００９１】
２）画像歪み補正処理
変換テーブル作成処理で作成した変換テーブルを用いて、撮像装置１で撮像した画像の各画素を移動させて補正画像を作成する。
【００９２】
３）補正確認処理
補正前の画像と、補正後の画像とを表示装置３に表示し、ユーザが補正処理の効果を確認する。
【００９３】
図１１は、補正前後の画像の表示例である。図１１（ａ）は補正前の画像であり、特に四隅の歪みが大きい。図１１（ｂ）は補正後の画像であり、全ての基準マークが等間隔で配置される。
【００９４】
以上のように、領域ごとに変換関数を算出するので、撮像装置１のあおりだけでなく、レンズの歪み、被写体の撓みに対しても画像の歪みを補正することができる。
【００９５】
また、画像歪みの診断および補正を行うために別途センサを設ける必要が無いので、画像診断および補正機能が追加されても装置規模が拡大することも、複雑な装置の調整を行うこともなく、コスト抑えることができる。
【００９６】
さらに、予め基準となるマークが配置された校正板を使用するので、基準点をマニュアル入力する必要が無いので、作業者の負担を軽減するとともに、補正精度を向上させることができる。
【００９７】
また、本発明の実施の他の形態は、コンピュータを画像処理装置２として機能させるための画像処理プログラム、および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。これによって、画像処理プログラムおよび画像処理プログラムを記録した記録媒体を持ち運び自在に提供することができる。
【００９８】
記録媒体は、プリンタやコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで、画像処理プログラムが実行される。
【００９９】
コンピュータシステムの入力手段としては、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどを用いてもよい。コンピュータシステムは、これらの入力手段と、所定のプログラムがロードされることにより画像処理などを実行するコンピュータと、コンピュータの処理結果を表示するＣＲＴディスプレイ・液晶ディスプレイなどの画像表示装置と、コンピュータの処理結果を紙などに出力するプリンタより構成される。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのモデムなどが備えられる。
【０１００】
なお、記録媒体としては、プログラム読み取り装置によって読み取られるものには限らず、マイクロコンピュータのメモリ、たとえばＲＯＭであっても良い。記録されているプログラムはマイクロプロセッサがアクセスして実行しても良いし、あるいは、記録媒体から読み出したプログラムを、マイクロコンピュータのプログラム記憶エリアにダウンロードし、そのプログラムを実行してもよい。このダウンロード機能は予めマイクロコンピュータが備えているものとする。
【０１０１】
記録媒体の具体的な例としては、磁気テープやカセットテープなどのテープ系、フレキシブルディスクやハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）／ＭＯ（Magneto Optical）ディスク／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）などの光ディスクのディスク系、ＩＣ（Integrated Circuit）カード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭなどの半導体メモリを含めた固定的にプログラムを担持する媒体である。
【０１０２】
また、本実施形態においては、コンピュータはインターネットを含む通信ネットワークに接続可能なシステム構成とし、通信ネットワークを介して画像処理プログラムをダウンロードしても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード機能は予めコンピュータに備えておくか、あるいは別な記録媒体からインストールされるものであっても良い。また、ダウンロード用のプログラムはユーザーインターフェースを介して実行されるものであっても良いし、決められたＵＲＬ（Uniform Resource Locater）から定期的にプログラムをダウンロードするようなものであっても良い。
【０１０３】
【発明の効果】
以上のように本発明によれば、個別領域ごとに歪みを検出するので、撮像装置のあおり以外にもレンズの歪みや、被写体の撓みによる画像の歪みも診断することができる。また、画像の歪みを診断するためには校正板を用いるだけでよく、各種センサなどは必要が無いので、歪み診断機能が追加されても装置規模が拡大することも、複雑な装置の調整を行うこともなく、コストを抑えることができる。
【０１０４】
また本発明によれば、センサなどを別途用いずに、歪みを診断するための比較対象を容易に取得することができる。
【０１０５】
また本発明によれば、射影変換を用いるので、高精度かつ容易に歪みを検出することができる。
【０１０６】
また本発明によれば、閾値との比較および閾値の条件に該当する個別領域の個数によって画像全体の歪みを診断するので、閾値や個別領域の数を変更することで作業者および被写体に応じて診断精度を変更することができる。
【０１０７】
また本発明によれば、個別領域ごとに算出された射影変換係数に基づいて補正を行うので、撮像装置のあおり以外にもレンズの歪みや、被写体の撓みによる画像の歪みも精度よく補正することができる。また、検出ステップで算出された射影変換係数を用いることで補正に必要な演算量を削減することができる。
【０１０８】
また本発明によれば、いわゆるキャリブレーションファクタを用いることで、撮像した画像から被写体の実際の寸法を計測することができる。
【０１０９】
また本発明によれば、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。
【図面の簡単な説明】
【図１】画像処理システム１００の構成を示すブロック図である。
【図２】歪み診断モードの処理を示すフローチャートである。
【図３】ステップＡ１のティーチング処理を示すフローチャートである。
【図４】校正板４の例を示す図である。
【図５】校正板４の例を示す図である。
【図６】歪み補正用ウインドウＷを指定する際の表示例を示す図である。
【図７】マスクウインドウＭの指定および有効配列の指定を行う際の表示例を示す図である。
【図８】画像歪み診断処理を示すフローチャートである。
【図９】個別領域の例を示す図である。
【図１０】キャリブレーション処理を示すフローチャートである。
【図１１】補正前後の画像の表示例である。
【符号の説明】
１ 撮像装置
２ 画像処理装置
３ 表示装置
１１ ＣＣＤカメラ
１２ Ａ／Ｄ変換器
１３ カメラコントローラ
１４ Ｄ／Ａ変換器
１５ フレームメモリ
２１ ＣＰＵ
２２ ＲＡＭ
２３ ＲＯＭ
２４ Ｉ／Ｏコントローラ
１００ 画像処理システム
Claims (9)
- 少なくとも隣接する２つのマークの距離が所定の誤差範囲内となるべく配置された複数のマークを撮像した画像から、該撮像された画像のうち歪みが最も少ない領域のマークの配置に関するパラメータを抽出する抽出ステップと、
撮像された画像を複数の個別領域に分割する分割ステップと、
抽出されたパラメータに基づいて、前記個別領域ごとに、含まれるマークの配置の歪みを検出し、検出されたマークの配置の歪みに基づいて該マークの座標の移動量を検出する検出ステップと、
前記個別領域ごとに、検出された移動量と所定の閾値とを比較し、前記移動量が前記所定の閾値以上となる個別領域の数に基づいて、前記撮像された画像全体が歪んでいるか否かを診断する診断ステップとを有することを特徴とする画像処理方法。 - 前記抽出ステップは、歪みが最も少ない領域内で、隣接するマーク間の距離を複数検出し、検出された距離の平均を基準距離として算出し、前記基準距離を用いて、撮像された全マークの座標を理想座標として抽出することを特徴とする請求項１記載の画像処理方法。
- 前記検出ステップは、前記個別領域ごとに、前記理想座標と撮像されたマークの座標とから射影変換係数を算出し、算出された射影変換係数に基づいて、前記移動量を検出することを特徴とする請求項２記載の画像処理方法。
- 前記診断ステップは、全領域の座標について診断することを特徴とする請求項３記載の画像処理方法。
- 前記診断ステップで撮像された画像が歪んでいると診断されたときは、前記射影変換係数に基づいて射影変換を行うことで撮像された画像を補正する補正ステップをさらに有することを特徴とする請求項３または４記載の画像処理方法。
- 撮像された画像における画素数に基づくマーク間の距離と、前記撮像された画像に配置されたマーク間の実測距離とから、１画素当たりの距離を算出する距離算出ステップさらに有することを特徴とする請求項１〜５のいずれか１つに記載の画像処理方法。
- 請求項１〜６のいずれかに記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
- 請求項１〜６のいずれかに記載の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 少なくとも隣接する２つのマークの距離が所定の誤差範囲内となるべく配置された複数のマークを撮像した画像から、該撮像された画像のうち歪みが最も少ない領域のマークの配置に関するパラメータを抽出する抽出手段と、
撮像された画像を複数の個別領域に分割する分割手段と、
抽出されたパラメータに基づいて、前記個別領域ごとに、含まれるマークの配置の歪みを検出し、検出されたマークの配置の歪みに基づいて該マークの座標の移動量を検出する検出手段と、
前記個別領域ごとに、検出された移動量と所定の閾値とを比較し、前記移動量が前記所定の閾値以上となる個別領域の数に基づいて、前記撮像された画像全体が歪んでいるか否かを診断する診断手段とを有することを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003007531A JP4248885B2 (ja) | 2003-01-15 | 2003-01-15 | 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003007531A JP4248885B2 (ja) | 2003-01-15 | 2003-01-15 | 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004220371A JP2004220371A (ja) | 2004-08-05 |
| JP4248885B2 true JP4248885B2 (ja) | 2009-04-02 |
Family
ID=32897601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003007531A Expired - Fee Related JP4248885B2 (ja) | 2003-01-15 | 2003-01-15 | 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4248885B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4890294B2 (ja) * | 2007-02-26 | 2012-03-07 | 株式会社日立製作所 | 水中移動装置の位置測定システム |
| JP5456330B2 (ja) * | 2009-02-04 | 2014-03-26 | アルパイン株式会社 | 画像表示装置及びそのカメラ取り付け角度算出方法 |
| JP5455123B2 (ja) * | 2010-03-03 | 2014-03-26 | 富士機械製造株式会社 | 部品実装機の撮像画像処理装置 |
| JP5423491B2 (ja) * | 2010-03-11 | 2014-02-19 | 日本電気株式会社 | 基準位置算出システム、および基準位置算出方法 |
| JP6333250B2 (ja) * | 2013-07-08 | 2018-05-30 | 株式会社Ｆｕｊｉ | 部品保持状態検出方法および部品実装装置 |
| JP2018536141A (ja) * | 2015-08-24 | 2018-12-06 | エアロジェット ロケットダイン インコーポレイテッド | 直接ひずみ画像化を用いた非破壊検査プロセス |
| KR102075630B1 (ko) * | 2018-01-16 | 2020-03-17 | 주식회사 지오멕스소프트 | 표적을 이용한 구조물 표면 균열 측정 방법 및 이를 기록한 기록매체 |
-
2003
- 2003-01-15 JP JP2003007531A patent/JP4248885B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004220371A (ja) | 2004-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU692863B2 (en) | Automated image quality control | |
| CN109100363B (zh) | 一种贴合异物缺陷与灰尘的区分方法及系统 | |
| US10458927B2 (en) | Image processing device, image processing method, and program | |
| CN112509060B (zh) | 基于图像深度学习的ct二次扫描定位方法、系统 | |
| JP4248885B2 (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体 | |
| JP2005003463A (ja) | キャリブレーションチャート画像表示装置、キャリブレーション装置、キャリブレーション方法 | |
| CN112102387B (zh) | 一种基于深度相机深度估计性能的测试方法与测试系统 | |
| JP4114959B2 (ja) | 画像処理方法及び装置 | |
| CN116630327A (zh) | 基于热力图的锅炉状态异常监测系统 | |
| CN113065538A (zh) | 基于图像识别的压力传感器检测方法、装置及设备 | |
| US6807288B2 (en) | Image processing apparatus, image processing method, and recording medium recording image processing program | |
| JP5178781B2 (ja) | センサ出力データの補正装置及びセンサ出力データの補正方法 | |
| JP2008281481A (ja) | 解像測定装置及び方法 | |
| JP6148999B2 (ja) | 画像形成装置、キャリブレーションプログラムおよびキャリブレーションシステム | |
| CN111935399B (zh) | 一种历史航片的数字化方法 | |
| CN115684012A (zh) | 视觉检测系统、校准方法、装置和可读存储介质 | |
| KR20140113449A (ko) | 묘화 데이터 생성 방법, 묘화 방법, 묘화 데이터 생성 장치, 및 묘화 장치 | |
| JP2020170257A (ja) | 画像処理装置およびその制御方法 | |
| JP3986326B2 (ja) | 解像度測定装置及び測定方法 | |
| JP6030890B2 (ja) | 画像処理ユニット、画像処理方法、およびスタンド型スキャナ | |
| JP4828728B2 (ja) | 解像度測定装置および解像度測定方法 | |
| JP2004165944A (ja) | 投影情報補正方法、投影情報補正装置、プログラム、および記録媒体 | |
| JP2006047077A (ja) | 画面の線欠陥の検出方法及び検出装置 | |
| JP2006038701A (ja) | データの連結合成方法及び連結合成プログラム | |
| JP2002077578A (ja) | 歪み補正装置およびその方法ならびに歪み補正プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081002 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090113 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090114 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |