JP4752524B2

JP4752524B2 - 歪曲収差補正方法及び歪曲収差補正装置

Info

Publication number: JP4752524B2
Application number: JP2006022225A
Authority: JP
Inventors: 悟榊原
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2006-01-31
Filing date: 2006-01-31
Publication date: 2011-08-17
Anticipated expiration: 2026-01-31
Also published as: JP2007206789A

Description

本発明は、レンズの幾何学的歪みである歪曲収差を画像処理により補正する歪曲収差補正方法及び歪曲収差補正装置に関する。

デジタルカメラ等を用いて撮像した画像は、多かれ少なかれレンズの幾何学的歪みである歪曲収差の影響を受け、画像が歪んでしまう。この歪みはレンズの構成により樽形の歪みになったり、糸巻き形の歪みになったり、ときには両方の歪みが組み合わされた陣笠形の歪みになったりする。この歪みを図１に示すが、図１（Ａ）は被写体の図、図１（Ｂ）は樽形の歪みになった図、図１（Ｃ）は糸巻き形の歪みになった図、図１（Ｄ）は陣笠形の歪みになった図である。

これらの歪みは小さければ特に問題がないように見える。しかし、被写体を２台のカメラで撮像して３次元の画像を合成するような画像処理を行うときや、橋梁等の構造物の計時的な変位を計測するような場合には、小さな歪みであっても支障になる。また、歪みが大きい場合には、明らかに見た目上で不自然で違和感のある画像になる。

そこで、この歪みを小さくする方法として二つの方法がある。一つには、レンズが有する歪曲収差自体を小さくするようにレンズを設計する方法であり、もう一つは歪みが生じた画像を画像処理によって補正する方法である。前者の場合には、歪曲収差をかなり小さくすることが可能であるが、高価なレンズになることが多く、そのために撮像装置自体が高価なものになってしまう。後者の場合には、高価なレンズを用いなくてもよいが、従来の方法では前者に較べて充分に歪みを除去することは困難であった。

ここで、樽形の歪曲収差補正曲線の一例を図２に示す。図２において、縦軸は歪曲収差（％）で、横軸は画像の中心（光軸）から所定の像の位置迄の距離である像高であり、被写体距離は０．３ｍから１．５ｍ迄表示してある。図２に示す如く、歪曲収差は被写体距離と像高に依存して変化する特性を有している。

そこで、画像処理によって歪曲収差を補正する従来の方法として、キャリブレーション板を撮像して、被写体距離に対応した歪曲収差補正曲線を作成し、この曲線に基づいて計測値を修正する歪曲収差補正方法が知られている（特許文献１，２参照）。

また、被写体距離毎に補正パラメータを有し、被写体離毎に補正パラメータを変えることで高精度の補正を行う画像データ処理装置が知られて（特許文献３参照）。
特開２００１−１３３２２３号公報特開２００１−１３３２２５号公報特開２００５−４３９１号公報

上述の特許文献１，２においては、メモリしていない歪曲収差補正曲線の被写体距離に対しては該被写体距離の前後の被写体距離であってメモリしてある被写体距離に対応する歪曲収差補正曲線を補間して補正を行うが、単純に補正することはできない。これをあるレンズにおける歪曲収差補正曲線である図３に基づいて説明するが、図３は図２と同様に歪曲収差は被写体距離と像高に依存して変化する特性を示している。そして、被写体距離３ｍのときの歪曲収差値を１ｍと５ｍの歪曲収差補正曲線に基づいて実線の如く補間して求めると、波線で示す実際の被写体距離３ｍのときの歪曲収差補正曲線とは異なってくる。これでは精度良く歪曲収差を補正するのは困難である。また、単純に被写体距離毎の歪曲収差補正曲線の本数を増加させようとすると、その分メモリ容量も増加させなければならない。なお、本文献においては、歪曲収差補正曲線の保有数と精度の関係について記載されておらず、まして最適な歪曲収差補正曲線の数については全く記載されていない。

上述の特許文献３においては、撮影距離毎の補正を高精度で行う場合には、単純に細かいピッチで撮影距離毎の多点補正テーブルを保有するものである。そのために、高精度で補正を行う場合には、細かいピッチで刻む分だけメモリ容量を多く必要とする。

このように従来の技術においては、細かいピッチの歪曲収差補正曲線を多数保持しようとすると、メモリ容量が増大してしまい、一方、メモリ容量を削減すると、保持する歪曲収差補正曲線の数が少なくなるので、歪曲収差を高精度に補正することが困難になる。

なお、歪曲収差補正曲線を保持しない撮影距離について補間法を用いて歪曲収差を補正する場合に、歪曲収差補正曲線を細かいピッチで多数保有するようにしても、ある程度以上は補正精度が向上せず、メモリ容量のみが増加することが知られている。

本発明はかかる問題に鑑みてなされたものであり、多数の歪曲収差補正曲線を保有することなく、歪曲収差を高精度に補正することができ、無駄にメモリ容量を増加させることのない歪曲収差補正方法及び歪曲収差補正装置を提案することを目的とする。

前記目的は下記に記載した発明により達成される。

本発明の歪曲収差補正方法は、所定の像位置における被写体距離と歪曲収差値との関係を示す歪曲収差特性曲線を作成する工程と、前記歪曲収差特性曲線における一部の曲線を所定の次数式で近似可能な複数の変曲点を検出する工程と、前記変曲点に対応する被写体距離毎に像位置と歪曲収差値との関係を示す歪曲収差補正曲線を作成する工程と、測距した被写体距離が前記変曲点に対応する被写体距離である場合には、当該被写体距離に対応する前記作成工程で作成された歪曲収差補正曲線の歪曲収差値を用いて撮像レンズの歪曲収差を補正し、測距した被写体距離が前記変曲点に対応する被写体距離でない場合には、測距した被写体距離の前後に位置する被写体距離に対応する二つの歪曲収差補正曲線を前記所定の次数式で補間して測距した被写体距離に対応する歪曲収差値を演算して求め、当該演算して求めた歪曲収差値を用いて撮像レンズの歪曲収差を補正する工程と、を有することを特徴とする

また、本発明の歪曲収差補正装置は、所定の像位置における被写体距離と歪曲収差値との関係を示す歪曲収差特性曲線より、一部の曲線を数式で近似可能な複数の変曲点を検出する制御手段と、前記複数の変曲点に対応する被写体距離毎に像位置と歪曲収差値との関係を示す歪曲収差補正曲線を記憶する記憶手段と、を備え、前記制御手段は、測距した被写体距離が前記変曲点に対応する被写体距離である場合には、当該被写体距離に対応する前記作成工程で作成された歪曲収差補正曲線の歪曲収差値を用いて撮像レンズの歪曲収差を補正し、測距した被写体距離が前記変曲点に対応する被写体距離でない場合には、測距した被写体距離の前後に位置する被写体距離に対応する二つの歪曲収差補正曲線を前記記憶手段より呼び出し、前記二つの歪曲収差補正曲線を補間して測距した被写体距離に対応する歪曲収差値を演算して求め、当該演算して求めた歪曲収差値を用いて撮像レンズの歪曲収差を補正することを特徴とする。

本発明の歪曲収差補正方法及び歪曲収差補正装置によれば、被写体距離に応じた歪曲収差方正が可能となり、複数の歪曲収差補正曲線を適正に保有するので、無駄にメモリ容量を増加させることがなく、歪曲収差を従来より高精度に補正することができる。

また、歪曲収差の特性や被写界深度を考慮することで、更にメモリ容量を少なくすることが可能となる。

先ず、本発明の歪曲収差補正方法の基本を図４乃至図６に基づいて説明する。

図４において、横軸は被写体距離、縦軸は歪曲収差値を示し、複数の任意の像位置Ａ，Ｂ，Ｃにおける歪曲収差の特性を示しており、これを歪曲収差特性曲線と称す。図４によれば、各像位置毎に被写体距離の変化に応じて歪曲収差値が変化している。

なお、像位置とは撮像画面の中心からの像高であってもよいし、撮像画面内で画素単位で定めた画素位置であってもよい。

図４の像位置Ａ，Ｂ，Ｃにおける歪曲収差特性曲線においては、被写体距離の変化に応じた歪曲収差値の変化が近似している。従って、任意の歪曲収差特性曲線を用い、以下の如く行う。

図５（Ａ）は所定の像位置における歪曲収差特性曲線を示すが、この曲線において曲線の変化が一定でない点、即ち、一次式等の数式で近似させることのできない点を所定のソフトを用いて探索し、これを変曲点とする。変曲点は曲線の変化が一定でない部分では多くなり、曲線の変化が略一定の部分では少なくなる。そして、図３の如き像位置（像高）と歪曲収差値とからなる歪曲収差補正曲線を変曲点に相当する被写体距離の数だけ保有するようにする。

なお、変曲点の位置に相当する被写体距離ならば、その被写体距離に対応する歪曲収差補正曲線を用いればよい。

しかし、図５（Ａ）において所望の被写体距離が変曲点に対応する被写体距離でない場合には、所望の被写体距離の前後の近傍に位置する被写体距離の歪曲収差補正曲線を補間する。図５（Ｂ）はＭ部の拡大図であり、変曲点Ｐ１に対応する被写体距離をＤ１とし、変曲点Ｐ２に対応する被写体距離をＤ２とする。そして、変曲点Ｐ１，Ｐ２は略直線と見なし、一次式で近似できるものとする。このときに、任意の被写体距離Ｄｎの歪曲収差値を単純に補間することができる。

また、これは所定の像位置に対する歪曲収差の補正であるが、他の像位置に関しては図６に示す様に補正する。図６は被写体距離Ｄ１，Ｄ２に関する歪曲収差特性曲線であり、どの像位置においても前述の補間方法で被写体距離Ｄｎを補間することができる。即ち、被写体距離Ｄｎのグラフは同じ比率で被写体距離Ｄ１，Ｄ２のグラフの間に位置する。

このように、変化量が一定でない被写体距離に対してはピッチ幅を狭くし、変化量が略一定の被写体距離に対してはピッチ幅を広く取ることで、高精度に歪曲収差を補正することができ、且つ、メモリ容量を小さくすることができる。また、歪曲収差補正曲線を有しない被写体距離に対しては補間法を用いて補正するが、従来の技術と比較して最適なピッチで歪曲収差補正曲線を保有しているので、図３で説明した様な誤差も小さくなる。

なお、以上の説明は、図４に示す如く各像位置における歪曲収差特性曲線が近似している場合の説明であるが、レンズによっては各像位置における歪曲収差特性曲線が異なり、近似しているとは見做せない場合もある。以下に、このような場合における歪曲収差の補正について図７に基づいて説明する。図７は二つの像位置において、歪曲収差特性曲線が異なる図である。

図７において、一方の歪曲収差特性曲線ａの変曲点Ｐａ１，Ｐａ２，Ｐａ３，Ｐａ４を探索すると共に、他方の歪曲収差特性曲線ｂの変曲点Ｐｂ１，Ｐｂ２，Ｐｂ３，Ｐｂ４，Ｐｂ５、Ｐｂ６，Ｐｂ７，Ｐｂ８を探索する。そして、全ての変曲点Ｐａ１〜Ｐａ４，Ｐｂ１〜Ｐｂ８に対応する被写体距離Ｄ１〜Ｄ１２に関する歪曲収差補正曲線を保有し、所望の被写体距離がこれらの被写体距離の間であれば、前述と同様に補間して、歪曲収差値を演算する。これにより、高精度に歪曲収差を補正することができる。

また、歪曲収差は所定の被写体距離より遠方の被写体距離になると、図８に示す如く略一定になる傾向がある。そこで、最も遠方にある変曲点より遠方の被写体距離については、補間法を用いずに、その変曲点に対応する被写体距離で歪曲収差を補正すればよい。従って、記憶するメモリ容量が少なくて済む。

また、歪曲収差の補正が必要な撮像装置においては、ピント位置と絞り値が予め固定されている場合があり、この場合は被写界深度内で撮像を行う。このような場合には、図９に示す如く、被写界深度内の被写体距離についてのみ歪曲収差の補正を行えばよく、被写界深度外の被写体距離についての歪曲収差の補正は不要である。従って、記憶するメモリ容量が少なくて済む。

更に、撮像レンズを構成する複数のレンズ間で生ずる光軸のシフトやチルトにより、接線歪み等の非対称な歪曲収差が発生することがあり、このような場合には画面全体を一律な数式で補正することは困難である。

このような場合には、画面全体を何らかの方法で分割する。例えば、図１０に示す如く右上の画面を更に４分割する。このような場合には、図１１（Ａ）に示す領域Ｚ１の歪曲収差補正曲線と図１１（Ｂ）に示す領域Ｚ２の歪曲収差特性曲線とが異なるので、領域毎に変曲点を探索して前述の如く歪曲収差を補正すればよい。

なお、歪曲収差補正曲線に関しては、多次元多項式の如き数式で記憶していてもよいし、変化量を示す数値テーブルで記憶してもよい。

また、以上の説明は点の間が一次式で表せる変曲点を探索したが、歪曲収差特性曲線の変化が著しい場合には変曲点の数が多くなり、メモリ容量を大きくしなければならないことがある。このような場合には二次式等の多次元多項式で表せる変曲点を探索するようにしてもよい。これにより、一次式の場合より変曲点が少なくて済み、メモリ容量が少なくて済む。

次に、図１２のフローチャート及び図１３のブロック図に基づいて、歪曲収差補正装置の具体的構成を説明する。

先ず、撮像装置１により撮像を行う（Ｓ１）。同時に測距手段２により被写体距離を検出する（Ｓ２）。測距手段２としては、どのような方法により測距してもよく、また、撮像装置１と一体に構成されていても別体であってもよい。

歪曲収差補正装置３におけるＣＰＵ等からなる制御手段３１は前述の如く歪曲収差特性曲線に基づいて歪曲収差補正曲線を作成し、記憶手段３２は被写体距離に対応した複数の歪曲収差補正曲線を数式若しくは数値テーブルの形で記憶する。そして、制御手段３１は歪曲収差補正曲線を記憶手段３１から呼び出し（Ｓ３）、測距手段２により測距した被写体距離が記憶してある被写体距離と合致しているか否かを判断する（Ｓ４）。

制御手段３は、測距手段２により測距した被写体距離が記憶してある被写体距離と合致していないと判断した場合には（Ｓ４のＮ）、その被写体距離の前後に相当する被写体距離を補間して各像位置毎の歪曲収差値を演算し（Ｓ５）、歪曲収差を補正する（Ｓ６）。

一方、制御手段３が、測距手段２により測距した被写体距離が記憶してある被写体距離と合致していると判断した場合には（Ｓ４のＹ）、その被写体距離に相当する歪曲収差値を像位置毎に算出し（Ｓ７）、歪曲収差を補正する（Ｓ６）。

歪曲収差の図である。歪曲収差補正曲線の図である。補間により歪曲収差を補正する従来の方法を示す図である。歪曲収差特性曲線の図である。歪曲収差特性曲線より変曲点を探索する図である。補間により歪曲収差を補正する方法を示す図である。像位置により歪曲収差特性曲線が異なる図である。遠方の被写体距離では歪曲収差が一定になることを示す図である。被写界深度を示す図である。画面を分割する図である。分割した領域毎に歪曲収差補正曲線が異なることを示す図である。歪曲収差を補正するフローチャートである。歪曲収差補正装置のブロック図である。

符号の説明

１撮像装置
２測距手段
３歪曲収差補正装置
３１制御手段
３２記憶手段

Claims

撮像レンズの歪曲収差を補正する歪曲収差補正方法において、
所定の像位置における被写体距離と歪曲収差値との関係を示す歪曲収差特性曲線を作成す
る工程と、
前記歪曲収差特性曲線における一部の曲線を所定次数の数式で近似可能な複数の変曲点を検出する工程と、
前記変曲点に対応する被写体距離毎に像位置と歪曲収差値との関係を示す歪曲収差補正曲
線を作成する工程と、
測距した被写体距離が前記変曲点に対応する被写体距離である場合には、当該被写体距離に対応する前記作成工程で作成された歪曲収差補正曲線の歪曲収差値を用いて撮像レンズの歪曲収差を補正し、測距した被写体距離が前記変曲点に対応する被写体距離でない場合には、測距した被写体距離の前後に位置する被写体距離に対応する二つの歪曲収差補正曲線を前記検出工程で変曲点を探索した数式の次数と同次数の数式で補間して測距した被写体距離に対応する歪曲収差値を演算して求め、当該演算して求めた歪曲収差値を用いて撮像レンズの歪曲収差を補正する工程と、
を有することを特徴とする歪曲収差補正方法。
前記像位置は撮像画面の中心からの像高であることを特徴とする請求項１に記載の歪曲収
差補正方法。
前記像位置は撮像画面内で画素単位で定めた画素位置であることを特徴とする請求項１に
記載の歪曲収差補正方法。
前記所定次数の数式は一次式であることを特徴とする請求項１〜３の何れか１項に記載の歪曲収差補正方法。
前記歪曲収差特性曲線に応じて前記所定次数の数式として多次元多項式を用いることを特徴とする請求項１〜４の何れか１項に記載の歪曲収差補正方法。
所定の被写体距離より遠方の被写体距離については前記変曲点を検出しないことを特徴と
する請求項１〜５の何れか１項に記載の歪曲収差補正方法。
撮像する被写体に対する被写界深度が予め定められている場合には、該被写界深度外の被
写体距離に関しては前記変曲点を検出しないことを特徴とする請求項１〜６の何れか１項
に記載の歪曲収差補正方法。
画像を所定の領域に分割し、各領域毎に歪曲収差値を演算することを特徴とする請求項１
〜７の何れか１項に記載の歪曲収差補正方法。
撮像レンズの歪曲収差を補正する歪曲収差補正装置において、
所定の像位置における被写体距離と歪曲収差値との関係を示す歪曲収差特性曲線より、一部の曲線を所定次数の数式で近似可能な複数の変曲点を検出する制御手段と、
前記複数の変曲点に対応する被写体距離毎に像位置と歪曲収差値との関係を示す歪曲収差補正曲線を記憶する記憶手段と、を備え、
前記制御手段は、測距した被写体距離が前記変曲点に対応する被写体距離である場合には、当該被写体距離に対応する前記作成工程で作成された歪曲収差補正曲線の歪曲収差値を用いて撮像レンズの歪曲収差を補正し、測距した被写体距離が前記変曲点に対応する被写体距離でない場合には、測距した被写体距離の前後に位置する被写体距離に対応する二つの歪曲収差補正曲線を前記記憶手段より呼び出し、前記二つの歪曲収差補正曲線を前記変曲点検出の際の数式の次数と同次数の数式で補間して測距した被写体距離に対応する歪曲収差値を演算して求め、当該演算して求めた歪曲収差値を用いて撮像レンズの歪曲収差を補正することを特徴とする歪曲収差補正装置。
前記像位置は撮像画面の中心からの像高であることを特徴とする請求項９に記載の歪曲
収差補正装置。
前記像位置は撮像画面内で画素単位で定めた画素位置であることを特徴とする請求項９
に記載の歪曲収差補正装置。
前記所定次数の数式は一次式であることを特徴とする請求項９〜１１の何れか１項に記載の歪曲収差補正装置。
前記歪曲収差特性曲線に応じて前記所定次数の数式として多項式を用いることを特徴とする請求項９〜１２の何れか１項に記載の歪曲収差補正装置。
所定の被写体距離より遠方の被写体距離については前記変曲点を検出しないことを特徴と
する請求項９〜１３の何れか１項に記載の歪曲収差補正装置。
撮像する被写体に対する被写界深度が予め定められている場合には、該被写界深度外の被
写体距離に関しては前記変曲点を検出しないことを特徴とする請求項９〜１４の何れか
１項に記載の歪曲収差補正装置。
画像を所定の領域に分割し、各領域毎に歪曲収差値を演算することを特徴とする請求項９〜１５の何れか１項に記載の歪曲収差補正装置。