JPH09259264A - 歪曲収差補正方法 - Google Patents

Abstract

(57)【要約】 【課題】 撮影されたディジタル画像を基に画像の歪曲
収差を補正する。 【解決手段】 画像の中心からの距離ｘにおける物体の
像の位置ｙをｘｆ（ｘ）で表す。ｆ（ｘ）は補正関数で
あり、１−Ａｘ²で近似する（Ａは定数）。座標系ｏで
の２点ｒ１，ｒ２の観測値ｙ１，ｙ２と、座標系ｏ’で
の２点ｒ１’，ｒ２’の観測値ｙ１’，ｙ２’から、ｙ
１−ｙ２、ｙ１’−ｙ２’の３次方程式をつくる。両座
標系の物体間の距離は等しいので、ｒ１−ｒ２＝ｒ１’
−ｒ２’を条件に２本の３次方程式を解く。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の歪曲収差を
補正する方法に関する。

【０００２】

【従来の技術】同じ対象物、あるいはほとんど同じ対象
物を複数の画像に分けて撮影し、後でこれを貼り合わせ
て１枚の画像を合成することがある。ところがレンズ系
には固有の歪がある。なかでも歪曲収差といわれる幾何
学的歪は、画像の中心付近と周辺部で画像の縮率が異な
るために起きるもので、撮影された画像をつなぎ合わせ
るときにはしばしば問題になる。

【０００３】

【発明が解決しようとする課題】すなわち、例えば図１
に示すように、画像の中心をそれぞれｏ，ｏ’としたと
き、任意の同一対象物ｐ１，ｐ２，ｐ３は中心ｏから見
たときと、異なる中心ｏ’から見たときでは（このとき
のパターンをｐ１’，ｐ２’，ｐ３’で表す）、合同に
なるとは限らない。中心からの距離が異なれば通常のレ
ンズ系では異なった空間歪（歪曲収差と呼ぶ）を生じ
る。光学系を構成するレンズの位置関係が決まれば、こ
のような収差の大きさも一意的に定まるが、最近の自動
焦点機能付きカメラでは焦点位置を自動的に判定するた
め、この補正パラメータは撮影者には分からない。しか
も、通常利用されているズーム系ではより一層複雑にな
る。本発明はこのような事情を考慮してなされたもの
で、本発明の目的は、撮影されたディジタル画像の映像
だけから画像の歪曲収差を補正する方法を提供すること
にある。

【０００４】

【課題を解決するための手段】前記目的を達成するため
に、本発明では、任意の点が画像の中心から角度（光軸
からの角度）ｘにあり、ｘにおける物体の像の位置ｙを
ｙ＝ｘｆ（ｘ）で表し、補正関数ｆ（ｘ）をｆ（ｘ）＝
１−Ａｘ²で近似し（Ａは定数）、一地点から撮影され
た共通の対象物を含む２枚の画像の実測値ｙを基に、前
記３次方程式を解き、前記補正関数の定数Ａを決めるこ
とを特徴としている。

【０００５】

【発明の実施の形態】以下、本発明の一実施例を図面を
用いて具体的に説明する。図２は、ある点が画像中心点
からｘの角度（光軸からの角度）にあるとき、このｘが
見かけ上、ｆ（ｘ）に変換されることを示している。関
数ｆ（ｘ）はほとんどの場合１より小さい値を持つが
（樽収差）、逆の場合もある（糸巻収差）。経験則によ
れば、ｆ（ｘ）は、２次関数で近似できる。ここでは計
算の容易な２次関数近似を用いて、上記収差の補正を行
う。

【０００６】画像１１において、ｐ１の中心ｏからの距
離をｒ１、ｐ２までの距離をｒ２とおく。同様に他方の
画像１２における対応点をｐ１’、ｒ１’、ｐ２’、ｒ
２’とおく。上述したように、画像の中心からの距離ｘ
における物体の像の位置ｙは、 ｙ＝ｆ（ｘ） （１） と表せる。ここでｆ（ｘ）は補正関数であり、通常 ｆ（ｘ）＝１−Ａｘ² （２） で近似できる。ここにＡは定数である。

【０００７】座標系ｏ’における関係式は ｆ（ｘ）＝１−Ａ’ｘ² すなわち２点ｒ１，ｒ２の観測値ｙ１，ｙ２は ｙ１＝ｒ１ｆ（ｒ１） ｙ２＝ｒ２ｆ（ｒ２） と表せる。（１）式の関係より ｙ１−ｙ２＝（ｒ１−ｒ２）−（Ａｒ１³−Ａｒ２³） ＝（ｒ１−ｒ２)｛１−Ａ（ｒ１²＋ｒ１ｒ２＋ｒ２²）｝ （３） ｙ１’−ｙ２’＝（ｒ１’−ｒ２’）−（Ａ’ｒ１’³−Ａ’ｒ２’³） ＝（ｒ１’−ｒ２’)｛１−Ａ’(ｒ１’²＋ｒ１’ｒ２’＋ｒ２’²）｝ （４） ２つの画像に写っている物体の間の距離は等しいはずで
あるから、以下の関係が成り立つ。

【０００８】 ｒ１−ｒ２＝ｒ１’−ｒ２’ （５） 従って、（５）式の条件を満足しながら、（３）、
（４）の３次方程式を解けばよい。この処理手順を図３
の処理フローチャートに示す。

【０００９】次に、幾何歪の補正方法を実際の処理手順
に適用した場合について、以下説明する。２つの対応す
る画像をそれぞれＧ１，Ｇ２とおく。この２つの画像に
は、図４に示すように共通の対象物が複数個写っている
とする。

【００１０】Ｇ１を適当なサイズの長方形のブロックに
分割し、これをＢ１（Ｉ，Ｊ）とおく。ここに、Ｉ，Ｊ
はブロックＢ１の中心の座標である。

【００１１】次にＢ１（Ｉ，Ｊ）に対応するＧ２のパタ
ーンを見つける。これにはブロックＢ１（Ｉ，Ｊ）をテ
ンプレートとし、Ｇ２内部を走査しながら、 誤差＝Ｅ＝｜Ｂ１（Ｉ，Ｊ）−Ｂ２（Ｉ’，Ｊ’）｜ が最小となるＩ’，Ｊ’を求める。これがパターンＢ１
（Ｉ，Ｊ）が対応する座標値である。

【００１２】さらに、上記座標値（Ｉ，Ｊ）の精度を画
素ピッチ以下に向上させるための計算をする。誤差評価
関数Ｓを以下のように定義する。

【００１３】Ｓ＝Σ_ij｛Δｉ（Ｂ２（Ｉ’＋１，Ｊ’）
−Ｂ２（Ｉ’−１，Ｊ’））＋Δｊ(Ｂ２(Ｉ’，Ｊ’＋
１)−Ｂ２(Ｉ’，Ｊ’−１)）＋２（Ｂ２(Ｉ’，Ｊ’)
−Ｂ１（Ｉ，Ｊ)）｝² 上記のＳを最小にするΔｉ，Δｊを求める。ただし、０
≦｜Δｉ｜，｜Δｊ｜≦１である。このとき、上記した
２つの誤差ＥとＳの最小値を与える （Ｉ’＋Δｉ，Ｊ’＋Δｊ） が、ブロックＢ１に含まれるパターンに対応するＧ２の
座標値である。

【００１４】従って、光軸からの角度（像面と対象物面
が平行な場合は画像の中心からの距離）は ｙ１＝√（Ｉ＊Ｉ＋Ｊ＊Ｊ） ｙ１’＝√｛（Ｉ’＋Δｉ）²＋（Ｊ’＋Δｊ）²｝ 同様にして多数の対応するパターンの組を求め、これを
（ｙｎ，ｙｎ’）で表す。図４では、Ｂ２とＢ２’がそ
の１組の例である。

【００１５】（補正関数の同定）ここでは、対象物が存
在する平面と画像が形成される面は平行とし、そうでな
い場合は後述する。

【００１６】ステップＳ１；（１）式に（２）式を代入
し、次に上で求めた「対応するパターンの組の座標値」
ｙ１，ｙ２，ｙ３．．．ｙｎ，ｙ１’，ｙ２’，ｙ
３’．．．ｙｎ’を代入する。

【００１７】このときの方程式は、以下の３次方程式で
ある。 ｙ＝ｘ−Ａｘ³ （６） ステップＳ２；Ａに適当な数値を入れる（例えばＡ＝１
０）。

【００１８】ステップＳ３；（６）式を解いて、各ｙｎ
に対応する解をｘ１，ｘ２，ｘ３，．．．ｘｎ，ｘ
１’，ｘ２’，ｘ３’．．．ｘｎ’とおく。

【００１９】解法：ｙ１＝ｘ−Ａｘ³ ｐ＝−１／（３Ａ） ｑ＝ｙ１／２； ｃｏｓφ＝−ｑ／√−ｐ とおくと、｜Ａ｜≪１のとき ｘ＝２√｛−ｐｃｏｓ（φ／３）｝ が解として求められる。

【００２０】ステップＳ４；（５）式がＯＫ、または繰
返し回数がｎ以上であればステップＳ７に進む。

【００２１】ステップＳ５；そうでない場合は（５）式
より、〈ｘ２〉＝ｘ１’−ｘ１＋ｘ２だからここで、Δ
ｘ２≡〈ｘ２〉−ｘ２’と定義すると、（６）式からｄ
Ａ／ｄｘが求められる。これより微少変化量ΔＡは ΔＡ＝（−２／ｘ³＋３ｙ／ｘ⁴）Δｘ２ ステップＳ６；Ａ＝Ａ＋ΔＡを再定義し、ステップＳ３
に戻る。

【００２２】ステップＳ７；解が収束したらＡを出力
し、すべての実測データを同様に処理する（ステップＳ
２〜Ｓ７）。

【００２３】ステップＳ８；ステップＳ７の出力データ
をｘの昇順または降順に並べる。

【００２４】ｘ１ Ａ１ ｘ２ Ａ２ ｘ３ Ａ３ ．． ．． ステップＳ９；対象画像のすべての画素（ｉ，ｊ）につ
いて中心ｏ（ｍ，ｎ）からの距離を求める。

【００２５】 ｒ（ｉ，ｊ）＝√｛（ｉ−ｍ）²＋（ｊ−ｎ）²｝ ステップＳ１０；画素（ｉ，ｊ）を（ｋ，ｌ）に補正す
る。ただし、＊は乗算を表わす。

【００２６】ｋｒ（ｉ，ｊ）＝ｍ＋ｒ（ｉ，ｊ）＊ｆ
（ｒ（ｉ，ｊ））＊（ｉ−ｍ）／ｒ（ｉ，ｊ） ｌｒ（ｉ，ｊ）＝ｎ＋ｒ（ｉ，ｊ）＊ｆ（ｒ（ｉ，
ｊ））＊（ｊ−ｎ）／ｒ（ｉ，ｊ） ただし、ここで関数ｆ（ｘ）の係数ＡはステップＳ８の
テーブルｘｎ（ｎは整数値）で求めたｘに最も近いＡｎ
の値を採用する。ｉ，ｊ，ｍ，ｎは整数であるが、上式
のｋｒ（ｉ，ｊ），ｌｒ（ｉ，ｊ）は一般に整数ではな
い。

【００２７】続いて、整数座標値への変換を行う。

【００２８】 ｋ_{_}＝［ｋｒ（ｉ，ｊ）］；ｋ₊＝［ｋｒ（ｉ＋１，ｊ）］ ｌ_{_}＝［ｌｒ］； ｌ₊＝［ｋｒ（ｉ，ｊ＋１）］ と置くとき、ｋ_{_}，ｌ_{_}はそれぞれｋｒ（ｉ，ｊ），ｌｒ
（ｉ，ｊ）の小数部分を切り捨てた整数値である。任意
の整数の組（ｋ，ｌ）が与えられたとき、 ｋ_{_}≦ｋ≦ｋ₊ ｌ_{_}≦ｌ≦ｌ₊ を満たす元の画像番地（ｉ，ｊ），（ｉ＋１，ｊ），
（ｉ，ｊ＋１），（ｉ＋１，ｊ＋１）の画像信号をｓ
（ｉ，ｊ），ｓ（ｉ＋１，ｊ），ｓ（ｉ，ｊ＋１），ｓ
（ｉ＋１，ｊ＋１）とするとき、 ｓ（ｋ，ｌ）＝Ｉ（ｓ（ｉ，ｊ），ｓ（ｉ＋１，ｊ），
ｓ（ｉ，ｊ＋１），ｓ（ｉ＋１，ｊ＋１）） ここに、Ｉ（ｓ．．．）は補間関数であり、信号
ｓ．．．の演算でその値が決まることを示している。

【００２９】最もよく知られた補間関数として、線形補
間関数があり、次のような形をしている。図５に示すよ
うな位置関係があり、図の画素ｙの値が整数の格子点で
あるとすると、これを取り囲む非整数の画素ｐ１，ｐ
２，ｐ３，ｐ４が単位長さの格子長を持っているとする
とき、ｙの値は以下の式によって求められる。

【００３０】ｔ１＝ｐ２＊ｒ１＋ｐ１（１−ｒ１） ｔ２＝ｐ３＊ｒ１＋ｐ４（１−ｒ１） ｙ＝ｔ２＊ｒ３＋ｔ１（１−ｒ３）≡Ｉ（ｐ１，ｐ２，
ｐ３，ｐ４） ただし、ｒ３は図５の垂直方向に画素ｙが画素ｐ４から
離れている割合である。上記した例の他に種々の補間方
法があるが、本発明とは直接関係しないのでその説明を
省略する。

【００３１】さて、上記した説明では対象物が存在する
平面と、結像面が平行である場合であったが、以下に、
より一般的な場合についての歪曲収差補正方法を説明す
る。

【００３２】図６において、左の長方形はカメラ位置が
像面１にあるときの実体ｐ１，ｐ２に対応する像ｑ１，
ｑ２であり、右の長方形は像面２における像の位置であ
る。ｏは、光軸位置（画像中心）である。

【００３３】Ｏ−ｑ１＝ｙ１’ Ｏ−ｑ２＝ｙ２’ と置くと、 ∠ＯＣｑ１＝ａｒｃｔａｎ（ｙ１’／ｆ）≡Ｙ１ ∠ＯＣｑ２＝ａｒｃｔａｎ（ｙ２’／ｆ）≡Ｙ２ （７） 補正条件は Ｙ１＝Ｘ１ｆ（Ｘ１） Ｙ２＝Ｘ２ｆ（Ｘ２） Ｘ１−Ｘ２＝Ｙ１−Ｙ２ （８） 十分遠方を撮影する場合は、ｆの値は焦点距離でほぼ一
定である。従って、画像の実測データｙ１’，ｙ２’か
ら角度Ｙ１，Ｙ２が求まり、これから解Ｘ１，Ｘ２が算
出される。

【００３４】さて、現実の画像に上記２次補正式をあて
はめても、すべての画像で歪が取り除ける訳ではない。
さらに、高次の補正項の影響が出ることもあるし、ある
いは測定誤差が補正係数に及ぼす影響もある。次に、よ
り高い精度の歪曲収差補正について説明する。

【００３５】まず、補正式を ｆ（ｒ）＝Ａｒ²＋Ｂｒ⁴ （９） とおく。ここでＡは２次の補正係数、Ｂは４次の補正係
数である。

【００３６】補正係数の求め方は以下のようにする。す
なわち、 ステップＳ２１；（９）式でＢ＝０とおいて、（７）、
（８）式を解く。このとき、２組以上の対応パターンを
見つけ、これらを連立させてＡを求める。このとき
（７）式のｆには仮の値である焦点距離を利用する。

【００３７】ステップＳ２２；多数（５個以上）の対応
パターンの組を見つけ、ステップＳ２１で求めたＡを利
用して（８）式を評価する。評価誤差をＥと置くとき、
Ｅが最低になるまでＡを変化させる。なお、通常、誤差
Ｅは（８）式の最初の２次で求めたＸ１，Ｘ２，Ｙ１，
Ｙ２を第３式に代入して、両辺の差分をＥとして定義す
ることが多い。このとき誤差が原点に近いところに大き
な重みをつけておく。すなわち、原点に近い誤差ほど、
優先的に補正する。

【００３８】ステップＳ２３；求まった補正関数（Ｂ＝
０）を使い、対応するパターンを重ねることで、２枚の
画像を重ねる。重ねた後、原点から順次、局所領域同志
のマッチングを行い、その誤差の総和を求める。局所領
域は任意のサイズの小領域であればよい。通常マッチン
グは濃度勾配の差分を利用する。図７の場合、ｐ１を対
応点、ｑ１，ｑ２をマッチングした２枚の画像の局所領
域とし、図７（ａ）上のｘ印を、両局所領域が対応する
補正関数上の点とする。図７（ｂ）の場合では、距離ｑ
１，ｑ２がこの対応点の誤差である。

【００３９】ステップＳ２４；ステップＳ２３で求めた
対応点より原点から遠いところで誤差が大きい場合、補
正係数Ｂを導入する。Ａを固定し、ステップＳ２３の誤
差が最小となるように係数Ｂを決定する。

【００４０】ステップＳ２５；ステップＳ２４で求めた
誤差が目標とする誤差範囲に収まらない場合は、係数Ａ
を再度同様に決めていく。誤差を狭めるようにステップ
Ｓ２３、２４を繰返しながら係数Ｂも決めていく。所定
の回数繰り返して処理を終了する。

【００４１】なお、上記した本発明の処理は、ＣＰＵ、
ＲＡＭ、ＲＯＭ、外部記憶装置、Ｉ／Ｏなどから構成さ
れた汎用プロセッサを用いて実施される。

【００４２】

【発明の効果】以上、説明したように、本発明によれ
ば、テストチャートを利用せずに、通常の撮影された画
像を利用して歪曲収差を補正することができる。また、
従来はほとんどが２次の補正項までであるが、本発明で
は４次までを考慮し、しかも２次の項を先に決定し、し
かる後に４次の項を決定しているので高精度の補正が可
能になる。さらに、誤差の評価には、補正関数上の誤差
と、重ね合わせた画像の位置誤差の２通りを利用してい
るので高精度に歪曲収差を補正することができる。

【図面の簡単な説明】

【図１】座標系ｏ，ｏ’における対応する画像位置を示
す図である。

【図２】２つの画像が重なり合うときの関係を示す図で
ある。

【図３】本発明の歪補正処理のフローチャートである。

【図４】共通の対象物が複数個写っている画像Ｇ１、Ｇ
２を示す。

【図５】整数座標値の画像格子と、非整数座標値の画像
格子との位置関係を示す図である。

【図６】２つのカメラ位置における同一対象物の映像位
置を示す図である。

【図７】（ａ）、（ｂ）は、２枚の画像を重ねた後、局
所領域同志のマッチングを行う図である。

【符号の説明】 １１ 座標系ｏの画像 １２ 座標系ｏ’の画像 ２１ 整数座標値の画像格子 ２２ 非整数座標値の画像格子

Claims (1)

【特許請求の範囲】
1. 【請求項１】 任意の点が画像の中心から角度（光軸か
   らの角度）ｘにあり、ｘにおける物体の像の位置ｙをｙ
   ＝ｘｆ（ｘ）で表し、補正関数ｆ（ｘ）を ｆ（ｘ）＝１−Ａｘ² で近似し（Ａは定数）、一地点から撮影された共通の対
   象物を含む２枚の画像の実測値ｙを基に、前記３次方程
   式を解き、前記補正関数の定数Ａを決めることを特徴と
   する歪曲収差補正方法。