JP5654889B2 - レンズ歪みの補正法 - Google Patents

Description

本発明は、例えば携帯型電話機や携帯型ゲーム機などの携帯型電子機器（以下、「携帯電話」という。）に備えられたカメラによって撮影された撮影画像が樽型歪みや糸巻き型歪みなどの歪曲収差歪みを生じている場合に、この歪曲収差歪みを補正するためのレンズ歪みの補正法に関する。

携帯電話には、カメラ機能や２次元バーコードを読み取るアプリケーション（ソフトウェア）を搭載した機種が多数提供されている。そして、携帯電話は、カメラ機能によって２次元バーコードを撮影し、アプリケーションが２次元バーコードに記録されたインターネットのＵＲＬなどを解析することにより、Ｗｅｂサイトを画面に表示する機能を備えている。

しかし、携帯電話に備えられたカメラ機能は、コンパクト化を図るため、小口型のレンズを搭載している。このようなレンズで撮影された撮影画像は、いわゆる樽型歪みが生じ、２次元バーコードを正確に読み取ることができにくいため、２次元バーコードに埋め込まれた情報の検出率が低下するという問題がある。また、望遠レンズで撮影された撮影画像は、いわゆる糸巻き型歪みが生じる。

そこで、樽型歪みや糸巻き型歪みなどの歪曲収差歪みが生じている撮影画像の特性を考慮することにより、両方の歪みを補正することのできるようにしたレンズ歪みの補正法が非特許文献１に提案されている。このレンズ歪みの補正法は、歪曲収差歪みが撮影画像の中央を中心として放射状に生じ、中心点から離れるにしたがって歪み量が多くなるという［数１］に示された関係を応用している。

レンズ歪みの補正法では、一般に高次の項が比較的重要でないとされるため、撮影画像から歪み係数Ｋ₂を推定することなく、歪み係数Ｋ₁を推定することで、歪みのない画像座標ｘ’，ｙ’を算出する。歪み係数Ｋ₁は、図３に示すような手順によって推定する。

すなわち、まず、四角形状の撮影画像から直線に近い枠線の１辺（細長い楕円形で囲った一方の１辺）を抽出し、この枠線上の複数画素の座標を座標群として保存する（Ｓ１）。次に、歪み係数Ｋ₁の候補として多数の仮の歪み係数について保存された座標群を用いて最小２乗法による直線回帰を行い、求められた多数の回帰直線と保存された座標群上の点との２乗距離を合計した誤差が最小となった仮の歪み係数を歪み係数Ｋ₁と推定する。

直線回帰とは、複数のデータ（ｘ₁，ｙ₁），…，（ｘ_n，ｙ_n）が与えられたときに、できるだけ各データの点の近くを通る直線ｙ＝ａｘ＋ｂ（回帰直線）の傾きａと切片ｂとを求めることである。回帰直線は、予め決められた範囲の複数の仮の歪み係数（Ｋ_1min＝−９×１０^-8〜Ｋ_1max＝９×１０^-8）について多数求める。

すなわち、まず、仮の歪み係数の初期値Ｋ_1min（＝−９×１０^-8）を設定し（Ｓ２）、この初期値Ｋ_1minに対する保存された座標群に対する補正後の座標群（枠線）を［数１］の式から求める（Ｓ３）。続いて、補正後の座標群から最小２乗法による直線回帰を行い、回帰直線を推定する（Ｓ４）。そして、補正後の座標群（枠線）と回帰直線との２乗距離の合計を誤差として求め（Ｓ５）、この誤差を仮の歪み係数Ｋ_1minの値とともに保存する（Ｓ６）。

そして、仮の歪み係数の初期値Ｋ_1min（＝−９×１０^-8）に反復値Ｋ_1int（＝０．１×１０^-8）を加算して仮の歪み係数Ｋ_1(min+1)（＝−９．１×１０^-8）を更新する（Ｓ７）。この更新された仮の歪み係数Ｋ_1(min+1)についても、前記の操作（Ｓ３〜Ｓ６）を行う。この操作（Ｓ３〜Ｓ６）は、仮の歪み係数Ｋ₁がＫ_1max（＝９×１０^-8）を超えるまで繰り返される。

すなわち、仮の歪み係数Ｋ₁がＫ_1max（＝９×１０^-8）を超えると、得られた仮の歪み係数Ｋ_1min〜Ｋ_1maxの中から前記誤差が最小となるときの仮の歪み係数を最適な歪み係数Ｋ₁の推定値とし、この最適な歪み係数Ｋ₁をパラメータとして［数１］に示された式を用いて補正画像を生成することでレンズ歪みの補正を行う（Ｓ８）。この手法では、保存する座標群として枠線の上辺、左辺の２辺上の座標群をそれぞれ使用し、各座標群からそれぞれ求められた歪み係数Ｋ₁の平均値を最終的なパラメータとしている。

なお、射影変換をレンズ歪み補正よりも先に行うと、「レンズによる歪みは、撮影画像の中央を中心として放射状に生じる。」という関係が崩れるため、正確にレンズ歪みを補正することができなくなる。よって、レンズ歪み補正を行った後に射影変換が行われる。

T.Shono, M.Muneyasu, Y.Hanada: "Implementation of Data Embedding to Printing Images for Information Retrieving by Cellular Phones Considering Lens Distortion," Proc.ISPACS2009,pp558-561,2009.

前記従来のレンズ歪みの補正法では、歪み係数Ｋ₁を推定するため、仮の歪み係数に反復値Ｋ_1int（＝０．１×１０^-8）刻みで加算し、回帰計算や誤差の計算、さらに仮の歪み係数と誤差との保存という手順を１８００回も繰り返している。したがって、撮影画像の枠線の４辺を抽出することが好ましいにもかかわらず、従来のレンズ歪みの補正法では、処理時間の短縮を図るため、撮影画像の隣り合っている枠線の上辺と左辺の二辺しか抽出していない。

それにもかかわらず、従来のレンズ歪みの補正法では、枠線の検出に０．７６秒、歪み係数の測定と推定に４２．１２秒もかかる。さらに、二辺だけ抽出して推定された歪み係数Ｋ₁の精度は高くないことから、補正画像を必ずしも正確に生成することができないという不具合もある。

そこで、本発明は、短時間に、しかも、高精度に歪み係数を推定し、補正画像を正確に生成することができるようにしたレンズ歪みの補正法を提供することを課題とする。

本発明に係るレンズ歪み補正法は、四角形状の撮影画像から直線に近い枠線を抽出し、この枠線上の画素の座標を保存し、歪みのない画像座標を算出するためのパラメータである歪み係数を算出するため、予め決められた範囲から歪み係数の候補とされる複数の仮の歪み係数を算出し、各仮の歪み係数を用いて補正後の枠線を求め、この補正後の枠線から回帰直線を計算し、この補正後の枠線の座標と回帰直線との誤差を計算し、最小の誤差を算出した仮の歪み係数を歪み係数と推定し、この歪み係数をパラメータとして補正画像を形成するレンズ歪みの補正法であって、前記仮の歪み係数の範囲を設定するステップと、前記仮の歪み係数の範囲の上限及び下限から求められた２つの仮の歪み係数を用いた極小点探査法によって該仮の歪み係数の範囲を絞り込むステップと、絞り込まれた範囲における仮の歪み係数の下限に、反復値を順次、上限まで加算し、加算された各仮の歪み係数の誤差を算出し、最小の誤差を算出した仮の歪み係数を歪み係数と推定するステップと、を備え、前記極小点探査法は、各仮の歪み係数を用いて求められた補正後の枠線と、この補正後の枠線から計算された回帰直線との誤差である仮の歪み係数の誤差をそれぞれ計算する第一ステップと、２つの仮の歪み係数の誤差の大小を比較する第二ステップと、その大小から一方の仮の歪み係数を更新する第三ステップと、を有し、仮の歪み係数の誤差が予め決められた閾値より小さくなるまで前記第一〜第三ステップを行うことで、前記仮の歪み係数の範囲を段階的に狭めることを特徴としている。

このレンズ歪みの補正法は、仮の歪み係数と誤差との関係が単峰性の目的関数によって表され、前記誤差の唯一の最小点から歪み係数を推定できるというる特質に着目し、歪み係数を推定する時間を短縮する。すなわち、このレンズ歪みの補正法は、例えば、推定する歪み係数を含む区間における仮の歪み係数K₁₁，K₁₂の誤差ｆ（K₁₁），ｆ（K₁₂）の大小を比較し、その大小から次の仮の歪み係数K₁₁，K₁₂を極小点探査法により順次、大まかに更新することで予め決められた誤差の閾値まで仮の歪み係数の範囲を絞り込む。そして、絞り込まれた範囲内では、仮の歪み係数の下限に反復値を順次、上限まで加算し、各加算された仮の歪み係数について誤差を算出し、最小の誤差を算出した仮の歪み係数を歪み係数と推定する。

また、前記本発明に係るレンズ歪みの補正法において、前記極小点探査法は、黄金分割探査法であることが好ましい。

このレンズ歪みの補正法によれば、黄金分割探査法により、仮の歪み係数をさらに短時間に絞り込むことができる。ここで、黄金分割探査法は、区間［ａ，ｂ］における仮の歪み係数K₁₁，K₁₂の値と黄金比τ≒０．６１８を用い、その区間を内分する点K₁₁，K₁₂を、K₁₁＝ｂ−τ（ｂ−ａ），K₁₂＝ａ＋τ（ｂ−ａ）から求めることにより極小点を得る方法である。

また、前記本発明に係るレンズ歪みの補正法において、四角形状の撮影画像枠線の４辺について枠線上の画素の座標を保存し、推定精度を向上させることのできる３辺から歪み係数を推定することが好ましい。

４辺から歪み係数を的確に推定できない、すなわち、推定精度のよくない辺があるところ、このレンズ歪みの補正法によれば、四角形状の撮影画像の４辺についての枠線上の画素の座標のうち、推定精度のよくない辺を外した３辺を用いることによって、推定精度を向上させることができる。

また、前記本発明に係るレンズ歪みの補正法において、樽型歪みの撮影画像では、歪曲の小さな３辺から歪み係数を推定することが好ましい。

このレンズ歪みの補正法によれば、歪曲の小さな３辺から歪み係数を推定することで、推定精度の向上を図ることができる。これは、実験結果から、樽型歪みの撮影画像においては、補正する量が小さくなるように設定した方が推定精度の向上が観測されたためである。

また、前記本発明に係るレンズ歪みの補正法において、糸巻き型歪みの撮影画像では、歪曲の大きな３辺から歪み係数を推定することが好ましい。

このレンズ歪みの補正法によれば、歪曲の大きな３辺から歪み係数を推定することで、推定精度の向上を図ることができる。これは、実験結果から、糸巻き型歪みの撮影画像においては、補正する量が大きくなるように設定した方が推定精度の向上が観測されたためである。

本発明によれば、極小点探査法によって歪み係数を推定するレンズ歪みの補正法が提供されることにより、このレンズ歪みの補正法によって補正画像を作成する時間を短縮することができる。

本発明に係るレンズ歪みの補正法を説明するフロー図である。 仮の歪み係数と誤差との関係を示すグラフである。 従来のレンズ歪みの補正法を説明するフロー図である。

本発明に係るレンズ歪みの補正法の一実施形態について、図１及び図２を参照しながら説明する。このレンズ歪みの補正法は、例えば小型のレンズを使用して撮影された四角形状の撮影画像の樽型歪みや糸巻き歪みのような歪曲収差歪みを補正するため、前記［数１］で示した歪み係数Ｋ₁を短時間に推定できるようにしたことを特徴としている。

そのため、このレンズ歪みの補正法は、仮の歪み係数と誤差との関係が単峰性の目的関数によって表され、前記誤差の唯一の最小点から歪み係数Ｋ₁を推定できるという特質を応用し、極小点探査法により、歪み係数Ｋ₁を推定する。

極小点探査法としては、黄金分割探査法を使用する。黄金分割探査法は、単峰性の目的関数において、最小値の探査範囲を黄金分割比を用いて狭めることで、最小値を得る手法である。したがって、黄金分割探査法では、図２に示すように、目的関数ｆ（Ｋ₁）の最小値を含む区間［ａ，ｂ］を設定し、の値と黄金分割比τ≒０．６１８を用いて、その区間を内分する仮の歪み係数K₁₁とK₁₂を設定する。

K₁₁とK₁₂は、
K₁₁＝ｂ−τ（ｂ−ａ）
K₁₂＝ａ＋τ（ｂ−ａ）
から得られる。

この仮の歪み係数K₁₁とK₁₂を用い、演算装置によって補正後の各座標群を求める。そして、演算装置によって各回帰直線を計算し、各補正後の枠線座標と回帰直線との誤差ｆ（K₁₁）とｆ（K₁₂）を計算する。続いて、演算装置によってこの誤差ｆ（K₁₁）とｆ（K₁₂）の大きさを比較し、K₁₁とK₁₂を更新する。

すなわち、ｆ（K₁₁）＞ｆ（K₁₂）の場合は、
ａ＝K₁₁，K₁₁＝K₁₂，K₁₂＝ｂ−（１−τ）（ｂ−ａ）

また、ｆ（K₁₁）＜ｆ（K₁₂）の場合は、
ｂ＝K₁₂，K₁₂＝K₁₁，K₁₁＝ａ＋（１−τ）（ｂ−ａ）

そして、ｆ（ａ）＜εかつｆ（ｂ）＜ε（εは予め決められている閾値）でなければ、仮の歪み係数K₁₁とK₁₂を用い、演算装置によって補正後の各座標群を求め直し、各回帰直線を計算し、各補正後の枠線座標と回帰直線との誤差ｆ（K₁₁）とｆ（K₁₂）を計算し、この誤差ｆ（K₁₁）とｆ（K₁₂）を比較するという手順を繰り返す。目的関数ｆ（Ｋ₁）は、閾値εよりも大きい場合は正又は負に比例するため、K₁₁とK₁₂の間隔は、大まかに狭めて更新することができる。

そして、ｆ（ａ）＜εかつｆ（ｂ）＜εとなると、目的関数ｆ（Ｋ₁）は、曲線状に変化するため、K₁₁とK₁₂を大まかに更新することができない。そこで、下限の仮の歪み係数Ｋ_1minを仮の歪み係数K₁₁とK₁₂のどちらか小さい方とし、上限の仮の歪み係数Ｋ_1maxを仮の歪み係数K₁₁とK₁₂をのどちらか大きい方とする。そして、演算装置によって下限の仮の歪み係数K_1minに反復値Ｋｂ_1int（＝０．１×１０^-8）刻みで加算し、仮の歪み係数Ｋ₁とする。

そして、この仮の歪み係数Ｋ₁を用い、演算装置によって補正後の座標群を求め、回帰直線を計算し、補正後の枠線座標と回帰直線との誤差を計算し、仮の歪み係数Ｋ₁と誤差を保存する。この仮の歪み係数Ｋ₁に反復値Ｋｂ_1intを加算するという手順を上限の仮の歪み係数Ｋ_1maxになるまで、すなわち絞り込まれた範囲で繰り返す。そして、演算装置によってそれぞれの誤差ｆ（Ｋ₁）を算出し、最も小さな誤差ｆ（Ｋ₁）を算出した仮の歪み係数を歪み係数Ｋ₁と推定する。この歪み係数Ｋ₁は、前記の手順を１６回繰り返すだけで推定することができる。

歪み係数Ｋ₁の推定に、従来では４２．１２秒要していたにもかかわらず、このレンズ歪みの補正法では０．３４秒と短縮することができる。したがって、このレンズ歪みの補正法では、四角形状の撮像画像の枠線の４辺を抽出し、４辺について歪み係数Ｋ₁を推定することで、精度の高いレンズ歪みの補正をすることができる。

ただし、処理時間の短縮化のため、４辺の誤差を算出するものの、樽型歪みの撮影画像では、歪曲の小さな３辺から歪み係数Ｋ₁を推定し、糸巻き型歪みの撮影画像では、歪曲の大きな３辺から歪み係数Ｋ₁を推定し、平均値を歪み係数Ｋ₁とする。実験結果から、樽型歪みの撮影画像では、補正する量が小さくなるように、糸巻き型歪みの撮影画像では、補正する量が大きくなるように設定した方が、推定精度が向上する傾向がみられたため、この傾向を反映するように、樽型歪みの撮影画像と糸巻き型歪みの撮影画像とで歪み係数Ｋ₁の推定に用いる辺を選択する。

なお、樽型歪みの撮影画像は回帰直線の誤差が正で表され、糸巻き型歪みの撮影画像は回帰直線の誤差が負で表されるため、誤差の正負により、樽型歪みの撮影画像であるか糸巻き型歪みの撮影画像であるかを判断することができる。

このようにして歪み係数Ｋ₁が推定されると、この歪み係数Ｋ₁をパラメータとして演算装置によって歪みのない画像座標ｘ’，ｙ’を算出する。この歪みのない画像座標ｘ’，ｙ’は、［数１］を変形した［数２］から求めることができる。

この歪みのない画像座標ｘ’，ｙ’から演算装置によって補正画像が生成される。ただし、被写体に対して垂直方向から撮影されなかった撮影画像については、射影変換を行うことによって補正する。射影変換をレンズ歪み補正よりも先に行うと、「レンズによる歪みは撮影画像の中央を中心として放射状に生じる。」という関係が崩れるため、レンズ歪み補正を行った後に、射影変換を行う。

このように、レンズ歪み補正と射影変換により、撮影画像を補正した補正画像がメモリに保存される。被写体が２次元バーコードであり、２次元バーコードにインターネットのＵＲＬやメールアドレスが記録されていると、補正画像からインターネットのＵＲＬやメールアドレスを正確に読み取ることができる。

なお、本発明は、前記実施の形態に限定することなく種々変更することができる。例えば、正確に補正するよりも処理時間を優先する場合は、４辺からでなく、２辺のみから歪み係数Ｋ₁を推定してもよい。

また、本発明は、携帯電話に備えられた小型のレンズに対して、有効に適用することができるが、小型のレンズに限定することなく、レンズ歪みが生じる各種のレンズ、例えば自動車の後方を写すカメラにも適用することができる。

Claims (5)

1. 四角形状の撮影画像から直線に近い枠線を抽出し、この枠線上の画素の座標を保存し、歪みのない画像座標を算出するためのパラメータである歪み係数を算出するため、予め決められた範囲から歪み係数の候補とされる複数の仮の歪み係数を算出し、各仮の歪み係数を用いて補正後の枠線を求め、この補正後の枠線から回帰直線を計算し、この補正後の枠線の座標と回帰直線との誤差を計算し、最小の誤差を算出した仮の歪み係数を歪み係数と推定し、この歪み係数をパラメータとして補正画像を形成するレンズ歪みの補正法であって、
   前記仮の歪み係数の範囲を設定するステップと、
   前記仮の歪み係数の範囲の上限及び下限から求められた２つの仮の歪み係数を用いた極小点探査法によって該仮の歪み係数の範囲を絞り込むステップと、
   絞り込まれた範囲における仮の歪み係数の下限に、反復値を順次、上限まで加算し、加算された各仮の歪み係数の誤差を算出し、最小の誤差を算出した仮の歪み係数を歪み係数と推定するステップと、を備え、
   前記極小点探査法は、
   各仮の歪み係数を用いて求められた補正後の枠線と、この補正後の枠線から計算された回帰直線との誤差である仮の歪み係数の誤差をそれぞれ計算する第一ステップと、
   ２つの仮の歪み係数の誤差の大小を比較する第二ステップと、
   その大小から一方の仮の歪み係数を更新する第三ステップと、を有し、
   仮の歪み係数の誤差が予め決められた閾値より小さくなるまで前記第一〜第三ステップを行うことで、前記仮の歪み係数の範囲を段階的に狭める、レンズ歪みの補正法。
2. 前記極小点探査法は、黄金分割探査法であることを特徴とする請求項１に記載のレンズ歪みの補正法。
3. 四角形状の撮影画像枠線の４辺について枠線上の画素の座標を保存し、推定精度を向上させることのできる３辺から歪み係数を推定することを特徴とする請求項１又は２に記載のレンズ歪みの補正法。
4. 樽型歪みの撮影画像では、歪曲の小さな３辺から歪み係数を推定することを特徴とする請求項３に記載のレンズ歪みの補正法。
5. 糸巻き型歪みの撮影画像では、歪曲の大きな３辺から歪み係数を推定することを特徴とする請求項３に記載のレンズ歪みの補正法。

Images