JP4327919B2 - 単一カメラ像から放射歪パラメータを回復する方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、一般に、コンピュータ化された像処理の分野に係り、特に、非直線的な歪んだ像の処理に係る。
【０００２】
【従来の技術】
大きなシーンの三次元モデリング又は大きなシーンの像合成を必要とするコンピュータ化された像処理の用途では、通常、広角カメラで収集された像が使用される。広角カメラで撮影された像は、簡単なレンズ構造及びレンズの不完全さにより非直線歪を受ける。このような像においては、カメラを校正した後に、入力像の歪除去を行うことにより歪作用を取り除くことができる。又、他の形式のレンズを通して撮影した像にも歪が存在し得る。
【０００３】
一般に、２種類の歪、即ち放射歪と接線歪がある。多くの場合に、カメラのパラメータの回復は、像の歪んだ特徴を検出するプロセスから切り離される。これは、特徴検出が正しいときには問題を生じないが、特徴検出をパラメータ推定に直接結び付けると、特にノイズが存在する場合に、より効率的で且つ完全な回復を得ることができる。
【０００４】
カメラの校正には著しい作業が行われるが、既知の多くの方法は、厳密に既知の寸法をもった特定の校正パターンの像を得ることを必要とする。カメラの校正で行われる一種の作業として、シーンの像又は像自体を使用し、そしておそらくは、直線、平行な直線、垂直線等の特殊な構造の利点を取り入れたものがある。
【０００５】
【発明が解決しようとする課題】
１つの公知方法においては、放射及び接線（偏心）の両レンズ歪を推定するのに最小消滅点分散制約が使用される。しかしながら、この場合、ユーザは、平行な「校正」線を手でグループ分けしなければならない。
別の既知の方法においては、多数の平行な鉛直線を使用し、線適合関数の一次テイラー拡張を含む反復勾配下降技術を用いて放射歪パラメータが計算される。平行な鉛直線上の点が手で抽出される。このようなプロセスは、時間がかかり、例えば、水平線から１６２点をそして垂直線から１６２点を測定するのに数時間を要する。
【０００６】
別の方法は、多数の視野間の点対応を使用して、放射歪係数を抽出する。この場合は、視線及び３直線制約が使用され、そして放射歪の量に対し、これら制約におけるエラーを最小にするサーチが行われる。
写真測量方法は、通常、既知の校正点又は構造体を使用することに依存し、例えば、歪パラメータを回復するために鉛直線を使用するか、又は全カメラ校正のために既知の寸法の規則的に離間されたボックスの角を使用する。更に柔軟性のある既知の構成体は、校正に使用される全ての点が同一平面であり、そして校正点の間に識別された水平及び垂直点があることを必要とする。又、投影的不変量を使用して、放射歪係数を回復することもできる。
【０００７】
人間の顔の特徴を追跡したり、セルを用いて物体を再構成したりする歪補正に関係のない他の像処理の用途では、「スネーク(snake) 」と称するアクティブな変形可能な輪郭を使用して、像の特徴の概略が描かれる。種々の形態のスネークは、パラメータ数の増加を犠牲にして準備動作に対する敏感さを低減するために「膨張する輪郭」の概念を含み、即ち「アクティブな輪郭」を使用する。これらの方法において、スネークの幾つかはパラメータ化できるが、それらスネークは一般に互いに独立している。カメラのパラメータを事前に知ることなく単一像から歪パラメータ（κ）を回復するのが好都合である。又、いかなる像からも直接的に回復を実行できるときには更に好都合である。
【０００８】
【課題を解決するための手段】
本発明によれば、カメラで撮影された単一の像から１組の放射歪パラメータを回復するためのコンピュータ化された方法が提供される。単一像における任意の向きの直線が、例えば、マウス又はキーボードのような入力装置を用いて選択される。
本発明は、その広い形態において、カメラで撮影された単一像から１組の放射歪パラメータを回復するための請求項１に記載のコンピュータ化された方法に係る。
以下に述べる好ましい実施形態においては、水平に近い線が水平となるように回転され、そして垂直に近い線が垂直となるように回転される。これらの線は、像の基準点の周りで回転される。回転された線を表す目的関数は、最小２乗適合式を用いて最小化され、１組の放射歪パラメータが回復される。
【０００９】
好ましくは、上記線は、複数の個別の点により選択される。本発明の別の特徴においては、上記線は、描かれた「スネーク」又は変形可能な輪郭により選択される。
線を選択する前に、像をぼかすことができる。このぼかしは、スネークが移動されるところのコントラストの高いエッジ（縁）の検出を改善する。最小化の間に、スネークは、互いに独立して又は従属して移動することができ、そしてスネークの移動の大きさは、最も近い検出されたエッジの局部的な輝度勾配に比例することができる。
【００１０】
【発明の実施の形態】
以下、添付図面を参照して、本発明の好ましい実施形態を詳細に説明する。
システムの概要
図１は、レンズ１１を有するカメラ１０に接続されたコンピュータシステム１００を示す。又、コンピュータシステム１００は、ディスプレイ装置２０、キーボード３０及びマウス４０にも接続される。カメラが大きなシーンの像を収集すべきときには、レンズの視野が広くなり、歪んだ像を招く。しかしながら、他の形式のレンズも、歪んだ像を形成し、これは、ここに開示するように補正することができる。
【００１１】
システム１００は、１つ以上のプロセッサ（Ｐ）１１０と、メモリ（Ｍ）１２０と、入力／出力インターフェイス（Ｉ／Ｏ）１３０とを備え、これらは、バスライン１４０により互いに接続される。
システム１００の動作中に、シーン１４の単一像がカメラ１０により収集される。例えば、シーン１４は、一方の壁に黒板がありそして隣接壁にドアがあるオフィスのコーナーを見たものである。この像は、システム１００のメモリ１２０に単一のデジタルフレーム１２１として記憶される。通常、フレーム１２１は、規則的なパターンで配列された複数のピクセル１２２を含む。これらのピクセル１２２は、カメラ１０によって像形成されたシーン１４を表す測定されたカラー又はグレーレベル値をエンコードするものである。
【００１２】
以下に詳細に述べるコンピュータ化されたプロセス１２３も、例えば、Ｃ言語で書かれたソフトウェアプログラムの命令及びデータとしてメモリ１２０に記憶される。これらプログラムは、例えば、ＵＮＩＸ（登録商標）のようなオペレーティングシステムの制御のもとで動作する。プログラムの命令は、レンズの構造による放射歪パラメータを回復するようにピクセルデータを操作する。歪パラメータは、歪んだ像を補正するのに使用できる。
プロセス１２３は、システム１００のユーザにより対話的に開始される。ユーザは、ディスプレイ装置２０上の投影像２１を見ながら、キーボード３０及び／又はマウス４０でプロセス１２３を操作する。
【００１３】
序論
簡単な前置きとして、３つの対話的方法を説明する。これら３つの方法において、ユーザは、例えばマウス４０を使用して、投影された歪んだ像２１における任意の向きの直線を選択する。第１の方法は、最も直接的であり、即ち直線上の手で選択した個別の点を使用して、放射歪パラメータが計算される。第２及び第３の方法は、ユーザが像に「スネーク」を描けるようにする。各スネークは、投影された線にほぼ対応する。スネークは、規則化を受ける強い即ち高いコントラストのエッジに沿って描かれる。
第２の方法と第３の方法の相違は、スネークの振る舞いである。第２の方法では、スネークは、他の無関係の像処理用途、例えば、顔の特徴の追跡や物体の再構成に使用される独立したスネークのように振る舞う。第３の方法では、スネークの振る舞いは、放射歪の一貫したモデルを経て全体的に接続される。それ故、これらのスネークは、放射歪スネークと称される。
【００１４】
放射歪スネークを使用する第３の方法が最も健全であり且つ正確であることが実験結果により示される。これは、放射歪パラメータへのエッジの適合の直接的なリンクに起因する。より簡単な第１及び第２の方法では、エッジを探索するプロセスが放射歪パラメータ推定とは独立して行われる。
レンズの歪
３つの対話的校正方法を詳細に述べる前に、レンズ歪を記述するモデルについて説明する。本質的に、２種類のレンズ歪、即ち放射歪及び接線（又は偏心）歪がある。各種類の歪は、無限級数により表すことができるが、一般的には、小さな数で充分である。一般に、ここに使用するモデルは、米国ジェオロジカル・サーベイにより採用された放射歪のモデルと同じである。
【００１５】
レンジ歪は、一般に、数１で表せることが良く知られている。
【数１】

但し、（ｘ_u 、ｙ_u ）は、理論的に無歪の像点位置であり、（ｘ_d 、ｙ_d ）は、測定した歪んだ像点位置であり、Ｘ_d ＝ｘ_d −ｘ_p 、Ｙ_d ＝ｙ_d −ｙ_p であり、（ｘ_p 、ｙ_p ）は、基準点であり、そしてＲ_d ＝Ｘ_d ² ＋Ｙ_d ² である。基準点は、カメラの光学軸が像平面に交差するところである。
従って、好ましい実施形態においては、（ｘ_d 、ｙ_d ）の値は、像の中心に等しく、そして偏心歪係数は、ゼロと仮定され、即ちＰ₁ ＝Ｐ₂ ＝・・・＝０である。これは、（ｘ_u 、ｙ_u ）に対する級数拡張を数２へと減少する。
【数２】

各々単一の像のみを使用する校正方法においては、ユーザは、先ず、シーンにおける投影された直線の位置を指示し、次いで、放射歪パラメータが自動的に決定される。
【００１６】
方法１：ユーザが指定する点を使用
第１の方法は、２つの段階を含み、即ちユーザが、マウス４０を用いて投影像上で直接クリックすることにより、任意の向きの直線上の点を選択する段階と、最小２乗式を用いてカメラの放射歪パラメータが決定される別の段階とを含む。
図２に示すように、シーン１４の投影図２１は、レンズ１１の広い視野により相当量の放射歪を有している。投影像２１における基準点２１０は、記号「ｘ」で表示されている。ユーザは、例えば、黒板の枠やドアフレームのような真っ直ぐであると分かっている任意の向きの線に沿って多数の点２０１を選択する。点２０１は、マウス４０をクリックするか又はキーボード３０のカーソルキーにより選択することができる。
【００１７】
図３に示すステップ３１０において線が選択された後に、数３の目的関数を最小にすることにより非直線的な放射歪パラメータが回復される。
【数３】

但し、（ｘ_ij、ｙ_ij）は、歪んだ入力像における点の座標であり、Ｎは、歪んだ入力像であり、Ｎ_l は、線の数であり、Ｎ_p,i は、線ｉにおいて選択された点の数であり、（θ_i 、ρ_i ）は、線ｉに対するパラメータ線表示であり、Ｌは抽出されるべき放射歪パラメータの数であり、そしてＲ_ij＝ｘ_ij ² ＋ｙ_ij ² である。
閉じた式の解を得るために、目的関数は、傾斜が水平軸に近い線については数４のカルテシアン式（デカルト座標）で再計算され（３３０）、
【数４】

そして傾斜が垂直軸に近い線については数５のように再計算される（３３５）。
【数５】

ε₁ とε₂ との選択は、設定された選択点を通る最良適合線の傾斜に基づいて行われる（３２０）。
【００１８】
ステップ３３０は、再計算された目的関数の一部分を取り上げて、水平に近い線についてはパラメータｍ_n 、ｃ_n 及びＳ_n （ｆ）、そして垂直に近い線についてはパラメータｍ’_n 及びｃ’_n の値を形成する（ステップ３３５）。（ｍ_n 、ｃ_n ）及び（ｍ’_n 、ｃ’_n ）表示は、ステップ３４０において、目的関数式２の放射式（極座標）、例えば、（θ_n 、ρ_n ）へ変換して戻すことができ、そこから、ステップ３５０において、κ₁ を直接回復することができる。ステップ３５０は、（θ_i 、ρ_i ）が既知である場合の方法３について以下に詳細に述べる。κ₁ は、数６の１組の同時一次方程式を解くことにより見出すことができる。
【数６】

但し、ｍ＝１、・・・Ｌであり、そして数７の通りである。
【数７】

１つの放射歪計数、即ちＬ＝１のみを推定する特殊な場合には、次の数８のようになる。
【数８】

２つの放射歪計数、即ちＬ＝２の場合には、次の数９のようになる。
【数９】

【００１９】
方法１は、個々の点を手で選択することを必要とし、これはあきあきすることであるが、多数の点を入念に選択したときには、抽出した放射歪パラメータκ_i が信頼性の高いものとなる。
方法２及び方法３では、図４に示すように、マウス４０を使用し、投影された直線であると分かっているものの上で曲線（スネーク）４０１をたどる（描く）ようにする。このようにたどる投影された直線が強い又は高いコントラストのエッジを有するときに良好な結果を得ることができる。方法１に勝る効果として、ここでは、スネーク４０１は、選択された水平及び垂直線をたどるように入念に描く必要がない。
【００２０】
スネークが描かれた後に、方法２は、エッジをたどる又はそれに「くっつく」ようにスネークを再整形する。このとき、放射歪パラメータは、スネークの最終的な形状に基づくものとなる。方法２と３との間の相違は、スネーク４０１の振る舞いにある。方法２においては、スネークが独立して移動し、そして方法３においては、スネーク４０１が全体的に従属する仕方で移動する。
方法２及び方法３の両方について図５に示すように、ステップ５１０において任意の向きの直線が選択される。ステップ５２０において入力像１２１がぼかされ、ユーザにより特定された最初のスネーク形状からエッジが充分に離れているときにスネークが強いエッジに吸引されるのを防止する高い周波数の変化を除去する。このステップは、方法３についても実行される。
【００２１】
方法２：独立したスネークを使用
方法２においては、最初の形状から最終的な形状へのスネークの動きが２つのファクタ、即ち動きの滑らかさ（外部の力による）及び空間的な滑らかさ（内部の力による）に基づいたものとなる。
各スネーク４０１の元の形状が与えられると、スネーク４０１上の点ｐ_j が、検出された最も近いエッジ、例えば、選択された水平線又は垂直線の１つに向かって増分的に移動する。それ故、ステップ５３０において最も近いエッジが検出され、そしてスネークが移動される。増分的移動δｐ_j の量は、数１０で与えられる。
【数１０】

但し、Ｎ_j は、点ｐ_j 及びその近隣におけるピクセルである。δｐ_edgeの値は、最も近い検出可能なエッジに向かうｉ番目の点の決定された動きである。移動の大きさは、ゼロに近くない限り、局部的な強度勾配に一般的に逆比例する。動きが無視できることがステップ５４０で決定された場合には、方法１について述べた最小２乗式を用いてステップ５５０において歪パラメータが回復される。
【００２２】
値μ_jkは、隣接ピクセルの重みである。κの値は、動きのコヒレンス性及び空間的な滑らかさの強調に基づいて設定される。好ましい実施形態では、Ｎ_j の値が全て等しく、そして近隣の半径は５ピクセルである。近隣点の重みμ_jkは、組｛１、２、４、８、１６、３２、１６、８、４、２、１｝から選択することができ、重み３２が中心点である。
スネーク移動の非常に簡単な態様をここで実施することに注意されたい。その意図するものは、スネークが集合的に求めようと試みる曲線の形式の制約が与えられた場合に、方法３について以下に述べるように、互いに独立して動作するスネークをもつ作用を、全体的に一貫した仕方で動作するスネークと比較することである。
【００２３】
方法３：放射歪スネークを使用
独立したスネークは、正しくない局部的最小部にくっつくという問題がある。
この問題は、スネークの移動に対して更なる構造を課し、即ちスネークの形状を選択された線の予想される歪即ちアーク形状に一致させることにより緩和することができる。このため、従属的に移動するスネークを放射歪スネークと称する。
接線歪及び非単位の縦横比による非対称的歪を無視すると、放射歪の作用が基準点に対して回転方向に不変であることを考慮することにより、元の目的関数（上記式２）の複雑さを軽減することができる。
【００２４】
図６に示すように、方法３は、線が選択されそして像がぼかされた後に、次のステップを含む。
１）最良の適合線（式３又は４を使用）が水平となるように各スネークを回転する（ステップ３４５）。この回転角をｉ番目のスネークに対してα_i とする。
２）回転された１組の線から最良に適合する１組の放射歪パラメータκ₁ 、・・・κ_L を推定する。
３）歪がないようにした形態が水平線上に来るように予想される回転された歪点ｐ_j ＝（ｘ_j 、ｙ_j ）をステップ６２０において見つける。即ち、次の数１１の通りである。
【数１１】

初期点（ｘ_j ⁰ 、ｙ_j ⁰ ）が与えられると、ｘ_j ＝ｘ_j ⁰ とし、そして次の数１２から、ｘ_j ^(k) の次々の値の間の差が無視できるようになるまでｙ_j を繰り返し決定する。
【数１２】

【００２５】
４）ステップ６３０においてκの現在の最良推定値及びエッジ垂直を用いて点を更新する。換言すれば、点ｐ_j を次の式に基づいて更新する。
ｐ_j ^new ＝ηｐ_j ^kappa ＋（１−η）ｐ_j ^normal （式１４）但し、０≦η≦１であり、ｐ_j ^normalは、上記方法２を使用して予想されるスネーク点の新たな位置である。ｉ番目のスネークの場合、値ｐ_j ^kappa は、手前のステップで決定されたｐ_j の値を基準点の周りで−α_i だけ回転することにより得られる（ステップ６４０）。
５）全平均変化が無視できるまで全ての上記ステップを繰り返すか、又は固定数の繰り返しの場合には、図７に示すような受け入れられる歪みのない像７００を形成する。
【００２６】
式１４において、η＝０は、エッジ垂直、エッジ強度、滑らかさ及び連続性の関数として、方法２について述べたようにスネークの振る舞いに基づき点を移動するのと同等であり、一方、η＝１は、現在推定される放射歪に一致する位置への移動と同等である。
η＝１に設定すると、求めようと試みる投影された直線へのスネークの収斂が低速となり、ある場合には、スネークが間違った形状へと収斂することがある。一般に、ηは、時間と共に変化し、例えば、η＝０でスタートして、ηを徐々に１へと増加する。好ましい実施形態では、ηの時間と共に変化する値は、選択された繰り返し数にわたって０から１への一次関数となる。
【００２７】
結果
テーブルＡは、図２、４及び７に示すオフィスのシーンの実際の像に使用される３つの校正方法に対する放射歪パラメータκ₁ 及びκ₂ の比較を示す。

放射歪パラメータの組間には著しい相違があるが、観察された歪のない像は、実質的に同様である。
ある像については、従属放射歪スネークは、同じスネーク準備動作に対し独立スネークよりも最適な局部的最小値に収斂するように思われ、従属スネークの方が例えばユーザによる配置のようなスネーク準備動作のエラーを外見上逃れられるようにする。
【００２８】
方法の比較
個別の直接的な線上の点を手で取り上げる方法１は、その効果として実施及び理解が最も簡単である。しかしながら、この方法は、点を入念に選択しなければならないので、ユーザにとって厄介である。これは、ユーザが指定した入力位置が放射歪パラメータ推定段階に直接使用されるからである。図５について述べたように、自動的に局部的エッジサーチ及び位置の改善を行う中間プロセスを追加することはできるが、これは、多数の局部的エッジを伴う複雑なシーンの像においては問題である。
【００２９】
２つのスネーク方法のうち、従属（放射歪）スネークが良好な結果を与える。放射歪スネークは、放射歪パラメータへの最良の全体的適合性に基づき最も適応することが分かっている。放射歪スネークは、独立スネークに比して偽の局部的最小値が見掛け上少なく、そして不良の局部的最小値に捕らえられる傾向も少ない。方法３の各ステップでは、放射歪スネークは、全体的な放射歪パラメータの最適な推定値を与え、そして一貫した仕方で変形して像のエッジに接近するように互いに作用する。これに比して、方法２の各スネークは、局部的に適応され、同じ像における他の全てのスネークに独立である。これら独立スネークは、特殊なものとはされない。
【００３０】
【発明の効果】
以上、単一の像から放射歪パラメータを回復する３つの方法について述べた。全ての方法は、像の空間において投影された直線の縁をユーザが指示することに依存する。第１の方法は、ユーザが良好に点から点を局所化することを必要とするが、他の２つの方法は、近似的な初期スネーク形状しか必要としない。
本質的に、全ての方法は、選択された線を使用して、最小２乗の最小化技術に基づいて放射歪パラメータを推定する。しかしながら、最後の２つの方法は、規則化を受ける強力な縁に適応し且つそれに沿って整列するようにスネークを自動的に変形する。第２の方法では、スネークは、内部の滑らかな制約及び外部の縁探索の力とは独立して振る舞う。第３の方法では、放射歪スネークは、外部の縁探索の力に対してコヒレントに振る舞い、そして更に重要なことに、像の放射歪モデルに直接リンクされる。その結果、この方法は、より健全であり、そして他の２つの方法よりも正確である。
本発明の好ましい実施形態について説明したが、当業者であれば、他の実施も可能であることが明らかであろう。それ故、本発明は、上記の実施形態に限定されるものでないことを理解されたい。
【図面の簡単な説明】
【図１】本発明の好ましい実施形態の歪回復方法を使用することのできるコンピュータシステムのブロック図である。
【図２】歪んだ像を選択点と共に示す図である。
【図３】本発明の好ましい実施形態により放射歪パラメータを回復する方法のフローチャートである。
【図４】歪んだ像を選択スネークと共に示す図である。
【図５】２つの形式のスネークを用いてパラメータを回復する方法のフローチャートである。
【図６】推定された放射歪パラメータを使用して放射歪スネークを移動するプロセスのフローチャートである。
【図７】補正された像を示す図である。
【符号の説明】
１０ カメラ
１１ レンズ
１４ シーン
２０ ディスプレイ装置
２１ 歪んだ像
３０ キーボード
４０ マウス
１００ コンピュータシステム
１１０ プロセッサ
１２０ メモリ
１２１ デジタルフレーム
１２３ コンピュータ化プロセス
１３０ 入力／出力インターフェイス
１４０ バスライン

Claims (3)

1. カメラで撮影されたシーンの単一の像から１組の放射歪パラメータを回復するためのコンピュータ化された方法において、
   入力装置を使用して、上記シーンの投影像における、上記シーンの中で直線であると知られている特徴部分に対応する、任意の向きの線を選択し、そして
   最小２乗適合式を使用して、上記線に関する目的関数を最小化し、上記１組の放射歪パラメータを回復する、
   という段階を備え、
   上記線は描かれた「スネーク」により選択され、上記単一の像は、上記目的関数を最小化する前にぼかされることを特徴とし、
   各スネークに対して最も近い検出可能なエッジを決定し、
   その最も近い検出されたエッジをたどるようにスネークを移動し、
   そしてその移動されたスネークに対して最小２乗適合を決定する段階をさらに備え、
   上記スネークの移動はお互いに従属しており、全体的な放射歪の制約を受けるものであることを特徴とする方法。
2. 上記線を表す目的関数は極座標で表され、そして目的関数をデカルト座標へと変換して、上記線に対する最小２乗適合を決定し、そして最小２乗された適合を極座標へと変換して、放射歪パラメータを回復するという段階を更に備えた請求項１に記載の方法。
3. カメラで撮影されたシーンの単一の像から１組の放射歪パラメータを回復するためのコンピュータ化された方法において、
   入力装置を使用して、上記シーンの投影像における、上記シーンの中で直線であると知られている特徴部分に対応する、任意の向きの線を選択し、そして
   最小２乗適合式を使用して、上記線に関する目的関数を最小化し、上記１組の放射歪パラメータを回復する、
   という段階を備え、
   上記線は描かれた「スネーク」により選択され、上記単一の像は、上記目的関数を最小化する前にぼかされることを特徴とし、
   各スネークに対して最も近い検出可能なエッジを決定し、
   その最も近い検出されたエッジをたどるようにスネークを移動し、
   そしてその移動されたスネークに対して最小２乗適合を決定する段階をさらに備え、
   上記スネークの移動の大きさは、最も近い検出されたエッジの局部的な強度勾配に逆比例するものであることを特徴とする方法。

Images