JP3557168B2 - レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3557168B2 JP3557168B2 JP2000358823A JP2000358823A JP3557168B2 JP 3557168 B2 JP3557168 B2 JP 3557168B2 JP 2000358823 A JP2000358823 A JP 2000358823A JP 2000358823 A JP2000358823 A JP 2000358823A JP 3557168 B2 JP3557168 B2 JP 3557168B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- lens distortion
- images
- coordinates
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004364 calculation method Methods 0.000 title claims description 18
- 230000009466 transformation Effects 0.000 claims description 66
- 238000000034 method Methods 0.000 claims description 63
- 230000003287 optical effect Effects 0.000 claims description 57
- 230000002194 synthesizing effect Effects 0.000 claims description 42
- 238000012937 correction Methods 0.000 claims description 41
- 239000011159 matrix material Substances 0.000 claims description 33
- 238000003384 imaging method Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 23
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000002940 Newton-Raphson method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
Description
【０００１】
【発明の属する技術分野】
この発明は、レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体、画像合成装置および方法、ならびに画像合成プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
〔１〕従来のオプティカルフローの算出方法についての説明
【０００３】
２枚の画像からオプティカルフローを計算し、得られたオプティカルフローに基づいて、２枚の画像間での位置合わせを行う技術が知られている。従来のオプテカルフローの算出方法について説明する。
【０００４】
（１）Ｌｕｃａｓ−Ｋａｎａｄｅ法
従来から、動画像における運動物体の見かけの速度場（オプティカルフロー）を計算する手法が数多く提案されている。中でも局所勾配法であるＬｕｃａｓ−Ｋａｎａｄｅ法は、最も良い手法の一つである。その理由は、処理が高速、実装が容易、結果が信頼度を持つことである。
【０００５】
Ｌｕｃａｓ−Ｋａｎａｄｅ法の詳細については、文献： Ｂ．Ｌｕｃａｓ ａｎｄ Ｔ．Ｋａｎａｄｅ，”Ａｎ Ｉｔｅｒａｔｉｖｅ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｗｉｔｈ ａｎ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ，”Ｉｎ Ｓｅｖｅｎｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＩＪＣＡＩ−８１）， ｐｐ． ６７４−９７９， １９８１を参照のこと。
【０００６】
以下に、Ｌｕｃａｓ−Ｋａｎａｄｅ法の概要を述べる。
ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ（ｘ，ｙ，ｔ）が、ある微小時間後（δｔ）に座標（ｘ＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったまま移動した時、次のオプティカルフロー拘束式１が成り立つ。
【０００７】
【数１】
【０００８】
２次元画像でオプティカルフロー｛ｖ＝（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｖ）｝を計算するには、未知パラメータ数が２個であるので、もう一個拘束式が必要である。Ｌｕｃａｓ とＫａｎａｄｅ（ 金出） は、同一物体の局所領域では、同一のオプティカルフローを持つと仮定した。
【０００９】
例えば、画像上の局所領域ω内で、オプティカルフローが一定であるとすると、最小化したい濃淡パターンの二乗誤差Ｅは、
Ｉ０ （ｐ）＝Ｉ（ｘ，ｙ，ｔ），
Ｉ１ （ｐ＋ｖ）＝Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋δｔ）
と書き改めると、次式２で定義できる。
【００１０】
【数２】
【００１１】
ここで、ｖが微少な場合には、テーラー展開の２次以上の項を無視できるので、次式３の関係が成り立つ。
【００１２】
【数３】
【００１３】
ここで、ｇ（ｐ）は、Ｉ１ （ｐ）の一次微分である。
【００１４】
誤差Ｅが最小になるのは、Ｅのｖに対する微分値が０の時であるので、次式４の関係が成り立つ。
【００１５】
【数４】
【００１６】
故にオプティカルフローｖは次式５で求められる。
【００１７】
【数５】
【００１８】
更に、次式６に示すように、ニュートン・ラフソン的な反復演算によって精度良く求めることができる。
【００１９】
【数６】
【００２０】
（２）階層的推定法
Ｌｕｃａｓ−Ｋａｎａｄｅ法を含む勾配法の最も大きな問題点は、良好な初期値が必要なために、大きな動きに対しては適用できないことである。そこで、従来からピラミッド階層構造型に数段回の解像度の異なる画像を作成して解決する方法が提案されている。
【００２１】
これは、まず、２枚の連続した画像から、予めそれぞれの画像の数段階の解像度の異なる画像を作成する。次に、最も解像度の低い画像間において、おおまかなオプティカルフローを計算する。そして、この結果を参考にして、一段解像度の高い画像間においてより精密なオプティカルフローを計算する。この処理を最も解像度の高い画像間まで順次繰り返す。
【００２２】
図４は原画像を、図３は図４の原画像より解像度の低い画像を、図２は図３の低解像度画像より解像度の低い画像を、図１は図２の低解像度画像より解像度の低い画像を、それぞれ示している。図１〜図４において、Ｓは、１つのパッチを示している。
【００２３】
図１の画像（階層１の画像）、図２の画像（階層２の画像）、図３の画像（階層３の画像）および図４の画像（階層４の画像）の順番で段階的にオプティカルフローが求められる。図１〜図４において矢印は、パッチ毎に求められたオプティカルフローベクトルを示している。
【００２４】
しかしながら、ここでの問題点は、実画像では、十分な模様（テクスチャ）を含む領域が少なく、信頼性のあるオプティカルフローが得られないことにある。
【００２５】
〔２〕本出願人が開発したオプティカルフロー算出方法についての説明。
【００２６】
本出願人が開発したオプティカルフロー算出方法は、ピラミッド階層型に数段回の解像度の異なる画像を作成して、オプティカルフローを段階的に計算する階層的推定を前提としている。オプティカルフローの計算方法は、Ｌｕｃａｓ−Ｋａｎａｄｅ法等の勾配法に従う。つまり、階層構造化した勾配法によるオプティカルフロー推定法を前提としている。ここでは、勾配法としてＬｕｃａｓ−Ｋａｎａｄｅ法が用いられている。
【００２７】
本出願人が開発したオプティカルフロー推定方法の特徴は、階層構造化したＬｕｃａｓ−Ｋａｎａｄｅ法によるオプティカルフロー推定法の各段階において得られたオプティカルフローを、膨張処理によって補完することにある。以下、これについて詳しく説明する。
【００２８】
Ｌｕｃａｓ−Ｋａｎａｄｅ法の長所の一つは、追跡結果が信頼性を持つことである。Ｔｏｍａｓｉと Ｋａｎａｄｅ とは、ある領域の追跡可能性が、以下のように微分画像から算出できることを示した（Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｔ．Ｋａｎａｄｅ，”Ｓｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ ｆｒｏｍ Ｉｍａｇｅ Ｓｔｒｅａｍｓ： ａ Ｆａｃｔｏｒｉｚａｔｉｏｎ ｍｅｔｈｏｄ−Ｐａｒｔ ３ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｏｆ Ｐｏｉｎｔ Ｆｅａｔｕｒｅｓ ，”ＣＭＵ−ＣＳ−９１−１３２， Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｕｎｉｖｅｒｓｉｔｙ， １９９１．） 。
【００２９】
ある領域画像ωの垂直・水平方向の微分の２乗を要素に持つ次式７の２×２の係数行列Ｇから、その固有値を計算することで、その領域の追跡可能性を決定することができる。
【００３０】
【数７】
【００３１】
この行列Ｇの固有値が両方とも大きい場合には、その領域は直交方向に変化を持ち、一意の位置決めが可能である。従って、小さい方の固有値λｍｉｎ と、追跡後の領域間の濃淡残差Ｅから、追跡結果の信頼度γを次式８によって得ることができる。
【００３２】
【数８】
【００３３】
本発明者らは、オプティカルフローの同一階層内で信頼度の高い結果を用いて、信頼度の低い領域を補間する方法を開発した。これは、一段階粗い階層での結果を、追跡の初期値だけに用いて、着目している現段階の階層の結果には何も利用しない。代わりに、テクスチャの少ない領域のオプティカルフローはその周囲のオプティカルフローに近い値を持つと仮定し、モルフォロジー処理によりフロー場を補完するものである。
【００３４】
図５にフローベクトルの膨張処理の様子を示す。
【００３５】
左図は、フローベクトルの信頼度のマップを濃淡で表したものである。ここで、黒ければ黒い程信頼度が高いとする。
【００３６】
まず、得られたフローをしきい値処理する。白い部分は、結果の信頼度が低いために、しきい値処理されたものである。
【００３７】
次に、２値画像でのモルフォロジー演算による穴埋め処理を模して、フロー場において結果の膨張処理を次のように行う。ある領域ｉ，ｊのフローベクトルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信頼度γに応じて重み付けを行って次式９のように計算できる。
【００３８】
【数９】
【００３９】
この処理を、しきい値処理されたすべての信頼度の低い領域が埋まるまで、繰り返す。この補完処理を、各階層において行う。なお、ある領域ｉ，ｊのフローベクトルｕ（ｉ，ｊ）を、その８近傍のフローベクトルから信頼度γに応じて重み付けを行って算出するようにしてもよい。
【００４０】
図６（ａ）は、ある階層の画像に対してしきい値処理されたオプティカルフローを示し、図６（ｂ）は補完後のオプティカルフローを示している。図６（ａ）において、矢印はしきい値処理によって信頼度が高いと判定されたオプティカルフローベクトルであり、×印は信頼度が低いとされた部分を示している。
【００４１】
〔３〕従来のパノラマ画像の生成方法の説明
本特許出願人らは、複数枚の画像間の幾何学パラメータを算出し、算出した幾何学パラメータに基づいてこれらの画像を合成することにより、パノラマ画像を生成する方法を既に開発している（特開平１１−３３９０２１号公報参照）。
【００４２】
今回、本特許出願人は、より精度の高いパノラマ画像を得るために、レンズ歪み校正方法を提案する。従来のレンズ歪み校正方法では、特別な校正用パターンを用意し、校正用パターンの画像を複数毎撮像し、得られた画像に基づいてレンズ歪み係数を算出していた（文献：Ｚ．Ｚｈａｎｇ，”Ｆｌｅｘｉｂｌｅ ｃａｍａｒａ ｃａｌｉｂｒａｔｉｏｎ ｂｙ ｖｉｅｗｉｎｇ ａ ｐｌａｎｅ ｆｒｏｍ ｕｎｋｎｏｗｎ ｏｒｉｅｎｔａｔｉｏｎｓ，”Ｐｒｏｃ．ＩＣＣＶ９９，ｐｐ．６６６−６７３，１９９９） 。
【００４３】
しかしながら、ユーザが校正用パターンを用いてレンズ歪みを校正することは、困難である。
【００４４】
【発明が解決しようとする課題】
この発明は、校正用パターンを用いることなくレンズ歪みを校正できる、レンズ歪み係数算出装置、レンズ歪み係数算出方法およびレンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００４５】
また、この発明は、精度の高いパノラマ画像が得られる画像合成装置、画像合成方法、画像合成プログラムを記録した記録媒体を提供することを目的とする。
【００４６】
【課題を解決するための手段】
この発明によるレンズ歪み係数算出装置は、レンズを有する撮像手段で撮像された画像に対してレンズ歪み補正を行なうためのレンズ歪み係数算出装置において、撮像手段によって撮像された２枚の画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１手段、第１手段で求められた対応点の座標に基づいて、上記２枚の画像間の幾何変換係数を算出する第２手段、および第１手段で求められた対応点の座標と、第２手段で求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３手段を備えていることを特徴とする。
【００４７】
第１手段は、たとえば、撮像手段によって撮像された２枚の画像の重なり部を抽出する手段、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出する手段、および上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡する手段を備えている。
【００４８】
この発明によるレンズ歪み係数算出方法は、レンズを有する撮像手段で撮像された画像に対してレンズ歪み補正を行なうためのレンズ歪み係数算出方法において、撮像手段によって撮像された２枚の画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１ステップ、第１ステップで求められた対応点の座標に基づいて、上記２枚の画像間の幾何変換係数を算出する第２ステップ、および第１ステップで求められた対応点の座標と、第２ステップで求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３ステップを備えていることを特徴とする。
【００４９】
第１ステップは、たとえば、撮像手段によって撮像された２枚の画像の重なり部を抽出するステップ、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、および上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップを備えている。
【００５０】
この発明によるレンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体は、レンズを有する撮像手段で撮像された画像に対してレンズ歪み補正を行なうためのレンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体であって、撮像手段によって撮像された２枚の画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１ステップ、第１ステップで求められた対応点の座標に基づいて、上記２枚の画像間の幾何変換係数を算出する第２ステップ、および第１ステップで求められた対応点の座標と、第２ステップで求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３ステップをコンピュータに実行させるためのレンズ歪み係数算出プログラムを記録していることを特徴とする。
【００５１】
第１ステップは、たとえば、撮像手段によって撮像された２枚の画像の重なり部を抽出するステップ、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、および上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップを備えている。
【００５２】
この発明による画像合成装置は、レンズを有する撮像手段によって撮像された第１画像と第２画像とを合成する画像合成装置において、第１画像および第２画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１手段、第１手段で求められた対応点の座標に基づいて、第１画像と第２画像との間の幾何変換係数を算出する第２手段、第１手段で求められた対応点の座標と、第２手段で求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３手段、第３手段で算出されたレンズ歪み係数に基づいて、第１画像および第２画像に対してレンズ歪み補正を行なう第４手段、ならびに第４手段で得られたレンズ歪み補正後の第１画像および第２画像を、レンズ歪み補正後の第１画像および第２画像との間の幾何変換係数を用いて合成する第５手段を備えていることを特徴とする。
【００５３】
第１手段は、たとえば、第１画像と第２画像との重なり部を抽出する手段、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出する手段、および上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡する手段を備えている。
【００５４】
この発明による画像合成方法は、レンズを有する撮像手段によって撮像された第１画像と第２画像とを合成する画像合成方法において、第１画像および第２画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１ステップ、第１ステップで求められた対応点の座標に基づいて、第１画像と第２画像との間の幾何変換係数を算出する第２ステップ、第１ステップで求められた対応点の座標と、第２ステップで求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３ステップ、第３ステップで算出されたレンズ歪み係数に基づいて、第１画像および第２画像に対してレンズ歪み補正を行なう第４ステップ、ならびに第４ステップで得られたレンズ歪み補正後の第１画像および第２画像を、レンズ歪み補正後の第１画像および第２画像との間の幾何変換係数を用いて合成する第５ステップを備えていることを特徴とする。
【００５５】
第１ステップは、たとえば、第１画像と第２画像との重なり部を抽出するステップ、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、および上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップを備えている。
【００５６】
この発明による画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体は、レンズを有する撮像手段によって撮像された第１画像と第２画像とを合成する画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体であって、第１画像および第２画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１ステップ、第１ステップで求められた対応点の座標に基づいて、第１画像と第２画像との間の幾何変換係数を算出する第２ステップ、第１ステップで求められた対応点の座標と、第２ステップで求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３ステップ、第３ステップで算出されたレンズ歪み係数に基づいて、第１画像および第２画像に対してレンズ歪み補正を行なう第４ステップ、ならびに第４ステップで得られたレンズ歪み補正後の第１画像および第２画像を、レンズ歪み補正後の第１画像および第２画像との間の幾何変換係数を用いて合成する第５ステップをコンピュータに実行させるための画像合成プログラムを記録していることを特徴とする。
【００５７】
第１ステップは、たとえば、第１画像と第２画像との重なり部を抽出するステップ、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、および上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップを備えている。
【００５８】
【発明の実施の形態】
以下、この発明をパノラマ画像合成装置に適用した場合の実施の形態について説明する。
【００５９】
〔２〕パノラマ画像合成装置の説明
【００６０】
図７は、パノラマ画像合成装置の構成を示している。
【００６１】
パノラマ画像合成装置は、パーソナルコンピュータによって実現される。パーソナルコンピュータ１０には、ディスプレイ２１、マウス２２およびキーボード２３が接続されている。パーソナルコンピュータ１０は、ＣＰＵ１１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭのようなリムーバブルディスクのドライブ（ディスクドライブ）１４を備えている。
【００６２】
ハードディスク１３には、ＯＳ（オペレーティングシステム）等の他、パノラマ画像合成処理プログラムが格納されている。パノラマ画像合成処理プログラムは、それが格納されたＣＤ−ＲＯＭ２０を用いて、ハードディスク１３にインストールされる。また、ハードディスク１３には、デジタルカメラによって撮像された複数の画像が予め格納されているものとする。
【００６３】
〔２〕パノラマ画像合成プログラムが起動せしめられた場合にＣＰＵ１１によって行われるパノラマ画像合成処理の説明
【００６４】
図８は、ＣＰＵ１１によって行われる全体的な処理手順を示している。
【００６５】
ここでは、説明の便宜上の２枚の画像を合成して、パノラマ画像を生成する場合について説明する。
【００６６】
まず、合成されるべき２枚の画像をメモリ１２に読み込む（ステップ１）。
【００６７】
読み込まれた２枚の画像間の幾何変換係数を算出する（ステップ２）。
【００６８】
次に、レンズ歪み係数を算出する（ステップ３）。この際、幾何変換パラメータは、レンズ歪み係数に基づいて補正される。
【００６９】
算出されたレンズ歪み係数に基づいて、上記２枚の画像に対してレンズ歪み補正処理を行なう（ステップ４）。
【００７０】
レンズ歪み補正処理後の２枚の画像と、レンズ歪み係数に基づいて補正された幾何変換パラメータに基づいて、２枚の画像が合成される（ステップ５）。
【００７１】
以下、各ステップ２〜５について、さらに詳細に説明する。
【００７２】
〔３〕図８のステップ２の処理の説明
【００７３】
図９は、図８のステップ２の処理の詳細な手順を示している。
【００７４】
説明の便宜上、ここでは、重なり部を有する２枚の画像（第１画像Ａ１及び第２画像Ａ２）を接合する場合について説明する。
【００７５】
まず、第１画像Ａ１と第２画像Ａ２との重なり部の抽出処理が行われる（ステップ１１）。この重なり部の抽出処理は、たとえば、ＳＳＤ法（Ｓｕｍ ｏｆ ＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）、正規化相互相関法に基づいて行われる。
【００７６】
（ａ）ＳＳＤ法の説明
ＳＳＤ法では、まず、重なり部を抽出すべき２枚の画像Ａ１、Ａ２それぞれについて、原画像より解像度の低い画像Ｉ１ ，Ｉ２ が生成される。２枚の低解像度画像Ｉ１ ，Ｉ２ の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式１０に示すように画素あたりの２乗誤差Ｅを用いて求められる。画像間の移動量（ｄ）が可能な範囲で変化せしめられ、Ｅが最も小さい移動量（ｄ）から、重なり部が抽出される。
【００７７】
【数１０】
【００７８】
（ｂ）正規化相互相関法の説明
正規化相互相関法では、まず、重なり部を抽出すべき２枚の画像Ａ１、Ａ２それぞれについて、原画像より解像度の低い画像Ｉ１ ，Ｉ２ が生成される。２枚の低解像度画像Ｉ１ ，Ｉ２ の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式１１に示すように正規化相互相関係数Ｃを用いて求められる。画像間の移動量（ｄ）が可能な範囲で変化せしめられ、Ｃが最も大きな移動量（ｄ）から、重なり部が抽出される。
【００７９】
【数１１】
【００８０】
式１１において、Ｉ１ ￣、Ｉ２ ￣は、第１画像を固定させ、第２画像をｄだけ移動させたときの、両画像の重なり部における各画像それぞれの濃淡値の平均である。また、σ１ 、σ２ は、第１画像Ｉ１ を固定させ、第２画像Ｉ２ をｄだけ移動させたときの、両画像の重なり部における各画像それぞれの濃淡値の分散である。
【００８１】
次に、特徴点抽出処理が行われる（ステップ１２）。つまり、第１画像Ａ１における第２画像Ａ２との重なり部分から、追跡に有効な複数の部分画像（矩形領域）が特徴点として抽出される。ただし、各特徴点は互いに重ならないように抽出される。具体的には、上述した固有値λｍｉｎ （式８参照）の高い部分が特徴点として抽出される。
【００８２】
次に、特徴点追跡処理が行われる（ステップ１３）。つまり、抽出された第１画像Ａ１上の特徴点に対する第２画像Ａ２上の位置が追跡される。
【００８３】
具体的には、まず、本出願人が開発したオプティカルフロー推定方法（従来技術の説明の欄の〔２〕参照）によって、適当なサイズ（例えば、１３×１３）のパッチ毎のオプティカルフローベクトルが求められる。第１画像Ａ１上の特徴点に対応する第２画像Ａ２上の位置は、第１画像Ａ１上の特徴点の４近傍のパッチのフローベクトルから線形補間により画素単位以下で求められる。これにより、第１画像Ａ１と第２画像Ａ２との重なり部において、両画像の対応点の座標が得られる。
【００８４】
次に、幾何変換行列（幾何変換係数）が算出される（ステップ１４）。
【００８５】
幾何変換係数としては、ここでは、平面射影変換行列が用いられる。なお、撮像条件によっては、幾何変換として、アフィン変換、２次元剛体変換、２次元並進運動等を用いてもよい。
【００８６】
対象としているシーンが遠方にある場合や、近くても建物や壁、黒板などの場合には、それらを単一平面と仮定することができる。図１０に示すように３次元空間中の単一平面の点Ｍを２つの異なる視点Ｃ１ 、Ｃ２ から観察した時、これらの各画像面での座標ｍ１ 、ｍ２ の間の変換は、線形であることが射影幾何学において知られており、ｈｏｍｏｇｒａｐｈｙ と呼ばれている（Ｏ．Ｆａｕｇｅｒａｓ，”Ｔｈｒｅｅ−ＤｉｍｅｎｔｉｏｎＣｏｍｐｕｔｅｒ Ｖｉａｉｏｎ： ａ Ｇｅｏｍｅｔｒｉｃ Ｖｉｅｗｐｏｉｎｔ”，ＭＩＴ ｐｒｅｓｓ， １９９３．）。
【００８７】
すなわち、画像座標を斉次座標で表した第２画像上の点ｍ２ ＝（ｘ２，ｙ２，１）ｔ は、第１画像上で対応する点ｍ１ ＝（ｘ１，ｙ１，１）ｔ を持ち、それらの関係は次式１２で定義される。
【００８８】
【数１２】
【００８９】
ここで〜は射影的に等しいことを示し、スケール因子を残す。ここでは、そして、この変換行列Ｈは、次式１３のように書き換えることができる。
【００９０】
【数１３】
【００９１】
〔４〕図８のステップ３の処理（レンズ歪み係数の算出処理）の説明
【００９２】
レンズ歪みとは、レンズ歪み中心からの距離に応じて幾何学的に歪む現象をいう。画像平面上の座標を画像座標ということにする。（ｕｔ ，ｖｔ ）をレンズ歪みのない真の画像座標とすると、一般にレンズ歪みを含んだ実際に観察された画像座標（ｕａ ，ｖａ ）は、次式１４で表すことができる。
【００９３】
【数１４】
【００９４】
上記式１４において、ｋは歪み係数、（ｕｏ ，ｖｏ ）はレンズ歪みの中心座標である。
【００９５】
第１画像Ａ１の各特徴点の座標をＰｉ 、それらに対応する第２画像Ａ２上の座標をＰ’ｉ 、両画像間の幾何変換行列をＨとすると、誤差関数Ｅを次式１５ように定義することができる。
【００９６】
【数１５】
【００９７】
ここで、レンズ歪みの中心座標（ｕｏ ，ｖｏ ）が画像中心に一致すると仮定すると、誤差関数Ｅは、上記式１４の歪み係数ｋを用いて、次式１６のように書き直すことができる。
【００９８】
【数１６】
【００９９】
この誤差Ｅを最小化するレンズ歪み係数ｋを、ニュートンラフソン法を用いて算出する。すなわち、係数ｋの変化分ｄｋが非常に小さい場合、テーラー展開することで、二次以降の項を無視すると次式１７を得る。
【０１００】
【数１７】
【０１０１】
ただし、Ｅ’は、誤差関数Ｅの一次微分である。Ｅの最小値を求めたいので、次式１８を得る。
【０１０２】
【数１８】
【０１０３】
上記式１８を上記式１７に代入すると、次式１９によってｄｋを算出することができる。
【０１０４】
【数１９】
【０１０５】
また、次式２０に示すように、反復的に計算することにより、より精度よくｄｋを算出することができる。
【０１０６】
【数２０】
【０１０７】
つまり、起点をｋ＝０として、ｄｋ０ 、ｄｋ１ 、ｄｋ２ 、…ｄｋｎ を順番に求めていく。ｄｋ０ を算出する際には、上記式１６における幾何変換行列Ｈとしては、ステップ２で算出された行列（Ｈ０ とする）が用いられる。そして、ｄｋ０ が求められると、ｄｋ０ ＝ｋとして、上記式１４に基づいて、幾何変換行列Ｈを算出するために用いられる第１画像Ａ１と第２画像Ａ２との対応点（特徴点）に対してレンズ歪み補正が行なわれ、レンズ歪み補正後の対応点から幾何変換行列Ｈ１ が新たに算出される。
【０１０８】
ｄｋ１ を算出する際には、上記式１６における幾何変換行列Ｈとして、新たに算出されたら幾何変換行列Ｈ１ が用いられる。ｄｋ２ 以降を算出する場合も同様である。そして、最終的に求められたｄｋｎ （＝ｋ）に基づいて、幾何変換行列Ｈｎ を新たに算出する。
【０１０９】
なお、ｄｋ０ 、ｄｋ１ 、ｄｋ２ 、…ｄｋｎ を求める際に、上記式１６における幾何変換行列Ｈとして、ステップ２で算出された行列Ｈを常に用いてもよい。この場合にも、最終的に求められたｄｋｎ （＝ｋ）に基づいて、幾何変換行列Ｈｎ を新たに算出する。
【０１１０】
〔５〕図８のステップ４の処理（レンズ歪み補正処理）の説明
【０１１１】
ステップ４のレンズ歪み補正処理では、ステップ３で最終的に求められたレンズ歪み係数ｄｋ（＝ｋ）と、上記式１４とに基づいて、第１画像Ａ１および第２画像Ａ２から、レンズ歪みが補正された画像Ａ１’、Ａ２’を生成する。
【０１１２】
つまり、真の画像座標の所定位置を（ｕｔ ，ｖｔ ）とし、この所定位置（ｕｔ ，ｖｔ ）に対応するレンズ歪みを含んだ画像座標を、上記数式１４から求める。所定位置（ｕｔ ，ｖｔ ）に対応するレンズ歪みを含んだ画像座標の画像データを、上記所定位置（ｕｔ ，ｖｔ ）の画像データとする。
【０１１３】
〔６〕図８のステップ５の処理（画像合成処理）の説明
【０１１４】
ステップ５の画像合成処理では、ステップ４で得られたレンズ歪みが補正された第１および第２画像Ａ１’、Ａ２’と、ステップ３で最終的に求められたｄｋｎ （＝ｋ）に基づいて算出された幾何変換行列Ｈｎ とに基づいて、第１画像Ａ１’と第２画像Ａ２’とが合成される。
【０１１５】
【発明の効果】
この発明によれば、校正用パターンを用いることなく、レンズ歪みを校正できるようになる。また、この発明によれば、精度の高いパノラマ画像が得られるようになる。
【図面の簡単な説明】
【図１】図１は、階層的推定法を説明するための図であって、階層１の画像を示す模式図である。
【図２】図２は、階層的推定法を説明するための図であって、階層２の画像を示す模式図である。
【図３】図３は、階層的推定法を説明するための図であって、階層３の画像を示す模式図である。
【図４】図４は、階層的推定法を説明するための図であって、階層４の画像を示す模式図である。
【図５】図５は、実施例で採用されたオプティカルフロー推定方法において行われる膨張処理を説明するための模式図である。
【図６】図６（ａ）は、ある階層の画像に対してしきい値処理されたオプティカルフローの例を示す模式図であり、図６（ｂ）は、補完後のオプティカルフローを示す模式図である。
【図７】図７は、パノラマ画像合成装置の構成を示すブロック図である。
【図８】図８は、パノラマ画像合成処理手順を示すフローチャートである。
【図９】図９は、図８のステップ２の処理の詳細な手順を示すフローチャートである。
【図１０】図１０は、平面射影行列を説明するための説明図である。
【符号の説明】
１０ パーソナルコンピュータ
１１ ＣＰＵ
１２ メモリ
１３ ハードディスク
１４ リムーバブルディスクのドライブ
２１ ディスプレイ
２２ マウス
２３ キーボード
【発明の属する技術分野】
この発明は、レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体、画像合成装置および方法、ならびに画像合成プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
〔１〕従来のオプティカルフローの算出方法についての説明
【０００３】
２枚の画像からオプティカルフローを計算し、得られたオプティカルフローに基づいて、２枚の画像間での位置合わせを行う技術が知られている。従来のオプテカルフローの算出方法について説明する。
【０００４】
（１）Ｌｕｃａｓ−Ｋａｎａｄｅ法
従来から、動画像における運動物体の見かけの速度場（オプティカルフロー）を計算する手法が数多く提案されている。中でも局所勾配法であるＬｕｃａｓ−Ｋａｎａｄｅ法は、最も良い手法の一つである。その理由は、処理が高速、実装が容易、結果が信頼度を持つことである。
【０００５】
Ｌｕｃａｓ−Ｋａｎａｄｅ法の詳細については、文献： Ｂ．Ｌｕｃａｓ ａｎｄ Ｔ．Ｋａｎａｄｅ，”Ａｎ Ｉｔｅｒａｔｉｖｅ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｗｉｔｈ ａｎ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ，”Ｉｎ Ｓｅｖｅｎｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＩＪＣＡＩ−８１）， ｐｐ． ６７４−９７９， １９８１を参照のこと。
【０００６】
以下に、Ｌｕｃａｓ−Ｋａｎａｄｅ法の概要を述べる。
ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ（ｘ，ｙ，ｔ）が、ある微小時間後（δｔ）に座標（ｘ＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったまま移動した時、次のオプティカルフロー拘束式１が成り立つ。
【０００７】
【数１】
２次元画像でオプティカルフロー｛ｖ＝（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｖ）｝を計算するには、未知パラメータ数が２個であるので、もう一個拘束式が必要である。Ｌｕｃａｓ とＫａｎａｄｅ（ 金出） は、同一物体の局所領域では、同一のオプティカルフローを持つと仮定した。
【０００９】
例えば、画像上の局所領域ω内で、オプティカルフローが一定であるとすると、最小化したい濃淡パターンの二乗誤差Ｅは、
Ｉ０ （ｐ）＝Ｉ（ｘ，ｙ，ｔ），
Ｉ１ （ｐ＋ｖ）＝Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋δｔ）
と書き改めると、次式２で定義できる。
【００１０】
【数２】
ここで、ｖが微少な場合には、テーラー展開の２次以上の項を無視できるので、次式３の関係が成り立つ。
【００１２】
【数３】
ここで、ｇ（ｐ）は、Ｉ１ （ｐ）の一次微分である。
【００１４】
誤差Ｅが最小になるのは、Ｅのｖに対する微分値が０の時であるので、次式４の関係が成り立つ。
【００１５】
【数４】
故にオプティカルフローｖは次式５で求められる。
【００１７】
【数５】
更に、次式６に示すように、ニュートン・ラフソン的な反復演算によって精度良く求めることができる。
【００１９】
【数６】
（２）階層的推定法
Ｌｕｃａｓ−Ｋａｎａｄｅ法を含む勾配法の最も大きな問題点は、良好な初期値が必要なために、大きな動きに対しては適用できないことである。そこで、従来からピラミッド階層構造型に数段回の解像度の異なる画像を作成して解決する方法が提案されている。
【００２１】
これは、まず、２枚の連続した画像から、予めそれぞれの画像の数段階の解像度の異なる画像を作成する。次に、最も解像度の低い画像間において、おおまかなオプティカルフローを計算する。そして、この結果を参考にして、一段解像度の高い画像間においてより精密なオプティカルフローを計算する。この処理を最も解像度の高い画像間まで順次繰り返す。
【００２２】
図４は原画像を、図３は図４の原画像より解像度の低い画像を、図２は図３の低解像度画像より解像度の低い画像を、図１は図２の低解像度画像より解像度の低い画像を、それぞれ示している。図１〜図４において、Ｓは、１つのパッチを示している。
【００２３】
図１の画像（階層１の画像）、図２の画像（階層２の画像）、図３の画像（階層３の画像）および図４の画像（階層４の画像）の順番で段階的にオプティカルフローが求められる。図１〜図４において矢印は、パッチ毎に求められたオプティカルフローベクトルを示している。
【００２４】
しかしながら、ここでの問題点は、実画像では、十分な模様（テクスチャ）を含む領域が少なく、信頼性のあるオプティカルフローが得られないことにある。
【００２５】
〔２〕本出願人が開発したオプティカルフロー算出方法についての説明。
【００２６】
本出願人が開発したオプティカルフロー算出方法は、ピラミッド階層型に数段回の解像度の異なる画像を作成して、オプティカルフローを段階的に計算する階層的推定を前提としている。オプティカルフローの計算方法は、Ｌｕｃａｓ−Ｋａｎａｄｅ法等の勾配法に従う。つまり、階層構造化した勾配法によるオプティカルフロー推定法を前提としている。ここでは、勾配法としてＬｕｃａｓ−Ｋａｎａｄｅ法が用いられている。
【００２７】
本出願人が開発したオプティカルフロー推定方法の特徴は、階層構造化したＬｕｃａｓ−Ｋａｎａｄｅ法によるオプティカルフロー推定法の各段階において得られたオプティカルフローを、膨張処理によって補完することにある。以下、これについて詳しく説明する。
【００２８】
Ｌｕｃａｓ−Ｋａｎａｄｅ法の長所の一つは、追跡結果が信頼性を持つことである。Ｔｏｍａｓｉと Ｋａｎａｄｅ とは、ある領域の追跡可能性が、以下のように微分画像から算出できることを示した（Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｔ．Ｋａｎａｄｅ，”Ｓｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ ｆｒｏｍ Ｉｍａｇｅ Ｓｔｒｅａｍｓ： ａ Ｆａｃｔｏｒｉｚａｔｉｏｎ ｍｅｔｈｏｄ−Ｐａｒｔ ３ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｏｆ Ｐｏｉｎｔ Ｆｅａｔｕｒｅｓ ，”ＣＭＵ−ＣＳ−９１−１３２， Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｕｎｉｖｅｒｓｉｔｙ， １９９１．） 。
【００２９】
ある領域画像ωの垂直・水平方向の微分の２乗を要素に持つ次式７の２×２の係数行列Ｇから、その固有値を計算することで、その領域の追跡可能性を決定することができる。
【００３０】
【数７】
この行列Ｇの固有値が両方とも大きい場合には、その領域は直交方向に変化を持ち、一意の位置決めが可能である。従って、小さい方の固有値λｍｉｎ と、追跡後の領域間の濃淡残差Ｅから、追跡結果の信頼度γを次式８によって得ることができる。
【００３２】
【数８】
本発明者らは、オプティカルフローの同一階層内で信頼度の高い結果を用いて、信頼度の低い領域を補間する方法を開発した。これは、一段階粗い階層での結果を、追跡の初期値だけに用いて、着目している現段階の階層の結果には何も利用しない。代わりに、テクスチャの少ない領域のオプティカルフローはその周囲のオプティカルフローに近い値を持つと仮定し、モルフォロジー処理によりフロー場を補完するものである。
【００３４】
図５にフローベクトルの膨張処理の様子を示す。
【００３５】
左図は、フローベクトルの信頼度のマップを濃淡で表したものである。ここで、黒ければ黒い程信頼度が高いとする。
【００３６】
まず、得られたフローをしきい値処理する。白い部分は、結果の信頼度が低いために、しきい値処理されたものである。
【００３７】
次に、２値画像でのモルフォロジー演算による穴埋め処理を模して、フロー場において結果の膨張処理を次のように行う。ある領域ｉ，ｊのフローベクトルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信頼度γに応じて重み付けを行って次式９のように計算できる。
【００３８】
【数９】
この処理を、しきい値処理されたすべての信頼度の低い領域が埋まるまで、繰り返す。この補完処理を、各階層において行う。なお、ある領域ｉ，ｊのフローベクトルｕ（ｉ，ｊ）を、その８近傍のフローベクトルから信頼度γに応じて重み付けを行って算出するようにしてもよい。
【００４０】
図６（ａ）は、ある階層の画像に対してしきい値処理されたオプティカルフローを示し、図６（ｂ）は補完後のオプティカルフローを示している。図６（ａ）において、矢印はしきい値処理によって信頼度が高いと判定されたオプティカルフローベクトルであり、×印は信頼度が低いとされた部分を示している。
【００４１】
〔３〕従来のパノラマ画像の生成方法の説明
本特許出願人らは、複数枚の画像間の幾何学パラメータを算出し、算出した幾何学パラメータに基づいてこれらの画像を合成することにより、パノラマ画像を生成する方法を既に開発している（特開平１１−３３９０２１号公報参照）。
【００４２】
今回、本特許出願人は、より精度の高いパノラマ画像を得るために、レンズ歪み校正方法を提案する。従来のレンズ歪み校正方法では、特別な校正用パターンを用意し、校正用パターンの画像を複数毎撮像し、得られた画像に基づいてレンズ歪み係数を算出していた（文献：Ｚ．Ｚｈａｎｇ，”Ｆｌｅｘｉｂｌｅ ｃａｍａｒａ ｃａｌｉｂｒａｔｉｏｎ ｂｙ ｖｉｅｗｉｎｇ ａ ｐｌａｎｅ ｆｒｏｍ ｕｎｋｎｏｗｎ ｏｒｉｅｎｔａｔｉｏｎｓ，”Ｐｒｏｃ．ＩＣＣＶ９９，ｐｐ．６６６−６７３，１９９９） 。
【００４３】
しかしながら、ユーザが校正用パターンを用いてレンズ歪みを校正することは、困難である。
【００４４】
【発明が解決しようとする課題】
この発明は、校正用パターンを用いることなくレンズ歪みを校正できる、レンズ歪み係数算出装置、レンズ歪み係数算出方法およびレンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００４５】
また、この発明は、精度の高いパノラマ画像が得られる画像合成装置、画像合成方法、画像合成プログラムを記録した記録媒体を提供することを目的とする。
【００４６】
【課題を解決するための手段】
この発明によるレンズ歪み係数算出装置は、レンズを有する撮像手段で撮像された画像に対してレンズ歪み補正を行なうためのレンズ歪み係数算出装置において、撮像手段によって撮像された２枚の画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１手段、第１手段で求められた対応点の座標に基づいて、上記２枚の画像間の幾何変換係数を算出する第２手段、および第１手段で求められた対応点の座標と、第２手段で求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３手段を備えていることを特徴とする。
【００４７】
第１手段は、たとえば、撮像手段によって撮像された２枚の画像の重なり部を抽出する手段、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出する手段、および上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡する手段を備えている。
【００４８】
この発明によるレンズ歪み係数算出方法は、レンズを有する撮像手段で撮像された画像に対してレンズ歪み補正を行なうためのレンズ歪み係数算出方法において、撮像手段によって撮像された２枚の画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１ステップ、第１ステップで求められた対応点の座標に基づいて、上記２枚の画像間の幾何変換係数を算出する第２ステップ、および第１ステップで求められた対応点の座標と、第２ステップで求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３ステップを備えていることを特徴とする。
【００４９】
第１ステップは、たとえば、撮像手段によって撮像された２枚の画像の重なり部を抽出するステップ、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、および上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップを備えている。
【００５０】
この発明によるレンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体は、レンズを有する撮像手段で撮像された画像に対してレンズ歪み補正を行なうためのレンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体であって、撮像手段によって撮像された２枚の画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１ステップ、第１ステップで求められた対応点の座標に基づいて、上記２枚の画像間の幾何変換係数を算出する第２ステップ、および第１ステップで求められた対応点の座標と、第２ステップで求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３ステップをコンピュータに実行させるためのレンズ歪み係数算出プログラムを記録していることを特徴とする。
【００５１】
第１ステップは、たとえば、撮像手段によって撮像された２枚の画像の重なり部を抽出するステップ、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、および上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップを備えている。
【００５２】
この発明による画像合成装置は、レンズを有する撮像手段によって撮像された第１画像と第２画像とを合成する画像合成装置において、第１画像および第２画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１手段、第１手段で求められた対応点の座標に基づいて、第１画像と第２画像との間の幾何変換係数を算出する第２手段、第１手段で求められた対応点の座標と、第２手段で求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３手段、第３手段で算出されたレンズ歪み係数に基づいて、第１画像および第２画像に対してレンズ歪み補正を行なう第４手段、ならびに第４手段で得られたレンズ歪み補正後の第１画像および第２画像を、レンズ歪み補正後の第１画像および第２画像との間の幾何変換係数を用いて合成する第５手段を備えていることを特徴とする。
【００５３】
第１手段は、たとえば、第１画像と第２画像との重なり部を抽出する手段、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出する手段、および上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡する手段を備えている。
【００５４】
この発明による画像合成方法は、レンズを有する撮像手段によって撮像された第１画像と第２画像とを合成する画像合成方法において、第１画像および第２画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１ステップ、第１ステップで求められた対応点の座標に基づいて、第１画像と第２画像との間の幾何変換係数を算出する第２ステップ、第１ステップで求められた対応点の座標と、第２ステップで求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３ステップ、第３ステップで算出されたレンズ歪み係数に基づいて、第１画像および第２画像に対してレンズ歪み補正を行なう第４ステップ、ならびに第４ステップで得られたレンズ歪み補正後の第１画像および第２画像を、レンズ歪み補正後の第１画像および第２画像との間の幾何変換係数を用いて合成する第５ステップを備えていることを特徴とする。
【００５５】
第１ステップは、たとえば、第１画像と第２画像との重なり部を抽出するステップ、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、および上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップを備えている。
【００５６】
この発明による画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体は、レンズを有する撮像手段によって撮像された第１画像と第２画像とを合成する画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体であって、第１画像および第２画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１ステップ、第１ステップで求められた対応点の座標に基づいて、第１画像と第２画像との間の幾何変換係数を算出する第２ステップ、第１ステップで求められた対応点の座標と、第２ステップで求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３ステップ、第３ステップで算出されたレンズ歪み係数に基づいて、第１画像および第２画像に対してレンズ歪み補正を行なう第４ステップ、ならびに第４ステップで得られたレンズ歪み補正後の第１画像および第２画像を、レンズ歪み補正後の第１画像および第２画像との間の幾何変換係数を用いて合成する第５ステップをコンピュータに実行させるための画像合成プログラムを記録していることを特徴とする。
【００５７】
第１ステップは、たとえば、第１画像と第２画像との重なり部を抽出するステップ、一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、および上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップを備えている。
【００５８】
【発明の実施の形態】
以下、この発明をパノラマ画像合成装置に適用した場合の実施の形態について説明する。
【００５９】
〔２〕パノラマ画像合成装置の説明
【００６０】
図７は、パノラマ画像合成装置の構成を示している。
【００６１】
パノラマ画像合成装置は、パーソナルコンピュータによって実現される。パーソナルコンピュータ１０には、ディスプレイ２１、マウス２２およびキーボード２３が接続されている。パーソナルコンピュータ１０は、ＣＰＵ１１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭのようなリムーバブルディスクのドライブ（ディスクドライブ）１４を備えている。
【００６２】
ハードディスク１３には、ＯＳ（オペレーティングシステム）等の他、パノラマ画像合成処理プログラムが格納されている。パノラマ画像合成処理プログラムは、それが格納されたＣＤ−ＲＯＭ２０を用いて、ハードディスク１３にインストールされる。また、ハードディスク１３には、デジタルカメラによって撮像された複数の画像が予め格納されているものとする。
【００６３】
〔２〕パノラマ画像合成プログラムが起動せしめられた場合にＣＰＵ１１によって行われるパノラマ画像合成処理の説明
【００６４】
図８は、ＣＰＵ１１によって行われる全体的な処理手順を示している。
【００６５】
ここでは、説明の便宜上の２枚の画像を合成して、パノラマ画像を生成する場合について説明する。
【００６６】
まず、合成されるべき２枚の画像をメモリ１２に読み込む（ステップ１）。
【００６７】
読み込まれた２枚の画像間の幾何変換係数を算出する（ステップ２）。
【００６８】
次に、レンズ歪み係数を算出する（ステップ３）。この際、幾何変換パラメータは、レンズ歪み係数に基づいて補正される。
【００６９】
算出されたレンズ歪み係数に基づいて、上記２枚の画像に対してレンズ歪み補正処理を行なう（ステップ４）。
【００７０】
レンズ歪み補正処理後の２枚の画像と、レンズ歪み係数に基づいて補正された幾何変換パラメータに基づいて、２枚の画像が合成される（ステップ５）。
【００７１】
以下、各ステップ２〜５について、さらに詳細に説明する。
【００７２】
〔３〕図８のステップ２の処理の説明
【００７３】
図９は、図８のステップ２の処理の詳細な手順を示している。
【００７４】
説明の便宜上、ここでは、重なり部を有する２枚の画像（第１画像Ａ１及び第２画像Ａ２）を接合する場合について説明する。
【００７５】
まず、第１画像Ａ１と第２画像Ａ２との重なり部の抽出処理が行われる（ステップ１１）。この重なり部の抽出処理は、たとえば、ＳＳＤ法（Ｓｕｍ ｏｆ ＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）、正規化相互相関法に基づいて行われる。
【００７６】
（ａ）ＳＳＤ法の説明
ＳＳＤ法では、まず、重なり部を抽出すべき２枚の画像Ａ１、Ａ２それぞれについて、原画像より解像度の低い画像Ｉ１ ，Ｉ２ が生成される。２枚の低解像度画像Ｉ１ ，Ｉ２ の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式１０に示すように画素あたりの２乗誤差Ｅを用いて求められる。画像間の移動量（ｄ）が可能な範囲で変化せしめられ、Ｅが最も小さい移動量（ｄ）から、重なり部が抽出される。
【００７７】
【数１０】
（ｂ）正規化相互相関法の説明
正規化相互相関法では、まず、重なり部を抽出すべき２枚の画像Ａ１、Ａ２それぞれについて、原画像より解像度の低い画像Ｉ１ ，Ｉ２ が生成される。２枚の低解像度画像Ｉ１ ，Ｉ２ の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式１１に示すように正規化相互相関係数Ｃを用いて求められる。画像間の移動量（ｄ）が可能な範囲で変化せしめられ、Ｃが最も大きな移動量（ｄ）から、重なり部が抽出される。
【００７９】
【数１１】
式１１において、Ｉ１ ￣、Ｉ２ ￣は、第１画像を固定させ、第２画像をｄだけ移動させたときの、両画像の重なり部における各画像それぞれの濃淡値の平均である。また、σ１ 、σ２ は、第１画像Ｉ１ を固定させ、第２画像Ｉ２ をｄだけ移動させたときの、両画像の重なり部における各画像それぞれの濃淡値の分散である。
【００８１】
次に、特徴点抽出処理が行われる（ステップ１２）。つまり、第１画像Ａ１における第２画像Ａ２との重なり部分から、追跡に有効な複数の部分画像（矩形領域）が特徴点として抽出される。ただし、各特徴点は互いに重ならないように抽出される。具体的には、上述した固有値λｍｉｎ （式８参照）の高い部分が特徴点として抽出される。
【００８２】
次に、特徴点追跡処理が行われる（ステップ１３）。つまり、抽出された第１画像Ａ１上の特徴点に対する第２画像Ａ２上の位置が追跡される。
【００８３】
具体的には、まず、本出願人が開発したオプティカルフロー推定方法（従来技術の説明の欄の〔２〕参照）によって、適当なサイズ（例えば、１３×１３）のパッチ毎のオプティカルフローベクトルが求められる。第１画像Ａ１上の特徴点に対応する第２画像Ａ２上の位置は、第１画像Ａ１上の特徴点の４近傍のパッチのフローベクトルから線形補間により画素単位以下で求められる。これにより、第１画像Ａ１と第２画像Ａ２との重なり部において、両画像の対応点の座標が得られる。
【００８４】
次に、幾何変換行列（幾何変換係数）が算出される（ステップ１４）。
【００８５】
幾何変換係数としては、ここでは、平面射影変換行列が用いられる。なお、撮像条件によっては、幾何変換として、アフィン変換、２次元剛体変換、２次元並進運動等を用いてもよい。
【００８６】
対象としているシーンが遠方にある場合や、近くても建物や壁、黒板などの場合には、それらを単一平面と仮定することができる。図１０に示すように３次元空間中の単一平面の点Ｍを２つの異なる視点Ｃ１ 、Ｃ２ から観察した時、これらの各画像面での座標ｍ１ 、ｍ２ の間の変換は、線形であることが射影幾何学において知られており、ｈｏｍｏｇｒａｐｈｙ と呼ばれている（Ｏ．Ｆａｕｇｅｒａｓ，”Ｔｈｒｅｅ−ＤｉｍｅｎｔｉｏｎＣｏｍｐｕｔｅｒ Ｖｉａｉｏｎ： ａ Ｇｅｏｍｅｔｒｉｃ Ｖｉｅｗｐｏｉｎｔ”，ＭＩＴ ｐｒｅｓｓ， １９９３．）。
【００８７】
すなわち、画像座標を斉次座標で表した第２画像上の点ｍ２ ＝（ｘ２，ｙ２，１）ｔ は、第１画像上で対応する点ｍ１ ＝（ｘ１，ｙ１，１）ｔ を持ち、それらの関係は次式１２で定義される。
【００８８】
【数１２】
ここで〜は射影的に等しいことを示し、スケール因子を残す。ここでは、そして、この変換行列Ｈは、次式１３のように書き換えることができる。
【００９０】
【数１３】
〔４〕図８のステップ３の処理（レンズ歪み係数の算出処理）の説明
【００９２】
レンズ歪みとは、レンズ歪み中心からの距離に応じて幾何学的に歪む現象をいう。画像平面上の座標を画像座標ということにする。（ｕｔ ，ｖｔ ）をレンズ歪みのない真の画像座標とすると、一般にレンズ歪みを含んだ実際に観察された画像座標（ｕａ ，ｖａ ）は、次式１４で表すことができる。
【００９３】
【数１４】
上記式１４において、ｋは歪み係数、（ｕｏ ，ｖｏ ）はレンズ歪みの中心座標である。
【００９５】
第１画像Ａ１の各特徴点の座標をＰｉ 、それらに対応する第２画像Ａ２上の座標をＰ’ｉ 、両画像間の幾何変換行列をＨとすると、誤差関数Ｅを次式１５ように定義することができる。
【００９６】
【数１５】
ここで、レンズ歪みの中心座標（ｕｏ ，ｖｏ ）が画像中心に一致すると仮定すると、誤差関数Ｅは、上記式１４の歪み係数ｋを用いて、次式１６のように書き直すことができる。
【００９８】
【数１６】
この誤差Ｅを最小化するレンズ歪み係数ｋを、ニュートンラフソン法を用いて算出する。すなわち、係数ｋの変化分ｄｋが非常に小さい場合、テーラー展開することで、二次以降の項を無視すると次式１７を得る。
【０１００】
【数１７】
ただし、Ｅ’は、誤差関数Ｅの一次微分である。Ｅの最小値を求めたいので、次式１８を得る。
【０１０２】
【数１８】
上記式１８を上記式１７に代入すると、次式１９によってｄｋを算出することができる。
【０１０４】
【数１９】
また、次式２０に示すように、反復的に計算することにより、より精度よくｄｋを算出することができる。
【０１０６】
【数２０】
つまり、起点をｋ＝０として、ｄｋ０ 、ｄｋ１ 、ｄｋ２ 、…ｄｋｎ を順番に求めていく。ｄｋ０ を算出する際には、上記式１６における幾何変換行列Ｈとしては、ステップ２で算出された行列（Ｈ０ とする）が用いられる。そして、ｄｋ０ が求められると、ｄｋ０ ＝ｋとして、上記式１４に基づいて、幾何変換行列Ｈを算出するために用いられる第１画像Ａ１と第２画像Ａ２との対応点（特徴点）に対してレンズ歪み補正が行なわれ、レンズ歪み補正後の対応点から幾何変換行列Ｈ１ が新たに算出される。
【０１０８】
ｄｋ１ を算出する際には、上記式１６における幾何変換行列Ｈとして、新たに算出されたら幾何変換行列Ｈ１ が用いられる。ｄｋ２ 以降を算出する場合も同様である。そして、最終的に求められたｄｋｎ （＝ｋ）に基づいて、幾何変換行列Ｈｎ を新たに算出する。
【０１０９】
なお、ｄｋ０ 、ｄｋ１ 、ｄｋ２ 、…ｄｋｎ を求める際に、上記式１６における幾何変換行列Ｈとして、ステップ２で算出された行列Ｈを常に用いてもよい。この場合にも、最終的に求められたｄｋｎ （＝ｋ）に基づいて、幾何変換行列Ｈｎ を新たに算出する。
【０１１０】
〔５〕図８のステップ４の処理（レンズ歪み補正処理）の説明
【０１１１】
ステップ４のレンズ歪み補正処理では、ステップ３で最終的に求められたレンズ歪み係数ｄｋ（＝ｋ）と、上記式１４とに基づいて、第１画像Ａ１および第２画像Ａ２から、レンズ歪みが補正された画像Ａ１’、Ａ２’を生成する。
【０１１２】
つまり、真の画像座標の所定位置を（ｕｔ ，ｖｔ ）とし、この所定位置（ｕｔ ，ｖｔ ）に対応するレンズ歪みを含んだ画像座標を、上記数式１４から求める。所定位置（ｕｔ ，ｖｔ ）に対応するレンズ歪みを含んだ画像座標の画像データを、上記所定位置（ｕｔ ，ｖｔ ）の画像データとする。
【０１１３】
〔６〕図８のステップ５の処理（画像合成処理）の説明
【０１１４】
ステップ５の画像合成処理では、ステップ４で得られたレンズ歪みが補正された第１および第２画像Ａ１’、Ａ２’と、ステップ３で最終的に求められたｄｋｎ （＝ｋ）に基づいて算出された幾何変換行列Ｈｎ とに基づいて、第１画像Ａ１’と第２画像Ａ２’とが合成される。
【０１１５】
【発明の効果】
この発明によれば、校正用パターンを用いることなく、レンズ歪みを校正できるようになる。また、この発明によれば、精度の高いパノラマ画像が得られるようになる。
【図面の簡単な説明】
【図１】図１は、階層的推定法を説明するための図であって、階層１の画像を示す模式図である。
【図２】図２は、階層的推定法を説明するための図であって、階層２の画像を示す模式図である。
【図３】図３は、階層的推定法を説明するための図であって、階層３の画像を示す模式図である。
【図４】図４は、階層的推定法を説明するための図であって、階層４の画像を示す模式図である。
【図５】図５は、実施例で採用されたオプティカルフロー推定方法において行われる膨張処理を説明するための模式図である。
【図６】図６（ａ）は、ある階層の画像に対してしきい値処理されたオプティカルフローの例を示す模式図であり、図６（ｂ）は、補完後のオプティカルフローを示す模式図である。
【図７】図７は、パノラマ画像合成装置の構成を示すブロック図である。
【図８】図８は、パノラマ画像合成処理手順を示すフローチャートである。
【図９】図９は、図８のステップ２の処理の詳細な手順を示すフローチャートである。
【図１０】図１０は、平面射影行列を説明するための説明図である。
【符号の説明】
１０ パーソナルコンピュータ
１１ ＣＰＵ
１２ メモリ
１３ ハードディスク
１４ リムーバブルディスクのドライブ
２１ ディスプレイ
２２ マウス
２３ キーボード
Claims (12)
- レンズを有する撮像手段で撮像された画像に対してレンズ歪み補正を行なうためのレンズ歪み係数算出装置において、
撮像手段によって撮像された２枚の画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１手段、
第１手段で求められた対応点の座標に基づいて、上記２枚の画像間の平面射影変換行列を算出する第２手段、および
第１手段で求められた対応点の座標と、第２手段で求められた平面射影変換行列とに基づいて、レンズ歪み係数を算出する第３手段、
を備えていることを特徴とするレンズ歪み係数算出装置。 - レンズを有する撮像手段で撮像された画像に対してレンズ歪み補正を行なうためのレンズ歪み係数算出装置において、
撮像手段によって撮像された２枚の画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１手段、
第１手段で求められた対応点の座標に基づいて、上記２枚の画像間の幾何変換係数を算出する第２手段、および
第１手段で求められた対応点の座標と、第２手段で求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３手段、を備え
第１手段は、
撮像手段によって撮像された２枚の画像の重なり部を抽出する手段、
一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出する手段、および
上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡する手段、
を備えていることを特徴とするレンズ歪み係数算出装置。 - レンズを有する撮像手段で撮像された画像に対してレンズ歪み補正を行なうためのレンズ歪み係数算出方法において、
撮像手段によって撮像された２枚の画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１ステップ、
第１ステップで求められた対応点の座標に基づいて、上記２枚の画像間の平面射影変換行列を算出する第２ステップ、および
第１ステップで求められた対応点の座標と、第２ステップで求められた平面射影変換行列とに基づいて、レンズ歪み係数を算出する第３ステップ、
を備えていることを特徴とするレンズ歪み係数算出方法。 - レンズを有する撮像手段で撮像された画像に対してレンズ歪み補正を行なうためのレンズ歪み係数算出方法において、
撮像手段によって撮像された２枚の画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１ステップ、
第１ステップで求められた対応点の座標に基づいて、上記２枚の画像間の幾何変換係数を算出する第２ステップ、および
第１ステップで求められた対応点の座標と、第２ステップで求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３ステップ、を備え
第１ステップは、
撮像手段によって撮像された２枚の画像の重なり部を抽出するステップ、
一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、および
上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップ、
を備えていることを特徴とするレンズ歪み係数算出方法。 - レンズを有する撮像手段で撮像された画像に対してレンズ歪み補正を行なうためのレンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
撮像手段によって撮像された２枚の画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１ステップ、
第１ステップで求められた対応点の座標に基づいて、上記２枚の画像間の平面射影変換行列を算出する第２ステップ、および
第１ステップで求められた対応点の座標と、第２ステップで求められた平面射影変換行列とに基づいて、レンズ歪み係数を算出する第３ステップ、
をコンピュータに実行させるためのレンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体。 - レンズを有する撮像手段で撮像された画像に対してレンズ歪み補正を行なうためのレンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
撮像手段によって撮像された２枚の画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１ステップ、
第１ステップで求められた対応点の座標に基づいて、上記２枚の画像間の幾何変換係数を算出する第２ステップ、および
第１ステップで求められた対応点の座標と、第２ステップで求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３ステップをコンピュータに実行させ、
第１ステップは、
撮像手段によって撮像された２枚の画像の重なり部を抽出するステップ、
一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、および
上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップ、
を備えていることを特徴とするレンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体。 - レンズを有する撮像手段によって撮像された第１画像と第２画像とを合成する画像合成装置において、
第１画像および第２画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１手段、
第１手段で求められた対応点の座標に基づいて、第１画像と第２画像との間の平面射影変換行列を算出する第２手段、
第１手段で求められた対応点の座標と、第２手段で求められた平面射影変換行列とに基づいて、レンズ歪み係数を算出する第３手段、
第３手段で算出されたレンズ歪み係数に基づいて、第１画像および第２画像に対してレンズ歪み補正を行なう第４手段、ならびに
第４手段で得られたレンズ歪み補正後の第１画像および第２画像を、レンズ歪み補正後の第１画像および第２画像との間の平面射影変換行列を用いて合成する第５手段、
を備えていることを特徴とする画像合成装置。 - レンズを有する撮像手段によって撮像された第１画像と第２画像とを合成する画像合成装置において、
第１画像および第２画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１手段、
第１手段で求められた対応点の座標に基づいて、第１画像と第２画像との間の幾何変換係数を算出する第２手段、
第１手段で求められた対応点の座標と、第２手段で求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３手段、
第３手段で算出されたレンズ歪み係数に基づいて、第１画像および第２画像に対してレンズ歪み補正を行なう第４手段、ならびに
第４手段で得られたレンズ歪み補正後の第１画像および第２画像を、レンズ歪み補正後の第１画像および第２画像との間の幾何変換係数を用いて合成する第５手段、を備え
第１手段は、
第１画像と第２画像との重なり部を抽出する手段、
一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出する手段、および
上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡する手段、
を備えていることを特徴とする画像合成装置。 - レンズを有する撮像手段によって撮像された第１画像と第２画像とを合成する画像合成方法において、
第１画像および第２画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１ステップ、
第１ステップで求められた対応点の座標に基づいて、第１画像と第２画像との間の平面射影変換行列を算出する第２ステップ、
第１ステップで求められた対応点の座標と、第２ステップで求められた平面射影変換行列とに基づいて、レンズ歪み係数を算出する第３ステップ、
第３ステップで算出されたレンズ歪み係数に基づいて、第１画像および第２画像に対してレンズ歪み補正を行なう第４ステップ、ならびに
第４ステップで得られたレンズ歪み補正後の第１画像および第２画像を、レンズ歪み補正後の第１画像および第２画像との間の平面射影変換行列を用いて合成する第５ステップ、
を備えていることを特徴とする画像合成方法。 - レンズを有する撮像手段によって撮像された第１画像と第２画像とを合成する画像合成方法において、
第１画像および第２画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１ステップ、
第１ステップで求められた対応点の座標に基づいて、第１画像と第２画像との間の幾何変換係数を算出する第２ステップ、
第１ステップで求められた対応点の座標と、第２ステップで求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３ステップ、
第３ステップで算出されたレンズ歪み係数に基づいて、第１画像および第２画像に対してレンズ歪み補正を行なう第４ステップ、ならびに
第４ステップで得られたレンズ歪み補正後の第１画像および第２画像を、レンズ歪み補正後の第１画像および第２画像との間の幾何変換係数を用いて合成する第５ステップ、を備え
第１ステップは、
第１画像と第２画像との重なり部を抽出するステップ、
一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、および
上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップ、
を備えていることを特徴とする画像合成方法。 - レンズを有する撮像手段によって撮像された第１画像と第２画像とを合成する画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
第１画像および第２画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１ステップ、
第１ステップで求められた対応点の座標に基づいて、第１画像と第２画像との間の平面射影変換行列を算出する第２ステップ、
第１ステップで求められた対応点の座標と、第２ステップで求められた平面射影変換行列とに基づいて、レンズ歪み係数を算出する第３ステップ、
第３ステップで算出されたレンズ歪み係数に基づいて、第１画像および第２画像に対してレンズ歪み補正を行なう第４ステップ、ならびに
第４ステップで得られたレンズ歪み補正後の第１画像および第２画像を、レンズ歪み補正後の第１画像および第２画像との間の平面射影変換行列を用いて合成する第５ステップ、
をコンピュータに実行させるための画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体。 - レンズを有する撮像手段によって撮像された第１画像と第２画像とを合成する画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
第１画像および第２画像に基づいて、これらの画像間で対応する複数の対応点の座標を求める第１ステップ、
第１ステップで求められた対応点の座標に基づいて、第１画像と第２画像との間の幾何変換係数を算出する第２ステップ、
第１ステップで求められた対応点の座標と、第２ステップで求められた幾何変換係数とに基づいて、レンズ歪み係数を算出する第３ステップ、
第３ステップで算出されたレンズ歪み係数に基づいて、第１画像および第２画像に対してレンズ歪み補正を行なう第４ステップ、ならびに
第４ステップで得られたレンズ歪み補正後の第１画像および第２画像を、レンズ歪み補正後の第１画像および第２画像との間の幾何変換係数を用いて合成する第５ステップをコンピュータに実行させ、
第１ステップは、
第１画像と第２画像との重なり部を抽出するステップ、
一方の画像における他方の画像との重なり部分から、両画像間のオプティカルフローによる追跡に有効な複数の部分画像を特徴点として抽出するステップ、および
上記一方の画像上の各特徴点に対応する上記他方の画像上の点を、両画像間のオプティカルフローに基づいて追跡するステップ、
を備えていることを特徴とする画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000358823A JP3557168B2 (ja) | 2000-11-27 | 2000-11-27 | レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US09/988,630 US20020109833A1 (en) | 2000-11-27 | 2001-11-20 | Apparatus for and method of calculating lens distortion factor, and computer readable storage medium having lens distortion factor calculation program recorded thereon |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000358823A JP3557168B2 (ja) | 2000-11-27 | 2000-11-27 | レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002163647A JP2002163647A (ja) | 2002-06-07 |
| JP3557168B2 true JP3557168B2 (ja) | 2004-08-25 |
Family
ID=18830662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000358823A Expired - Fee Related JP3557168B2 (ja) | 2000-11-27 | 2000-11-27 | レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20020109833A1 (ja) |
| JP (1) | JP3557168B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8699820B2 (en) | 2006-11-06 | 2014-04-15 | Sony Corporation | Image processing apparatus, camera apparatus, image processing method, and program |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004062103A (ja) * | 2002-07-31 | 2004-02-26 | Sony Corp | 画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラム |
| KR100456632B1 (ko) * | 2002-09-05 | 2004-11-10 | 한국전자통신연구원 | 영상 기반 렌즈 왜곡 보정 장치 및 방법 |
| JP4775541B2 (ja) * | 2005-05-23 | 2011-09-21 | 日立造船株式会社 | 撮影画像における歪曲収差補正方法 |
| JP5011504B2 (ja) * | 2005-07-22 | 2012-08-29 | カシオ計算機株式会社 | 画像合成装置、画像合成方法及びプログラム |
| US20080181534A1 (en) * | 2006-12-18 | 2008-07-31 | Masanori Toyoda | Image processing method, image processing apparatus, image reading apparatus, image forming apparatus and recording medium |
| JP5596141B2 (ja) * | 2010-05-27 | 2014-09-24 | 株式会社日立ハイテクノロジーズ | 画像処理装置、荷電粒子線装置、荷電粒子線装置調整用試料、およびその製造方法 |
| EP2648157A1 (en) * | 2012-04-04 | 2013-10-09 | Telefonaktiebolaget LM Ericsson (PUBL) | Method and device for transforming an image |
| US10038887B2 (en) | 2015-05-27 | 2018-07-31 | Google Llc | Capture and render of panoramic virtual reality content |
| EP3410388A3 (en) * | 2015-05-27 | 2019-02-27 | Google LLC | Capture and render of panoramic virtual reality content |
| US9877016B2 (en) * | 2015-05-27 | 2018-01-23 | Google Llc | Omnistereo capture and render of panoramic virtual reality content |
| JP6699902B2 (ja) * | 2016-12-27 | 2020-05-27 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
| KR101976843B1 (ko) * | 2017-09-20 | 2019-05-15 | 주식회사 쓰리아이 | 렌즈 파라미터의 보정방법 및 이를 수행하는 단말기 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6157747A (en) * | 1997-08-01 | 2000-12-05 | Microsoft Corporation | 3-dimensional image rotation method and apparatus for producing image mosaics |
| US6788802B2 (en) * | 1998-05-21 | 2004-09-07 | Sanyo Electric Co., Ltd. | Optical flow estimation method and image synthesis method |
| US6597816B1 (en) * | 1998-10-30 | 2003-07-22 | Hewlett-Packard Development Company, L.P. | Correcting distortion in an imaging system using parametric motion estimation |
-
2000
- 2000-11-27 JP JP2000358823A patent/JP3557168B2/ja not_active Expired - Fee Related
-
2001
- 2001-11-20 US US09/988,630 patent/US20020109833A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8699820B2 (en) | 2006-11-06 | 2014-04-15 | Sony Corporation | Image processing apparatus, camera apparatus, image processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020109833A1 (en) | 2002-08-15 |
| JP2002163647A (ja) | 2002-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6456731B1 (en) | Optical flow estimation method and image synthesis method | |
| KR101195942B1 (ko) | 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법 | |
| Ke et al. | Transforming camera geometry to a virtual downward-looking camera: Robust ego-motion estimation and ground-layer detection | |
| US7565029B2 (en) | Method for determining camera position from two-dimensional images that form a panorama | |
| US9883163B2 (en) | Method and system for determining camera parameters from a long range gradient based on alignment differences in non-point image landmarks | |
| JP2007257287A (ja) | 画像レジストレーション方法 | |
| JP3557168B2 (ja) | レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US6473536B1 (en) | Image synthesis method, image synthesizer, and recording medium on which image synthesis program is recorded | |
| US8417062B2 (en) | System and method for stabilization of fisheye video imagery | |
| US20100014709A1 (en) | Super-resolving moving vehicles in an unregistered set of video frames | |
| JP2015060595A (ja) | 物体の自己運動推定方法 | |
| JP6061770B2 (ja) | カメラ姿勢推定装置及びそのプログラム | |
| JP2001274973A (ja) | 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| Mei et al. | Modeling and generating complex motion blur for real-time tracking | |
| JP2000155831A (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| KR100922273B1 (ko) | 영상 시퀀스로부터 선택된 중요 영상을 이용한 3차원모델의 재구성 방법 | |
| JP3540696B2 (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| JP3548071B2 (ja) | 中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体 | |
| JP2004046573A (ja) | チルト角算出方法、円筒パノラマ画像合成方法、ならびに円筒パノラマ画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2002094849A (ja) | 広視野画像撮像装置 | |
| JP2002170111A (ja) | 画像合成装置、画像合成方法および画像合成プログラムを記録した記録媒体 | |
| JP2001256492A (ja) | 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| Hao et al. | Orientation and auto-calibration of image triplets and sequences | |
| JP3384764B2 (ja) | 画像の対応領域抽出方法、画像合成方法、画像合成装置、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| KR100897834B1 (ko) | 전방향 카메라의 교정방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040427 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040514 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080521 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090521 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090521 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100521 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110521 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |