JP3618925B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP3618925B2 JP3618925B2 JP26191696A JP26191696A JP3618925B2 JP 3618925 B2 JP3618925 B2 JP 3618925B2 JP 26191696 A JP26191696 A JP 26191696A JP 26191696 A JP26191696 A JP 26191696A JP 3618925 B2 JP3618925 B2 JP 3618925B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- lens system
- value
- images
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing Of Optical Devices Or Fibers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等の撮像装置に係り、特に、レンズ系の歪曲収差による歪みを補正した高精度画像を必要とする目的に好適な撮像装置に関する。
【０００２】
【従来の技術】
カメラ等の撮像機器のレンズ系は、ズーム機能や自動焦点機能を備えることが一般的になっているが、機能の増加にともない画像の品質、特に歪曲収差にしわ寄せが出ている。一般に、歪みが少なく、かつ焦点深度の深いレンズは暗くなる。しかし、撮像素子は高密度化、コンパクト化の要求から、その受光センサー面積がますます小さくなり、その結果、感度低下やＳＮ比の低下を招いていおり、明るいレンズ系、歪みの大きなレンズ系を使わざるを得ない状態に陥っている。
【０００３】
一方、複数の画像を貼り合わせて大きな画像を合成する場合、異なった解像度の複数の画像を重ね合わせて合成する場合、異なった方位から撮影した複数枚の画像から立体画像を合成する場合などには、幾何学的歪みの少ない高精度画像が必要となる。このような高精度画像のニーズは今後ますます増えることが予想されるため、カメラ等のレンズ系の歪曲収差による画像の歪みは大きな問題である。
【０００４】
従来、歪曲収差はレンズの設計技術で回避努力がなされてきたが、前述のようにレンズ系の高機能化に伴って回避が困難になっている。そのため、画像処理によって歪曲収差による歪みを除去する努力が続けられている。例えば、高い精度を要求される宇宙観測、医学応用等の個別分野では、テーブルルックアップ方式により画素位置毎に歪曲収差を高精度に補正する技術が利用されている。しかし、この歪みは非線形歪みであり、それに関与するパラメータは焦点距離、ピント位置、絞りがあり、補正テーブルを作るにはこれら３つのパラメータを高い精度で検出する必要があるが、これが容易でない。そのため、テーブルルックアップ方式は、固定焦点レンズ系の応用に限られていた。
【０００５】
例えば特開平３−２４２５２６号の「カメラの歪曲収差更正方法」では、レンズ系が固定された状態で白黒縞パターン（テストチャート）を撮影して理想値との誤差を測定し、歪曲収差パラメータを推定するので、ピントずらし、ズーム等で条件が変わると、それぞれの条件で白黒縞パターンを撮影し直してパラメータの推定を行う必要がある。
【０００６】
【発明が解決しようとする課題】
本出願人は、そのような制約を解消し、より汎用性の高い画像歪み補正方法として、一地点から撮影された共通パターンを含む複数枚の画像より、複数組の対応した観測点を検出し、それら観測点の撮像系の光軸との角度を計算し、求められた角度の情報に基づいて当該画像に対する歪み補正パラメータを決定することを特徴とする方法を特許出願している（特願平８−３９５１４号）。この方法のために必要な２枚（又は３枚以上）の画像を従来のカメラで得ることも可能である。例えば、同じ地点で、カメラにより対象物を撮影し、次にカメラを適当な角度だけ左又は右に振って、同じ対象物を撮影することによっても、必要な画像を得られる。しかし、少なくとも２度の撮影操作が必要であるほか、カメラ方位を適切に調整する必要があるため、カメラの一般的な利用者にとっては操作が煩わしく、また必ずしも適当な画像を得られないこともある。
【０００７】
本発明の目的は、そのような歪み補正パラメータの推定に必要な画像を簡単に得られるデジタルカメラやスキャナー等の撮像装置を提供することにある。本発明のもう一つの目的は、歪み補正パラメータを推定して歪曲収差を補正した高精度画像を得られるデジタルカメラやスキャナー等の撮影装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明によれば、デジタルカメラ等の撮像装置の撮像系は、レンズ系に被写体からの光を異なった入射角で同時又は順次に入射させることにより、同じ被写体の異なった２つの画像を同時又は順次に撮像素子に結像させるような構成とされる。すなわち、レンズ系の前方に反射鏡を配し、被写体からの光を直接的にレンズ系に入射するとともに反射鏡で反射させてからレンズ系に入射させることにより、被写体の２つの画像を、レンズ系の後方に位置する撮像素子に同時に結像させる（請求項１）。
【０００９】
このような撮像系を持つ本発明のデジタルカメラ等の撮像装置は、撮像素子に結像された２つの画像のデータを保存するメモリと、このメモリに保存された２つの画像のデータに基づき画像の歪みを補正するためのパラメータを推定する手段を有し（請求項２）、さらに推定されたパラメータを利用してメモリに保存された一方の画像データに対し歪み補正を施す手段をさらに有する（請求項３）。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施例を説明する。図１は、本発明によるデジタルカメラの撮像系の一例を簡略化して示している。図１において、撮像系１００はカメラ本体に付属するホルダー１０１内にレンズ系１０２、反射鏡１０３、撮像素子としてのＣＣＤ１０４等を組み込んだ構造である。レンズ系１０２は、ホルダー１０１に沿って光軸方向に進退可能である。レンズ系１０２の位置を検出するために、位置センサー１０５も設けられている。この位置センサー１０５の検出出力から、レンズ系１０２の光学中心（仮想中心）とＣＣＤ１０４の画像面との距離を計測できる。なお、レンズ系１０２の駆動機構がある場合で、その駆動機構がそれ自体でレンズ系１０２の位置つまりその光学中心と画像面との距離を認識できるか、もしくは決定付けることができるときは、位置センサー１０５がなくてもよい。また、後述の歪曲収差補正パラメータの推定処理にレンズ系と画像面との距離も推定するアルゴリズムを採用する場合は、レンズ系と画像面の距離そのものを測定する必要がないため位置センサー１０５は不要である。
【００１１】
被写体からの光の一部は、実線の光路Ａに示すように、レンズ系１０２に直接入射し、ＣＣＤ１０４の画像面上に結像する。同じ被写体からの光の一部は、破線の光路Ｂに示すように、反射鏡１０３によって反射されてからレンズ系１０２に斜め方向から入射し、ＣＣＤ１０４の画像面上に結像する。このように、同一の被写体からの光が、異なった方向からレンズ系１０２に入射するため、同じ被写体は２つの異なった像として撮影される。光路Ｂにより撮影される像は、光路Ａにより撮影される像に対し上下が反転した像である。
【００１２】
ＣＣＤ１０４の画像面は、機能的に図２に示すように２つの部分領域ＩＭＧａ，ＩＭＧｂに分割される。部分領域ＩＭＧａは光路Ａによる通常の像が形成される領域であり、他方の部分領域ＩＭＧｂ（斜線部）は光路Ｂによる上下反転像が形成される領域である。遠方の被写体からの光はレンズ系１０２の光軸とほぼ平行に入射するため、反射鏡１０３の角度が固定であっても、レンズ系１０２の光軸と部分領域ＩＭＧｂとの距離ｙはほぼ一定に保たれる。なお、部分領域ＩＭＧａ，ＩＭＧｂをそれぞれ独立した撮像素子に置き換えることも可能である。
【００１３】
図３は、本発明によるデジタルカメラの撮像系の他の例を簡略化して示している。図３において、撮像系２００はカメラ本体に付属するホルダー２０１内にズームレンズ系２０２、反射鏡２０３、撮像素子としてのＣＣＤ２０４等を組み込んだ構造である。ズームレンズ系２０２は、ホルダー２０１に沿って光軸方向に進退可能であり、ズーム駆動機構２０６により駆動される。ズームレンズ系２０２の位置を検出するために、位置センサー２０５も設けられている。この位置センサー２０５の検出出力から、ズームレンズ系２０２の光学中心（仮想中心）とＣＣＤ２０４の画像面の距離を計測できる。
【００１４】
なお、最近のカメラは、小型化を指向するまり、焦点距離が短くなってきているため、通常の撮影条件ではレンズと画像面の距離が殆ど変化しない場合が増えている。このような条件では、レンズと画像面の距離を測定するセンサーの精度が不十分であると、レンズと画像面との実際の距離と、測定した距離との誤差が大きくなることがある。したがって、この場合は位置センサー２０５に代えて焦点距離のセンサーを設けてもよい。あるいは、ズーム駆動機構２０６がそれ自体でズームレンズ系２０２の位置つまりその光学中心と画像面との距離又は焦点距離を認識できるか、もしくは決定付けることができるときは、位置センサー２０６もしくは焦点距離センサーがなくてもよい。さらに、後述の歪曲収差補正パラメータの推定処理に、ズームレンズ系２０２と画像面の距離も推定するアルゴリズムを採用する場合には、レンズ系と画像面の距離そのものを測定する必要がないため位置センサー２０５もしくは焦点距離センサーは不要である。
【００１５】
ＣＣＤ２０４の画像面は、前述のＣＣＤ１０４と同様、機能的に図２に示すように２つの部分領域ＩＭＧａ，ＩＭＧｂに分割して利用される（ただし、各部分領域をそれぞれ独立した撮像素子としてもよい）。被写体からの光の一部は、ズームレンズ系２０２に直接入射し、ＣＣＤ２０４の画像面の部分領域ＩＭＧａ上に結像するが、同じ被写体からの光の一部は反射鏡２０３によって反射されてからズームレンズ系２０２に斜め方向から入射し、ＣＣＤ２０４の画像面の他方の部分領域ＩＭＧｂ上に結像する。このように、同一の被写体からの光が、異なった方向からズームレンズ系２０２に入射するため、同じ被写体が２つの異なった像として撮影される。反射鏡２０３を経由して撮影される像は、反射鏡２０３を経由しないで撮影される像に対し上下が反転した像である。
【００１６】
ズーム駆動機構２０６によりズームレンズ系２０２が符号２０２’で表した位置まで移動させられたとき（通常、近接被写体の撮影時）、ＣＣＤ画像面の部分領域ＩＭＧｂに同じ被写体付近の像が結像するのが望ましい。そこで、この時に、ズームレンズ系２０２の光軸付近の被写体を部分領域ＩＭＧｂに結像させるように、反射鏡駆動機構２０７が反射鏡２０３を前方へ移動させるとともに反射鏡２０３の角度を調整する（破線２０９はこの時の光路）。ただし、通常はズームレンズ系２０２の移動による入射角の変化は小さく無視しても影響は少ないので、反射鏡２０３を一定角度に保ってもよい。ズームレンズ系２０２の移動量をＳとすると、反射鏡２０３の移動量は２Ｓである。
【００１７】
図４は、本発明によるデジタルカメラの処理制御系の一例を示す簡略化されたブロック図である。図４において、画信号回路部３００は図１又は図３に示した撮像系１００又は２００のＣＣＤ１０４又は２０４からの画信号の読み出し、画信号のレベル制御、アナログ−デジタル変換等を行って、撮影された画像のデータを入力する。ＣＣＤ１０４又は２０４の画像面の一方の部分領域ＩＭＧａに結像した画像のデータは一方のメモリ３０２に格納され、他方の部分領域ＩＭＧｂに結像した画像のデータは他方のメモリ３０３に格納される。ただし、部分領域ＩＭＧｂに結像した画像は上下反転画像であるので、その画像データは上下反転回路３０１によって再度上下反転されるようアドレス変換されてメモリ３０３に格納される。このようにして、メモリ３０２，３０３に同じ向きの２つの画像のデータが格納される。
【００１８】
処理制御部３０４は、撮影した画像の歪曲収差補正パラメータの推定処理、歪曲収差補正処理等の画像処理と、撮像系の制御（例えば図３のズーム駆動機構２０５、反射鏡駆動機構２０７の制御等）を行う部分であり、具体的には例えばマイクロプロセッサ、メモリ、インターフェイス回路等から構成される。撮像系の位置センサー１０５又は２０５の検出出力、カメラ利用者により操作される各種操作キー３０５からの指示情報も処理制御部３０４に入力する。メモリ３０２内の画像データの歪み補正結果は、そのままの形で、あるいは画像圧縮処理を施された後に画像メモリ３０６に格納される。次に、歪曲収差補正パラメータの推定の基礎となる関係式を説明する。
【００１９】
図５は、ある対象物をカメラで撮影した時の光軸と入射光のなす角度Φｉ，Φｊと、レンズ系を通過した後の光軸に対する角度Φｉ’，Φｊ’、同じ対象物をカメラを傾けて撮影した時の像の光軸となす角度Φｉ”，Φｊ”（図中の破線）の関係を示している。Ｆはレンズ系の光学中心から画像面までの距離である。このときに、次に示す（１）から（５）の関係式が成り立つ。ただし、Φは真の値、Φｉｏ’，Φｊｏ’，Φｉｏ”，Φｊｏ”は観測値Φｉ’，Φｊ’，Φｉ”，Φｊ”から算出した真値の予測値である。
【００２０】
【数１】
【００２１】
【数２】
【００２２】
【数３】
【００２３】
【数４】
【００２４】
【数５】
【００２５】
上記（３）式が歪み補正式である。同じ対象物を同一地点から異なったカメラ方位で撮影した２枚（又はそれ以上）の画像の情報から、この歪み補正パラメータＡ，Ｂを推定して歪み補正式を決定することができる。普通のデジタルカメラを利用して、そのような２枚の画像を得るには、ある方位で被写体を１度撮影し、同じ地点でカメラを所要角度だけ振って同一被写体をもう１度撮影する必要がある。これに対し、前述のような撮像系を持つ本発明のデジタルカメラによれば、１回の撮影操作で、そのような２枚の画像を撮影し、その画像データをメモリ３０２，３０３に得ることができるわけである。
【００２６】
図６は、異なったカメラ方位で撮影された２枚の画像上の対応した点と、それらの歪み補正後の真の位置を模式的に示している。図６において、ｐｉ’とｐｉ”、ｐｊ’とｐｊ”はそれぞれ異なったカメラ方位で撮影した２つの画像上の同一パターンの位置であり、ｐｉｏ’とｐｉｏ”は歪みが補正されたｐｉ’とｐｉ”の真の位置、同じくｐｊｏ’とｐｊｏ”は歪みが補正されたｐｊ’とｐｊ”の真の位置である。なお、ｐｉ’とｐｉｏ’、ｐｉ”とｐｉｏ”、ｐｊ’とｐｊｏ’、ｐｊ”とｐｊｏ”は本来同一方位であるが、意図的にずらして表されている。Ｃはレンズ系の光学中心、Ｏは２枚の画像の中心である。誤差の評価値Ｅは複数の共通パターンについて加算する。
【００２７】
撮影される物体間の角度は、カメラ方位の変化には依存しないから（光軸回りの回転があっても）、２枚の画像を撮影した視点が移動しない限り
∠ｐｊｏ’ Ｃ ｐｉｏ’ ＝ ∠ｐｉｏ” Ｃ ｐｉｏ”
の関係が常に成り立つ。よって、前記（４）式と等価な次式が得られる。
【００２８】
【数６】
【００２９】
この式は角度で誤差を評価する式であるが、撮影された画像の中心を原点としたｘｙ座標で次のように表すこともできる。
【００３０】
【数７】
【００３１】
この誤差評価式はパラメータＡを陽に含む形式に表すことができるから、本式より∂Ｅ／∂Ａを求めることができる。
【００３２】
以下、処理制御部３０４における補正パラメータ推定処理について説明する。まず、レンズ系と撮像素子の画像面との距離を予め特定できる場合の処理について説明する。図７に、この場合の処理フローを示す。
【００３３】
最初のステップＳ１において、Ａ＝Ａｏ、Ｂ＝０に初期設定する。また、位置センサー１０５又は２０５の検出出力より求まる距離、あるいはズーム駆動機構２０６で認識もしくは決定付けされた距離を、Ｆの値に設定する。
【００３４】
次のステップＳ２において、メモリ３０２，３０３上の２枚の画像より、それらに共通する評価用パターンを抽出する。そして、観測点として、一方の画像における評価用パターン上の特定点と、それに対応した他方の画像の評価用パターン上の特定点とのペアを２組検出する。図６と対照させると、一方のペアの観測点Ｐｉ’，Ｐｉ”を検出し、それぞれの座標系における座標値（Ｘｉ’，Ｙｉ’），
（Ｘｉ”，Ｙｉ”）を前記（５）式を変形した次の（８）式により角度変数で表現し、また、もう一方のペアの観測点Ｐｊ’，Ｐｊ”を検出し、それぞれの座標系における座標値（Ｘｊ’，Ｙｊ’），（Ｘｊ”，Ｙｊ”）を、（８）式に従って角度変数で表現する。
【００３５】
【数８】
【００３６】
ステップＳ３において、前ステップで得られたΦｉ’，Φｉ”とΦｊ’，Φｊ”を次式のΦ’に代入し解を求める。その解をΦｉｏ’，Φｉｏ”，Φｊｏ’，Φｊｏ”とする。
【００３７】
【数９】
【００３８】
この式は、前記（１）式に前記（３）式を代入して得られる方程式である。
ステップＳ４において、前記（４）式により誤差評価値Ｅを算出し、誤差評価値Ｅの収束判定をする。誤差評価値Ｅが収束していないと判断したときは、次のステップＳ５において、Ａの現在値にΔＡの値を加えた値をＡの値とし、ステップＳ３に戻る。なお、Ａの増分ΔＡは、任意の小さな一定値に選んでもよいが、（４）式、（９）式、ΔＥ＝（∂Ｅ／∂Ａ）ΔＡの関係式からΔＡを求めてもよい（ただし、ΔＥ＝Ｅとおく）。ステップＳ４で誤差評価値Ｅが収束したと判断されるまでステップＳ３からステップＳ５の処理ループが繰り返えされる。
【００３９】
ステップＳ４で誤差評価値Ｅが収束したと判断されたときは、Ａの値が決まったので、今度はＢを決めるためにステップＳ６に進み、メモリ３０２，３０３上の２枚の画像よりＢの決定のための別の共通パターンがあるか調べる。別の共通パターンが見つからなければ処理は終わる（Ｂの値は０に決まる）。
【００４０】
別の共通パターンが見つかったならば、次のステップＳ７においてＢを初期値Ｂｏに設定する。次のステップＳ８において、ステップＳ６で新たに見つかった共通パターンを評価用パターンとして、それぞの評価用パターン上の対応した観測点のペアを２組検出し、前記（８）式により各観測点の座標を角度変数で表現する。
【００４１】
次のステップＳ９において、前ステップで求められたΦｉ’，Φｉ”，Φｊ’，Φｊ”を前記（９）式に代入し、解を求める。その解をΦｉｏ’，Φｉｏ”，Φｊｏ’，Φｊｏ”とする。そして、次のステップＳ１０において、前記（４）式により誤差評価値Ｅを算出し、その収束判定を行う。誤差評価値Ｅが収束していないと判断されたならば、次のステップＳ１１において、Ｂの現在値に増分ΔＢを加えた値をＢの値とし、ステップＳ９に戻る。ΔＢは、任意の小さな一定値を選んでもよいが、（４）式、（９）式、ΔＥ＝（∂Ｅ／∂Ｂ）ΔＢの関係式からΔＢを求めてもよい（ただし、ΔＥ＝Ｅとおく）。
【００４２】
ステップＳ１０で誤差評価値Ｅが収束したと判断されるまで、ステップＳ９からステップＳ１１までの処理ループが繰り返される。ステップＳ１０でＥが収束したと判断されたならば、Ａ，Ｂ共に値が決まったということであり、パラメータ推定処理は終了する。このようにしてＡ，Ｂが決まれば、歪み補正式が確定する。なお、補正パラメータは必ずしも１回で決定する必要はなく、誤差の評価を画像の中心部から周辺へと行って、複数回のサイクルで決定してもよい。
【００４３】
次に、レンズ系と撮像素子の画像面との距離を予め特定できない場合、あるいは距離の測定精度が不十分な場合に、距離Ｆを推定もしくは調整しながら補正パラメータＡ，Ｂを推定する処理について説明する。図８に、この場合の処理フローを示す。
【００４４】
最初のステップＳ２１において、Ａ＝Ａｏ、Ｆ＝Ｆｏ、Ｂ＝０の初期設定が行われ、また、Ｆの増分ΔＦとして適当な小さな値が設定される。
次のステップＳ２２において、メモリ３０２，３０３上の２枚の画像より、それらに共通するパターンを評価用パターンとして抽出する。そして、観測点として、一方の画像における評価用パターン上の特定点と、それに対応した他方の画像の評価用パターン上の特定点とのペアを２組検出する。すなわち、図６と対照させると、一方のペアの観測点Ｐｉ’，Ｐｉ”を検出し、それぞれの座標系における座標値（Ｘｉ’，Ｙｉ’），（Ｘｉ”，Ｙｉ”）を前記（８）式により角度変数で表現し、また、もう一方のペアの観測点Ｐｊ’，Ｐｊ”を検出し、それぞれの座標系における座標値（Ｘｊ’，Ｙｊ’），（Ｘｊ”，Ｙｊ”）を前記（８）式により角度変数で表現する。
【００４５】
ステップＳ２３において、前ステップで得られたΦｉ’，Φｉ”，Φｊ’，Φｊ”を（９）式のΦ’に代入し解を求める。その解をΦｉｏ’，Φｉｏ”，Φｊｏ’，Φｊｏ”とする。次のステップＳ２４において、前記（４）式により誤差評価値Ｅを算出し、誤差評価値Ｅの収束判定をする。収束したと判断されたときにはステップＳ２６へ進む。そうでなければステップＳ２５へ進み、Ａの現在値に増分ΔＡを加算した値をＡの値とし、ステップＳ２３へ戻る。なお、増分ΔＡは、図７のステップＳ５で説明したようにΔＥ＝（∂Ｅ／∂Ａ）ΔＡの関係式から求めてもよい。誤差評価値Ｅが収束したと判断されるまで、ステップＳ２３からステップＳ２５までの処理ループが繰り返される。
【００４６】
ステップＳ２４において、Ｅが収束したと判断されたときには、ステップＳ２６に進む。ステップＳ２６において、２枚の画像に共通する別のパターンが見つかるか調べる。見つからなければ、処理は終了する。見つかったならば、その共通パターンを新しい評価パターンとして用い、ステップＳ２７以降の処理により改めてＡの値（これをＡ’と置く）を求める。
【００４７】
まず、ステップＳ２７においてＡ’を初期値Ａ’ｏに設定する。次のステップＳ２８において、ステップＳ２２と同様に、２枚の画像の新しい評価用パターン上の対応した観測点のペアを２組検出し、その観測点の座標値を角度変数に変換する。次のステップＳ２９において、前ステップで得られたΦｉ’，Φｉ”，Φｊ’，Φｊ”を（９）式のΦ’に代入し解を求める。その解をΦｉｏ’，Φｉｏ”，Φｊｏ’，Φｊｏ”とする。次のステップＳ３０において、前記（４）式による誤差評価値Ｅを算出し、そして、誤差評価値Ｅの収束判定をする。収束したと判断されたときにはステップＳ３２へ進むが、そうでなければステップＳ３１へ進み、Ａ’の現在値に増分ΔＡを加えた値をＡ’の値としてステップＳ２９に戻る。
【００４８】
ステップＳ２９からステップＳ３１までの処理ループにより誤差評価値Ｅが収束すると、同ループを抜けてステップＳ３２に進み、｜Ａ−Ａ’｜の収束判定を行う。収束していないと判断された場合には、ステップ３３においてＦの現在値に増分ΔＦの値を加えた値をＦの新しい値とし、また、Ａに初期値Ａｏを設定してから、ステップＳ２２以下の処理を再び実行する。すなわち、Ｆを変更して、Ａの値を改めて求めることになる。２回目以降のステップＳ２２において用いる評価用パターンと観測点は１回目のステップ２２で用いたものと同じでよく、必要な処理は、新しいＦ値を用いて１回目と同じ観測点の座標値を角度変数で表現し直す処理だけである。この後にステップＳ２８に進んだ時にも同様であって、１回目のステップ２８で検出したもとの同じ観測点の座標値を新しいＦ値を用いて角度変数で表現し直すだけでよい。
【００４９】
さて、ステップＳ３２において｜Ａ−Ａ’｜が収束したと判断された場合、現在のＡ又はＡ’の値がＡの値として決まり、またＦの値も決定されたということであり、次にＢの値を決めるためにステップＳ３４に進む。ステップＳ３４において、Ｂに初期値Ｂｏが設定される。
【００５０】
次のステップＳ３５において、ステップＳ２２又はステップＳ２８で最後に得られたΦｉ’，Φｉ”，Φｊ’，Φｊ”を（９）式のΦ’に代入して解を求める（Ａは決定済み）。次のステップＳ３６において前記（４）式により誤差評価値Ｅを算出し、そして誤差評価値Ｅの収束判定をする。収束したと判断されたときにはＡ，Ｂ，Ｆの値が全て決まり、よって歪み補正式が確定したので処理は終了する。収束していないと判断されたときには、ステップＳ３７へ進み、Ｂの現在値にΔＢの値を加算した値をＢの値としてステップＳ３５に戻る。なお、増分ΔＢは、任意の小さな値を選んでもよいが、図７のステップＳ１１で説明したような方法で求めることもできる。ステップＳ３５からステップと３７までの処理ループがステップＳ３６で誤差評価値Ｅが収束したと判断されるまで繰り返される。なお、補正パラメータは必ずしも１回で決定する必要はなく、誤差の評価を画像の中心部から周辺へと行って、複数回のサイクルで決定してもよい。
【００５１】
以上のような処理によって補正パラメータＡ，Ｂが推定され、また距離Ｆが測定又は推定されたならば、処理制御部３０４において、メモリ３０２上の画像データの歪曲収差補正を行うことができる。例えば、メモリ３０２上の画像の各画素の座標を（８）式により角度変数に変換し、その角度を（９）式のΦ’に代入して真の角度Φを求め、この真の角度Φを（５）式により補正画像上の座標に変換し、この座標に補正前の画素値を与えるという処理を繰り返すことにより、歪曲収差歪みが高精度に補正された補正画像データを画像メモリ３０６上に生成する。
【００５２】
以上説明した本発明によるデジタルカメラの撮像系の例は、レンズ系の前方に反射鏡を配置し、反射鏡で反射され斜め方向からレンズ系に入射した像も正面からレンズ系に入射した像も同時に撮影することよって、カメラを振って異なった方位から同一被写体を２度撮影した場合と等価な２枚の画像を１回の撮影操作で得る構成であったが、反射鏡を使わない構成も可能である。そのような撮像系の一例を簡略化して図９に示す。
【００５３】
図９に示した撮像系４００は、ホルダー４０１内にレンズ系４０２が駆動素子４０３ａ，４０３ｂにより支持されており、駆動素子４０３ａ，４０３ｂがホルダー４０１の内面に沿って高速に滑りながらレンズ系４０２を駆動することにより、レンズ系４０２の方位角を高速に変化させる構成である。このような撮像系４００と組み合わされる処理制御系は図４に示したものと同様の構成でよいが、上下反転回路３０１は不要である。
【００５４】
カメラ利用者の１回の撮影操作によって、処理制御部３０４の制御に従い、駆動素子４０３ａ，４０３ｂがレンズ系４０２を垂直姿勢４０２’にし、この状態でＣＣＤ４０４に結像した被写体の画像を読み取ってメモリ３０２に格納すると、直ちに駆動素子４０３ａ，４０３ｂが所定量だけ前後に移動してレンズ系４０２を図示のように所定の角度だけ傾けた状態にし、この状態で結像された同じ被写体の画像を読み取ってメモリ３０３に格納する。このようにして、異なったカメラ方位で同じ被写体を２回撮影した場合と等価な２枚の画像を得ることができる。撮影した画像の補正パラメータ推定は前述の例と同様である。なお、レンズ系４０２の方位角を異ならせて３枚以上の画像を撮影することも可能である。前述のように、レンズ系４０２の位置センサーは設けても設けなくともよい。
【００５５】
以上、本発明によるデジタルカメラの例を説明したが、本発明は、レンズ系を用いて画像を撮影するスキャナー等の他の撮像装置に対しても同様に適用できることは明らかである。
【００５６】
【発明の効果】
以上の説明から明らかなように、本発明によれば、面倒な操作を行わずに歪曲収差の補正パラメータの推定に必要な２枚（または３枚以上）の画像を撮影可能なデジタルカメラ等を実現できる。面倒な操作を行わずに、撮影した画像の歪曲収差の補正パラメータを推定できるデジタルカメラ等を実現できる。歪曲収差による歪みが補正された高精度画像を簡単に得ることが可能なデジタルカメラ等を実現できる、等の効果を得られるものである。
【図面の簡単な説明】
【図１】本発明によるデジタルカメラの撮像系の一例を示す概略構成図である。
【図２】ＣＣＤの画像面の領域分割を示す図である。
【図３】本発明によるデジタルカメラの撮像系の他の例を示す概略構成図である。
【図４】本発明によるデジタルカメラの処理制御系の一例を示す概略ブロック図である。
【図５】歪曲収差歪み補正の基礎関係式を説明するための図である。
【図６】異なったカメラ方位で撮影された同一パターンの画像平面上の位置と、その歪み補正後の位置を示す図である。
【図７】補正パラメータ推定処理の一例を表したフローチャートである。
【図８】補正パラメータ推定処理の他の例を表したフローチャートである。
【図９】本発明によるデジタルカメラの撮像系の他の例を示す概略構成図である。
【符号の説明】
１００ 撮像系
１０１ ホルダー
１０２ レンズ系
１０３ 反射鏡
１０４ ＣＣＤ（撮像素子）
１０５ 位置センサー
２００ 撮像系
２０１ ホルダー
２０２ ズームレンズ系
２０３ 反射鏡
２０４ ＣＣＤ（撮像素子）
２０５ 位置センサー
２０６ ズーム駆動機構
２０７ 反射鏡駆動機構
３００ 画信号回路部
３０１ 上下反転回路
３０２，３０３ メモリ
３０４ 処理制御部
３０５ 操作キー
３０６ 画像メモリ
４００ 撮像系
４０１ ホルダー
４０２ レンズ系
４０３ａ，４０３ｂ 駆動素子
４０４ ＣＣＤ（撮像素子）
【発明の属する技術分野】
本発明は、デジタルカメラ等の撮像装置に係り、特に、レンズ系の歪曲収差による歪みを補正した高精度画像を必要とする目的に好適な撮像装置に関する。
【０００２】
【従来の技術】
カメラ等の撮像機器のレンズ系は、ズーム機能や自動焦点機能を備えることが一般的になっているが、機能の増加にともない画像の品質、特に歪曲収差にしわ寄せが出ている。一般に、歪みが少なく、かつ焦点深度の深いレンズは暗くなる。しかし、撮像素子は高密度化、コンパクト化の要求から、その受光センサー面積がますます小さくなり、その結果、感度低下やＳＮ比の低下を招いていおり、明るいレンズ系、歪みの大きなレンズ系を使わざるを得ない状態に陥っている。
【０００３】
一方、複数の画像を貼り合わせて大きな画像を合成する場合、異なった解像度の複数の画像を重ね合わせて合成する場合、異なった方位から撮影した複数枚の画像から立体画像を合成する場合などには、幾何学的歪みの少ない高精度画像が必要となる。このような高精度画像のニーズは今後ますます増えることが予想されるため、カメラ等のレンズ系の歪曲収差による画像の歪みは大きな問題である。
【０００４】
従来、歪曲収差はレンズの設計技術で回避努力がなされてきたが、前述のようにレンズ系の高機能化に伴って回避が困難になっている。そのため、画像処理によって歪曲収差による歪みを除去する努力が続けられている。例えば、高い精度を要求される宇宙観測、医学応用等の個別分野では、テーブルルックアップ方式により画素位置毎に歪曲収差を高精度に補正する技術が利用されている。しかし、この歪みは非線形歪みであり、それに関与するパラメータは焦点距離、ピント位置、絞りがあり、補正テーブルを作るにはこれら３つのパラメータを高い精度で検出する必要があるが、これが容易でない。そのため、テーブルルックアップ方式は、固定焦点レンズ系の応用に限られていた。
【０００５】
例えば特開平３−２４２５２６号の「カメラの歪曲収差更正方法」では、レンズ系が固定された状態で白黒縞パターン（テストチャート）を撮影して理想値との誤差を測定し、歪曲収差パラメータを推定するので、ピントずらし、ズーム等で条件が変わると、それぞれの条件で白黒縞パターンを撮影し直してパラメータの推定を行う必要がある。
【０００６】
【発明が解決しようとする課題】
本出願人は、そのような制約を解消し、より汎用性の高い画像歪み補正方法として、一地点から撮影された共通パターンを含む複数枚の画像より、複数組の対応した観測点を検出し、それら観測点の撮像系の光軸との角度を計算し、求められた角度の情報に基づいて当該画像に対する歪み補正パラメータを決定することを特徴とする方法を特許出願している（特願平８−３９５１４号）。この方法のために必要な２枚（又は３枚以上）の画像を従来のカメラで得ることも可能である。例えば、同じ地点で、カメラにより対象物を撮影し、次にカメラを適当な角度だけ左又は右に振って、同じ対象物を撮影することによっても、必要な画像を得られる。しかし、少なくとも２度の撮影操作が必要であるほか、カメラ方位を適切に調整する必要があるため、カメラの一般的な利用者にとっては操作が煩わしく、また必ずしも適当な画像を得られないこともある。
【０００７】
本発明の目的は、そのような歪み補正パラメータの推定に必要な画像を簡単に得られるデジタルカメラやスキャナー等の撮像装置を提供することにある。本発明のもう一つの目的は、歪み補正パラメータを推定して歪曲収差を補正した高精度画像を得られるデジタルカメラやスキャナー等の撮影装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明によれば、デジタルカメラ等の撮像装置の撮像系は、レンズ系に被写体からの光を異なった入射角で同時又は順次に入射させることにより、同じ被写体の異なった２つの画像を同時又は順次に撮像素子に結像させるような構成とされる。すなわち、レンズ系の前方に反射鏡を配し、被写体からの光を直接的にレンズ系に入射するとともに反射鏡で反射させてからレンズ系に入射させることにより、被写体の２つの画像を、レンズ系の後方に位置する撮像素子に同時に結像させる（請求項１）。
【０００９】
このような撮像系を持つ本発明のデジタルカメラ等の撮像装置は、撮像素子に結像された２つの画像のデータを保存するメモリと、このメモリに保存された２つの画像のデータに基づき画像の歪みを補正するためのパラメータを推定する手段を有し（請求項２）、さらに推定されたパラメータを利用してメモリに保存された一方の画像データに対し歪み補正を施す手段をさらに有する（請求項３）。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施例を説明する。図１は、本発明によるデジタルカメラの撮像系の一例を簡略化して示している。図１において、撮像系１００はカメラ本体に付属するホルダー１０１内にレンズ系１０２、反射鏡１０３、撮像素子としてのＣＣＤ１０４等を組み込んだ構造である。レンズ系１０２は、ホルダー１０１に沿って光軸方向に進退可能である。レンズ系１０２の位置を検出するために、位置センサー１０５も設けられている。この位置センサー１０５の検出出力から、レンズ系１０２の光学中心（仮想中心）とＣＣＤ１０４の画像面との距離を計測できる。なお、レンズ系１０２の駆動機構がある場合で、その駆動機構がそれ自体でレンズ系１０２の位置つまりその光学中心と画像面との距離を認識できるか、もしくは決定付けることができるときは、位置センサー１０５がなくてもよい。また、後述の歪曲収差補正パラメータの推定処理にレンズ系と画像面との距離も推定するアルゴリズムを採用する場合は、レンズ系と画像面の距離そのものを測定する必要がないため位置センサー１０５は不要である。
【００１１】
被写体からの光の一部は、実線の光路Ａに示すように、レンズ系１０２に直接入射し、ＣＣＤ１０４の画像面上に結像する。同じ被写体からの光の一部は、破線の光路Ｂに示すように、反射鏡１０３によって反射されてからレンズ系１０２に斜め方向から入射し、ＣＣＤ１０４の画像面上に結像する。このように、同一の被写体からの光が、異なった方向からレンズ系１０２に入射するため、同じ被写体は２つの異なった像として撮影される。光路Ｂにより撮影される像は、光路Ａにより撮影される像に対し上下が反転した像である。
【００１２】
ＣＣＤ１０４の画像面は、機能的に図２に示すように２つの部分領域ＩＭＧａ，ＩＭＧｂに分割される。部分領域ＩＭＧａは光路Ａによる通常の像が形成される領域であり、他方の部分領域ＩＭＧｂ（斜線部）は光路Ｂによる上下反転像が形成される領域である。遠方の被写体からの光はレンズ系１０２の光軸とほぼ平行に入射するため、反射鏡１０３の角度が固定であっても、レンズ系１０２の光軸と部分領域ＩＭＧｂとの距離ｙはほぼ一定に保たれる。なお、部分領域ＩＭＧａ，ＩＭＧｂをそれぞれ独立した撮像素子に置き換えることも可能である。
【００１３】
図３は、本発明によるデジタルカメラの撮像系の他の例を簡略化して示している。図３において、撮像系２００はカメラ本体に付属するホルダー２０１内にズームレンズ系２０２、反射鏡２０３、撮像素子としてのＣＣＤ２０４等を組み込んだ構造である。ズームレンズ系２０２は、ホルダー２０１に沿って光軸方向に進退可能であり、ズーム駆動機構２０６により駆動される。ズームレンズ系２０２の位置を検出するために、位置センサー２０５も設けられている。この位置センサー２０５の検出出力から、ズームレンズ系２０２の光学中心（仮想中心）とＣＣＤ２０４の画像面の距離を計測できる。
【００１４】
なお、最近のカメラは、小型化を指向するまり、焦点距離が短くなってきているため、通常の撮影条件ではレンズと画像面の距離が殆ど変化しない場合が増えている。このような条件では、レンズと画像面の距離を測定するセンサーの精度が不十分であると、レンズと画像面との実際の距離と、測定した距離との誤差が大きくなることがある。したがって、この場合は位置センサー２０５に代えて焦点距離のセンサーを設けてもよい。あるいは、ズーム駆動機構２０６がそれ自体でズームレンズ系２０２の位置つまりその光学中心と画像面との距離又は焦点距離を認識できるか、もしくは決定付けることができるときは、位置センサー２０６もしくは焦点距離センサーがなくてもよい。さらに、後述の歪曲収差補正パラメータの推定処理に、ズームレンズ系２０２と画像面の距離も推定するアルゴリズムを採用する場合には、レンズ系と画像面の距離そのものを測定する必要がないため位置センサー２０５もしくは焦点距離センサーは不要である。
【００１５】
ＣＣＤ２０４の画像面は、前述のＣＣＤ１０４と同様、機能的に図２に示すように２つの部分領域ＩＭＧａ，ＩＭＧｂに分割して利用される（ただし、各部分領域をそれぞれ独立した撮像素子としてもよい）。被写体からの光の一部は、ズームレンズ系２０２に直接入射し、ＣＣＤ２０４の画像面の部分領域ＩＭＧａ上に結像するが、同じ被写体からの光の一部は反射鏡２０３によって反射されてからズームレンズ系２０２に斜め方向から入射し、ＣＣＤ２０４の画像面の他方の部分領域ＩＭＧｂ上に結像する。このように、同一の被写体からの光が、異なった方向からズームレンズ系２０２に入射するため、同じ被写体が２つの異なった像として撮影される。反射鏡２０３を経由して撮影される像は、反射鏡２０３を経由しないで撮影される像に対し上下が反転した像である。
【００１６】
ズーム駆動機構２０６によりズームレンズ系２０２が符号２０２’で表した位置まで移動させられたとき（通常、近接被写体の撮影時）、ＣＣＤ画像面の部分領域ＩＭＧｂに同じ被写体付近の像が結像するのが望ましい。そこで、この時に、ズームレンズ系２０２の光軸付近の被写体を部分領域ＩＭＧｂに結像させるように、反射鏡駆動機構２０７が反射鏡２０３を前方へ移動させるとともに反射鏡２０３の角度を調整する（破線２０９はこの時の光路）。ただし、通常はズームレンズ系２０２の移動による入射角の変化は小さく無視しても影響は少ないので、反射鏡２０３を一定角度に保ってもよい。ズームレンズ系２０２の移動量をＳとすると、反射鏡２０３の移動量は２Ｓである。
【００１７】
図４は、本発明によるデジタルカメラの処理制御系の一例を示す簡略化されたブロック図である。図４において、画信号回路部３００は図１又は図３に示した撮像系１００又は２００のＣＣＤ１０４又は２０４からの画信号の読み出し、画信号のレベル制御、アナログ−デジタル変換等を行って、撮影された画像のデータを入力する。ＣＣＤ１０４又は２０４の画像面の一方の部分領域ＩＭＧａに結像した画像のデータは一方のメモリ３０２に格納され、他方の部分領域ＩＭＧｂに結像した画像のデータは他方のメモリ３０３に格納される。ただし、部分領域ＩＭＧｂに結像した画像は上下反転画像であるので、その画像データは上下反転回路３０１によって再度上下反転されるようアドレス変換されてメモリ３０３に格納される。このようにして、メモリ３０２，３０３に同じ向きの２つの画像のデータが格納される。
【００１８】
処理制御部３０４は、撮影した画像の歪曲収差補正パラメータの推定処理、歪曲収差補正処理等の画像処理と、撮像系の制御（例えば図３のズーム駆動機構２０５、反射鏡駆動機構２０７の制御等）を行う部分であり、具体的には例えばマイクロプロセッサ、メモリ、インターフェイス回路等から構成される。撮像系の位置センサー１０５又は２０５の検出出力、カメラ利用者により操作される各種操作キー３０５からの指示情報も処理制御部３０４に入力する。メモリ３０２内の画像データの歪み補正結果は、そのままの形で、あるいは画像圧縮処理を施された後に画像メモリ３０６に格納される。次に、歪曲収差補正パラメータの推定の基礎となる関係式を説明する。
【００１９】
図５は、ある対象物をカメラで撮影した時の光軸と入射光のなす角度Φｉ，Φｊと、レンズ系を通過した後の光軸に対する角度Φｉ’，Φｊ’、同じ対象物をカメラを傾けて撮影した時の像の光軸となす角度Φｉ”，Φｊ”（図中の破線）の関係を示している。Ｆはレンズ系の光学中心から画像面までの距離である。このときに、次に示す（１）から（５）の関係式が成り立つ。ただし、Φは真の値、Φｉｏ’，Φｊｏ’，Φｉｏ”，Φｊｏ”は観測値Φｉ’，Φｊ’，Φｉ”，Φｊ”から算出した真値の予測値である。
【００２０】
【数１】
【数２】
【数３】
【数４】
【数５】
上記（３）式が歪み補正式である。同じ対象物を同一地点から異なったカメラ方位で撮影した２枚（又はそれ以上）の画像の情報から、この歪み補正パラメータＡ，Ｂを推定して歪み補正式を決定することができる。普通のデジタルカメラを利用して、そのような２枚の画像を得るには、ある方位で被写体を１度撮影し、同じ地点でカメラを所要角度だけ振って同一被写体をもう１度撮影する必要がある。これに対し、前述のような撮像系を持つ本発明のデジタルカメラによれば、１回の撮影操作で、そのような２枚の画像を撮影し、その画像データをメモリ３０２，３０３に得ることができるわけである。
【００２６】
図６は、異なったカメラ方位で撮影された２枚の画像上の対応した点と、それらの歪み補正後の真の位置を模式的に示している。図６において、ｐｉ’とｐｉ”、ｐｊ’とｐｊ”はそれぞれ異なったカメラ方位で撮影した２つの画像上の同一パターンの位置であり、ｐｉｏ’とｐｉｏ”は歪みが補正されたｐｉ’とｐｉ”の真の位置、同じくｐｊｏ’とｐｊｏ”は歪みが補正されたｐｊ’とｐｊ”の真の位置である。なお、ｐｉ’とｐｉｏ’、ｐｉ”とｐｉｏ”、ｐｊ’とｐｊｏ’、ｐｊ”とｐｊｏ”は本来同一方位であるが、意図的にずらして表されている。Ｃはレンズ系の光学中心、Ｏは２枚の画像の中心である。誤差の評価値Ｅは複数の共通パターンについて加算する。
【００２７】
撮影される物体間の角度は、カメラ方位の変化には依存しないから（光軸回りの回転があっても）、２枚の画像を撮影した視点が移動しない限り
∠ｐｊｏ’ Ｃ ｐｉｏ’ ＝ ∠ｐｉｏ” Ｃ ｐｉｏ”
の関係が常に成り立つ。よって、前記（４）式と等価な次式が得られる。
【００２８】
【数６】
この式は角度で誤差を評価する式であるが、撮影された画像の中心を原点としたｘｙ座標で次のように表すこともできる。
【００３０】
【数７】
この誤差評価式はパラメータＡを陽に含む形式に表すことができるから、本式より∂Ｅ／∂Ａを求めることができる。
【００３２】
以下、処理制御部３０４における補正パラメータ推定処理について説明する。まず、レンズ系と撮像素子の画像面との距離を予め特定できる場合の処理について説明する。図７に、この場合の処理フローを示す。
【００３３】
最初のステップＳ１において、Ａ＝Ａｏ、Ｂ＝０に初期設定する。また、位置センサー１０５又は２０５の検出出力より求まる距離、あるいはズーム駆動機構２０６で認識もしくは決定付けされた距離を、Ｆの値に設定する。
【００３４】
次のステップＳ２において、メモリ３０２，３０３上の２枚の画像より、それらに共通する評価用パターンを抽出する。そして、観測点として、一方の画像における評価用パターン上の特定点と、それに対応した他方の画像の評価用パターン上の特定点とのペアを２組検出する。図６と対照させると、一方のペアの観測点Ｐｉ’，Ｐｉ”を検出し、それぞれの座標系における座標値（Ｘｉ’，Ｙｉ’），
（Ｘｉ”，Ｙｉ”）を前記（５）式を変形した次の（８）式により角度変数で表現し、また、もう一方のペアの観測点Ｐｊ’，Ｐｊ”を検出し、それぞれの座標系における座標値（Ｘｊ’，Ｙｊ’），（Ｘｊ”，Ｙｊ”）を、（８）式に従って角度変数で表現する。
【００３５】
【数８】
ステップＳ３において、前ステップで得られたΦｉ’，Φｉ”とΦｊ’，Φｊ”を次式のΦ’に代入し解を求める。その解をΦｉｏ’，Φｉｏ”，Φｊｏ’，Φｊｏ”とする。
【００３７】
【数９】
この式は、前記（１）式に前記（３）式を代入して得られる方程式である。
ステップＳ４において、前記（４）式により誤差評価値Ｅを算出し、誤差評価値Ｅの収束判定をする。誤差評価値Ｅが収束していないと判断したときは、次のステップＳ５において、Ａの現在値にΔＡの値を加えた値をＡの値とし、ステップＳ３に戻る。なお、Ａの増分ΔＡは、任意の小さな一定値に選んでもよいが、（４）式、（９）式、ΔＥ＝（∂Ｅ／∂Ａ）ΔＡの関係式からΔＡを求めてもよい（ただし、ΔＥ＝Ｅとおく）。ステップＳ４で誤差評価値Ｅが収束したと判断されるまでステップＳ３からステップＳ５の処理ループが繰り返えされる。
【００３９】
ステップＳ４で誤差評価値Ｅが収束したと判断されたときは、Ａの値が決まったので、今度はＢを決めるためにステップＳ６に進み、メモリ３０２，３０３上の２枚の画像よりＢの決定のための別の共通パターンがあるか調べる。別の共通パターンが見つからなければ処理は終わる（Ｂの値は０に決まる）。
【００４０】
別の共通パターンが見つかったならば、次のステップＳ７においてＢを初期値Ｂｏに設定する。次のステップＳ８において、ステップＳ６で新たに見つかった共通パターンを評価用パターンとして、それぞの評価用パターン上の対応した観測点のペアを２組検出し、前記（８）式により各観測点の座標を角度変数で表現する。
【００４１】
次のステップＳ９において、前ステップで求められたΦｉ’，Φｉ”，Φｊ’，Φｊ”を前記（９）式に代入し、解を求める。その解をΦｉｏ’，Φｉｏ”，Φｊｏ’，Φｊｏ”とする。そして、次のステップＳ１０において、前記（４）式により誤差評価値Ｅを算出し、その収束判定を行う。誤差評価値Ｅが収束していないと判断されたならば、次のステップＳ１１において、Ｂの現在値に増分ΔＢを加えた値をＢの値とし、ステップＳ９に戻る。ΔＢは、任意の小さな一定値を選んでもよいが、（４）式、（９）式、ΔＥ＝（∂Ｅ／∂Ｂ）ΔＢの関係式からΔＢを求めてもよい（ただし、ΔＥ＝Ｅとおく）。
【００４２】
ステップＳ１０で誤差評価値Ｅが収束したと判断されるまで、ステップＳ９からステップＳ１１までの処理ループが繰り返される。ステップＳ１０でＥが収束したと判断されたならば、Ａ，Ｂ共に値が決まったということであり、パラメータ推定処理は終了する。このようにしてＡ，Ｂが決まれば、歪み補正式が確定する。なお、補正パラメータは必ずしも１回で決定する必要はなく、誤差の評価を画像の中心部から周辺へと行って、複数回のサイクルで決定してもよい。
【００４３】
次に、レンズ系と撮像素子の画像面との距離を予め特定できない場合、あるいは距離の測定精度が不十分な場合に、距離Ｆを推定もしくは調整しながら補正パラメータＡ，Ｂを推定する処理について説明する。図８に、この場合の処理フローを示す。
【００４４】
最初のステップＳ２１において、Ａ＝Ａｏ、Ｆ＝Ｆｏ、Ｂ＝０の初期設定が行われ、また、Ｆの増分ΔＦとして適当な小さな値が設定される。
次のステップＳ２２において、メモリ３０２，３０３上の２枚の画像より、それらに共通するパターンを評価用パターンとして抽出する。そして、観測点として、一方の画像における評価用パターン上の特定点と、それに対応した他方の画像の評価用パターン上の特定点とのペアを２組検出する。すなわち、図６と対照させると、一方のペアの観測点Ｐｉ’，Ｐｉ”を検出し、それぞれの座標系における座標値（Ｘｉ’，Ｙｉ’），（Ｘｉ”，Ｙｉ”）を前記（８）式により角度変数で表現し、また、もう一方のペアの観測点Ｐｊ’，Ｐｊ”を検出し、それぞれの座標系における座標値（Ｘｊ’，Ｙｊ’），（Ｘｊ”，Ｙｊ”）を前記（８）式により角度変数で表現する。
【００４５】
ステップＳ２３において、前ステップで得られたΦｉ’，Φｉ”，Φｊ’，Φｊ”を（９）式のΦ’に代入し解を求める。その解をΦｉｏ’，Φｉｏ”，Φｊｏ’，Φｊｏ”とする。次のステップＳ２４において、前記（４）式により誤差評価値Ｅを算出し、誤差評価値Ｅの収束判定をする。収束したと判断されたときにはステップＳ２６へ進む。そうでなければステップＳ２５へ進み、Ａの現在値に増分ΔＡを加算した値をＡの値とし、ステップＳ２３へ戻る。なお、増分ΔＡは、図７のステップＳ５で説明したようにΔＥ＝（∂Ｅ／∂Ａ）ΔＡの関係式から求めてもよい。誤差評価値Ｅが収束したと判断されるまで、ステップＳ２３からステップＳ２５までの処理ループが繰り返される。
【００４６】
ステップＳ２４において、Ｅが収束したと判断されたときには、ステップＳ２６に進む。ステップＳ２６において、２枚の画像に共通する別のパターンが見つかるか調べる。見つからなければ、処理は終了する。見つかったならば、その共通パターンを新しい評価パターンとして用い、ステップＳ２７以降の処理により改めてＡの値（これをＡ’と置く）を求める。
【００４７】
まず、ステップＳ２７においてＡ’を初期値Ａ’ｏに設定する。次のステップＳ２８において、ステップＳ２２と同様に、２枚の画像の新しい評価用パターン上の対応した観測点のペアを２組検出し、その観測点の座標値を角度変数に変換する。次のステップＳ２９において、前ステップで得られたΦｉ’，Φｉ”，Φｊ’，Φｊ”を（９）式のΦ’に代入し解を求める。その解をΦｉｏ’，Φｉｏ”，Φｊｏ’，Φｊｏ”とする。次のステップＳ３０において、前記（４）式による誤差評価値Ｅを算出し、そして、誤差評価値Ｅの収束判定をする。収束したと判断されたときにはステップＳ３２へ進むが、そうでなければステップＳ３１へ進み、Ａ’の現在値に増分ΔＡを加えた値をＡ’の値としてステップＳ２９に戻る。
【００４８】
ステップＳ２９からステップＳ３１までの処理ループにより誤差評価値Ｅが収束すると、同ループを抜けてステップＳ３２に進み、｜Ａ−Ａ’｜の収束判定を行う。収束していないと判断された場合には、ステップ３３においてＦの現在値に増分ΔＦの値を加えた値をＦの新しい値とし、また、Ａに初期値Ａｏを設定してから、ステップＳ２２以下の処理を再び実行する。すなわち、Ｆを変更して、Ａの値を改めて求めることになる。２回目以降のステップＳ２２において用いる評価用パターンと観測点は１回目のステップ２２で用いたものと同じでよく、必要な処理は、新しいＦ値を用いて１回目と同じ観測点の座標値を角度変数で表現し直す処理だけである。この後にステップＳ２８に進んだ時にも同様であって、１回目のステップ２８で検出したもとの同じ観測点の座標値を新しいＦ値を用いて角度変数で表現し直すだけでよい。
【００４９】
さて、ステップＳ３２において｜Ａ−Ａ’｜が収束したと判断された場合、現在のＡ又はＡ’の値がＡの値として決まり、またＦの値も決定されたということであり、次にＢの値を決めるためにステップＳ３４に進む。ステップＳ３４において、Ｂに初期値Ｂｏが設定される。
【００５０】
次のステップＳ３５において、ステップＳ２２又はステップＳ２８で最後に得られたΦｉ’，Φｉ”，Φｊ’，Φｊ”を（９）式のΦ’に代入して解を求める（Ａは決定済み）。次のステップＳ３６において前記（４）式により誤差評価値Ｅを算出し、そして誤差評価値Ｅの収束判定をする。収束したと判断されたときにはＡ，Ｂ，Ｆの値が全て決まり、よって歪み補正式が確定したので処理は終了する。収束していないと判断されたときには、ステップＳ３７へ進み、Ｂの現在値にΔＢの値を加算した値をＢの値としてステップＳ３５に戻る。なお、増分ΔＢは、任意の小さな値を選んでもよいが、図７のステップＳ１１で説明したような方法で求めることもできる。ステップＳ３５からステップと３７までの処理ループがステップＳ３６で誤差評価値Ｅが収束したと判断されるまで繰り返される。なお、補正パラメータは必ずしも１回で決定する必要はなく、誤差の評価を画像の中心部から周辺へと行って、複数回のサイクルで決定してもよい。
【００５１】
以上のような処理によって補正パラメータＡ，Ｂが推定され、また距離Ｆが測定又は推定されたならば、処理制御部３０４において、メモリ３０２上の画像データの歪曲収差補正を行うことができる。例えば、メモリ３０２上の画像の各画素の座標を（８）式により角度変数に変換し、その角度を（９）式のΦ’に代入して真の角度Φを求め、この真の角度Φを（５）式により補正画像上の座標に変換し、この座標に補正前の画素値を与えるという処理を繰り返すことにより、歪曲収差歪みが高精度に補正された補正画像データを画像メモリ３０６上に生成する。
【００５２】
以上説明した本発明によるデジタルカメラの撮像系の例は、レンズ系の前方に反射鏡を配置し、反射鏡で反射され斜め方向からレンズ系に入射した像も正面からレンズ系に入射した像も同時に撮影することよって、カメラを振って異なった方位から同一被写体を２度撮影した場合と等価な２枚の画像を１回の撮影操作で得る構成であったが、反射鏡を使わない構成も可能である。そのような撮像系の一例を簡略化して図９に示す。
【００５３】
図９に示した撮像系４００は、ホルダー４０１内にレンズ系４０２が駆動素子４０３ａ，４０３ｂにより支持されており、駆動素子４０３ａ，４０３ｂがホルダー４０１の内面に沿って高速に滑りながらレンズ系４０２を駆動することにより、レンズ系４０２の方位角を高速に変化させる構成である。このような撮像系４００と組み合わされる処理制御系は図４に示したものと同様の構成でよいが、上下反転回路３０１は不要である。
【００５４】
カメラ利用者の１回の撮影操作によって、処理制御部３０４の制御に従い、駆動素子４０３ａ，４０３ｂがレンズ系４０２を垂直姿勢４０２’にし、この状態でＣＣＤ４０４に結像した被写体の画像を読み取ってメモリ３０２に格納すると、直ちに駆動素子４０３ａ，４０３ｂが所定量だけ前後に移動してレンズ系４０２を図示のように所定の角度だけ傾けた状態にし、この状態で結像された同じ被写体の画像を読み取ってメモリ３０３に格納する。このようにして、異なったカメラ方位で同じ被写体を２回撮影した場合と等価な２枚の画像を得ることができる。撮影した画像の補正パラメータ推定は前述の例と同様である。なお、レンズ系４０２の方位角を異ならせて３枚以上の画像を撮影することも可能である。前述のように、レンズ系４０２の位置センサーは設けても設けなくともよい。
【００５５】
以上、本発明によるデジタルカメラの例を説明したが、本発明は、レンズ系を用いて画像を撮影するスキャナー等の他の撮像装置に対しても同様に適用できることは明らかである。
【００５６】
【発明の効果】
以上の説明から明らかなように、本発明によれば、面倒な操作を行わずに歪曲収差の補正パラメータの推定に必要な２枚（または３枚以上）の画像を撮影可能なデジタルカメラ等を実現できる。面倒な操作を行わずに、撮影した画像の歪曲収差の補正パラメータを推定できるデジタルカメラ等を実現できる。歪曲収差による歪みが補正された高精度画像を簡単に得ることが可能なデジタルカメラ等を実現できる、等の効果を得られるものである。
【図面の簡単な説明】
【図１】本発明によるデジタルカメラの撮像系の一例を示す概略構成図である。
【図２】ＣＣＤの画像面の領域分割を示す図である。
【図３】本発明によるデジタルカメラの撮像系の他の例を示す概略構成図である。
【図４】本発明によるデジタルカメラの処理制御系の一例を示す概略ブロック図である。
【図５】歪曲収差歪み補正の基礎関係式を説明するための図である。
【図６】異なったカメラ方位で撮影された同一パターンの画像平面上の位置と、その歪み補正後の位置を示す図である。
【図７】補正パラメータ推定処理の一例を表したフローチャートである。
【図８】補正パラメータ推定処理の他の例を表したフローチャートである。
【図９】本発明によるデジタルカメラの撮像系の他の例を示す概略構成図である。
【符号の説明】
１００ 撮像系
１０１ ホルダー
１０２ レンズ系
１０３ 反射鏡
１０４ ＣＣＤ（撮像素子）
１０５ 位置センサー
２００ 撮像系
２０１ ホルダー
２０２ ズームレンズ系
２０３ 反射鏡
２０４ ＣＣＤ（撮像素子）
２０５ 位置センサー
２０６ ズーム駆動機構
２０７ 反射鏡駆動機構
３００ 画信号回路部
３０１ 上下反転回路
３０２，３０３ メモリ
３０４ 処理制御部
３０５ 操作キー
３０６ 画像メモリ
４００ 撮像系
４０１ ホルダー
４０２ レンズ系
４０３ａ，４０３ｂ 駆動素子
４０４ ＣＣＤ（撮像素子）
Claims (3)
- レンズ系と、該レンズ系の前方に位置する反射鏡と、レンズ系の後方に位置する撮像素子とを具備し、被写体からの光が直接的に該レンズ系に入射するとともに該反射鏡で反射された後に該レンズ系に入射することにより、該被写体の異なった２つの画像が該撮像素子に同時に結像する撮像系を有することを特徴とするデジタルカメラ等の撮像装置。
- 撮像素子に結像された２つの画像のデータを保存するメモリと、該メモリに保存された２つの画像のデータに基づき画像の歪みを補正するためのパラメータを推定する手段とをさらに有することを特徴とする請求項１記載の撮像装置。
- 推定されたパラメータを利用してメモリに保存された一方の画像データに対し歪み補正を施す手段をさらに有することを特徴とする請求項２記載の撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26191696A JP3618925B2 (ja) | 1996-10-02 | 1996-10-02 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26191696A JP3618925B2 (ja) | 1996-10-02 | 1996-10-02 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10108050A JPH10108050A (ja) | 1998-04-24 |
| JP3618925B2 true JP3618925B2 (ja) | 2005-02-09 |
Family
ID=17368522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26191696A Expired - Fee Related JP3618925B2 (ja) | 1996-10-02 | 1996-10-02 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3618925B2 (ja) |
-
1996
- 1996-10-02 JP JP26191696A patent/JP3618925B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10108050A (ja) | 1998-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7260270B2 (en) | Image creating device and image creating method | |
| KR101632578B1 (ko) | 촬영 화상의 보조 정보를 생성하는 촬상장치, 화상처리장치, 및 화상처리방법 | |
| CN107864315B (zh) | 摄像设备、摄像设备的控制方法和记录介质 | |
| CN104735347A (zh) | 自动聚焦调节方法和设备 | |
| JP3950188B2 (ja) | 画像歪み補正用パラメータ決定方法及び撮像装置 | |
| JP3530906B2 (ja) | 結像位置検出プログラムおよびカメラ | |
| JP5216137B2 (ja) | カメラおよびカメラの制御方法 | |
| JP2002071309A (ja) | ３次元画像検出装置 | |
| JP6014452B2 (ja) | 焦点検出装置及びそれを有するレンズ装置及び撮像装置 | |
| JPH05257062A (ja) | 自動焦点装置 | |
| JP2017037103A (ja) | 撮像装置 | |
| JP4334784B2 (ja) | オートフォーカス装置及びそれを用いた撮像装置 | |
| JP2018137613A (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
| JP2019168479A (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
| JP5377092B2 (ja) | 撮像装置及び測距方法 | |
| JP4085720B2 (ja) | デジタルカメラ | |
| JP3618925B2 (ja) | 撮像装置 | |
| JP6728005B2 (ja) | 撮像装置、撮像方法およびプログラム | |
| JP3725606B2 (ja) | 撮影装置 | |
| JP2004361431A (ja) | 撮像装置 | |
| JP2000019386A (ja) | カメラ | |
| JP4282300B2 (ja) | カメラの測距装置 | |
| JP2005134617A (ja) | 焦点検出装置 | |
| JP7187185B2 (ja) | 撮像装置およびその制御方法 | |
| JP4003274B2 (ja) | 距離測定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040405 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |