JP3950188B2

JP3950188B2 - 画像歪み補正用パラメータ決定方法及び撮像装置

Info

Publication number: JP3950188B2
Application number: JP27329496A
Authority: JP
Inventors: 公一江尻; 伸青木; 海克関
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1996-02-27
Filing date: 1996-10-16
Publication date: 2007-07-25
Anticipated expiration: 2016-10-16
Also published as: US6366360B2; JPH09294225A; US20010014180A1

Description

【０００１】
【発明の属する技術分野】
本発明は、一般的にはデジタルカメラ等によって撮影された画像の処理に係り、より詳しくは、デジタルカメラ等により撮影された画像の歪み等の補正及びデジタルカメラ等の撮像装置に関する。
【０００２】
【従来の技術】
デジタルカメラ、ビデオカメラ等の撮像装置によって撮影された画像には、いわゆるレンズ系の歪曲収差によって、像が本来あるべき位置からずれた位置に結像することによる幾何学的な歪みが含まれている。これまで、レンズの設計技術によって歪曲収差を回避する努力がなされてきた。しかし、デジタルカメラ、ビデオカメラ等のレンズ系は、ズーム機能や自動焦点機能等の装備が一般的になるなど高機能化が進むにつれて、レンズ設計技術だけでは歪曲収差の回避が困難になっている。
【０００３】
その一方で、デジタル画像の高精細化に伴って、画像計測、画像合成、画像編集等の新たなニーズが登場し、今後も増加の一途であるため、画像の高精細化、高品質化に対する要求がますます高まると予想される。しかし、現在のデジタルカメラ等は、そのような目的を達成するための条件を十分に満たしているとは言い難い。
【０００４】
例えば、画像の貼り合わせ合成の場合を考える。現在のカメラレンズは、最大７％もの歪曲収差がある。このような歪曲収差による画像の幾何学的歪みは、画像を１枚１枚単独で利用する場合にはそれほど大きな問題にはならないことが多いであろう。しかし、複数枚の画像を２次元的に貼り合わせて大きな画像を合成する場合には、画像の境界でミスマッチが生じてしまい、画像間のスムーズな接続が得られないため、歪曲収差の補正は不可欠である。さらに、現在のデジタルカメラ等は、ホワイトバランスやダイナミックレンジが画像１枚ごとに設定されるため、複数の画像を貼り合わせる場合には、隣り合った画像の境界で明るさや色合いの不連続が生じやすい。
【０００５】
同様のことは、多重ズームイン／ズームアウトにより、解像度の異なった複数枚の画像を重ね合わせ合成する場合にも言える。異なった方位から対象物を撮影した画像より、対象物の３次元的情報を抽出するような計測分野においても、幾何学的精度の高い画像が要求される。
【０００６】
高い精度を要求される宇宙観測、医学応用等の個別分野では、テーブルルックアップ方式により画素位置毎に歪曲収差を高精度に補正する技術が利用されている。しかし、この歪みは非線形歪みであり、それに関与するパラメータは焦点距離、ピント位置、絞りがあり、補正テーブルを作るにはこれら３つのパラメータを高い精度で検出する必要があるが、これが容易でない。そのため、テーブルルックアップ方式は、固定焦点レンズ系の応用に限られていた。例えば特開平３−２４２５２６号の「カメラの歪曲収差更正方法」では、レンズ系が固定された状態で白黒縞パターン（テストチャート）を撮影して歪曲収差パラメータを推定するので、ピントずらし、ズーム等で条件が変わると、それぞれの条件で白黒縞パターンを撮影し直してパラメータの推定を行う必要がある。
【０００７】
【発明が解決しようとする課題】
従来の歪曲収差補正技術には、上に述べたように固定焦点レンズ系の応用に制限されるという問題点もあるが、さらに大きな問題点は、保存されている撮影済み画像に対し歪曲収差補正を施すといった目的には適用できないことである。
【０００８】
本発明の目的は、上に述べた問題点を解消し、デジタルカメラ等によって撮影された画像の幾何学的歪みを高精度に補正するための、より汎用性のある技術を提供することにある。
【０００９】
本発明のもう一つの目的は、撮影した複数の画像の張り合わせ合成等の際に必要な１枚１枚の画像の歪み、明るさ、色合いの高精度な補正を、撮影に利用したデジタルカメラ等とは別のコンピュータ等の機器で容易に行うことができるようにしたデジタルカメラ等の撮像装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明では、デジタルカメラ等の撮像装置によって一地点から異なった撮影条件で撮影されたそれぞれ共通パターンを含む複数枚の画像より、複数組の対応した観測点を検出し、前記検出した観測点それぞれについて、撮像レンズ系の光軸に対する角度を求め、撮像レンズ系の光軸に対する角度を変数とする歪曲収差関数に基づき、該関数のパラメータ値を変化させながら、前記求めた角度を歪曲収差補正し、前記補正後の角度に基づき、各画像の対応した観測点ペアのなす角度の差が最小となるパラメータ値を決定して、当該画像に対する歪み補正のためのパラメータを推定する（請求項１）。また、画像歪み補正用パラメータとして、撮像レンズ系の歪曲収差係数、あるいは、歪曲収差係数及び撮像レンズ系の光学中心と画像面との距離が推定される（請求項２、請求項３）。
【００１１】
また、本発明によれば、画像を撮影するデジタルカメラ等の撮像装置が提供される。この撮像装置の特徴は、当該撮像装置によって一地点から異なった撮影条件で撮影されたそれぞれ共通パターンを含む複数枚の画像より、複数組の対応した観測点を検出し、前記検出した観測点それぞれについて、撮像レンズ系の光軸に対する角度を求め、撮像レンズ系の光軸に対する角度を変数とする歪曲収差関数に基づき、該関数のパラメータ値を変化させながら、前記求めた角度を歪曲収差補正し、前記補正後の角度に基づき、各画像の対応した観測点ペアのなす角度の差が最小となるパラメータ値を決定して、当該画像に対する歪み補正のためのパラメータを推定する推定手段を有し、推定された画像の歪み補正のためのパラメータが外部よりアクセス可能なメモリに保存されることである（請求項４）。さらには、推定された画像の歪み補正のためのパラメータが画像のデータの一部として外部よりアクセス可能なメモリに保存されること（請求項５）、推定された画像の歪み補正のためのパラメータ、並びに、画像の明るさの補正のためのパラメータ及び色合いの補正のためのパラメータが、外部よりアクセス可能なメモリに保存されること（請求項６）、少なくとも一部のパラメータは画像のデータの一部として外部よりアクセス可能なメモリに保存されること（請求項７）、複数のメモリを持ち、画像の歪み補正のためのパラメータ、並びに、画像の明るさ補正のためのパラメータ及び画像の色合い補正のためのパラメータの保存場所を前記複数のメモリより任意に選択可能であること（請求項８）である。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を明らかにするため、図面を用いて本発明を具体的に説明する。
【００１３】
まず、画像の歪み補正に関して説明する。図１は、ある対象物をカメラで撮影した時の光軸と入射光のなす角度Φi,Φｊと、その像の光軸に対する角度Φi’，Φj’、同じ対象物をカメラアングルをずらして撮影した時の像と光軸とのなす角度Φi”，Φj”（図中の破線）の関係を示している。Ｒはレンズ系の光学中心から画像面までの距離である。このときに、次に示す（１）式から（５）式の関係が成り立つ。ただし、Φは真の値、Φio’，Φjo’，Φio”，Φjo”は観測値Φi’，Φj’，Φi”，Φj”から算出した真値の予測値である。
【００１４】
【数１】

【００１５】
【数２】

【００１６】
【数３】

【００１７】
【数４】

【００１８】
【数５】

【００１９】
上記（３）式が歪曲収差関数である。本発明の原理は、同じ対象物を同一地点から異なった撮影条件で撮影した２枚（又はそれ以上）の画像の情報から、その歪み補正のためのパラメータとして、（３）式の２次、４次の歪曲収差係数Ａ，Ｂを推定することによって、歪曲収差による画像の歪みの補正を達成しようとするものである。上記（５）式中のＲはレンズ系の光学中心から画像面までの距離であるが、このＲの値は、後述の「一次元の場合」には予め仮定して歪曲収差係数Ａ，Ｂを決定する（Ｒの値はある程度予測できる場合が多いから）。しかし、後述の「二次元の場合」には、歪曲収差係数Ａ，Ｂを求める処理において、Ｒの値も画像の情報に基づいて決定される。ただし、「一次元の場合」においても同様にＲ値を推定してもよいことは当然である。
【００２０】
次に、歪み補正用パラメータを決定する処理の具体例を説明する。この処理においては、一地点から同じ対象物（パターン）を異なった条件で撮影した２枚の画像より、対応した点（観測点）を２組以上抽出する。例えば、カメラを左右に振ったり回したりしながら同じ対象物を前後して撮影した２枚の画像より、共通の（同一の）パターンを抽出し、そのパターン上の特定点を観測点として用いる。このような画像として、デジタルカメラやビデオカメラで人物等を撮影したビデオフィルムの相前後した２コマの画像を例に挙げることができよう。そして、観測点が光軸を通る直線上に整列する形になるケースを「一次元の場合」と呼び、そうではなく、観測点が二次元画像平面上に分布する形になる場合（図２参照）を「二次元の場合」と呼ぶことにする。
【００２１】
［一次元の場合の例］
まず、一次元の場合における歪み補正用パラメータ決定処理の一例を説明する。図３は、その概略を示すフローチャートである。
【００２２】
最初のステップＳ１において、Ａ＝Ａｏ、Ｂ＝０に初期設定する。また、Ｒも予め決まった値を与える。
【００２３】
次のステップＳ２において、２枚の画像より、それらに共通する評価用パターンを抽出する。そして、観測点として、一方の画像における評価用パターン上の特定点と、それに対応した他方の画像の評価用パターン上の特定点とのペアを２組検出する。ここでは一次元の場合を想定しているので、これら観測点は光軸を通る直線上に整列する。一方のペアの観測点Ｐi’，Ｐi”のそれぞれの座標系における座標値（Ｘi’,Ｙi’）,（Ｘi”,Ｙi”）、他方のペアの観測点Ｐj’，Ｐj”のそれぞれの座標系における座標値（Ｘj’,Ｙj’），(Ｘj”,Ｙj”）を前記（５）式に従って角度変数Φで表現する。すなわち
【００２４】
【数６】

【００２５】
ステップＳ３において、前ステップで得られたΦi’，Φi”とΦj’，Φj”を（７）式のΦ’に代入し解Φを求める。その解をΦio’,Φjo’,Φio”,Φjo”とする。
【００２６】
【数７】

【００２７】
この（７）式は、前記（１）式に前記（３）式を代入して得られた方程式であり、ここではＢ＝０であるから、この方程式は３次の既約形方程式
ＡΦ³−Φ＋Φ’＝０
となる。これを解くためには、３次方程式の解法（カルダノの公式）により、
ｐ＝−１／（３Ａ），ｑ＝Φ’／（２Ａ）
と置き、続いて次のように変数変換をする。
【００２８】
【数８】

【００２９】
しかして、解は次のように表わされるが、ここでは実数解のみを考えるのでΦ1 のみを利用すればよい。
【００３０】
【数９】

【００３１】
なお、観測点が光軸を通る直線上に並んでいる一次元の場合、解Φ1 を前記誤差評価式（４）に代入すれば次の誤差評価式が得られる。
【００３２】
【数１０】

【００３３】
前記（７）式のΦ’,Φ”（測定値）に対応する解をΘ’,Θ”と置くときΘ’，Θ”はパラメータＡと測定値(Ｘ’,Ｙ’）,（Ｘ”,Ｙ”）によって定義されるから、ＥはＡの関数として表すこともでき、したがって（７）式から∂Ｅ／∂Ａを求めることができる。同様に、∂Ｅ／∂Ｂも求めることができる。
【００３４】
さて、ステップＳ４において、前記（１０）式により誤差評価値Ｅを算出し、そして、誤差評価値Ｅの収束判定をする。誤差評価値Ｅが収束していないと判断したときは、次のステップＳ５において、ΔＥ＝（∂Ｅ／∂Ａ）ΔＡの関係式からＡの増分ΔＡを求め（前記（１０）式又は後記（１２）式参照、ただし、ΔＥ＝Ｅ）、Ａの現在値にΔＡの値を加えた値をＡの値とし、ステップＳ３に戻る。ステップＳ４で収束したと判断されるまでステップＳ３からステップＳ５の処理ループが繰り返えされる。
【００３５】
ステップＳ４で収束したと判断されたときは、Ａの値が決まったので、今度はＢを決めるためにステップＳ６に進み、Ｂを初期値Ｂｏに設定する。次のステップＳ７において、２枚の画像よりＢの決定のための別の共通パターンがあるか調べる。別の共通パターンが見つからなければ処理は終わる（Ｂは初期値Ｂｏに決まる）。
【００３６】
別の共通パターンが見つかったならば、次のステップＳ８において、ステップＳ２と同様に、その共通パターンを評価用パターンとして、それぞの評価用パターン上の対応した観測点のペアを２組検出し、各観測点の座標を角度変数Φで表す。
【００３７】
次のステップＳ９において、前ステップで求められたΦi’，Φi”，Φj’，Φj”を前記（７）式に代入し、解Φを求める。その解をΦ’io，Φ’jo，Φio”，Φjo”とする。そして、次のステップＳ１０において、前記（１０）式により誤差評価値Ｅを算出し、その収束判定を行う。誤差評価値Ｅが収束していないと判断されたならば、次のステップＳ１１において、ΔＥ＝（∂Ｅ／∂Ｂ）ΔＢの関係式からＢの増分ΔＢを求める（前記（１０）式又は後記（１１）式若しくは（１２）式参照、ただし、ΔＥ＝Ｅ）。そして、Ｂの現在値に前ステップで求めたΔＢの値を加えた値をＢの値とし、ステップＳ９に戻る。ステップＳ１０で誤差評価値Ｅが収束したと判断されるまで、ステップＳ９からステップＳ１１までの処理ループが繰り返される。
【００３８】
ステップＳ１０でＥが収束したと判断されたならば、Ａ，Ｂ共に値が決まったということであり処理は終了する。以上のようにして、Ａ，Ｂが決まる。Ｒも予め分かっているから、必要な歪み補正用パラメータは決定した。
【００３９】
［二次元の場合の例］
次に、二次元の場合における歪み補正用パラメータ決定処理の一例を説明する。図４は、その概略を示すフローチャートである。
【００４０】
最初のステップＳ２１において、Ａ＝Ａｏ、Ｒ＝Ｒｏ、Ｂ＝０の初期設定が行われ、また、ΔＲとして適当に小さな値が設定される。
【００４１】
次のステップＳ２２において、２枚の画像より、それらに共通するパターンを評価用パターンとして抽出する。そして、観測点として、一方の画像における評価用パターン上の特定点と、それに対応した他方の画像の評価用パターン上の特定点とのペアを２組検出する。一方のペアの観測点Ｐi’，Ｐi”それぞれの座標系における座標値（Xi’,Yi’),（Xi”,Yi”）、他方のペアの観測点Ｐj’,Ｐj”のそれぞれの座標系における座標値（Xj’,Yj’),（Xj”,Yj”）を前記（６）式により角度変数Φで表現する。
【００４２】
なお、ここでは、前述の一次元の場合と異なり、評価用パターンもしくは観測点の相対的な位置関係は任意である。このような観測点と歪み補正の様子を図２に模式的に例示する。図２において、ｐi’とｐi”（又はｐj’とｐj”）は同一地点より異なったカメラ方位で同一点を撮影した画像平面上の観測点であり、これがステップＳ２２において検出された一組の観測点のペアであり、ｐio’とｐio”（又はｐjo’とｐjo”）は、観測点の歪みが補正された真の位置を表している。なお、図２において、ｐi’とｐio’は本来同一方位であるが、わざとずらして表されている。Ｃはレンズ系の光学中心を示す。
【００４３】
さて、物体間の角度は、カメラ方位の変化には依存しないから（光軸回りの回転があっても）、視点が移動しない限り常に
∠ ｐjo’Ｃｐio’ ＝ ∠ ｐjo” Ｃｐio”
の関係が常に成り立つ（制約条件１）。すなわち、次式が成り立つ。
【００４４】
【数１１】

【００４５】
この（１１）式は角度で誤差を評価する式であるが、これを（ｘ，ｙ）座標値で表現すれば次の誤差評価式が得られる。
【００４６】
【数１２】

【００４７】
処理の説明に戻る。ステップＳ２３において前ステップで得られたΦi’,Φi”，Φj’，Φj”を（７）式のΦ’に代入し解Φを求める。その解をΦio’,Φjo’，Φio”，Φjo”とする。次のステップＳ２４において、前記（１１）式により誤差評価値Ｅを算出し、誤差評価値Ｅの収束判定をする。収束したと判断されたときにはステップＳ２６へ進む。そうでなければステップＳ２５へ進み、ΔＥ＝（∂Ｅ／∂Ａ）ΔＡの関係式からΔＡを求める（前記（１０）式、（１１）式又は（１２）式参照、ただし、ΔＥ＝Ｅ）。そして、Ａの現在値にΔＡの値を加算した値をＡの値としてステップＳ２３に戻る。誤差評価値Ｅが収束したと判断されるまで、ステップＳ２３からステップＳ２５までの処理ループが繰り返される。
【００４８】
ステップＳ２４において、Ｅが収束したと判断されたときには、ステップＳ２６に進む。ステップＳ２６において、２枚の画像に共通する別のパターンが見つかるか調べる。見つからなければ、処理は終了する。見つかったならば、その共通パターンを新しい評価パターンとして用い、ステップＳ２７以降の処理により改めてＡの値（これをＡ’と置く）を求める。
【００４９】
まず、ステップＳ２７においてＡ’に初期値Ａ’oを設定する。次のステップＳ２８において、ステップＳ２２と同様に、２枚の画像の新しい評価用パターン上の対応した観測点のペアを２組検出し、その観測点の座標値を角度変数Φに変換する。
【００５０】
次のステップＳ２９において、前ステップで得られたΦi’,Φi”，Φj’,Φj”を（７）式のΦ’に代入し解Φを求める。その解をΦio’，Φjo’，Φio”，Φjo”とする。次のステップＳ３０において、前記（１１）式（もしくは（１２）式）により誤差評価値Ｅを算出し、そして、誤差評価値Ｅの収束判定をする。収束したと判断されたときにはステップＳ３２へ進むが、そうでなければステップＳ３１へ進み、ΔＥ＝（∂Ｅ／∂Ａ’）ΔＡ’の関係からΔＡ’を求め、この値をＡ’の現在値に加えた値をＡ’の値としてステップＳ２９に戻る。
【００５１】
ステップＳ２９からステップＳ３１までの処理ループにより誤差評価値Ｅが収束すると、同ループを抜けてステップＳ３２に進み、｜Ａ−Ａ’｜の収束判定を行う。収束していないと判断された場合には、ステップ３３においてＲの現在値にΔＲの値を加えた値をＲの新しい値とし、また、Ａに初期値Ａｏを設定してから、ステップＳ２２以下の処理を再び実行する。すなわち、Ｒを変更して、Ａの値を改めて求めることになる。２回目以降のステップＳ２２において用いる評価用パターンと観測点は１回目のステップ２２で用いたものと同じでよく、必要な処理は、新しいＲ値を用いて１回目と同じ観測点の座標値を角度変数で表現し直す処理だけである。この後にステップＳ２８に進んだ時にも同様であって、１回目のステップ２８で検出したもとの同じ観測点の座標値を新しいＲ値を用いて角度変数で表現し直すだけでよい。
【００５２】
さて、ステップＳ３２において収束したと判断された場合、現在のＡ又はＡ’の値がＡの値として決まり、またＲの値も決定されたということであり、次にＢの値を決めるためにステップＳ３４に進む。
【００５３】
ステップＳ３４において、Ｂに初期値Ｂｏが設定される。次のステップＳ３５において、ステップＳ２２又はステップＳ２８で最後に得られたΦi’,Φi”，Φj’，Φj”を（７）式のΦ’に代入して解Φを求める。次のステップＳ３６において前記（１１）式（若しくは（１２）式）により誤差評価値Ｅを算出し、そして誤差評価値Ｅの収束判定をする。収束したと判断されたときには、歪み補正用パラメータＡ，Ｂ，Ｒの値が全て決まったので処理は終了する。収束していないと判断されたときには、ステップＳ３７へ進み、ΔＥ＝（∂Ｅ／∂Ｂ）ΔＢの関係式からΔＢを求め、Ｂの現在値にΔＢの値を加算した値をＢの値としてステップＳ３５に戻る。ステップＳ３５からステップと３７までの処理ループがステップＳ３６で誤差評価値Ｅが収束したと判断されるまで繰り返される。
【００５４】
なお、通常、レンズ系の歪みはそれほど大きくないので、光軸回りのカメラの回転がないという条件（制約条件２）の下では、図５に示すように、カメラを振って撮影した２枚の画像上の対応パターンを相互を連結すると、これがカメラアングル変化に伴う画像の移動ベクトルを表す。これは、ほぼ平行な移動ベクトル群である。この平行移動ベクトルをＳとして、ｐjo’ｐjo”//ｐio’ｐio”//Ｓの関係、すなわち、次の関係式が成り立つ。Ｓは前もって計測することができる。
【００５５】
【数１３】

【００５６】
【数１４】

【００５７】
この制約条件２を適用可能な場合には、（１３）式，（１４）式を利用して、計算精度を向上させることができることは言うまでもない。また、いくつかの制約条件の中から適用する制約条件を適宜選択することによって、計算速度や計算速度を制御することも可能である。
【００５８】
歪み補正用パラメータを１回で決定する必要はなく、複数回のサイクルで決定してもよい。例えば、共通パターンの中からコントラストの強い順番に小領域を抽出し（例えば、人物の顔面画像の場合、目の明部、次に鼻の明部、等々）、抽出したそれぞれの小領域上の観測点を用いて複数サイクルで歪み補正用パラメータを決定するようにしてもよい。この場合に、２次の歪曲収差を先に補正し、その後に４次の歪曲収差を補正するようにしてもよい。
【００５９】
また、歪み補正に必要なパラメータを全て決定した後に、２枚の画像の中心部から順に誤差評価を行って画像中心部分での誤差評価の感度を高め、しかる後に、決定されたパラメータを修正しながら画像の周辺部へ向かって誤差を計測評価するようにしてもよい。
【００６０】
以上に説明した処理を実施するためのシステム構成の一例を図６に示す。図６において、歪み補正の対象となる画像データは画像ファイル５１に保存されており、必要な２枚の（又はそれ以上の枚数の）画像のデータが２枚以上の画像バッファ５２に読み出される。画像バッファ５２上の画像に共通する評価用パターンをパターン抽出部５３で抽出する。演算制御部５４は、抽出された評価用パターン上の観測点を検出し、前述のような処理を実行することによって歪曲収差補正用のパラメータを決定する。この処理のためのプログラムの記憶及び処理に関連したデータの記憶のためにメモリ５５が利用される。
【００６１】
このようにしてパラメータＡ，Ｂ，Ｒの値が決まったならば、画像の歪曲収差補正を行うことができる。例えば、パラメータ推定の対象となった画像上の各画素の座標を（６）式により角度変数に変換し、その角度を（７）式のΦ’に代入して真の角度Φを求め、これを（５）式により補正画像上の座標に変換し、この座標に補正前の画像の画素値を与えるという処理を繰り返すことによって、歪曲収差による歪みが高精度に補正された画像を得ることができる。
【００６２】
次に、本発明によるデジタルカメラについて説明する。図７に、本発明によるデジタルカメラの一例を示す。ここに示すデジタルカメラはカメラ本体１００と光学ユニット１０１からなり、カメラ本体１００は外部メモリとして着脱可能なメモリカードからなる画像メモリ１０２を有する。光学ユニット１０１は、一般的なデジタルカメラのレンズ胴鏡ユニットと同様のレンズ系、ズーム駆動機構、ピント調整機構、絞り機構などからなる。
【００６３】
カメラ本体１００には、光学ユニット１０１により被写体の像が結像される撮像素子であるＣＣＤ１０３、このＣＣＤ１０３からの画像信号の読み出し、その画像信号の増幅、γ変換、アナログ−デジタル変換などのための画像信号回路系１０４、光学ユニット１０１内のズーム駆動機構、ピント調整機構、絞り機構等に対する駆動回路系１０５、カメラの各部の制御及びデータ処理のためのＣＰＵ、ＲＡＭ、ＲＯＭ等からなる内蔵コンピュータ１０６、各種パラメータ等の記憶のためのデータメモリ１０７、カメラの機能の操作のための操作キーボード１０８、内蔵コンピュータ１０６と操作キーボード１０８及び外部のコンピュータ等との情報授受のためのインターフェース部１０９、さらに図示されていないが電池より上記各部に動作電力を供給する電源回路などからなる。データメモリ１０７と画像メモリ１０２は、カメラに接続された外部のコンピュータ等よりインターフェイス部１０９及び内蔵コンピュータ１０６を介しアクセス可能である。
【００６４】
このデジタルカメラの保有するパラメータを、その設定方法とともに図８に例示する。操作キーボード１０８は、撮影時にカメラの機能を操作するために利用されるほか、これらのパラメータの記憶場所の指定にも利用される。図８に示したパラメータ以外にも、ズーム駆動、ピント調整駆動、絞り駆動その他の撮影条件に関連した各種パラメータもあるが、これは本発明の特徴とは直接関係がないので説明を割愛する。
【００６５】
図８に示すパラメータの中で、ＡとＢは前述のように２次と４次の歪曲収差係数であり、Ｒはレンズ系の光学中心と画像面つまりＣＣＤ１０３の撮像面の距離、ＰxとＰyはＣＣＤ１０３の水平方向と垂直方向の画素ピッチである。撮像画像の座標系の原点をレンズ系の光軸とＣＣＤの撮像面との交点としたとき、撮像画像上の画素の座標（ｘ'，ｙ'）は画素ピッチＰx，Ｐyを用いれば
（ｘ’，ｙ’）＝（ｋ’＊Ｐx，ｌ’＊Ｐy）
と表すことができる。この画素の歪曲収差補正後の座標を（ｘ，ｙ）とおくと、
（ｋ’＊Ｐx）／（ｌ’＊Ｐy）＝ｘ’／ｙ’＝ｘ／ｙ
が成り立つ。（ｋ’，ｌ’）は撮像画像上の画素（ｘ’，ｙ’）のデジタル座標であり、前述のパラメータＡ，Ｂの推定処理及び歪み補正処理の説明中においては、実際には、このようなデジタル座標が利用されるが、このことについては説明簡略化のため触れなかった。したがって、Ａ，Ｂ，Ｐｘ，Ｐｙ，Ｒが既知であれば、前述のように撮影した画像の歪曲収差の補正が可能である。
【００６６】
Ｐx，Ｐyは、ＣＣＤ１０３に固有のパラメータであり通常は不変であるので、カメラ製造時に設定されカメラ本体内のデータメモリ１０７に記憶されるが、後述のように、１枚１枚の画像データの一部として画像メモリ１０２にも記憶させることができる。Ａ，Ｂも本来は不変であるが、カメラ製造時のばらつきにより製造時には正確には分からないため、カメラの使用初期に、あるいは随時に、外部のコンピュータあるいはカメラの内蔵コンピュータ１０６によって求めてデータメモリ１０７に記憶されるが、これも後述のように画像データの一部として画像メモリ１０２にも記憶させることができる。Ｒは１枚１枚の画像の撮影時に駆動回路系１０５により検出して画像メモリ１０２に画像データの一部として記憶されるが、１枚１枚の画像と対応させて、データメモリ１０７に記憶させることもできる。
【００６７】
画像を撮影する時、ＣＣＤ１０３のダイナミックレンジはそれほど大きくないため、人間の視感度にあわせた範囲の画像信号を取り込むことを要求される。一般に利用される１色あたり８ビットの割り当てに際しては、入力される画像信号の総平均がモノクロであるように色バランスをとり、さらに、画像信号の最大値、最小値が予定された８ビットの範囲におさまるように、つまり、輝度分布の中央値などがレンジの中心になるように、ゲインを調整してビットを割り当てる。これを受け持つのがγテーブルと画像信号増幅器のゲイン値であり、これらは撮影条件に応じて適応的に変えられる。
【００６８】
図９は、γ変換テーブル（γ１，γ２）、画像信号増幅器のゲイン値、これに関連した入力信号Ｉと出力信号Ｏの関係図であり、３つの異なる値の出力信号Ｏ１，Ｏ２，Ｏ３が与えられたとき、γテーブル（γ１とγ２）及びそのダイナミックレンジ（Ｄ1m_Ｄ1MとＤ2m_Ｄ2M）の違いによって、復元される入力信号（Ｉ11，Ｉ12，Ｉ13と、Ｉ21，Ｉ22，Ｉ23）が変わることを表している。入力信号Ｉは一般に
Ｉ＝［画像信号］×［ゲイン値］
で表される。
【００６９】
色バランスについては、画像１枚ごとに、「全部の色信号の総和はモノクロである」との仮定のもとに各色信号を計算するので、カメラを向ける被写体の色分布が偏っていれば、その画像の色がずれてしまう。これが特に問題となるのが、カメラ方位を変えながら撮影した複数の画像を繋ぎ合わせるような場合である。カメラ方位ごとに、風景によって画像が青みかがっていたり、赤みがかっていたりするため、通常、その色成分の合計値が変わる。ダイナミックレンジについても同様である。入力光量や入力光の分布形状は画像ごとに変化する。したがって、複数の画像を合成するような場合には、それら複数の画像間で色バランスをとりなおしたり、画像信号の再割り振りが必要となるが、その処理は、オリジナルの画像データを復元してから行うことが望まれる。
【００７０】
このオリジナル画像データの復元処理のために、ダイナミックレンジに関して、各画像毎に、使用したγ変換テーブルと画像信号増幅器のゲイン値を保存しておき、あとで読み出すことができることが望まれる。また、色合わせに関しては、色別の画像信号平均値、ダイナミックレンジを規定するゲイン値を画像毎に保存しておき後で読み出すことができれば、より正確な信号復元が可能となる。γ変換テーブルの種類は限られているので、そのデータは通常は内部のデータメモリ１０７に記憶されるが、後述のように画像データの一部として画像メモリ１０２にも記憶させることができる。画像信号増幅器のゲイン値、画像信号の色別平均値及びダイナミックレンジは、通常、撮影のたびに変化するため、１枚１枚の画像データの一部として画像メモリ１０２に記憶されるが、１枚１枚の画像と対応させてデータメモリ１０７に記憶させることも可能である。
【００７１】
次に、カメラを最初に使用する時、あるいは随時に、画像の歪曲収差係数Ａ，Ｂを求めて設定する方法を説明する。図１０は、その手順を示すフローチャートである。
【００７２】
まず、ある地点から、ある被写体が画角の中心にくるカメラアングルで１枚目の画像を撮影する（ステップＳ５０）。同じ地点から同じ対象物を、カメラアングルを少し振って、例えば対象物が中心から左又は右に５度ほどずれた位置にくるようにして、２枚目の画像を撮影する（ステップＳ５１）。撮影された２枚の画像のデータは画像メモリ１０２に保存され、また、撮影時のレンズ中心と撮像面との距離Ｒの値はデータメモリ１０７に保存される。
【００７３】
次に歪曲収差係数Ａ，Ｂの推定を行うわけであるが、これはカメラの内蔵コンピュータ１０６を利用して行うことも、外部のコンピュータを利用して行うことも可能であり、操作キーボード１０８の操作によって、いずれかを選択できる。前者の場合は、内蔵コンピュータ１０６は、２枚の画像のデータとＲの値を用い、図３のフローチャートに示す手順に従ってＡ，Ｂを推定し（ステップＳ５３）、その結果をデータメモリに保存する（ステップＳ５４）。なお、図４のフローチャートに示す手順を利用することも可能であるが、Ｒの値が既知であるから、１枚目と２枚目の画像撮影時のＲの値が大きく変動しないことを前提にした場合、図３の手順を利用するほうが効率的である。このように内蔵コンピュータ１０６でＡ，Ｂ推定処理を実行するためには、そのプログラムを内蔵コンピュータ１０６のＲＯＭ又はＲＡＭに格納しておかなければならないので、カメラ側のメモリ容量に余裕がないような場合には外部コンピュータの利用を選択できる。
【００７４】
外部コンピュータを利用する場合には、その外部コンピュータをカメラに接続した状態で、操作キーボード１０８よりデータ転送を指示し、内蔵コンピュータ１０６の制御によりインターフェース部１０９を介して２枚の画像のデータとＲの値を外部コンピュータへ転送する（ステップＳ５５）。外部コンピュータにおいて、図３（又は図４）のフローチャートに示す推定処理の手順を実行するための専用プログラムにより、カメラから受け取った画像データ及びＲ値を用いＡ，Ｂを推定し（ステップＳ５６）、推定結果をカメラに転送する（ステップＳ５７）。カメラの内蔵コンピュータ１０６は、転送されてきたＡ，Ｂの推定値をインターフェース部１０９を介して取り込み、データメモリ１０７に格納する（ステップＳ５８）。なお、推定されたＡ，Ｂの値を、操作キーボード１０８の操作によって入力し、これをデータメモリ１０７に格納させることも可能である。
【００７５】
さて、通常の撮影時においては、画像のデータは画像メモリ１０２に格納されるが、図８に例示したパラメータの記憶場所は、撮影者が操作キーボード１０８の操作により選択できる。このパラメータの記憶場所を選択できるようにしたのは、撮影された画像の補正処理に利用されるソフトウエアの環境に柔軟に対応できるようにするためである。
【００７６】
外部のコンピュータをカメラに接続して、同コンピュータ上で画像補正処理プログラムを使って画像の補正処理を実行する場合には、予め取り決めておくならば、パラメータをデータメモリ１０７に記憶させても画像メモリ１０２に記憶させてもよい。例えば、画素ピッチＰx，Ｐy、レンズ焦点距離ｆ、歪曲収差係数Ａ，Ｂをデータメモリ１０７に記憶させ、レンズ中心と撮像面間距離Ｒ、Ｆ値、γ変換テーブル値及び画像信号増幅器のゲイン値、画像信号の色別平均値（合計値でもよい）及びダイナミックレンジを１枚１枚の画像データの一部として画像メモリ１０２に記憶させ、外部コンピュータ上の画像補正処理プログラムで画像データとパラメータをそれぞれの記憶場所から取り込ませることができる。内蔵コンピュータ１０６によって歪曲収差の補正等を行う場合も記憶場所については同様である。
【００７７】
しかし、このようなパラメータの記憶場所の取り決めがない場合や、カメラに接続しない外部コンピュータで画像補正処理を行いたい場合などには、図８に示したパラメータの少なくとも画像補正に必要なパラメータを画像データの一部として画像メモリ１０２に記憶させると都合がよい。例えば、全てのパラメータを画像データの一部として、画像メモリ１０２としてのメモリカードに記憶させるならば、そのメモリカードをカメラから引き抜き、カメラに接続されていない外部のコンピュータのメモリカード挿入部に挿入してデータを読み取らせ、そのデータを画像データとパラメータに分離したうえで画像の補正処理を実行させることができる。あるいは、カメラに接続した外部コンピュータへ画像メモリ１０２のデータを転送し、外部コンピュータにおいて画像データとパラメータとを分離させ画像補正処理を行わせることができる。
【００７８】
いずれにしても、撮影した１枚１枚の画像の歪み、明るさ、色合いの補正のために必要なパラメータを外部のコンピュータに容易に取り込むことができるため、複数の画像の合成等の際に画像の歪み、明るさ、色合いの高精度な補正が可能になる。
【００７９】
なお、画像データの標準フォーマットとしてＳＩＳＲＩＦ、ＥＸＩＦ、ＴＩＦＦ／ＥＰなどの規格があるが、そのいずれも、本発明の目的とするパラメータを格納する場所がない。しかし、画像データは冗長度が大きいため、画像データの一部をパラメータで置き換えても、実用上は悪影響はほとんどない。通常、画像データは８ビット又は１６ビットの数値で表現されるから、例えば、画像の最初の１ライン分を利用してパラメータを格納することができる。以上、本発明によるデジタルカメラの例について述べたが、本発明はビデオカメラ、スキャナ等の他の撮像装置にも適用できるものである。
【００８０】
【発明の効果】
本発明による画像歪み補正用パラメータ決定方法は、デジタルカメラやビデオカメラ等によって撮影された画像から、その歪みを補正するためのパラメータを求めることができ、そのパラメータを用いることにより画像の高精度の歪み補正が可能となり、また、従来技術に比べ汎用性に優れている。
【００８１】
本発明による撮像装置は、撮影した画像のデータのみならず、その歪み補正のためのパラメータ、さらには明るさ及び色合いの補正のためのパラメータを、外部のコンピュータ等に容易に取り込み、撮影画像の歪み補正処理、さらには明るさ及び色合いの補正処理を行うことができる。また、補正処理に利用されるソフトウエア側の環境に応じて、補正用パラメータの記憶されるメモリを選択することができ、あるいは補正用パラメータを画像データの一部としてメモリに記憶せることができる。さらに、外部のコンピュータ等を利用することなく、画像の歪み補正のためのパラメータを求め、これを外部のコンピュータ等に容易に取り込み可能に保存することができる。
【図面の簡単な説明】
【図１】歪曲収差補正の基礎関係式を説明するための図である。
【図２】異なったカメラ方位で撮影された同一パターンの画像平面上の位置と、その歪み補正後の位置を示す図である。
【図３】歪み補正用パラメータ決定処理の一例を示すフローチャートである。
【図４】歪み補正用パラメータ決定処理の別の例を示すフローチャートである。
【図５】カメラの光軸回りの回転がない場合の画像の移動ベクトルを説明する図である。
【図６】歪み補正用パラメータ決定処理を実行するためのシステム構成の一例を示すブロック図である。
【図７】本発明によるデジタルカメラの一例の概略構成図である。
【図８】本発明によるデジタルカメラの保有するパラメータの例を示す図である。
【図９】γ変換テーブル、画像信号増幅器のゲイン値、それに関連した入力信号及び出力信号の関係を示す図である。
【図１０】歪曲収差係数を求めて設定する手順を説明するためのフローチャートである。
【符号の説明】
５１画像ファイル
５２画像バッファ
５３パターン抽出部
５４演算制御部
５５メモリ
１００カメラ本体
１０１光学ユニット
１０２画像メモリ（外部メモリ）
１０３ＣＣＤ（撮像素子）
１０４画像信号回路系
１０５駆動回路系
１０６内蔵コンピュータ
１０７データメモリ（内部メモリ）
１０８操作キーボード
１０９インターフェイス部

Claims

撮像装置によって一地点から異なった撮影条件で撮影されたそれぞれ共通パターンを含む複数枚の画像より、複数組の対応した観測点を検出し、
前記検出した観測点それぞれについて、撮像レンズ系の光軸に対する角度を求め、
撮像レンズ系の光軸に対する角度を変数とする歪曲収差関数に基づき、該関数のパラメータ値を変化させながら、前記観測点それぞれについて、前記求めた角度を歪曲収差補正し、
前記補正後の角度に基づき、各画像の対応した観測点ペアのなす角度の差が最小となるパラメータ値を決定して、当該画像に対する歪み補正のためのパラメータを推定することを特徴とする画像歪み補正用パラメータ決定方法。
請求項１に記載の画像歪み補正用パラメータ決定方法において、
撮像レンズ系の光学中心と画像面との距離を予め指定して、前記検出した観測点それぞれについて、撮像レンズ系の光軸に対する角度を求めて以後の処理を行うことで、当該画像に対する歪み補正のためのパラメータとして撮像レンズ系の歪曲収差係数を推定することを特徴とする画像歪み補正用パラメータ決定方法。
請求項１に記載の画像歪み補正用パラメータ決定方法において、
撮像レンズ系の光学中心と画像面との距離を順次変更しながら、前記検出した観測点それぞれについて、撮像レンズ系の光軸に対する角度を求めて以後の処理を繰り返し行うことで、当該画像に対する歪み補正のためのパラメータとして、撮像レンズ系の歪曲収差係数、及び、撮像レンズ系の光学中心と画像面との距離を推定することを特徴とする画像歪み補正用パラメータ決定方法。
画像を撮影する撮像装置であって、
当該撮像装置によって一地点から異なった撮影条件で撮影されたそれぞれ共通パターンを含む複数枚の画像より、複数組の対応した観測点を検出し、前記検出した観測点それぞれについて、撮像レンズ系の光軸に対する角度を求め、撮像レンズ系の光軸に対する角度を変数とする歪曲収差関数に基づき、該関数のパラメータ値を変化させながら、前記求めた角度を歪曲収差補正し、前記補正後の角度に基づき、各画像の対応した観測点ペアのなす角度の差が最小となるパラメータ値を決定して、当該画像に対する歪み補正のためのパラメータを推定する推定手段を有し、該推定手段により推定された画像の歪み補正のためのパラメータが、外部よりアクセス可能なメモリに保存されることを特徴とする撮像装置。
請求項４に記載の撮像装置において、
前記推定手段により推定された画像の歪み補正のためのパラメータが画像のデータの一部として、外部よりアクセス可能なメモリに保存されることを特徴とする撮像装置。
請求項４に記載の撮像装置において、
前記推定手段により推定された画像の歪み補正のためのパラメータ、画像の明るさ補正のためのパラメータ及び画像の色合い補正のためのパラメータが、外部よりアクセス可能なメモリに保存されることを特徴とする撮像装置。
請求項６に記載の撮像装置において、少なくとも一部のパラメータは画像のデータの一部として、外部よりアクセス可能なメモリに保存されることを特徴とする撮像装置。
複数のメモリを有し、前記推定手段により推定された画像の歪み補正のパラメータ、画像の明るさの補正のためのパラメータ及び画像の色合いの補正のためのパラメータの保存場所を前記複数のメモリより任意に選択可能であることを特徴とする請求項４に記載の撮影装置。