JPH09294225A

JPH09294225A - 画像歪み補正用パラメータ決定方法及び撮像装置

Info

Publication number: JPH09294225A
Application number: JP8273294A
Authority: JP
Inventors: Koichi Ejiri; 公一江尻; Shin Aoki; 青木　　伸; Umikatsu Seki; 海克関
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1996-02-27
Filing date: 1996-10-16
Publication date: 1997-11-11
Anticipated expiration: 2016-10-16
Also published as: JP3950188B2; US20010014180A1; US6366360B2

Abstract

(57)【要約】【課題】撮影済み画像の歪みを補正する汎用的方法を
実現する。【解決手段】ｐi’とｐi”、ｐj’とｐj”はそれぞれ
同一地点より異なったカメラ方位で同一点を撮影した画
像平面上の観測点である。ｐio’とｐio”、ｐjo’とｐ
jo”はそれぞれ観測点の歪みが補正された真の位置を表
している。Ｃはレンズ系の光学中心を示す。誤差評価値
Ｅ＝｛∠ｐjo’Ｃｐio’−∠ｐjo”Ｃｐio”｝² が極小
となるように、歪曲収差関数ｆ（Φ）＝１−ＡΦ²＋Ｂ
Φ⁴の２次、４次の歪曲収差係数Ａ，Ｂを推定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一般的にはデジタ
ルカメラ等によって撮影された画像の処理に係り、より
詳しくは、デジタルカメラ等により撮影された画像の歪
み等の補正及びデジタルカメラ等の撮像装置に関する。

【０００２】

【従来の技術】デジタルカメラ、ビデオカメラ等の撮像
装置によって撮影された画像には、いわゆるレンズ系の
歪曲収差によって、像が本来あるべき位置からずれた位
置に結像することによる幾何学的な歪みが含まれてい
る。これまで、レンズの設計技術によって歪曲収差を回
避する努力がなされてきた。しかし、デジタルカメラ、
ビデオカメラ等のレンズ系は、ズーム機能や自動焦点機
能等の装備が一般的になるなど高機能化が進むにつれ
て、レンズ設計技術だけでは歪曲収差の回避が困難にな
っている。

【０００３】その一方で、デジタル画像の高精細化に伴
って、画像計測、画像合成、画像編集等の新たなニーズ
が登場し、今後も増加の一途であるため、画像の高精細
化、高品質化に対する要求がますます高まると予想され
る。しかし、現在のデジタルカメラ等は、そのような目
的を達成するための条件を十分に満たしているとは言い
難い。

【０００４】例えば、画像の貼り合わせ合成の場合を考
える。現在のカメラレンズは、最大７％もの歪曲収差が
ある。このような歪曲収差による画像の幾何学的歪み
は、画像を１枚１枚単独で利用する場合にはそれほど大
きな問題にはならないことが多いであろう。しかし、複
数枚の画像を２次元的に貼り合わせて大きな画像を合成
する場合には、画像の境界でミスマッチが生じてしま
い、画像間のスムーズな接続が得られないため、歪曲収
差の補正は不可欠である。さらに、現在のデジタルカメ
ラ等は、ホワイトバランスやダイナミックレンジが画像
１枚ごとに設定されるため、複数の画像を貼り合わせる
場合には、隣り合った画像の境界で明るさや色合いの不
連続が生じやすい。

【０００５】同様のことは、多重ズームイン／ズームア
ウトにより、解像度の異なった複数枚の画像を重ね合わ
せ合成する場合にも言える。異なった方位から対象物を
撮影した画像より、対象物の３次元的情報を抽出するよ
うな計測分野においても、幾何学的精度の高い画像が要
求される。

【０００６】高い精度を要求される宇宙観測、医学応用
等の個別分野では、テーブルルックアップ方式により画
素位置毎に歪曲収差を高精度に補正する技術が利用され
ている。しかし、この歪みは非線形歪みであり、それに
関与するパラメータは焦点距離、ピント位置、絞りがあ
り、補正テーブルを作るにはこれら３つのパラメータを
高い精度で検出する必要があるが、これが容易でない。
そのため、テーブルルックアップ方式は、固定焦点レン
ズ系の応用に限られていた。例えば特開平３−２４２５
２６号の「カメラの歪曲収差更正方法」では、レンズ系
が固定された状態で白黒縞パターン（テストチャート）
を撮影して歪曲収差パラメータを推定するので、ピント
ずらし、ズーム等で条件が変わると、それぞれの条件で
白黒縞パターンを撮影し直してパラメータの推定を行う
必要がある。

【０００７】

【発明が解決しようとする課題】従来の歪曲収差補正技
術には、上に述べたように固定焦点レンズ系の応用に制
限されるという問題点もあるが、さらに大きな問題点
は、保存されている撮影済み画像に対し歪曲収差補正を
施すといった目的には適用できないことである。

【０００８】本発明の目的は、上に述べた問題点を解消
し、デジタルカメラ等によって撮影された画像の幾何学
的歪みを高精度に補正するための、より汎用性のある技
術を提供することにある。

【０００９】本発明のもう一つの目的は、撮影した複数
の画像の張り合わせ合成等の際に必要な１枚１枚の画像
の歪み、明るさ、色合いの高精度な補正を、撮影に利用
したデジタルカメラ等とは別のコンピュータ等の機器で
容易に行うことができるようにしたデジタルカメラ等の
撮像装置を提供することにある。

【００１０】

【課題を解決するための手段】本発明によれば、デジタ
ルカメラ等の撮像装置によって撮影された複数枚の画像
の情報を用いて、その画像に対する歪み補正のためのパ
ラメータを決定する方法が提供される。この方法の特徴
は、一地点から撮影された、共通する（同一の）パター
ンを含む複数枚の画像を用い、これら画像より複数組の
対応した観測点を検出し、それら観測点の撮像系の光軸
との角度（観測点をパターンの代表点と考えればパター
ンの光軸とのなす角度とも言える）を計測し、求められ
た角度の情報に基づいて当該画像の歪み補正のためのパ
ラメータを推定することである（請求項１）。画像歪み
補正用パラメータとして、撮像系のレンズの歪曲収差係
数、あるいは歪曲収差係数並びにレンズの光学中心と画
像面との距離が推定される（請求項２、請求項３）。

【００１１】また、本発明によれば、画像を撮影するデ
ジタルカメラ等の撮像装置が提供される。この撮像装置
の特徴は、撮影した画像の歪み補正のためのパラメータ
が外部よりアクセス可能なメモリに保存されること（請
求項４）、撮影した画像の歪み補正のためのパラメータ
が画像のデータの一部として外部よりアクセス可能なメ
モリに保存されること（請求項５）、撮影した画像の歪
み、明るさ及び色合いの補正のためのパラメータが、外
部よりアクセス可能なメモリに保存されること（請求項
６）、歪み、明るさ及び色合いの補正のための少なくと
も一部のパラメータは画像のデータの一部として外部よ
りアクセス可能なメモリに保存されること（請求項
７）、複数のメモリを持ち、撮影した画像の歪み、明る
さ及び色合いの補正のためのパラメータの保存場所を該
複数のメモリより任意に選択可能であること（請求項
８）、撮影した２枚の画像より本発明の画像歪み補正用
パラメータ決定方法によって画像歪み補正用パラメータ
を推定して外部よりアクセス可能なメモリに格納する手
段を有すること（請求項９）である。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態を明ら
かにするため、図面を用いて本発明を具体的に説明す
る。

【００１３】まず、画像の歪み補正に関して説明する。
図１は、ある対象物をカメラで撮影した時の光軸と入射
光のなす角度Φi,Φｊと、その像の光軸に対する角度Φ
i’，Φj’、同じ対象物をカメラアングルをずらして撮
影した時の像と光軸とのなす角度Φi”，Φj”（図中の
破線）の関係を示している。Ｒはレンズ系の光学中心か
ら画像面までの距離である。このときに、次に示す
（１）式から（５）式の関係が成り立つ。ただし、Φは
真の値、Φio’，Φjo’，Φio”，Φjo”は観測値Φ
i’，Φj’，Φi”，Φj”から算出した真値の予測値で
ある。

【００１４】

【数１】

【００１５】

【数２】

【００１６】

【数３】

【００１７】

【数４】

【００１８】

【数５】

【００１９】上記（３）式が歪曲収差関数である。本発
明の原理は、同じ対象物を同一地点から異なった撮影条
件で撮影した２枚（又はそれ以上）の画像の情報から、
その歪み補正のためのパラメータとして、（３）式の２
次、４次の歪曲収差係数Ａ，Ｂを推定することによっ
て、歪曲収差による画像の歪みの補正を達成しようとす
るものである。上記（５）式中のＲはレンズ系の光学中
心から画像面までの距離であるが、このＲの値は、後述
の「一次元の場合」には予め仮定して歪曲収差係数Ａ，
Ｂを決定する（Ｒの値はある程度予測できる場合が多い
から）。しかし、後述の「二次元の場合」には、歪曲収
差係数Ａ，Ｂを求める処理において、Ｒの値も画像の情
報に基づいて決定される。ただし、「一次元の場合」に
おいても同様にＲ値を推定してもよいことは当然であ
る。

【００２０】次に、歪み補正用パラメータを決定する処
理の具体例を説明する。この処理においては、一地点か
ら同じ対象物（パターン）を異なった条件で撮影した２
枚の画像より、対応した点（観測点）を２組以上抽出す
る。例えば、カメラを左右に振ったり回したりしながら
同じ対象物を前後して撮影した２枚の画像より、共通の
（同一の）パターンを抽出し、そのパターン上の特定点
を観測点として用いる。このような画像として、デジタ
ルカメラやビデオカメラで人物等を撮影したビデオフィ
ルムの相前後した２コマの画像を例に挙げることができ
よう。そして、観測点が光軸を通る直線上に整列する形
になるケースを「一次元の場合」と呼び、そうではな
く、観測点が二次元画像平面上に分布する形になる場合
（図２参照）を「二次元の場合」と呼ぶことにする。

【００２１】［一次元の場合の例］まず、一次元の場合
における歪み補正用パラメータ決定処理の一例を説明す
る。図３は、その概略を示すフローチャートである。

【００２２】最初のステップＳ１において、Ａ＝Ａｏ、
Ｂ＝０に初期設定する。また、Ｒも予め決まった値を与
える。

【００２３】次のステップＳ２において、２枚の画像よ
り、それらに共通する評価用パターンを抽出する。そし
て、観測点として、一方の画像における評価用パターン
上の特定点と、それに対応した他方の画像の評価用パタ
ーン上の特定点とのペアを２組検出する。ここでは一次
元の場合を想定しているので、これら観測点は光軸を通
る直線上に整列する。一方のペアの観測点Ｐi’，Ｐi”
のそれぞれの座標系における座標値（Ｘi’,Ｙi’）,
（Ｘi”,Ｙi”）、他方のペアの観測点Ｐj’，Ｐj”の
それぞれの座標系における座標値（Ｘj’,Ｙj’），(Ｘ
j”,Ｙj”）を前記（５）式に従って角度変数Φで表現
する。すなわち

【００２４】

【数６】

【００２５】ステップＳ３において、前ステップで得ら
れたΦi’，Φi”とΦj’，Φj”を（７）式のΦ’に代
入し解Φを求める。その解をΦio’,Φjo’,Φio”,Φj
o”とする。

【００２６】

【数７】

【００２７】この（７）式は、前記（１）式に前記
（３）式を代入して得られた方程式であり、ここではＢ
＝０であるから、この方程式は３次の既約形方程式ＡΦ³−Φ＋Φ’＝０となる。これを解くためには、３次方程式の解法（カル
ダノの公式）により、ｐ＝−１／（３Ａ），ｑ＝Φ’／（２Ａ）と置き、続いて次のように変数変換をする。

【００２８】

【数８】

【００２９】しかして、解は次のように表わされるが、
ここでは実数解のみを考えるのでΦ1のみを利用すれば
よい。

【００３０】

【数９】

【００３１】なお、観測点が光軸を通る直線上に並んで
いる一次元の場合、解Φ1 を前記誤差評価式（４）に代
入すれば次の誤差評価式が得られる。

【００３２】

【数１０】

【００３３】前記（７）式のΦ’,Φ”（測定値）に対
応する解をΘ’,Θ”と置くときΘ’，Θ”はパラメー
タＡと測定値(Ｘ’,Ｙ’）,（Ｘ”,Ｙ”）によって定義
されるから、ＥはＡの関数として表すこともでき、した
がって（７）式から∂Ｅ／∂Ａを求めることができる。
同様に、∂Ｅ／∂Ｂも求めることができる。

【００３４】さて、ステップＳ４において、前記（１
０）式により誤差評価値Ｅを算出し、そして、誤差評価
値Ｅの収束判定をする。誤差評価値Ｅが収束していない
と判断したときは、次のステップＳ５において、ΔＥ＝
（∂Ｅ／∂Ａ）ΔＡの関係式からＡの増分ΔＡを求め
（前記（１０）式又は後記（１２）式参照、ただし、Δ
Ｅ＝Ｅ）、Ａの現在値にΔＡの値を加えた値をＡの値と
し、ステップＳ３に戻る。ステップＳ４で収束したと判
断されるまでステップＳ３からステップＳ５の処理ルー
プが繰り返えされる。

【００３５】ステップＳ４で収束したと判断されたとき
は、Ａの値が決まったので、今度はＢを決めるためにス
テップＳ６に進み、Ｂを初期値Ｂｏに設定する。次のス
テップＳ７において、２枚の画像よりＢの決定のための
別の共通パターンがあるか調べる。別の共通パターンが
見つからなければ処理は終わる（Ｂは初期値Ｂｏに決ま
る）。

【００３６】別の共通パターンが見つかったならば、次
のステップＳ８において、ステップＳ２と同様に、その
共通パターンを評価用パターンとして、それぞの評価用
パターン上の対応した観測点のペアを２組検出し、各観
測点の座標を角度変数Φで表す。

【００３７】次のステップＳ９において、前ステップで
求められたΦi’，Φi”，Φj’，Φj”を前記（７）式
に代入し、解Φを求める。その解をΦ’io，Φ’jo，Φ
io”，Φjo”とする。そして、次のステップＳ１０にお
いて、前記（１０）式により誤差評価値Ｅを算出し、そ
の収束判定を行う。誤差評価値Ｅが収束していないと判
断されたならば、次のステップＳ１１において、ΔＥ＝
（∂Ｅ／∂Ｂ）ΔＢの関係式からＢの増分ΔＢを求める
（前記（１０）式又は後記（１１）式若しくは（１２）
式参照、ただし、ΔＥ＝Ｅ）。そして、Ｂの現在値に前
ステップで求めたΔＢの値を加えた値をＢの値とし、ス
テップＳ９に戻る。ステップＳ１０で誤差評価値Ｅが収
束したと判断されるまで、ステップＳ９からステップＳ
１１までの処理ループが繰り返される。

【００３８】ステップＳ１０でＥが収束したと判断され
たならば、Ａ，Ｂ共に値が決まったということであり処
理は終了する。以上のようにして、Ａ，Ｂが決まる。Ｒ
も予め分かっているから、必要な歪み補正用パラメータ
は決定した。

【００３９】［二次元の場合の例］次に、二次元の場合
における歪み補正用パラメータ決定処理の一例を説明す
る。図４は、その概略を示すフローチャートである。

【００４０】最初のステップＳ２１において、Ａ＝Ａ
ｏ、Ｒ＝Ｒｏ、Ｂ＝０の初期設定が行われ、また、ΔＲ
として適当に小さな値が設定される。

【００４１】次のステップＳ２２において、２枚の画像
より、それらに共通するパターンを評価用パターンとし
て抽出する。そして、観測点として、一方の画像におけ
る評価用パターン上の特定点と、それに対応した他方の
画像の評価用パターン上の特定点とのペアを２組検出す
る。一方のペアの観測点Ｐi’，Ｐi”それぞれの座標系
における座標値（Xi’,Yi’),（Xi”,Yi”）、他方のペ
アの観測点Ｐj’,Ｐj”のそれぞれの座標系における座
標値（Xj’,Yj’),（Xj”,Yj”）を前記（６）式により
角度変数Φで表現する。

【００４２】なお、ここでは、前述の一次元の場合と異
なり、評価用パターンもしくは観測点の相対的な位置関
係は任意である。このような観測点と歪み補正の様子を
図２に模式的に例示する。図２において、ｐi’とｐi”
（又はｐj’とｐj”）は同一地点より異なったカメラ方
位で同一点を撮影した画像平面上の観測点であり、これ
がステップＳ２２において検出された一組の観測点のペ
アであり、ｐio’とｐio”（又はｐjo’とｐjo”）は、
観測点の歪みが補正された真の位置を表している。な
お、図２において、ｐi’とｐio’は本来同一方位であ
るが、わざとずらして表されている。Ｃはレンズ系の光
学中心を示す。

【００４３】さて、物体間の角度は、カメラ方位の変化
には依存しないから（光軸回りの回転があっても）、視
点が移動しない限り常に ∠ ｐjo’Ｃｐio’ ＝ ∠ ｐjo” Ｃｐio” の関係が常に成り立つ（制約条件１）。すなわち、次式
が成り立つ。

【００４４】

【数１１】

【００４５】この（１１）式は角度で誤差を評価する式
であるが、これを（ｘ，ｙ）座標値で表現すれば次の誤
差評価式が得られる。

【００４６】

【数１２】

【００４７】処理の説明に戻る。ステップＳ２３におい
て前ステップで得られたΦi’,Φi”，Φj’，Φj”を
（７）式のΦ’に代入し解Φを求める。その解をΦi
o’,Φjo’，Φio”，Φjo”とする。次のステップＳ２
４において、前記（１１）式により誤差評価値Ｅを算出
し、誤差評価値Ｅの収束判定をする。収束したと判断さ
れたときにはステップＳ２６へ進む。そうでなければス
テップＳ２５へ進み、ΔＥ＝（∂Ｅ／∂Ａ）ΔＡの関係
式からΔＡを求める（前記（１０）式、（１１）式又は
（１２）式参照、ただし、ΔＥ＝Ｅ）。そして、Ａの現
在値にΔＡの値を加算した値をＡの値としてステップＳ
２３に戻る。誤差評価値Ｅが収束したと判断されるま
で、ステップＳ２３からステップＳ２５までの処理ルー
プが繰り返される。

【００４８】ステップＳ２４において、Ｅが収束したと
判断されたときには、ステップＳ２６に進む。ステップ
Ｓ２６において、２枚の画像に共通する別のパターンが
見つかるか調べる。見つからなければ、処理は終了す
る。見つかったならば、その共通パターンを新しい評価
パターンとして用い、ステップＳ２７以降の処理により
改めてＡの値（これをＡ’と置く）を求める。

【００４９】まず、ステップＳ２７においてＡ’に初期
値Ａ’oを設定する。次のステップＳ２８において、ス
テップＳ２２と同様に、２枚の画像の新しい評価用パタ
ーン上の対応した観測点のペアを２組検出し、その観測
点の座標値を角度変数Φに変換する。

【００５０】次のステップＳ２９において、前ステップ
で得られたΦi’,Φi”，Φj’,Φj”を（７）式のΦ’
に代入し解Φを求める。その解をΦio’，Φjo’，Φi
o”，Φjo”とする。次のステップＳ３０において、前
記（１１）式（もしくは（１２）式）により誤差評価値
Ｅを算出し、そして、誤差評価値Ｅの収束判定をする。
収束したと判断されたときにはステップＳ３２へ進む
が、そうでなければステップＳ３１へ進み、ΔＥ＝（∂
Ｅ／∂Ａ’）ΔＡ’の関係からΔＡ’を求め、この値を
Ａ’の現在値に加えた値をＡ’の値としてステップＳ２
９に戻る。

【００５１】ステップＳ２９からステップＳ３１までの
処理ループにより誤差評価値Ｅが収束すると、同ループ
を抜けてステップＳ３２に進み、｜Ａ−Ａ’｜の収束判
定を行う。収束していないと判断された場合には、ステ
ップ３３においてＲの現在値にΔＲの値を加えた値をＲ
の新しい値とし、また、Ａに初期値Ａｏを設定してか
ら、ステップＳ２２以下の処理を再び実行する。すなわ
ち、Ｒを変更して、Ａの値を改めて求めることになる。
２回目以降のステップＳ２２において用いる評価用パタ
ーンと観測点は１回目のステップ２２で用いたものと同
じでよく、必要な処理は、新しいＲ値を用いて１回目と
同じ観測点の座標値を角度変数で表現し直す処理だけで
ある。この後にステップＳ２８に進んだ時にも同様であ
って、１回目のステップ２８で検出したもとの同じ観測
点の座標値を新しいＦ値を用いて角度変数で表現し直す
だけでよい。

【００５２】さて、ステップＳ３２において収束したと
判断された場合、現在のＡ又はＡ’の値がＡの値として
決まり、またＲの値も決定されたということであり、次
にＢの値を決めるためにステップＳ３４に進む。

【００５３】ステップＳ３４において、Ｂに初期値Ｂｏ
が設定される。次のステップＳ３５において、ステップ
Ｓ２２又はステップＳ２８で最後に得られたΦi’,Φ
i”，Φj’，Φj”を（７）式のΦ’に代入して解Φを
求める。次のステップＳ３６において前記（１１）式
（若しくは（１２）式）により誤差評価値Ｅを算出し、
そして誤差評価値Ｅの収束判定をする。収束したと判断
されたときには、歪み補正用パラメータＡ，Ｂ，Ｒの値
が全て決まったので処理は終了する。収束していないと
判断されたときには、ステップＳ３７へ進み、ΔＥ＝
（∂Ｅ／∂Ｂ）ΔＢの関係式からΔＢを求め、Ｂの現在
値にΔＢの値を加算した値をＢの値としてステップＳ３
５に戻る。ステップＳ３５からステップと３７までの処
理ループがステップＳ３６で誤差評価値Ｅが収束したと
判断されるまで繰り返される。

【００５４】なお、通常、レンズ系の歪みはそれほど大
きくないので、光軸回りのカメラの回転がないという条
件（制約条件２）の下では、図５に示すように、カメラ
を振って撮影した２枚の画像上の対応パターンを相互を
連結すると、これがカメラアングル変化に伴う画像の移
動ベクトルを表す。これは、ほぼ平行な移動ベクトル群
である。この平行移動ベクトルをＳとして、ｐjo’ｐj
o”//ｐio’ｐio”//Ｓの関係、すなわち、次の関係式
が成り立つ。Ｓは前もって計測することができる。

【００５５】

【数１３】

【００５６】

【数１４】

【００５７】この制約条件２を適用可能な場合には、
（１３）式，（１４）式を利用して、計算精度を向上さ
せることができることは言うまでもない。また、いくつ
かの制約条件の中から適用する制約条件を適宜選択する
ことによって、計算速度や計算速度を制御することも可
能である。

【００５８】歪み補正用パラメータを１回で決定する必
要はなく、複数回のサイクルで決定してもよい。例え
ば、共通パターンの中からコントラストの強い順番に小
領域を抽出し（例えば、人物の顔面画像の場合、目の明
部、次に鼻の明部、等々）、抽出したそれぞれの小領域
上の観測点を用いて複数サイクルで歪み補正用パラメー
タを決定するようにしてもよい。この場合に、２次の歪
曲収差を先に補正し、その後に４次の歪曲収差を補正す
るようにしてもよい。

【００５９】また、歪み補正に必要なパラメータを全て
決定した後に、２枚の画像の中心部から順に誤差評価を
行って画像中心部分での誤差評価の感度を高め、しかる
後に、決定されたパラメータを修正しながら画像の周辺
部へ向かって誤差を計測評価するようにしてもよい。

【００６０】以上に説明した処理を実施するためのシス
テム構成の一例を図６に示す。図６において、歪み補正
の対象となる画像データは画像ファイル５１に保存され
ており、必要な２枚の（又はそれ以上の枚数の）画像の
データが２枚以上の画像バッファ５２に読み出される。
画像バッファ５２上の画像に共通する評価用パターンを
パターン抽出部５３で抽出する。演算制御部５４は、抽
出された評価用パターン上の観測点を検出し、前述のよ
うな処理を実行することによって歪曲収差補正用のパラ
メータを決定する。この処理のためのプログラムの記憶
及び処理に関連したデータの記憶のためにメモリ５５が
利用される。

【００６１】このようにしてパラメータＡ，Ｂ，Ｒの値
が決まったならば、画像の歪曲収差補正を行うことがで
きる。例えば、パラメータ推定の対象となった画像上の
各画素の座標を（６）式により角度変数に変換し、その
角度を（７）式のΦ’に代入して真の角度Φを求め、こ
れを（５）式により補正画像上の座標に変換し、この座
標に補正前の画像の画素値を与えるという処理を繰り返
すことによって、歪曲収差による歪みが高精度に補正さ
れた画像を得ることができる。

【００６２】次に、本発明によるデジタルカメラについ
て説明する。図７に、本発明によるデジタルカメラの一
例を示す。ここに示すデジタルカメラはカメラ本体１０
０と光学ユニット１０１からなり、カメラ本体１００は
外部メモリとして着脱可能なメモリカードからなる画像
メモリ１０２を有する。光学ユニット１０１は、一般的
なデジタルカメラのレンズ胴鏡ユニットと同様のレンズ
系、ズーム駆動機構、ピント調整機構、絞り機構などか
らなる。

【００６３】カメラ本体１００には、光学ユニット１０
１により被写体の像が結像される撮像素子であるＣＣＤ
１０３、このＣＣＤ１０３からの画像信号の読み出し、
その画像信号の増幅、γ変換、アナログ−デジタル変換
などのための画像信号回路系１０４、光学ユニット１０
１内のズーム駆動機構、ピント調整機構、絞り機構等に
対する駆動回路系１０５、カメラの各部の制御及びデー
タ処理のためのＣＰＵ、ＲＡＭ、ＲＯＭ等からなる内蔵
コンピュータ１０６、各種パラメータ等の記憶のための
データメモリ１０７、カメラの機能の操作のための操作
キーボード１０８、内蔵コンピュータ１０６と操作キー
ボード１０８及び外部のコンピュータ等との情報授受の
ためのインターフェース部１０９、さらに図示されてい
ないが電池より上記各部に動作電力を供給する電源回路
などからなる。データメモリ１０７と画像メモリ１０２
は、カメラに接続された外部のコンピュータ等よりイン
ターフェイス部１０９及び内蔵コンピュータ１０６を介
しアクセス可能である。

【００６４】このデジタルカメラの保有するパラメータ
を、その設定方法とともに図８に例示する。操作キーボ
ード１０８は、撮影時にカメラの機能を操作するために
利用されるほか、これらのパラメータの記憶場所の指定
にも利用される。図８に示したパラメータ以外にも、ズ
ーム駆動、ピント調整駆動、絞り駆動その他の撮影条件
に関連した各種パラメータもあるが、これは本発明の特
徴とは直接関係がないので説明を割愛する。

【００６５】図８に示すパラメータの中で、ＡとＢは前
述のように２次と４次の歪曲収差係数であり、Ｒはレン
ズ系の光学中心と画像面つまりＣＣＤ１０３の撮像面の
距離、ＰxとＰyはＣＣＤ１０３の水平方向と垂直方向の
画素ピッチである。撮像画像の座標系の原点をレンズ系
の光軸とＣＣＤの撮像面との交点としたとき、撮像画像
上の画素の座標（ｘ'，ｙ'）は画素ピッチＰx，Ｐyを用
いれば（ｘ’，ｙ’）＝（ｋ’＊Ｐx，ｌ’＊Ｐy）と表すことができる。この画素の歪曲収差補正後の座標
を（ｘ，ｙ）とおくと、（ｋ’＊Ｐx）／（ｌ’＊Ｐy）＝ｘ’／ｙ’＝ｘ／ｙが成り立つ。（ｋ’，ｌ’）は撮像画像上の画素
（ｘ’，ｙ’）のデジタル座標であり、前述のパラメー
タＡ，Ｂの推定処理及び歪み補正処理の説明中において
は、実際には、このようなデジタル座標が利用される
が、このことについては説明簡略化のため触れなかっ
た。したがって、Ａ，Ｂ，Ｐｘ，Ｐｙ，Ｒが既知であれ
ば、前述のように撮影した画像の歪曲収差の補正が可能
である。

【００６６】Ｐx，Ｐyは、ＣＣＤ１０３に固有のパラメ
ータであり通常は不変であるので、カメラ製造時に設定
されカメラ本体内のデータメモリ１０７に記憶される
が、後述のように、１枚１枚の画像データの一部として
画像メモリ１０２にも記憶させることができる。Ａ，Ｂ
も本来は不変であるが、カメラ製造時のばらつきにより
製造時には正確には分からないため、カメラの使用初期
に、あるいは随時に、外部のコンピュータあるいはカメ
ラの内蔵コンピュータ１０６によって求めてデータメモ
リ１０７に記憶されるが、これも後述のように画像デー
タの一部として画像メモリ１０２にも記憶させることが
できる。Ｒは１枚１枚の画像の撮影時に駆動回路系１０
５により検出して画像メモリ１０２に画像データの一部
として記憶されるが、１枚１枚の画像と対応させて、デ
ータメモリ１０７に記憶させることもできる。

【００６７】画像を撮影する時、ＣＣＤ１０３のダイナ
ミックレンジはそれほど大きくないため、人間の視感度
にあわせた範囲の画像信号を取り込むことを要求され
る。一般に利用される１色あたり８ビットの割り当てに
際しては、入力される画像信号の総平均がモノクロであ
るように色バランスをとり、さらに、画像信号の最大
値、最小値が予定された８ビットの範囲におさまるよう
に、つまり、輝度分布の中央値などがレンジの中心にな
るように、ゲインを調整してビットを割り当てる。これ
を受け持つのがγテーブルと画像信号増幅器のゲイン値
であり、これらは撮影条件に応じて適応的に変えられ
る。

【００６８】図９は、γ変換テーブル（γ１，γ２）、
画像信号増幅器のゲイン値、これに関連した入力信号Ｉ
と出力信号Ｏの関係図であり、３つの異なる値の出力信
号Ｏ１，Ｏ２，Ｏ３が与えられたとき、γテーブル（γ
１とγ２）及びそのダイナミックレンジ（Ｄ1m_Ｄ1Mと
Ｄ2m_Ｄ2M）の違いによって、復元される入力信号（Ｉ1
1，Ｉ12，Ｉ13と、Ｉ21，Ｉ22，Ｉ23）が変わることを
表している。入力信号Ｉは一般にＩ＝［画像信号］×［ゲイン値］で表される。

【００６９】色バランスについては、画像１枚ごとに、
「全部の色信号の総和はモノクロである」との仮定のも
とに各色信号を計算するので、カメラを向ける被写体の
色分布が偏っていれば、その画像の色がずれてしまう。
これが特に問題となるのが、カメラ方位を変えながら撮
影した複数の画像を繋ぎ合わせるような場合である。カ
メラ方位ごとに、風景によって画像が青みかがっていた
り、赤みがかっていたりするため、通常、その色成分の
合計値が変わる。ダイナミックレンジについても同様で
ある。入力光量や入力光の分布形状は画像ごとに変化す
る。したがって、複数の画像を合成するような場合に
は、それら複数の画像間で色バランスをとりなおした
り、画像信号の再割り振りが必要となるが、その処理
は、オリジナルの画像データを復元してから行うことが
望まれる。

【００７０】このオリジナル画像データの復元処理のた
めに、ダイナミックレンジに関して、各画像毎に、使用
したγ変換テーブルと画像信号増幅器のゲイン値を保存
しておき、あとで読み出すことができることが望まれ
る。また、色合わせに関しては、色別の画像信号平均
値、ダイナミックレンジを規定するゲイン値を画像毎に
保存しておき後で読み出すことができれば、より正確な
信号復元が可能となる。γ変換テーブルの種類は限られ
ているので、そのデータは通常は内部のデータメモリ１
０７に記憶されるが、後述のように画像データの一部と
して画像メモリ１０２にも記憶させることができる。画
像信号増幅器のゲイン値、画像信号の色別平均値及びダ
イナミックレンジは、通常、撮影のたびに変化するた
め、１枚１枚の画像データの一部として画像メモリ１０
２に記憶されるが、１枚１枚の画像と対応させてデータ
メモリ１０７に記憶させることも可能である。

【００７１】次に、カメラを最初に使用する時、あるい
は随時に、画像の歪曲収差係数Ａ，Ｂを求めて設定する
方法を説明する。図１０は、その手順を示すフローチャ
ートである。

【００７２】まず、ある地点から、ある被写体が画角の
中心にくるカメラアングルで１枚目の画像を撮影する
（ステップＳ５０）。同じ地点から同じ対象物を、カメ
ラアングルを少し振って、例えば対象物が中心から左又
は右に５度ほどずれた位置にくるようにして、２枚目の
画像を撮影する（ステップＳ５１）。撮影された２枚の
画像のデータは画像メモリ１０２に保存され、また、撮
影時のレンズ中心と撮像面との距離Ｒの値はデータメモ
リ１０７に保存される。

【００７３】次に歪曲収差係数Ａ，Ｂの推定を行うわけ
であるが、これはカメラの内蔵コンピュータ１０６を利
用して行うことも、外部のコンピュータを利用して行う
ことも可能であり、操作キーボード１０８の操作によっ
て、いずれかを選択できる。前者の場合は、内蔵コンピ
ュータ１０６は、２枚の画像のデータとＲの値を用い、
図３のフローチャートに示す手順に従ってＡ，Ｂを推定
し（ステップＳ５３）、その結果をデータメモリに保存
する（ステップＳ５４）。なお、図４のフローチャート
に示す手順を利用することも可能であるが、Ｒの値が既
知であるから、１枚目と２枚目の画像撮影時のＲの値が
大きく変動しないことを前提にした場合、図３の手順を
利用するほうが効率的である。このように内蔵コンピュ
ータ１０６でＡ，Ｂ推定処理を実行するためには、その
プログラムを内蔵コンピュータ１０６のＲＯＭ又はＲＡ
Ｍに格納しておかなければならないので、カメラ側のメ
モリ容量に余裕がないような場合には外部コンピュータ
の利用を選択できる。

【００７４】外部コンピュータを利用する場合には、そ
の外部コンピュータをカメラに接続した状態で、操作キ
ーボード１０８よりデータ転送を指示し、内蔵コンピュ
ータ１０６の制御によりインターフェース部１０９を介
して２枚の画像のデータとＲの値を外部コンピュータへ
転送する（ステップＳ５５）。外部コンピュータにおい
て、図３（又は図４）のフローチャートに示す推定処理
の手順を実行するための専用プログラムにより、カメラ
から受け取った画像データ及びＲ値を用いＡ，Ｂを推定
し（ステップＳ５６）、推定結果をカメラに転送する
（ステップＳ５７）。カメラの内蔵コンピュータ１０６
は、転送されてきたＡ，Ｂの推定値をインターフェース
部１０９を介して取り込み、データメモリ１０７に格納
する（ステップＳ５８）。なお、推定されたＡ，Ｂの値
を、操作キーボード１０８の操作によって入力し、これ
をデータメモリ１０７に格納させることも可能である。

【００７５】さて、通常の撮影時においては、画像のデ
ータは画像メモリ１０２に格納されるが、図８に例示し
たパラメータの記憶場所は、撮影者が操作キーボード１
０８の操作により選択できる。このパラメータの記憶場
所を選択できるようにしたのは、撮影された画像の補正
処理に利用されるソフトウエアの環境に柔軟に対応でき
るようにするためである。

【００７６】外部のコンピュータをカメラに接続して、
同コンピュータ上で画像補正処理プログラムを使って画
像の補正処理を実行する場合には、予め取り決めておく
ならば、パラメータをデータメモリ１０７に記憶させて
も画像メモリ１０２に記憶させてもよい。例えば、画素
ピッチＰx，Ｐy、レンズ焦点距離ｆ、歪曲収差係数Ａ，
Ｂをデータメモリ１０７に記憶させ、レンズ中心と撮像
面間距離Ｒ、Ｆ値、γ変換テーブル値及び画像信号増幅
器のゲイン値、画像信号の色別平均値（合計値でもよ
い）及びダイナミックレンジを１枚１枚の画像データの
一部として画像メモリ１０２に記憶させ、外部コンピュ
ータ上の画像補正処理プログラムで画像データとパラメ
ータをそれぞれの記憶場所から取り込ませることができ
る。内蔵コンピュータ１０６によって歪曲収差の補正等
を行う場合も記憶場所については同様である。

【００７７】しかし、このようなパラメータの記憶場所
の取り決めがない場合や、カメラに接続しない外部コン
ピュータで画像補正処理を行いたい場合などには、図８
に示したパラメータの少なくとも画像補正に必要なパラ
メータを画像データの一部として画像メモリ１０２に記
憶させると都合がよい。例えば、全てのパラメータを画
像データの一部として、画像メモリ１０２としてのメモ
リカードに記憶させるならば、そのメモリカードをカメ
ラから引き抜き、カメラに接続されていない外部のコン
ピュータのメモリカード挿入部に挿入してデータを読み
取らせ、そのデータを画像データとパラメータに分離し
たうえで画像の補正処理を実行させることができる。あ
るいは、カメラに接続した外部コンピュータへ画像メモ
リ１０２のデータを転送し、外部コンピュータにおいて
画像データとパラメータとを分離させ画像補正処理を行
わせることができる。

【００７８】いずれにしても、撮影した１枚１枚の画像
の歪み、明るさ、色合いの補正のために必要なパラメー
タを外部のコンピュータに容易に取り込むことができる
ため、複数の画像の合成等の際に画像の歪み、明るさ、
色合いの高精度な補正が可能になる。

【００７９】なお、画像データの標準フォーマットとし
てＳＩＳＲＩＦ、ＥＸＩＦ、ＴＩＦＦ／ＥＰなどの規格
があるが、そのいずれも、本発明の目的とするパラメー
タを格納する場所がない。しかし、画像データは冗長度
が大きいため、画像データの一部をパラメータで置き換
えても、実用上は悪影響はほとんどない。通常、画像デ
ータは８ビット又は１６ビットの数値で表現されるか
ら、例えば、画像の最初の１ライン分を利用してパラメ
ータを格納することができる。以上、本発明によるデジ
タルカメラの例について述べたが、本発明はビデオカメ
ラ、スキャナ等の他の撮像装置にも適用できるものであ
る。

【００８０】

【発明の効果】本発明による画像歪み補正用パラメータ
決定方法は、デジタルカメラやビデオカメラ等によって
撮影された画像から、その歪みを補正するためのパラメ
ータを求めることができ、そのパラメータを用いること
により画像の高精度の歪み補正が可能となり、また、従
来技術に比べ汎用性に優れている。

【００８１】本発明による撮像装置は、撮影した画像の
データのみならず、その歪み補正のためのパラメータ、
さらには明るさ及び色合いの補正のためのパラメータ
を、外部のコンピュータ等に容易に取り込み、撮影画像
の歪み補正処理、さらには明るさ及び色合いの補正処理
を行うことができる。また、補正処理に利用されるソフ
トウエア側の環境に応じて、補正用パラメータの記憶さ
れるメモリを選択することができ、あるいは補正用パラ
メータを画像データの一部としてメモリに記憶せること
ができる。さらに、外部のコンピュータ等を利用するこ
となく、画像の歪み補正のためのパラメータを求め、こ
れを外部のコンピュータ等に容易に取り込み可能に保存
することができる。

【図面の簡単な説明】

【図１】歪曲収差補正の基礎関係式を説明するための図
である。

【図２】異なったカメラ方位で撮影された同一パターン
の画像平面上の位置と、その歪み補正後の位置を示す図
である。

【図３】歪み補正用パラメータ決定処理の一例を示すフ
ローチャートである。

【図４】歪み補正用パラメータ決定処理の別の例を示す
フローチャートである。

【図５】カメラの光軸回りの回転がない場合の画像の移
動ベクトルを説明する図である。

【図６】歪み補正用パラメータ決定処理を実行するため
のシステム構成の一例を示すブロック図である。

【図７】本発明によるデジタルカメラの一例の概略構成
図である。

【図８】本発明によるデジタルカメラの保有するパラメ
ータの例を示す図である。

【図９】γ変換テーブル、画像信号増幅器のゲイン値、
それに関連した入力信号及び出力信号の関係を示す図で
ある。

【図１０】歪曲収差係数を求めて設定する手順を説明す
るためのフローチャートである。

【符号の説明】

５１画像ファイル５２画像バッファ５３パターン抽出部５４演算制御部５５メモリ１００カメラ本体１０１光学ユニット１０２画像メモリ（外部メモリ）１０３ＣＣＤ（撮像素子）１０４画像信号回路系１０５駆動回路系１０６内蔵コンピュータ１０７データメモリ（内部メモリ）１０８操作キーボード１０９インターフェイス部

Claims

【特許請求の範囲】

【請求項１】デジタルカメラ等の撮像装置によって一
地点から撮影された共通パターンを含む複数枚の画像よ
り、複数組の対応した観測点を検出し、それら観測点
の、撮像装置の撮像系の光軸に対する角度を計算し、求
められた角度の情報に基づいて当該画像に対する歪み補
正のためのパラメータを推定することを特徴とする画像
歪み補正用パラメータ決定方法。
【請求項２】請求項１記載の画像歪み補正用パラメー
タ決定方法において、撮像系のレンズの光学中心と画像
面との距離を仮定して、レンズの歪曲収差係数を推定す
ることを特徴とする画像歪み補正用パラメータ決定方
法。
【請求項３】請求項１記載の画像歪み補正用パラメー
タ決定方法において、撮像系のレンズの歪曲収差係数、
並びにレンズの光学中心と画像面との距離を推定するこ
とを特徴とする画像歪み補正用パラメータ決定方法。
【請求項４】画像を撮影するデジタルカメラ等の撮像
装置において、撮影した画像の歪み補正のためのパラメ
ータが、外部よりアクセス可能なメモリに保存されるこ
とを特徴とする撮像装置。
【請求項５】画像を撮影するデジタルカメラ等の撮像
装置において、撮影した画像の歪み補正のためのパラメ
ータが画像のデータの一部として、外部よりアクセス可
能なメモリに保存されることを特徴とする撮像装置。
【請求項６】画像を撮影するデジタルカメラ等の撮像
装置において、撮影した画像の歪み、明るさ及び色合い
の補正のためのパラメータが、外部よりアクセス可能な
メモリに保存されることを特徴とする撮像装置。
【請求項７】請求項６記載の撮像装置において、少な
くとも一部のパラメータは画像のデータの一部として、
外部よりアクセス可能なメモリに保存されることを特徴
とする撮像装置。
【請求項８】画像を撮影するデジタルカメラ等の撮影
装置において、複数のメモリを有し、撮影した画像の歪
み、明るさ及び色合いの補正のためのパラメータの保存
場所を該複数のメモリより任意に選択可能であることを
特徴とする撮像装置。
【請求項９】撮影した２枚の画像から請求項１記載の
方法により画像歪み補正用パラメータを推定して外部よ
りアクセス可能なメモリに格納する手段を有することを
特徴とする請求項４、５、６、７又は８記載の撮像装
置。