JPH05110926A - Distortion aberration corrector and image synthesizer - Google Patents
Distortion aberration corrector and image synthesizerInfo
- Publication number
- JPH05110926A JPH05110926A JP3270813A JP27081391A JPH05110926A JP H05110926 A JPH05110926 A JP H05110926A JP 3270813 A JP3270813 A JP 3270813A JP 27081391 A JP27081391 A JP 27081391A JP H05110926 A JPH05110926 A JP H05110926A
- Authority
- JP
- Japan
- Prior art keywords
- distortion aberration
- distortion
- image
- value
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004075 alteration Effects 0.000 title claims abstract description 190
- 238000012937 correction Methods 0.000 claims abstract description 34
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 13
- 238000006243 chemical reaction Methods 0.000 claims description 54
- 238000011156 evaluation Methods 0.000 claims description 43
- 238000001514 detection method Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 44
- 230000006870 function Effects 0.000 description 13
- 238000012360 testing method Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 241000226585 Antennaria plantaginifolia Species 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、画像の歪曲収差を補正
する装置および画像合成装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a device for correcting distortion of an image and an image synthesizing device.
【０００２】[0002]
【従来の技術】従来、このような分野の技術としては、
例えば図２２に示すものがある。図２２は、この従来の
歪曲収差補正装置の構成図を示すものである。図２２に
おいて、５１はカメラ、５２は画像取り込みスイッチ、
５３はテストパターンメモリ、５４はパターン検出回
路、５５はパターン検出結果、５６は曲線補間回路、５
７は曲線補間結果、５８は画像歪曲収差補正回路であ
る。このように構成された従来の歪曲収差補正装置につ
いて以下その動作を説明する。2. Description of the Related Art Conventionally, as a technique in such a field,
For example, there is one shown in FIG. FIG. 22 is a block diagram of this conventional distortion aberration correction device. In FIG. 22, 51 is a camera, 52 is an image capturing switch,
53 is a test pattern memory, 54 is a pattern detection circuit, 55 is a pattern detection result, 56 is a curve interpolation circuit, 5
Reference numeral 7 is a curve interpolation result, and 58 is an image distortion aberration correction circuit. The operation of the conventional distortion correction device having the above structure will be described below.
【０００３】まずカメラ５１により、テストパターンと
して等間隔のパターンをもった画像を撮影し、画像取り
込みスイッチ５２を閉じ、この画像をテストパターンメ
モリ５３に記憶する。次にパターン検出回路５４によっ
て、各パターンが実際に画像メモリ上でどの位置にある
かを検出する。５５はこのようにして検出された離散的
なパターン位置を補間して連続的な関数を求める。画像
歪曲収差補正回路５６は、この関数を逆補正する動作に
よって、入力した画像を補正し、画像の歪曲収差を除去
しようとするものである。図２３（ａ）は５４によって
検出するパターン位置と、画面の中心からの距離を示す
図、図２３（ｂ）は検出したパターン位置を補間した関
数を示す図である。First, the camera 51 photographs an image having a pattern at equal intervals as a test pattern, closes the image capturing switch 52, and stores this image in the test pattern memory 53. Next, the pattern detection circuit 54 detects the actual position of each pattern on the image memory. 55 interpolates the discrete pattern positions detected in this way to obtain a continuous function. The image distortion aberration correction circuit 56 corrects the input image and removes the distortion aberration of the image by the operation of inversely correcting this function. 23A is a diagram showing the pattern position detected by 54 and the distance from the center of the screen, and FIG. 23B is a diagram showing a function interpolating the detected pattern position.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、図２２
のような構成では、歪曲収差の測定のための格子パター
ン等、特別のテストパターンが必要であった。さらに、
ズーミング操作などによってカメラの焦点距離を変化さ
せた場合、通常は歪曲収差特性も変化するので、焦点距
離を変化させるたびに、その都度テストパターンを撮影
して、歪曲収差特性を測定し直すという不便さを有して
いた。However, as shown in FIG.
In such a configuration, a special test pattern such as a grating pattern for measuring the distortion aberration is required. further,
When the focal length of the camera is changed by zooming operation, etc., the distortion characteristic usually changes, so every time the focal length is changed, a test pattern is taken and the distortion characteristic is measured again. Had
【０００５】本発明は、上記課題を解決するもので、歪
曲収差測定のための特別のテストパターンを必要とする
ことなく、通常の画像入力のみを用いて歪曲収差を補正
する手段を提供することを目的としている。The present invention solves the above problems and provides a means for correcting distortion by using only normal image input without requiring a special test pattern for measuring distortion. It is an object.
【０００６】[0006]
【課題を解決するための手段】本発明は、上記問題点を
解決するために、複数の画像を入力し、複数の画像間の
互いに重複し対応する部分の座標位置を検出し、歪曲収
差および焦点距離を推定して、これらに基づいて歪曲収
差を補正し、座標の幾何変換を行って、複数の画像間で
重複し、対応する点の座標位置の誤差が所定の値以下と
なるよう前述の歪曲収差の推定値および焦点距離の推定
値を更新するようにしたものである。SUMMARY OF THE INVENTION In order to solve the above problems, the present invention inputs a plurality of images, detects the coordinate positions of corresponding portions of the plurality of images which overlap with each other, and Estimate the focal length, correct the distortion based on these, perform geometric transformation of the coordinates, overlap between multiple images, so that the error in the coordinate position of the corresponding point is below a predetermined value. The estimated value of the distortion aberration and the estimated value of the focal length are updated.
【０００７】[0007]
【作用】本発明によれば、上記のように、複数の画像を
入力して、これら複数の画像中から対応する点を検出
し、画像の座標を幾何変換して、対応する画素位置がで
きるだけ正確に重なるように、歪曲収差および焦点距離
を推定しているので、歪曲収差測定のための特別のテス
トパターンを必要としない。また、焦点距離および歪曲
特性が変化しても、同一焦点距離で撮影した画像が複数
枚あれば、これらより歪曲収差および焦点距離を推定す
ることができるため、撮影対象である通常の画像のみを
用いて画像入力系の焦点距離を検出できるとともに、画
像の歪曲収差を検出し、これを補正することができる。According to the present invention, as described above, a plurality of images are input, corresponding points are detected from the plurality of images, the coordinates of the images are geometrically transformed, and the corresponding pixel positions are determined as much as possible. Since the distortion aberration and the focal length are estimated so as to accurately overlap each other, no special test pattern for measuring the distortion aberration is required. In addition, even if the focal length and distortion characteristics change, if there are multiple images taken at the same focal length, the distortion aberration and focal length can be estimated from these, so only the normal image that is the subject of imaging can be estimated. The focal length of the image input system can be detected by using it, and the distortion aberration of the image can be detected and corrected.
【０００８】また本発明によれば、歪曲収差を補正した
画像を用いて合成することが容易となり、歪曲収差が補
正された高精度の合成画像を得ることができる。Further, according to the present invention, it becomes easy to combine the images using the distortion-corrected images, and it is possible to obtain a highly accurate combined image in which the distortion aberrations are corrected.
【０００９】[0009]
【実施例】以下、本発明の実施例について、以下図面を
参照しながら説明する。Embodiments of the present invention will be described below with reference to the drawings.
【００１０】図１は、本発明の第１の実施例における歪
曲収差補正装置の構成図を示すものである。図１におい
て、１は画像入力端子、２〜３は入力した画像を記憶す
る画像メモリ、４〜５は入力した画像の互いに重複する
部分の座標位置を検出する対応点検出手段、６は画像の
入力した画像が有する歪曲収差を推定する歪曲収差推定
手段、７は入力した画像を撮影した装置の焦点距離を推
定する焦点距離推定手段、８〜９は歪曲収差による座標
位置の変位を補正する座標歪曲収差補正手段、１０は座
標位置を幾何変換するための係数を決定する変換係数決
定手段、１１は画像の座標位置を幾何変換する座標幾何
変換手段、１２は座標位置の誤差を評価する誤差評価手
段、１３は入力した画像の歪曲収差を補正して１４より
出力する画像歪曲収差補正手段である。図２は本発明の
第１の実施例の動作説明図である。FIG. 1 shows a block diagram of a distortion aberration correcting device in a first embodiment of the present invention. In FIG. 1, 1 is an image input terminal, 2-3 are image memories for storing input images, 4-5 are corresponding point detecting means for detecting coordinate positions of overlapping portions of the input images, and 6 is an image Distortion aberration estimation means for estimating the distortion aberration of the input image, 7 is a focal length estimation means for estimating the focal length of the device that shot the input image, and 8-9 are coordinates for correcting the displacement of the coordinate position due to the distortion aberration. Distortion aberration correcting means, 10 is conversion coefficient determining means for determining a coefficient for geometrically converting the coordinate position, 11 is a coordinate geometric converting means for geometrically converting the coordinate position of the image, and 12 is an error evaluation for evaluating an error in the coordinate position. Means, 13 is an image distortion aberration correcting means for correcting the distortion aberration of the input image and outputting from 14. FIG. 2 is an operation explanatory diagram of the first embodiment of the present invention.
【００１１】以上のように構成された本発明の第１の実
施例の歪曲収差補正について、以下その動作を説明す
る。The operation of the distortion correction according to the first embodiment of the present invention having the above-mentioned structure will be described below.
【００１２】カメラの角度を変える等により、被写体の
一部が重複する第１および第２の２枚の画像を、それぞ
れ画像メモリ２および３に入力する。第１の画像中から
２枚の画像で互いに重複する部分の座標位置を第１の対
応点検出４によって検出する。同様にして、第２の画像
から２枚の画像で互いに重複する部分の座標位置を第２
の対応点検出５によって検出する。次に６によって、入
力した画像が有する歪曲収差を表すパラメータを適当な
初期値から出発して推定する。次に７によって、入力画
像を撮影した装置の焦点距離を適当な初期値から出発し
て推定する。第１および第２の座標歪曲収差補正手段８
および９は、推定した歪曲収差に基づき、これを逆補正
するよう、前述の４、５で検出した対応点の座標位置を
それぞれ補正する。By changing the angle of the camera or the like, the first and second two images in which a part of the subject overlaps are input to the image memories 2 and 3, respectively. The first corresponding point detection 4 detects the coordinate positions of the portions of the two images that overlap each other in the first image. Similarly, the coordinate position of the overlapping portion between the two images from the second image is set to the second position.
It is detected by the corresponding point detection 5. Next, in step 6, the parameter representing the distortion aberration of the input image is estimated starting from an appropriate initial value. Then, according to 7, the focal length of the device that captured the input image is estimated starting from a suitable initial value. First and second coordinate distortion aberration correction means 8
Based on the estimated distortion, 9 and 9 respectively correct the coordinate positions of the corresponding points detected in 4 and 5 described above so as to reversely correct the distortion.
【００１３】入力された２枚の画像は、一部分が重複し
ているものの、撮影時のカメラ角度が異なっており、こ
のため一方の画像は他方の画像に対して、単純な平行移
動を行っても完全には重ならない。重複した部分を重ね
るためには、一方の画像に所定の幾何変換を施す必要が
ある。この幾何変換は、変換前の点（ｘ，ｙ）が
（ｘ’，ｙ’）に変換されるとすれば、次の（数１）お
よび（数２）の関係が成り立つような変換である。ただ
し歪曲収差は補正されているものとする。Although the two input images partially overlap with each other, the camera angles at the time of photographing are different. Therefore, one image is simply translated in parallel with the other image. Do not completely overlap. In order to overlap the overlapping portions, it is necessary to perform a predetermined geometric transformation on one image. This geometric transformation is such that, if the point (x, y) before transformation is transformed into (x ′, y ′), the following relations of (Equation 1) and (Equation 2) hold. .. However, it is assumed that the distortion is corrected.
【００１４】[0014]
【数１】 [Equation 1]
【００１５】[0015]
【数２】 [Equation 2]
【００１６】ここでｆはカメラの焦点距離、Ｒij（i,j=
1,2,3）は幾何変換行列Ｒの係数であり、２枚の画像間
で共通の被写体部分に対応する点（以下対応点という）
の組が、２組以上あれば決定できることが知られてい
る。Where f is the focal length of the camera, R ij (i, j =
1, 2, 3) are the coefficients of the geometric transformation matrix R, which are points corresponding to a common subject part between two images (hereinafter referred to as corresponding points)
It is known that the number of sets can be determined if there are two or more sets.
【００１７】さて、１０の座標変換係数決定手段は、歪
曲収差を補正した２組以上の対応点の座標位置と、７で
推定した焦点距離値により変換係数Ｒijを決定し、１１
はこの変換係数に基づいて、９の出力の座標位置を幾何
変換する。８の出力と１１の出力を誤差評価手段１２に
よって評価するが、歪曲収差の推定値と焦点距離の推定
値が共に真の値に近ければ、この評価値はほぼ０とな
る。この評価値を６および７にフィードバックして、歪
曲収差の推定値および焦点距離の推定値を更新するルー
プを形成し、この評価値が最小となる歪曲収差値および
焦点距離値を探索する。Now, the coordinate conversion coefficient determining means of 10 determines the conversion coefficient R ij from the coordinate positions of two or more corresponding points in which distortion is corrected and the focal length value estimated in 7, and 11
Geometrically transforms the coordinate position of the output of 9 based on this transformation coefficient. The output of 8 and the output of 11 are evaluated by the error evaluation means 12, and if the estimated value of the distortion aberration and the estimated value of the focal length are both close to the true value, this evaluated value becomes almost zero. This evaluation value is fed back to 6 and 7 to form a loop for updating the distortion aberration estimated value and the focal length estimated value, and the distortion aberration value and the focal distance value with which this evaluation value is the minimum are searched.
【００１８】この動作の概念を図２を用いて説明する。
図２において（ａ）は被写体であり、これを異なったカ
メラ角度で撮影した２枚の画像（ｂ）、（ｃ）には歪曲
収差がある。Ａ、Ｂ、Ｃ、およびＡ’、Ｂ’、Ｃ’は２
枚の画像でそれぞれ重複する部分の対応点である。
（ｂ）および（ｃ）の画像の歪曲収差を補正したものが
（ｄ）および（ｅ）である。（ｅ）における２点たとえ
ばＡ’、Ｃ’がそれぞれ（ｄ）における２点Ａ、Ｃに対
応するとすれば変換係数が決定できる。この変換係数に
従って画像（ｅ）を変換すると（ｆ）が得られる。
（ｆ）において、 ＡとＡ’、ＣとＣ’は常に一致する
が、ＢとＢ’は歪曲収差推定値および焦点距離推定値が
正しくなければ一致しない。このＢとＢ’が一致するよ
うフィードバックして歪曲収差値および焦点距離値を更
新し、これらの真値を推定する。最終的に正しく推定さ
れた歪曲収差を用いて画像を補正することにより、画像
の歪曲収差の補正が実現できる。なお画像の対応検出に
は一般の画像を用いることができ、前もって特殊なテス
トパターン等を準備して歪曲収差を測定する必要がな
い。また焦点距離の推定も同時に行われ、焦点距離につ
いても前もって測定しておく必要がない。The concept of this operation will be described with reference to FIG.
In FIG. 2, (a) is a subject, and two images (b) and (c) obtained by shooting the subject at different camera angles have distortion. A, B, C and A ', B', C'are 2
It is the corresponding point of the overlapping portion in each of the images.
(D) and (e) are obtained by correcting the distortion aberration of the images of (b) and (c). If the two points in (e), for example A ′ and C ′, correspond to the two points A and C in (d), the conversion coefficient can be determined. When the image (e) is converted according to this conversion coefficient, (f) is obtained.
In (f), A and A ', C and C'always match, but B and B'do not match unless the distortion aberration estimated value and the focal length estimated value are correct. The distortion aberration value and the focal length value are updated by feeding back so that B and B ′ coincide with each other, and the true values of these are estimated. By finally correcting the image using the correctly estimated distortion, the distortion of the image can be corrected. It should be noted that a general image can be used for image correspondence detection, and it is not necessary to prepare a special test pattern or the like in advance to measure distortion. The focal length is also estimated at the same time, and it is not necessary to measure the focal length in advance.
【００１９】なお、図２では、画像の変換を用いて説明
したが、必ずしも実際に画像の歪曲収差を補正したり、
幾何変換したりする必要はなく、必要最小限の画素の座
標値のみを用いて演算することが可能である。また簡単
のため、画像の対応点には３点を用いて説明したが、一
般的には未知である歪曲収差、焦点距離のパラメータ数
に応じて、対応点の数を用意し、正しい推定値で系が収
束するようにする必要がある。In FIG. 2, the image conversion is used for explanation, but it is not always necessary to actually correct the image distortion aberration.
It is not necessary to perform geometric conversion, and it is possible to perform calculation using only the minimum necessary coordinate values of pixels. Also, for simplicity, the description has been made using three corresponding points of the image, but the number of corresponding points is prepared according to the number of parameters of distortion aberration and focal length, which are generally unknown, and a correct estimated value is obtained. It is necessary to make the system converge at.
【００２０】以上のように、本実施例によれば、前もっ
て特殊なテストパターン等を準備して歪曲収差を測定せ
ずに、一般の画像を用いて画像の歪曲収差を補正するこ
とが可能となる。また、同一焦点距離で撮影された２枚
の画像があれば、前もって特殊なパターンを用いて焦点
距離を測定することなく、画像の歪曲収差を補正するこ
とができる。As described above, according to this embodiment, it is possible to correct the distortion aberration of an image using a general image without preparing a special test pattern or the like in advance and measuring the distortion aberration. Become. Also, if there are two images taken at the same focal length, it is possible to correct the distortion aberration of the image without measuring the focal length using a special pattern in advance.
【００２１】図３は、本発明の第２の実施例において、
歪曲収差推定手段が推定する歪曲収差に対応する結像特
性図である。図３において、縦軸Ｙは画像の中心からの
各画素の座標の距離（観測した画素位置）であり、横軸
Ｘは、歪曲収差が無い場合の、画像の中心からの各画素
の距離（理想的な画素の位置）である。図３中の（１）
〜（３）は本発明の第２の実施例の歪曲収差推定手段
が、歪曲収差を近似した多項式の係数を最小単位更新し
たときの結像特性の変化を示すものである。以下この第
２の実施例について同図を用いて説明する。FIG. 3 shows a second embodiment of the present invention.
FIG. 7 is an image forming characteristic diagram corresponding to the distortion aberration estimated by the distortion aberration estimating means. In FIG. 3, the vertical axis Y is the distance of the coordinates of each pixel from the center of the image (observed pixel position), and the horizontal axis X is the distance of each pixel from the center of the image when there is no distortion ( This is an ideal pixel position). (1) in Fig. 3
(3) to (3) show changes in the imaging characteristics when the distortion aberration estimating means of the second embodiment of the present invention updates the coefficient of the polynomial approximating the distortion aberration by the minimum unit. The second embodiment will be described below with reference to FIG.
【００２２】歪曲収差が無いとすれば、結像関係は明ら
かに、（数３）で表されるが、歪曲収差により、結像関
係が歪曲収差パラメータをａ、ｂとして、（数４）で表
されるものとする。If there is no distortion, the imaging relationship is clearly expressed by (Equation 3), but due to distortion, the imaging relationship is expressed by (Equation 4) with the distortion aberration parameters a and b. Shall be represented.
【００２３】[0023]
【数３】 [Equation 3]
【００２４】[0024]
【数４】 [Equation 4]
【００２５】図３において（１）は（数４）で表される
結像特性の例である。歪曲収差推定手段は、この歪曲収
差パラメータａ、ｂを推定するのであるが、探索によっ
て推定する場合、その更新ステップ幅が大きすぎると、
最適な値を見落とす恐れがあり、逆に更新ステップ幅が
必要以上に小さければ、次元数はａ、ｂで２次元となる
ことから、探索に要する時間が非常に長くなるという問
題点がある。このため、この更新ステップ幅は適切に設
定する必要がある。In FIG. 3, (1) is an example of the imaging characteristic represented by (Equation 4). The distortion aberration estimation means estimates the distortion aberration parameters a and b. However, when estimating by search, if the update step width is too large,
There is a risk that the optimum value may be overlooked, and conversely, if the update step width is smaller than necessary, the number of dimensions will be two in a and b, and the time required for the search will be extremely long. Therefore, this update step width needs to be set appropriately.
【００２６】図３（２）は歪曲収差パラメータａを更新
ステップとして最小単位Δａだけ変化させたときの結像
特性の例、図３（３）は歪曲収差パラメータｂを更新ス
テップとして最小単位Δｂだけ変化させたときの結像特
性の例である。ここでΔａおよびΔｂを所定の値に設定
すると、これら歪曲収差パラメータの変化によって生じ
る画素位置の変化ΔＸａ、ΔＸｂをそれぞれ０．５画素
以下とすることができ、歪曲収差パラメータの最小単位
の変化による画像上の任意の点の移動量が０．５画素以
下となる。このように設定することにより、パラメータ
を最小単位変化させた場合にも、画素位置の順序関係が
入れ替わることがないため、最適値を見落とすことな
く、最適値に十分近いパラメータを探索することが可能
になる。FIG. 3 (2) shows an example of the imaging characteristics when the distortion aberration parameter a is changed by the minimum unit Δa as the updating step, and FIG. 3 (3) is the distortion aberration parameter b by the minimum unit Δb as the updating step. It is an example of the imaging characteristic when changed. Here, if Δa and Δb are set to predetermined values, the pixel position changes ΔXa and ΔXb caused by these distortion parameter changes can be set to 0.5 pixels or less, respectively. The amount of movement of any point on the image is 0.5 pixels or less. By setting in this way, even if the parameter is changed by the minimum unit, the order relationship of pixel positions does not change, so it is possible to search for a parameter that is close enough to the optimum value without overlooking the optimum value. become.
【００２７】以上のように、本実施例によれば、歪曲収
差による画素位置変化の最大値を０．５画素以下に設定
することにより、最適値に十分近いパラメータを探索す
ることがてきる。As described above, according to this embodiment, by setting the maximum value of the pixel position change due to the distortion aberration to 0.5 pixels or less, it is possible to search for a parameter sufficiently close to the optimum value.
【００２８】図４および図５は、本発明の第３の実施例
における焦点距離推定手段の動作を説明する図で、図４
は推定した焦点距離値に対する誤差評価値の例を表す
図、図５は図４のＡ、Ｂ、Ｃ、Ｄのデータを用いて補間
したグラフである。以下図面に従って本発明の第３の実
施例の焦点距離推定手段の動作を説明する。FIGS. 4 and 5 are diagrams for explaining the operation of the focal length estimating means in the third embodiment of the present invention.
Is a diagram showing an example of an error evaluation value with respect to the estimated focal length value, and FIG. 5 is a graph interpolated using the data of A, B, C, and D in FIG. The operation of the focal length estimating means of the third embodiment of the present invention will be described below with reference to the drawings.
【００２９】本実施例では、まず焦点距離値を仮に推定
する。これに対して最も良い誤差評価値を与える歪曲収
差パラメータを推定する。この推定は例えば第２の実施
例のように、歪曲収差パラメータを所定の最小更新ステ
ップによって更新して探索する方法で推定することがで
きる。このようにして、ひとつの焦点距離値に対して、
最良の誤差評価値を与える歪曲収差パラメータを推定
し、この評価値を記録する。もし、焦点距離を細かく設
定し、その都度誤差評価値をグラフにすれば図４を得
る。このグラフから、評価値最小を与える焦点距離設定
値を最終的な焦点距離推定値とすることができるが、こ
の方法では誤差評価値最小を与える焦点距離値を正確に
求めるには、細かく焦点距離を設定して、その都度歪曲
収差パラメータを推定する必要があり、必要演算回数が
増大してしまう。そこで本発明の第３の実施例における
焦点距離推定手段では、まず図４の３点以上の点、たと
えばＡ、Ｂ、Ｃ、Ｄの各４点の焦点距離値を設定する。
次にこの４点における誤差評価値を補間して、図５のよ
うに連続した関数を得る。補間した関数の最小値を与え
る点Ｐ’での焦点距離値ｆ0’を、もとの図４の誤差評
価値の最小値を与えるｆ0の近似とすることができる。In this embodiment, first, the focal length value is temporarily estimated. On the other hand, the distortion aberration parameter giving the best error evaluation value is estimated. This estimation can be estimated by a method of updating and searching the distortion aberration parameter by a predetermined minimum updating step as in the second embodiment. In this way, for one focal length value,
Estimate the distortion parameter that gives the best error estimate and record this estimate. If the focal length is set finely and the error evaluation value is plotted in each case, FIG. 4 is obtained. From this graph, the focal length setting value that gives the minimum evaluation value can be used as the final estimated focal length value. Must be set and the distortion aberration parameter must be estimated each time, and the number of required calculations increases. Therefore, in the focal length estimating means in the third embodiment of the present invention, first, the focal length values of three or more points in FIG. 4, for example, four points A, B, C and D are set.
Next, the error evaluation values at these four points are interpolated to obtain a continuous function as shown in FIG. The focal length value f 0 ′ at the point P ′ that gives the minimum value of the interpolated function can be an approximation of f 0 that gives the minimum value of the error evaluation value of the original FIG.
【００３０】以上のように、本実施例によれば、焦点距
離を３点以上の異なった値に設定し、各々設定した焦点
距離について、誤差評価値最小を与える歪曲収差を推定
し、これら３点以上の誤差評価値を補間して得られた関
数の最小値の位置より、焦点距離値を推定することによ
り、少ない演算回数で焦点距離値を推定することができ
る。As described above, according to this embodiment, the focal lengths are set to three or more different values, and the distortion aberration that gives the minimum error evaluation value is estimated for each of the set focal lengths. By estimating the focal length value from the position of the minimum value of the function obtained by interpolating the error evaluation values of points or more, the focal length value can be estimated with a small number of calculations.
【００３１】図６、図７、図８は、本発明の第４の実施
例における焦点距離推定手段の動作を説明する図であ
る。図６は推定した焦点距離値に対する評価値の例を表
す図、図７は図６のデータの局所最小値を示す図、図８
は図７のデータを補間した図である。以下図面に従って
本発明の第４の実施例の焦点距離推定手段の動作を説明
する。6, 7, and 8 are diagrams for explaining the operation of the focal length estimating means in the fourth embodiment of the present invention. FIG. 6 is a diagram showing an example of an evaluation value for the estimated focal length value, FIG. 7 is a diagram showing a local minimum value of the data of FIG. 6, and FIG.
8 is a diagram in which the data of FIG. 7 is interpolated. The operation of the focal length estimating means of the fourth embodiment of the present invention will be described below with reference to the drawings.
【００３２】前述の本発明の第３の実施例と同様、焦点
距離を仮に設定し、これに対して最も良い評価値を与え
る歪曲収差パラメータを推定する。この推定は例えば第
２の実施例のように、歪曲収差パラメータを所定の最小
更新ステップによって更新して探索する方法で推定する
ことができる。このような方法の場合、次元数がａ、ｂ
で２次元であることから、更新ステップ幅を大きくする
ことができれば、探索の回数を著しく減少させることが
できる。図６の実線はこの更新ステップ幅を大きくした
場合の誤差評価値であり、図６の点線で示した、歪曲収
差パラメータ探索の際のステップ幅を十分細かくして探
索した場合の誤差評価値と比較して、周期的に大きな誤
差を発生する。そこで、図６に局所最小値処理を施し、
図７を得る。この局所最小値処理は、図６の誤差評価値
の谷の部分の最大周期をＴmaxとして、推定する焦点距
離推定値に対して±（Ｔmax／２）の幅をもった範囲で
の誤差表価値の最小値を求めるような処理とすることが
できる。図７を補間して図８を得る。この補間した関数
の最小値を与える点Ｐ”での焦点距離値ｆ0”を、ｆ0の
近似とすることができる。このよう局所最小値処理を設
けることにより、歪曲収差パラメータ探索の際の更新ス
テップ幅を大きく設定することができる。Similar to the above-mentioned third embodiment of the present invention, the focal length is temporarily set and the distortion aberration parameter giving the best evaluation value to this is estimated. This estimation can be estimated by a method of updating and searching the distortion aberration parameter by a predetermined minimum updating step as in the second embodiment. In such a method, the number of dimensions is a, b
Since it is two-dimensional, the number of searches can be significantly reduced if the update step width can be increased. The solid line in FIG. 6 is the error evaluation value when the update step width is increased, and is the error evaluation value when the step width in the distortion aberration parameter search shown in FIG. In comparison, a large error occurs periodically. Therefore, the local minimum value processing is applied to FIG.
FIG. 7 is obtained. In this local minimum value processing, the error cycle value in a range having a width of ± (Tmax / 2) with respect to the estimated focal length value is set with Tmax being the maximum period of the valley portion of the error evaluation value in FIG. It is possible to perform a process of obtaining the minimum value of. FIG. 7 is interpolated to obtain FIG. The focal length value f 0 ″ at the point P ″ that gives the minimum value of this interpolated function can be an approximation of f 0 . By providing the local minimum value processing in this way, it is possible to set a large update step width when searching for distortion aberration parameters.
【００３３】以上のように、本実施例によれば、焦点距
離を複数の異なった値に設定し、各々設定した焦点距離
について、最小の誤差評価値を与える歪曲収差を推定
し、これら複数の誤差評価値を局所最小値処理して得ら
れた値により関数を補間し、この補間した関数の最小値
の位置より、焦点距離値を推定することにより、歪曲収
差パラメータ探索の更新ステップ幅を大きくすることが
でき、少ない演算回数で焦点距離値を推定することがで
きる。As described above, according to this embodiment, the focal lengths are set to a plurality of different values, the distortion aberration that gives the minimum error evaluation value is estimated for each of the set focal lengths, and these plural values are estimated. By interpolating the function with the value obtained by processing the local minimum value of the error evaluation value and estimating the focal length value from the position of the minimum value of this interpolated function, the update step width of the distortion aberration parameter search is increased. The focal length value can be estimated with a small number of calculations.
【００３４】図９、図１０、図１１は、本発明の第５の
実施例における歪曲収差推定手段の動作を説明する図で
ある。図９は歪曲収差に対応する結像特性図であり、
（数４）に相当する。図３において、縦軸Ｙは画像の中
心からの各画素の座標の距離（観測した画素位置）であ
り、横軸Ｘは、歪曲収差が無い場合の、画像の中心から
の各画素の距離（理想的な画素の位置）である。歪曲収
差のパラメータに応じて例えば（１）、（２）、（３）
の用に変化する。FIGS. 9, 10 and 11 are diagrams for explaining the operation of the distortion aberration estimating means in the fifth embodiment of the present invention. FIG. 9 is an image formation characteristic diagram corresponding to distortion aberration,
It corresponds to (Equation 4). In FIG. 3, the vertical axis Y is the distance of the coordinates of each pixel from the center of the image (observed pixel position), and the horizontal axis X is the distance of each pixel from the center of the image when there is no distortion ( This is an ideal pixel position). For example, (1), (2), (3) depending on the parameter of distortion.
Change for.
【００３５】歪曲収差の大きさは、画像の中心付近の倍
率で出来上がる像の大きさを理想像高とし、現実の像の
大きさが、これよりどの程度伸縮しているか、で表現す
る方法が一般的である。歪曲収差を、実際の像高および
理想像高、を用いて（数５）のように定義すると、The size of the distortion aberration is represented by the size of the image formed by the magnification near the center of the image as the ideal image height, and is expressed by how much the actual image size expands or contracts. It is common. When the distortion is defined as (Equation 5) using the actual image height and the ideal image height,
【００３６】[0036]
【数５】 [Equation 5]
【００３７】と表すことができる。この表現は、歪曲収
差が全く無い場合、歪曲収差＝０となり、歪曲収差を把
握するのに都合がよい。（数５）の実際の像高にＹ、理
想像高にＸを代入すると（数６）を得る。It can be expressed as This expression is convenient for grasping the distortion aberration because the distortion aberration becomes 0 when there is no distortion aberration at all. Substituting Y for the actual image height of (Equation 5) and X for the ideal image height yields (Equation 6).
【００３８】[0038]
【数６】 [Equation 6]
【００３９】図１０は（数６）にしたがって、画像中心
からの距離と歪曲収差の例との関係を示した図である。
画像の中心からの距離をＸ、画像上での観測される画素
位置をＹしている。歪曲収差は、例えば図１０の
（１）、（２）、（３）のように、歪曲収差パラメータ
ａ，ｂの値によって変化する２次曲線で表せる。FIG. 10 is a diagram showing the relationship between the distance from the image center and an example of distortion aberration according to (Equation 6).
The distance from the center of the image is X, and the observed pixel position on the image is Y. The distortion aberration can be represented by a quadratic curve that changes according to the values of the distortion aberration parameters a and b, for example, as in (1), (2), and (3) of FIG.
【００４０】さて歪曲収差パラメータａ，ｂを探索によ
って推定する際には、予め歪曲収差パラメータａ，ｂの
範囲をそれぞれ決めることで、探索する範囲を限定する
ことができるが、パラメータａ、ｂの範囲はそれぞれ独
立に設定すると、探索にむだが生じる。すなわち、レン
ズは通常（数５）で表される歪曲収差の値が所定の範囲
内となるよう管理されているので、これによるパラメー
タの制約条件を考慮して探索の範囲をさらに限定するこ
とが可能となる。例えば（数６）で表される歪曲収差の
絶対値が所定の値ｄmax以下であるとすると、図１０の
ように、歪曲収差の絶対値がｄmaxを超えない曲線を与
えるａ、ｂの組合せは、図１１の斜線を施した、Ｉの部
分にのみ限定される。IIの部分は糸巻収差の最大値が、
III の部分では樽型収差の最大値がそれぞれｄmaxを超
える領域であり、ａ、ｂの組合せを考慮することで、こ
れらの領域の探索が除外でき、探索の範囲を限定して効
率的な歪曲収差の探索が可能となる。When the distortion aberration parameters a and b are estimated by searching, the range to be searched can be limited by determining the ranges of the distortion aberration parameters a and b in advance. If the ranges are set independently, it will be a waste of time to search. That is, since the lens is controlled so that the value of the distortion aberration normally expressed by (Equation 5) is within a predetermined range, it is possible to further limit the search range in consideration of the parameter constraint condition. It will be possible. For example, if the absolute value of the distortion aberration represented by (Equation 6) is less than or equal to a predetermined value dmax, the combination of a and b that gives a curve in which the absolute value of the distortion aberration does not exceed dmax as shown in FIG. 11 is limited to only the I portion shown by hatching in FIG. In part II, the maximum value of the pincushion aberration is
In the area of III, the maximum value of barrel aberration exceeds dmax. By considering the combination of a and b, the search of these areas can be excluded, and the effective range of distortion is limited by limiting the search range. Aberration can be searched for.
【００４１】以上のように、本実施例によれば、歪曲収
差を近似する多項式で近似し、歪曲収差の絶対値の最大
値が所定の値以下であることを用いて、この条件を満た
す範囲のみを探索して推定することによって、効率的な
歪曲収差を推定することが可能となる。As described above, according to the present embodiment, the approximation is performed by a polynomial that approximates the distortion, and the maximum absolute value of the distortion is less than a predetermined value. By searching only for and estimating only, it becomes possible to estimate distortion efficiently.
【００４２】なお、本実施例の説明では、歪曲収差の絶
対値の最大値が所定の範囲内となる係数の範囲とした
が、この他、たとえば歪曲収差の最大値と歪曲収差の最
小値の差が所定の値以下となる範囲とすること等、種々
変形することが可能である。たとえば正の歪曲収差は負
の歪曲収差に比較して許容範囲が小さいこと、また歪曲
収差の絶対値はそれほど大きくなくても、この値が急激
に変化するような歪曲収差も許容されないこと等を利用
して、歪曲収差パラメータの探索範囲を限定することが
できる。In the description of the present embodiment, the range of coefficients is set such that the maximum absolute value of distortion aberration falls within a predetermined range. However, in addition to this, for example, the maximum value of distortion aberration and the minimum value of distortion aberration are set. It is possible to make various modifications such as setting the difference within a predetermined value or less. For example, positive distortion has a smaller allowable range than negative distortion, and even if the absolute value of distortion is not so large, distortion that changes rapidly is not allowed. Utilizing this, the search range of the distortion aberration parameter can be limited.
【００４３】図１２は本発明の歪曲収差推定値と、誤差
評価の値の関係を示す図、図１３は本発明の第６の実施
例の歪曲収差補正装置の歪曲収差推定手段の動作説明図
である。以下図１２および図１３を用いて本発明の第６
の実施例の動作を説明する。FIG. 12 is a diagram showing the relationship between the distortion aberration estimated value of the present invention and the error evaluation value, and FIG. 13 is an explanatory view of the operation of the distortion aberration estimation means of the distortion aberration correction device of the sixth embodiment of the present invention. Is. The sixth aspect of the present invention will be described below with reference to FIGS. 12 and 13.
The operation of this embodiment will be described.
【００４４】図１２は推定する歪曲収差を２次式で表
し、焦点距離の推定値を所定の値としたときの、２つの
歪曲収差パラメータの推定値ａおよびｂと、誤差評価値
の関係を示すものである。シミュレーションによれば、
パラメータａ、ｂに対して誤差評価値の変化は一様では
なく、定性的にはａを増加させた場合にはｂを減少させ
るような曲線上に誤差評価値の谷が確認される。図１３
はこの谷の底の部分を点線でａｂ平面上に示したもので
ある。本実施例の歪曲収差推定手段は、図１３の第１の
ｂ＝一定の直線 Ｌ1上を探索し、誤差評価値最小の点Ａ
を得る。同様にして第２の直線 Ｌ2上を探索し、誤差評
価値最小の点Ｂを、第３の直線 Ｌ3上を探索し、誤差評
価値最小の点Ｃを得る。次にＡ、Ｂ、Ｃの各点を通る２
次曲線を求める。さらに得られた２次曲線上のみを探索
して、最も小さい誤差評価値を与える歪曲パラメータａ
およびｂを求めることができる。このようにすることに
より、パラメータの探索はＬ1〜Ｌ3上の探索、および求
めた２次曲線上での探索とすることができ、これらはい
ずれも１次元探索となり、ａｂ平面内を隈なく２次元的
に探索することに比較して著しく探索範囲を少なくする
ことができる。FIG. 12 shows the estimated distortion by a quadratic equation, and shows the relationship between the estimated values a and b of the two distortion aberration parameters and the error evaluation value when the estimated value of the focal length is a predetermined value. It is shown. According to the simulation
The variation of the error evaluation value is not uniform with respect to the parameters a and b, and qualitatively, a valley of the error evaluation value is confirmed on the curve such that when a is increased, b is decreased. FIG.
Indicates the bottom of this valley on the ab plane with a dotted line. The distortion aberration estimating means of the present embodiment searches the first b = constant straight line L1 in FIG.
To get Similarly, the second straight line L2 is searched for the point B having the minimum error evaluation value, and the third straight line L3 is searched for the point C having the minimum error evaluation value. Next, pass 2 at points A, B, and C
Find the next curve. Further, the distortion parameter a that gives the smallest error evaluation value is searched by searching only on the obtained quadratic curve.
And b can be determined. By doing so, the parameter search can be a search on L1 to L3 and a search on the obtained quadratic curve, both of which become a one-dimensional search, and the search can be performed on the ab plane with 2 The search range can be remarkably reduced as compared with the case of performing the search in a dimension.
【００４５】なお、本実施例の探索の範囲を本発明の第
５の実施例で示される範囲と組み合わせてさらに探索範
囲を削減できることは言うまでもない。Needless to say, the search range can be further reduced by combining the search range of this embodiment with the range shown in the fifth embodiment of the present invention.
【００４６】以上のように、本実施例によれば、入力し
た画像が有する歪曲収差を２次式で近似し、この２次式
の２つの係数は、この係数が表す２次元平面上にあるこ
とを検出し、この曲線上を探索して歪曲収差を推定する
ことにより、パラメータの探索をすべて１次元探索とす
ることができ、探索範囲を著しく削減して効率よい歪曲
収差推定が実現できる。As described above, according to this embodiment, the distortion aberration of the input image is approximated by a quadratic expression, and the two coefficients of this quadratic expression are on the two-dimensional plane represented by this coefficient. By detecting this fact and searching on this curve to estimate the distortion aberration, all the parameter searches can be one-dimensional searches, and the search range can be significantly reduced to realize efficient distortion aberration estimation.
【００４７】図１４は歪曲収差の種類を表す図、図１５
は本発明の第７の実施例の歪曲収差推定手段が探索する
係数の範囲を示す図である。以下、図１４および図１５
を用いて、本発明の第７の実施例について説明する。FIG. 14 is a diagram showing types of distortion, and FIG.
FIG. 14 is a diagram showing a range of coefficients searched for by the distortion aberration estimating means of the seventh example of the present invention. Hereinafter, FIG. 14 and FIG.
The seventh embodiment of the present invention will be described with reference to FIG.
【００４８】図１４は歪曲収差の種類を表す図で、
（１）〜（２）は糸巻収差、（４）〜（５）は樽型収差
といわれるものである。（６）は実際画像の像高に対し
て、歪曲収差のない、理想の場合の像高が一通りでな
く、歪んだ画像ともとの画像の間に１対１の対応がな
く、このような場合はもはや画像の座標位置の補正によ
って歪曲収差を補正することは不可能である。またこの
ような極度の歪曲収差は通常考慮する必要がないため、
歪曲収差パラメータの探索の際、（６）のような歪曲収
差を生じる範囲を除外することにより、探索範囲を削減
することができる。この除外する範囲は、歪曲収差を２
次で近似した場合、図１５の斜線を施した部分で示され
る領域となる。FIG. 14 is a diagram showing the types of distortion.
(1) to (2) are called pincushion aberrations, and (4) to (5) are called barrel aberrations. In (6), the image height in the ideal case without distortion is not uniform with respect to the image height of the actual image, and there is no one-to-one correspondence between the distorted image and the original image. In such a case, it is no longer possible to correct the distortion aberration by correcting the coordinate position of the image. Moreover, since it is not necessary to usually consider such extreme distortion,
When searching for the distortion aberration parameter, the search range can be reduced by excluding the range in which distortion aberration occurs as in (6). This excluded range has a distortion aberration of 2
When the following approximation is made, the area is shown by the hatched portion in FIG.
【００４９】以上のように、本実施例によれば、入力し
た画像が有する歪曲収差を、座標変換によって収差を補
正することが可能な収差の範囲を探索範囲とすることに
より、探索範囲を削減して、効率よい歪曲収差推定を実
現することができる。As described above, according to the present embodiment, the search range is reduced by setting the distortion range of the input image as the search range in which the aberration can be corrected by coordinate conversion. Thus, efficient distortion aberration estimation can be realized.
【００５０】図１６は本発明の第８の実施例の歪曲収差
補正装置の座標変換手段の動作を説明する説明図であ
る。図１６において（ａ）は被写体、（ｂ）および
（ｃ）はそれぞれカメラの角度を変えて撮影した画像、
（ｄ）は（ｂ）、（ｃ）の画像をそれぞれ歪曲収差を補
正し、幾何変換してそれぞれの対応点どうしを重ね合わ
せたもの、（ｅ）は複数の対応点の位置関係を示す図で
ある。以下この図に従って本発明の第８の実施例の座標
変換手段の動作を説明する。FIG. 16 is an explanatory view for explaining the operation of the coordinate conversion means of the distortion aberration correction device of the eighth embodiment of the present invention. In FIG. 16, (a) is a subject, (b) and (c) are images taken with different camera angles,
(D) is the image of (b) and (c) in which distortion is corrected, geometric conversion is performed, and corresponding points are overlapped with each other, and (e) is a diagram showing a positional relationship of a plurality of corresponding points. Is. The operation of the coordinate conversion means of the eighth embodiment of the present invention will be described below with reference to this figure.
【００５１】被写体の一部が重複するようにして撮影さ
れた２枚の画像（ｂ）および（ｃ）から３組の対応点
Ａ、Ａ’、Ｂ、Ｂ’、Ｃ、Ｃ’を検出する。次にこれら
の対応点の組のうち、最も距離が離れた２組、Ａ、
Ａ’、Ｃ、Ｃ’を検出して、これらをの座標値を歪曲収
差補正した座標値から画像の変換係数を計算する。この
変換は一方の画像の画素位置を、他方のカメラ角度から
みた画像として変換するときの係数に相当するものであ
る。この変換の結果異なった角度で撮影された２枚の画
像は、（ｄ）のように対応することになる。各対応点の
関係は（ｅ）で示され、前述の変換により、Ａ＝Ａ’、
Ｃ＝Ｃ’となっている。残る対応点ＢとＢ’との間の距
離εが最小となるよう、焦点距離または歪曲収差値を推
定する。このように、最も離れた対応点間では完全に座
標位置が一致し、中間部分に配置している、残りの対応
点での誤差が最小になるようにしているので、広範囲に
わたって精度よく座標位置を対応させることができる。Three sets of corresponding points A, A ', B, B', C, C'are detected from two images (b) and (c) taken so that a part of the subject overlaps. .. Next, of these pairs of corresponding points, the two pairs with the longest distance, A,
A ′, C, and C ′ are detected, and the conversion coefficient of the image is calculated from the coordinate values obtained by correcting the coordinate values of these A ′, C, and C ′. This conversion corresponds to a coefficient when the pixel position of one image is converted as an image viewed from the camera angle of the other. As a result of this conversion, the two images photographed at different angles correspond to each other as shown in (d). The relationship between the corresponding points is shown by (e), and by the above conversion, A = A ′,
C = C '. The focal length or the distortion aberration value is estimated so that the distance ε between the remaining corresponding points B and B ′ is minimized. In this way, the coordinate positions of the most distant corresponding points are completely the same, and the error is minimized at the remaining corresponding points, which are placed in the middle part. Can be dealt with.
【００５２】以上のように、本実施例によれば、対応点
のうち、最も距離の離れた２点により決定される変換係
数によって、座標の変換を行うことにより、広範囲にわ
たって精度よく座標位置を対応させることができる。As described above, according to this embodiment, the coordinate conversion is performed by the conversion coefficient determined by the two points having the longest distance among the corresponding points, so that the coordinate position can be accurately determined over a wide range. Can be adapted.
【００５３】図１７は本発明の第９の実施例の歪曲収差
補正装置の座標変換手段の動作を説明する説明図であ
る。図１７において（ａ）は被写体、（ｂ）および
（ｃ）はカメラ角度を変えて撮影した２枚の画像と検出
された複数の対応点の例、（ｄ）は歪曲収差の例、
（ｅ）、（ｆ）は検出された対応点のうち、入力画像で
の中心部に最も近いに存在する対応点を選択したもので
ある。以下この図に従って本発明の第９の実施例につい
て説明する。FIG. 17 is an explanatory view for explaining the operation of the coordinate conversion means of the distortion aberration correction device according to the ninth embodiment of the present invention. In FIG. 17, (a) is an object, (b) and (c) are examples of a plurality of corresponding points detected with two images captured by changing the camera angle, and (d) is an example of distortion.
Of the detected corresponding points, (e) and (f) are selected corresponding points that are closest to the center of the input image. The ninth embodiment of the present invention will be described below with reference to this drawing.
【００５４】被写体（ａ）の一部が重複するようにして
撮影された２枚の画像（ｂ）および（ｃ）から複数組の
対応点例えばＡ、Ａ’、Ｂ、Ｂ’、Ｃ、Ｃ’、Ｄ、Ｄ’
を検出する。次にこれらの対応点のうち、（ｂ）の画像
の中心に最も近い対応点Ａと、（ｃ）の画像の中心に最
も近い対応点Ｄ’とを検出して、これらのペアとなる対
応点Ａ’およびＤを用い、これら２組の対応点から、座
標の幾何変換係数Ｒijを決定する。なお、２枚の画像間
で対応する組が２組以上あれば幾何変換係数がＲij決定
できることは、本発明の第１の実施例で述べた通りであ
る。このようにそれぞれの入力画像の中心部に最も近い
部分に存在する対応点を用いて幾何変換係数を決定して
いるので、対応点の座標値のうち、少なくともいずれか
一方は、画像の中心部に位置しており、一般に（ｄ）の
ように表される歪曲収差の影響を受けにくい。このため
より精度の高い演算が期待できる。A plurality of sets of corresponding points, for example, A, A ', B, B', C, C are obtained from two images (b) and (c) taken so that a part of the subject (a) overlaps. ', D, D'
To detect. Next, among these corresponding points, the corresponding point A closest to the center of the image in (b) and the corresponding point D ′ closest to the center of the image in (c) are detected, and the corresponding points are paired. Using the points A ′ and D, the geometric transformation coefficient R ij of the coordinates is determined from these two sets of corresponding points. As described in the first embodiment of the present invention, the geometric conversion coefficient R ij can be determined if there are two or more corresponding sets between two images. In this way, since the geometric conversion coefficient is determined using the corresponding points existing in the portion closest to the central portion of each input image, at least one of the coordinate values of the corresponding points is the central portion of the image. Is located at the position (1) and is hardly affected by the distortion aberration generally represented by (d). Therefore, more accurate calculation can be expected.
【００５５】以上のように、本実施例によれば、それぞ
れの入力画像の中心部に最も近い部分に存在する対応点
を用いて幾何変換係数を決定しているので、歪曲収差の
影響を軽減して、より精度の高い変換係数を得ることが
期待できる。As described above, according to the present embodiment, since the geometric conversion coefficient is determined by using the corresponding point existing in the portion closest to the central portion of each input image, the influence of distortion is reduced. Then, it can be expected to obtain a more accurate conversion coefficient.
【００５６】図１８は、本発明の第１０の実施例の歪曲
収差補正装置における対応点検出手段の動作を説明する
説明図である。図１８において（ａ）は被写体、（ｂ）
および（ｃ）はカメラ角度を変えて撮影した２枚の画
像、（ｄ）は初期対応点検出結果、（ｅ）は選択された
対応点の例である。以下この図に従って本発明の第１０
の実施例について説明する。FIG. 18 is an explanatory view for explaining the operation of the corresponding point detecting means in the distortion correction device of the tenth embodiment of the present invention. In FIG. 18, (a) is the subject, (b)
And (c) are two images taken with different camera angles, (d) is an initial corresponding point detection result, and (e) is an example of selected corresponding points. The tenth aspect of the present invention will now be described with reference to this drawing.
An example will be described.
【００５７】カメラの角度を変えて撮影した２枚の画像
（ｂ）および（ｃ）からは、重複する部分の初期対応点
（ｄ）が多数得られる。これらのうち、互いの距離が所
定の値以上離れた対応点のみを選択して（ｅ）を得る。
このようにして対応点を選択することにより、ほとんど
距離が離れていない対応点を除去し、計算精度向上に寄
与しない対応点を除去して、演算の効率を向上させるこ
とができる。A large number of initial corresponding points (d) of the overlapping portions are obtained from the two images (b) and (c) taken by changing the angle of the camera. Of these, only corresponding points that are separated from each other by a predetermined value or more are selected to obtain (e).
By selecting the corresponding points in this way, it is possible to remove the corresponding points that are not nearly distant from each other and remove the corresponding points that do not contribute to the improvement of the calculation accuracy and improve the efficiency of the calculation.
【００５８】以上のように、本実施例によれば、検出さ
れた対応点のうち、互いの距離が所定の値以上離れた対
応点を選択して用いることによって精度を低下させるこ
となく、演算の効率を向上させることができる。As described above, according to this embodiment, among the detected corresponding points, the corresponding points whose distances are separated from each other by a predetermined value or more are selected and used without deteriorating the accuracy. The efficiency of can be improved.
【００５９】図１９は、本発明の第１１の実施例におけ
る画像合成装置の構成図を示すものである。図１９にお
いて、図１と異なるのは、第２の画像歪曲収差補正手段
１５、画像変換手段１６、画像合成手段１７を設けた点
である。以上のように構成された本発明の第１１の実施
例の画像合成装置について、以下その動作を、第１の実
施例と異なる点について説明する。FIG. 19 is a block diagram showing the arrangement of an image synthesizing apparatus according to the eleventh embodiment of the present invention. 19 is different from FIG. 1 in that a second image distortion aberration correcting unit 15, an image converting unit 16, and an image synthesizing unit 17 are provided. The operation of the image synthesizing apparatus according to the eleventh embodiment of the present invention configured as described above will be described below with respect to the difference from the first embodiment.
【００６０】入力した第２の画像は、最終的に推定され
た歪曲収差に基づき、１５の画像歪曲収差補正手段によ
って歪曲収差を補正し、さらに１０で得られる画像変換
係数に従って変換される。この変換によって、１３の出
力画像および１６の出力画像は、それぞれの対応点が一
致し、画像合成手段１７によって１枚の連続した画像と
して合成することができる。The input second image is corrected by the image distortion aberration correcting means 15 based on the finally estimated distortion, and is further converted according to the image conversion coefficient obtained in 10. With this conversion, the 13 output images and the 16 output images have corresponding points that match each other, and can be combined by the image combining means 17 into one continuous image.
【００６１】この動作の概念を再び図２を用いて説明す
る。図２において（ａ）は被写体であり、これを異なっ
たカメラ角度で撮影した２枚の画像（ｂ）、（ｃ）には
歪曲収差がある。Ａ、Ｂ、Ｃ、およびＡ’、Ｂ’、Ｃ’
は２枚の画像でそれぞれ重複する部分の対応点である。
（ｂ）および（ｃ）の画像の歪曲収差を補正したものが
（ｄ）および（ｅ）である。（ｅ）における２点たとえ
ばＡ’、Ｃ’がそれぞれ（ｄ）における２点Ａ、Ｃに対
応するとすれば変換係数が決定できる。この変換係数に
従って画像（ｅ）を変換すると（ｆ）が得られる。
（ｆ）において、ＡとＡ’、ＣとＣ’は常に一致する
が、ＢとＢ’は歪曲収差推定値および焦点距離推定値が
正しくなければ一致しない。このＢとＢ’が一致するよ
うフィードバックして歪曲収差および焦点距離を推定す
る。最終的に正しく推定された歪曲収差を用いて画像を
補正し、これらを合成することにより、（ｇ）のような
連続した１枚の画像を得ることができ、歪曲収差を補正
して、良好な画像合成を実現することができる。なお歪
曲収差の補正や焦点距離の推定には、前もって特殊なテ
ストパターン等を準備したり、予め較正しておいたりす
る必要がない。また焦点距離の推定も同時に行われ、焦
点距離についても前もって測定しておく必要がない。The concept of this operation will be described again with reference to FIG. In FIG. 2, (a) is a subject, and two images (b) and (c) obtained by shooting the subject at different camera angles have distortion. A, B, C and A ', B', C '
Are corresponding points of the overlapping portions of the two images.
(D) and (e) are obtained by correcting the distortion aberration of the images of (b) and (c). If the two points in (e), for example A ′ and C ′, correspond to the two points A and C in (d), the conversion coefficient can be determined. When the image (e) is converted according to this conversion coefficient, (f) is obtained.
In (f), A and A ', C and C'always match, but B and B'do not match unless the distortion aberration estimated value and the focal length estimated value are correct. The distortion and the focal length are estimated by feeding back so that B and B ′ match. Finally, by correcting the image using the correctly estimated distortion, and combining them, one continuous image as shown in (g) can be obtained. It is possible to realize various image synthesis. It is not necessary to prepare a special test pattern or to calibrate in advance in order to correct the distortion and estimate the focal length. The focal length is also estimated at the same time, and it is not necessary to measure the focal length in advance.
【００６２】なお、本実施例では合成する画像を２枚の
画像であるとして説明したが、本発明はこれに限定され
るものではなく、一般に複数の画像の合成の場合に適用
できるのはもちろんである。例えば入力する画像のひと
つを、重複する被写体を画面の中心部分に位置するよう
にして撮影した画像とし、他の画像はこの被写体の周囲
を撮影した複数枚の画像とすることができるのはもちろ
んである。In the present embodiment, the image to be combined is explained as two images, but the present invention is not limited to this, and it is of course applicable to the case of combining a plurality of images. Is. For example, one of the images to be input can be an image captured with the overlapping subject positioned in the center of the screen, and the other images can be multiple images captured around the subject. Is.
【００６３】以上のように、本実施例によれば、前もっ
て特殊なテストパターン等を準備して歪曲収差の補正や
焦点距離の推定を行うことを必要とせずに、画像に歪曲
収差がある場合の複数画像を用いて良好な画像合成を行
うことが可能となる。ことができる。As described above, according to the present embodiment, it is not necessary to prepare a special test pattern or the like in advance to correct the distortion and estimate the focal length, and the image has the distortion. It is possible to perform good image composition by using a plurality of images. be able to.
【００６４】図２０は本発明の第１２の実施例の画像合
成装置の構成図である。図２１（ａ）は４枚の画像を入
力した場合の合成画像を、図１９で示す本発明の第１１
の実施例の画像合成装置により得たものである。図２１
（ｂ）は４枚の画像を入力した場合の合成画像を、図２
０で示す本発明の第１２の実施例の画像合成装置により
得たものである。図２０において、図１９と異なるの
は、基準位置設定手段１９、基準位置変換係数決定手段
２０、第２の画像変換手段２１、行列乗算手段２２を設
けた点である。以上のように構成された本発明の第１２
の実施例の画像合成装置について、以下その動作を、第
１１の実施例と異なる点について図２０および図２１を
用いて説明する。FIG. 20 is a block diagram of an image synthesizing apparatus according to the twelfth embodiment of the present invention. FIG. 21A shows a composite image when four images are input, which is the eleventh embodiment of the present invention shown in FIG.
It is obtained by the image synthesizing apparatus of the embodiment. Figure 21
FIG. 2B shows a composite image when four images are input.
It is obtained by the image synthesizing apparatus of the twelfth embodiment of the present invention shown by 0. 20 differs from FIG. 19 in that a reference position setting unit 19, a reference position conversion coefficient determining unit 20, a second image converting unit 21, and a matrix multiplying unit 22 are provided. The twelfth aspect of the present invention configured as described above
The operation of the image synthesizing apparatus of the embodiment will be described below with reference to FIGS. 20 and 21 with respect to differences from the eleventh embodiment.
【００６５】第１の画像歪曲収差補正手段１３の出力す
る画像は、図２１（ａ）の太線の四辺形で示すような画
像である。この画像を基準として第１１の実施例の構成
の画像合成装置で他の３枚の画像を合成すると、図２１
（ａ）に示すように、カメラの中心はＯ点であり、４枚
の画像で重複して撮影した被写体を中心にして撮影した
画像とは異なった画像となってしまう。この現象は焦点
距離の短い、すなわち広角レンズを用いて撮影した場
合、特に顕著である。そこで本実施例では、そこで基準
位置設定手段１９を設け、視点の中心となる基準位置
を、重複した被写体の中央とし、２０によって各入力画
像に対応する複数の基準位置変換係数を求め、この基準
位置変換を施したのち、１７によって合成して出力す
る。なお、１０によって既に変換係数が決定している部
分の画像については、行列乗算手段２２によって変換係
数を改めて求めた後、１６によて画像変換する。このよ
うに、視点の中心位置を、４枚の入力画像で重複してい
る被写体の中央部分とするような画像変換手段を設ける
ことにより、図２１（ｂ）のように、Ｏ’が視点の中心
となる画像に変換した合成画像を得ることができる。な
お、このような視点の中心を移動するような変換は、
（数１）、（数２）と同様な変換によって行うことがで
きる。The image output by the first image distortion correction means 13 is an image as shown by the bold rectangle in FIG. 21 (a). When the other three images are combined with the image combining device having the configuration of the eleventh embodiment using this image as a reference, FIG.
As shown in (a), the center of the camera is the point O, and the image taken is different from the image taken centering on the object imaged in duplicate on the four images. This phenomenon is particularly remarkable when the focal length is short, that is, when the image is taken using a wide-angle lens. In view of this, in the present embodiment, the reference position setting means 19 is provided, the reference position that is the center of the viewpoint is set to the center of the overlapping subject, and a plurality of reference position conversion coefficients corresponding to the respective input images are obtained by 20. After the position conversion is performed, it is combined by 17 and output. For the image of the part where the conversion coefficient has already been determined by 10, the conversion coefficient is newly obtained by the matrix multiplication means 22, and then the image is converted by 16. In this way, by providing the image conversion means for setting the center position of the viewpoint to the central portion of the subject overlapping in the four input images, O ′ is the viewpoint as shown in FIG. It is possible to obtain a composite image converted into a central image. In addition, such a conversion that moves the center of the viewpoint is
This can be performed by the same conversion as in (Equation 1) and (Equation 2).
【００６６】以上のように、本実施例によれば、基準位
置設定手段を設け、視点の中心となる位置を変換する手
段を設けて複数の画像を変換した後合成するので、重複
して撮影された被写体を画像の中心となるようにして撮
影した画像と等価な画像を合成によって得ることができ
る。As described above, according to this embodiment, the reference position setting means is provided, the means for converting the position of the center of the viewpoint is provided, and a plurality of images are converted and then combined. It is possible to obtain an image equivalent to an image obtained by shooting the captured subject so as to be the center of the image.
【００６７】なお、本発明は上記実施例に限定されるも
のではなく、これらの組み合わせのほか、本発明の趣旨
に基づいて種々の変形が可能である。The present invention is not limited to the above embodiments, and various modifications can be made in addition to these combinations, based on the spirit of the present invention.
【００６８】[0068]
【発明の効果】以上説明したように、本発明によれば次
のような効果を奏することができる。 （１）前もって特殊なテストパターン等を準備して歪曲
収差を測定することを必要とせずに、一般の画像を用い
て画像の歪曲収差を補正することが可能となる。また、
同一焦点距離で撮影された２枚の一般の画像があれば、
前もって特殊なパターンを用いて焦点距離を測定するこ
となく、画像の歪曲収差を補正することができる。 （２）歪曲収差による画素位置変化の最大値を０．５画
素以下に設定することにより、パラメータの最適値を見
落とすことなく、滑らかにパラメータを探索することが
てきる。 （３）焦点距離を３点以上の異なった値に設定し、各々
設定した焦点距離について、誤差評価値最小を与える歪
曲収差を探索し、これら３点以上の誤差評価値を補間し
て得られた関数の最小値の位置より、焦点距離値を推定
することにより、少ない演算回数で焦点距離値を推定す
ることができる。 （４）焦点距離を複数の異なった値に設定し、各々設定
した焦点距離について、誤差評価値最小を与える歪曲収
差を探索し、これら複数の誤差評価値を局所最小値処理
して得られた値により関数のを補間し、この補間した関
数の最小値の位置より、焦点距離値を推定することによ
り、歪曲収差パラメータ探索の更新ステップ幅を大きく
することができ、少ない演算回数で焦点距離値を推定す
ることができる。 （５）歪曲収差を近似する多項式が表す歪曲収差の絶対
値の最大値が所定の値以下であることを用いて、この条
件を満たす係数の範囲のみを探索することによって、効
率的な歪曲収差の探索および推定が可能となる。 （６）入力した画像が有する歪曲収差を２次式で近似
し、この２次式の２つの係数は、この係数が表す２次元
平面上にあることを検出し、この曲線上を探索して歪曲
収差を推定することにより、パラメータの探索をすべて
１次元探索とすることができ、探索範囲を著しく削減し
て効率よい歪曲収差推定が実現できる。 （７）座標変換によって補正することが可能な歪曲収差
の範囲を探索範囲とすることにより、探索範囲を削減し
て、効率よい歪曲収差推定を実現することができる。 （８）対応点のうち、最も距離の離れた２点により決定
される変換係数によって、座標の変換を行うことによ
り、広範囲にわたって精度よく座標位置を対応させるこ
とができる。 （９）それぞれの入力画像の中心部に最も近い部分に存
在する対応点を用いて幾何変換係数を決定することによ
り、歪曲収差の影響を軽減して、より精度の高い変換係
数を得ることが期待できる。 （１０）検出された対応点のうち、互いの距離が所定の
値以上離れた対応点を選択して用いることによって精度
を低下させることなく、演算の効率を向上させることが
できる。 （１１）前もって特殊なテストパターン等を準備して歪
曲収差の補正や焦点距離の推定を行うことを必要とせず
に、画像に歪曲収差がある場合の複数画像を用いて良好
な画像合成を行うことが可能となる。ことができる。 （１２）視角設定手段を設け、視点の中心となる位置を
変換する手段を設けて複数の画像を変換したのち合成す
ることにより、重複して撮影された被写体を画像の中心
となるようにして撮影した画像と等価な画像を合成によ
って得ることができる。As described above, according to the present invention, the following effects can be obtained. (1) It is possible to correct the distortion aberration of an image using a general image without the need to prepare a special test pattern or the like in advance to measure the distortion aberration. Also,
If you have two ordinary images taken at the same focal length,
The image distortion can be corrected without measuring the focal length using a special pattern in advance. (2) By setting the maximum value of the pixel position change due to the distortion aberration to 0.5 pixels or less, it is possible to smoothly search for the parameter without overlooking the optimum value of the parameter. (3) The focal length is set to three or more different values, the distortion aberration that gives the minimum error evaluation value is searched for each of the set focal lengths, and the error evaluation values of these three or more points are interpolated. By estimating the focal length value from the position of the minimum value of the function, the focal length value can be estimated with a small number of calculations. (4) The focal length is set to a plurality of different values, the distortion aberration that gives the smallest error evaluation value is searched for each of the set focal lengths, and the plurality of error evaluation values are processed by the local minimum value. By interpolating the value of the function and estimating the focal length value from the position of the minimum value of this interpolated function, the update step width of the distortion aberration parameter search can be increased, and the focal length value can be calculated with a small number of calculations. Can be estimated. (5) Efficient distortion aberration is obtained by searching only the range of coefficients that satisfy this condition by using that the maximum absolute value of distortion aberration represented by a polynomial approximating distortion aberration is less than or equal to a predetermined value. Can be searched for and estimated. (6) The distortion aberration of the input image is approximated by a quadratic equation, and it is detected that the two coefficients of this quadratic equation are on the two-dimensional plane represented by this coefficient, and a search is performed on this curve. By estimating the distortion aberration, all parameter searches can be one-dimensional searches, and the search range can be significantly reduced to realize efficient distortion aberration estimation. (7) By setting the range of distortion aberration that can be corrected by coordinate conversion as the search range, the search range can be reduced and efficient distortion aberration estimation can be realized. (8) Among the corresponding points, by converting the coordinates using the conversion coefficient determined by the two points that are farthest apart, the coordinate positions can be accurately matched over a wide range. (9) It is possible to reduce the influence of distortion and obtain a more accurate conversion coefficient by determining the geometric conversion coefficient using the corresponding points existing in the portion closest to the center of each input image. Can be expected. (10) Among the detected corresponding points, by selecting and using the corresponding points that are separated from each other by a predetermined value or more, the calculation efficiency can be improved without lowering the accuracy. (11) It is not necessary to prepare a special test pattern or the like in advance to correct the distortion aberration and estimate the focal length, and perform good image composition using a plurality of images when the image has distortion aberration. It becomes possible. be able to. (12) A visual angle setting unit is provided, and a unit for converting the position at the center of the viewpoint is provided to convert a plurality of images and then combine the images so that a subject imaged in duplicate becomes the center of the image. An image equivalent to the captured image can be obtained by combining.
【図１】本発明の第１の実施例における歪曲収差補正装
置の構成図FIG. 1 is a configuration diagram of a distortion aberration correction device according to a first embodiment of the present invention.
【図２】本発明の第１の実施例における歪曲収差補正装
置の動作説明図FIG. 2 is an operation explanatory diagram of the distortion aberration correction device according to the first embodiment of the present invention.
【図３】本発明の第２の実施例における歪曲収差推定手
段が推定する歪曲収差に対応する結像特性図FIG. 3 is an image forming characteristic diagram corresponding to the distortion aberration estimated by the distortion aberration estimating means in the second embodiment of the present invention.
【図４】本発明の第３の実施例における焦点距離推定手
段が推定した焦点距離値に対する誤差評価値の例を示す
図FIG. 4 is a diagram showing an example of an error evaluation value for a focal length value estimated by a focal length estimating means in a third embodiment of the present invention.
【図５】本発明の第３の実施例において、推定した関数
による補間を示す図FIG. 5 is a diagram showing interpolation by an estimated function in the third embodiment of the present invention.
【図６】本発明の第４の実施例において、推定した焦点
距離値に対する誤差評価値の例を示す図FIG. 6 is a diagram showing an example of an error evaluation value for an estimated focal length value in the fourth embodiment of the present invention.
【図７】本発明の第４の実施例において、推定した焦点
距離値に対する誤差評価値の局所最小値の例を示す図FIG. 7 is a diagram showing an example of a local minimum value of an error evaluation value with respect to an estimated focal length value in the fourth embodiment of the present invention.
【図８】本発明の第４の実施例において、局所最小値を
補間した例を示す図FIG. 8 is a diagram showing an example in which a local minimum value is interpolated in the fourth embodiment of the present invention.
【図９】本発明の第５の実施例における歪曲収差推定手
段が推定する歪曲収差に対応する結像特性図FIG. 9 is an image forming characteristic diagram corresponding to the distortion aberration estimated by the distortion aberration estimating means in the fifth embodiment of the present invention.
【図１０】本発明の第５の実施例において、画像中心か
らの距離と歪曲収差の例を示す図FIG. 10 is a diagram showing an example of the distance from the image center and distortion in the fifth embodiment of the present invention.
【図１１】本発明の第５の実施例において、歪曲収差の
絶対値が所定の値を超えない範囲を示す図FIG. 11 is a diagram showing a range in which the absolute value of distortion aberration does not exceed a predetermined value in the fifth example of the present invention.
【図１２】本発明の第６の実施例において、歪曲収差推
定値と、誤差評価値との関係を示す図FIG. 12 is a diagram showing a relationship between a distortion aberration estimated value and an error evaluation value in the sixth embodiment of the present invention.
【図１３】本発明の第６の実施例において、誤差評価値
のグラフの谷部分を示す図FIG. 13 is a diagram showing a valley portion of a graph of an error evaluation value in the sixth embodiment of the present invention.
【図１４】本発明の第７の実施例において、歪曲収差の
種類を示す図FIG. 14 is a diagram showing types of distortion in the seventh embodiment of the present invention.
【図１５】本発明の第７の実施例において、歪曲収差が
探索する係数の範囲を示す図FIG. 15 is a diagram showing a range of coefficients searched for by distortion in the seventh embodiment of the present invention.
【図１６】本発明の第８の実施例において、座標変換手
段の動作の概念を示す図FIG. 16 is a diagram showing the concept of the operation of the coordinate conversion means in the eighth embodiment of the present invention.
【図１７】本発明の第９の実施例において、歪曲収差の
例と座標変換手段が用いる対応点の関係を示す図FIG. 17 is a diagram showing a relationship between an example of distortion and corresponding points used by the coordinate conversion means in the ninth embodiment of the present invention.
【図１８】本発明の第１０の実施例の対応点検出手段の
動作説明図FIG. 18 is an operation explanatory view of the corresponding point detecting means of the tenth embodiment of the present invention.
【図１９】本発明の第１１の実施例の画像合成装置の構
成図FIG. 19 is a configuration diagram of an image composition apparatus according to an eleventh embodiment of the present invention.
【図２０】本発明の第１２の実施例の画像合成装置の構
成図FIG. 20 is a configuration diagram of an image synthesizing apparatus according to a twelfth embodiment of the present invention.
【図２１】本発明の第１２の実施例の画像合成装置の動
作の概念図FIG. 21 is a conceptual diagram of the operation of the image compositing apparatus according to the twelfth embodiment of the present invention.
【図２２】従来の歪曲収差補正装置の構成図FIG. 22 is a configuration diagram of a conventional distortion aberration correction device.
【図２３】従来の歪曲収差補正装置のパターン検出回路
および曲線補間回路の動作説明図FIG. 23 is an operation explanatory diagram of a pattern detection circuit and a curve interpolation circuit of a conventional distortion aberration correction device.
１ 画像入力 ２、３ 画素メモリ ４、５ 対応点検出手段 ６ 歪曲収差推定手段 ７ 焦点距離推定手段 ８、９ 座標歪曲収差補正手段 １０ 座標変換係数決定手段 １１ 座標幾何変換手段 １２ 誤差評価手段 １３、１５ 画像歪曲収差補正手段 １４、１８ 画像出力 １６、２１ 画像変換手段 １７ 画像合成手段 １９ 基準位置設定手段 ２０ 基準位置変換係数決定手段 ２２ 行列乗算手段 1 Image Input 2, 3 Pixel Memory 4, 5 Corresponding Point Detection Means 6 Distortion Aberration Estimating Means 7 Focal Length Estimating Means 8, 9 Coordinate Distortion Aberration Correcting Means 10 Coordinate Transformation Coefficient Determining Means 11 Coordinate Geometric Transforming Means 12 Error Evaluating Means 13, 15 image distortion aberration correcting means 14, 18 image output 16, 21 image converting means 17 image combining means 19 reference position setting means 20 reference position conversion coefficient determining means 22 matrix multiplying means
Claims (16)
の座標位置を検出する対応点検出手段と、 （ｃ）前記入力した複数の画像が有する歪曲収差を推定
する歪曲収差推定手段と、 （ｄ）前記入力した複数の画像を撮影した装置の焦点距
離を推定する焦点距離推定手段と、 （ｅ）前記推定した歪曲収差に基づいて前記対応点検出
手段の出力を補正する座標歪曲収差補正手段と、 （ｆ）前記座標歪曲収差補正手段の出力と前記焦点距離
推定手段の出力とを用いて座標変換係数を決定する座標
変換係数決定手段と、 （ｇ）前記座標変換係数に従って前記座標歪曲収差補正
手段の出力を座標変換する座標変換手段と、 （ｈ）前記座標歪曲収差補正手段の出力と前記座標変換
手段の出力との相違を評価する誤差評価手段と、 （ｉ）前記入力した複数の画像の少なくとも１つを、前
記歪曲収差推定手段によって推定した歪曲収差に基づい
て歪曲収差を補正して出力する画像歪曲収差補正手段と
を備え、 （ｊ）前記誤差評価の値が所定の値以下となるよう、前
記誤差評価手段の出力によって、前記歪曲収差の推定値
と前記焦点距離の推定値とを更新するよう構成されたこ
とを特徴とする歪曲収差補正装置。1. (a) means for inputting a plurality of images; (b) corresponding point detecting means for detecting coordinate positions of mutually overlapping portions between the input plurality of images; and (c) the input. Distortion aberration estimating means for estimating distortion aberration of a plurality of images; (d) Focal length estimating means for estimating a focal length of the device that photographed the plurality of input images; and (e) For the estimated distortion aberration. Coordinate distortion correction means for correcting the output of the corresponding point detection means based on the following: (f) Coordinate conversion for determining a coordinate conversion coefficient using the output of the coordinate distortion aberration correction means and the output of the focal length estimation means. Coefficient determining means; (g) coordinate converting means for coordinate-converting the output of the coordinate distortion aberration correcting means in accordance with the coordinate conversion coefficient; and (h) output of the coordinate distortion correcting means and output of the coordinate converting means. Difference And (i) image distortion correction means for correcting and outputting at least one of the plurality of input images by correcting the distortion aberration based on the distortion aberration estimated by the distortion aberration estimating means. (J) It is configured to update the estimated value of the distortion aberration and the estimated value of the focal length by the output of the error evaluation means so that the value of the error evaluation becomes equal to or less than a predetermined value. Distortion aberration correction device characterized by.
る歪曲収差を多項式で近似し、この多項式の係数を最小
単位更新したときに生じる歪曲収差変化による画素位置
変化の最大値が、所定の値以下となるよう前記歪曲収差
を推定するようにしたことを特徴とする請求項１記載の
歪曲収差補正装置。2. The distortion aberration estimating means approximates the distortion aberration of the input image with a polynomial, and the maximum value of the pixel position change due to the distortion aberration change generated when the coefficient of this polynomial is updated by the minimum unit is a predetermined value. The distortion aberration correction device according to claim 1, wherein the distortion aberration is estimated to be equal to or less than a value.
が、０．５画素以下となるようにしたことを特徴とする
請求項２記載の歪曲収差補正装置。3. The distortion aberration correction device according to claim 2, wherein the maximum value of the pixel position change due to the distortion aberration is 0.5 pixels or less.
以上の異なった値に設定し、歪曲収差推定手段は、各々
設定した焦点距離値について誤差評価手段の出力値が所
定の値以下となる歪曲収差を各々推定し、各々設定した
焦点距離値および各々推定した歪曲収差を用いて得られ
た３点以上の誤差評価値を補間して得られた関数の最小
値の位置より、焦点距離値を推定するようにしたことを
特徴とする請求項１記載の歪曲収差補正装置。4. The focal length estimating means sets the focal length value to three or more different values, and the distortion aberration estimating means sets the output value of the error evaluating means to a predetermined value or less for each set focal length value. The distortion is estimated as follows, and the focus is calculated from the position of the minimum value of the function obtained by interpolating the error evaluation values of three or more points obtained by using the set focal length values and the estimated distortions, respectively. The distortion aberration correction device according to claim 1, wherein the distance value is estimated.
以上の異なった値に設定し、歪曲収差推定手段は、各々
設定した焦点距離値について誤差評価手段の出力値が所
定の値以下となる歪曲収差を各々推定し、各々設定した
焦点距離値および各々推定した歪曲収差を用いて得られ
た３点以上の誤差評価値のうち、所定の局所最小値を用
いて関数を補間し、この補間した関数の最小値により、
焦点距離値を推定するようにしたことを特徴とする請求
項１記載の歪曲収差補正装置。5. The focal length estimation means sets the focal length value to three or more different values, and the distortion aberration estimation means sets the output value of the error evaluation means to a predetermined value or less for each set focal length value. Estimate the respective distortion aberrations, and among the error evaluation values of three or more points obtained using the respective set focal length values and the respective estimated distortion aberrations, interpolate the function using a predetermined local minimum value, By the minimum value of this interpolated function,
The distortion correction apparatus according to claim 1, wherein the focal length value is estimated.
多項式が表す歪曲収差特性を評価した値が所定の範囲と
なる係数の範囲を探索することを特徴とする請求項２記
載の歪曲収差補正装置。6. The distortion aberration estimating means searches for a range of coefficients in which a value obtained by evaluating a distortion aberration characteristic represented by a polynomial approximating the distortion aberration is within a predetermined range. Correction device.
最大値であることを特徴とする請求項６記載の歪曲収差
補正装置。7. The distortion aberration correction device according to claim 6, wherein the value evaluated for the distortion aberration characteristic is the maximum value of the distortion aberration.
最大値と歪曲収差の最小値の差であることを特徴とする
請求項６記載の歪曲収差補正装置。8. The distortion aberration correction device according to claim 6, wherein the value evaluated for the distortion aberration characteristic is the difference between the maximum value of the distortion aberration and the minimum value of the distortion aberration.
る歪曲収差を２次式で近似し、この２次式の２つの係数
は、この係数が表す２次元平面上の曲線上にあることを
検出し、この曲線上を探索して歪曲収差推定値を得るよ
うにしたことを特徴とする請求項２記載の歪曲収差補正
装置。9. A distortion aberration estimating means approximates the distortion aberration of an input image by a quadratic expression, and two coefficients of this quadratic expression are on a curve on a two-dimensional plane represented by the coefficient. 3. The distortion aberration correction apparatus according to claim 2, wherein the distortion aberration estimation value is obtained by detecting the above-mentioned curve and searching on this curve.
補正可能な歪曲収差の範囲を、歪曲収差の探索範囲とす
るようにしたことを特徴とする請求項２記載の歪曲収差
補正装置。10. The distortion aberration correcting apparatus according to claim 2, wherein the distortion aberration estimating means sets a range of the distortion aberration that can be corrected by the coordinate conversion to a search range of the distortion aberration.
て検出された対応点のうち、最も距離が離れた２点によ
り決定される変換係数によって、座標の変換を行うこと
を特徴とした請求項２記載の歪曲収差補正装置。11. The coordinate transformation means transforms the coordinates by a transformation coefficient determined by two points having the longest distance among the corresponding points detected by the corresponding point detecting means. 2. The distortion correction device described in 2.
て検出された対応点のうち、それぞれの入力画像での中
心部に最も近い部分に存在する対応点を用いて決定され
る変換係数によって、座標の変換を行うことを特徴とし
た請求項２記載の歪曲収差補正装置。12. The coordinate conversion means uses a conversion coefficient determined by using a corresponding point existing in a portion closest to the center of each input image among the corresponding points detected by the corresponding point detecting means, 3. The distortion correction device according to claim 2, wherein the coordinates are converted.
うち、互いの距離が所定の値以上離れた対応点を用いて
決定される変換係数によって、座標の変換を行うことを
特徴とした請求項２記載の歪曲収差補正装置。13. Corresponding point detecting means performs coordinate conversion by a conversion coefficient determined by using corresponding points which are separated from each other by a predetermined value or more among the detected corresponding points. The distortion correction device according to claim 2.
の座標位置を検出する対応点検出手段と、 （ｃ）前記入力した複数の画像が有する歪曲収差を推定
する歪曲収差推定手段と、 （ｄ）前記入力した複数の画像を撮影した装置の焦点距
離を推定する焦点距離推定手段と、 （ｅ）前記推定した歪曲収差に基づいて前記対応点検出
手段の出力を補正する座標歪曲収差補正手段と、 （ｆ）前記座標歪曲収差補正手段の出力と前記焦点距離
推定手段の出力とを用いて座標変換係数を決定する座標
変換係数決定手段と、 （ｇ）前記座標変換係数に従って前記座標歪曲収差補正
手段の出力を座標変換する座標変換手段と、 （ｈ）前記座標歪曲収差補正手段の出力と前記座標変換
手段の出力との相違を評価する誤差評価手段と、 （ｉ）前記入力した複数の画像を、前記歪曲収差推定手
段によって推定した歪曲収差に基づいて補正して出力す
る第１の画像歪曲収差補正手段と、 （ｊ）前記歪曲収差推定手段によって得られた歪曲収差
を用いて画像の歪曲収差補正を行う第２の画像歪曲収差
補正手段と、 （ｋ）前記座標変換係数を用いて前記第２の歪曲収差補
正手段の出力を画像座標変換する画像変換手段と、 （ｌ）前記第１の画像歪曲収差補正手段の出力画像と前
記画像変換手段の出力画像とを合成して出力する画像合
成手段とを備え、 （ｍ）前記誤差評価手段の出力が所定の値以下となるよ
う、前記誤差評価手段の出力によって、前記歪曲収差の
推定値と前記焦点距離の推定値とを更新するよう構成さ
れたことを特徴とする画像合成装置。14. (a) means for inputting a plurality of images; (b) corresponding point detection means for detecting coordinate positions of mutually overlapping portions between the input plurality of images; and (c) the input. Distortion aberration estimating means for estimating distortion aberration of a plurality of images; (d) Focal length estimating means for estimating a focal length of the device that photographed the plurality of input images; and (e) For the estimated distortion aberration. Coordinate distortion correction means for correcting the output of the corresponding point detection means based on the following: (f) Coordinate conversion for determining a coordinate conversion coefficient using the outputs of the coordinate distortion correction means and the focal length estimation means. Coefficient determining means; (g) coordinate converting means for coordinate-converting the output of the coordinate distortion aberration correcting means according to the coordinate conversion coefficient; and (h) output of the coordinate distortion correcting means and output of the coordinate converting means. phase Error evaluation means for evaluating the difference; (i) first image distortion correction means for correcting and outputting the input plurality of images based on the distortion aberration estimated by the distortion aberration estimation means; ) A second image distortion aberration correcting means for correcting the distortion aberration of the image using the distortion aberration obtained by the distortion aberration estimating means; and (k) the second distortion aberration correcting means using the coordinate conversion coefficient. (L) image combining means for combining the output image of the first image distortion aberration correcting means and the output image of the image converting means and outputting the combined image. m) It is configured to update the estimated value of the distortion aberration and the estimated value of the focal length by the output of the error evaluation means so that the output of the error evaluation means becomes a predetermined value or less. Image composition Location.
る画像と、この基準となる画像の中央部分を重複して有
する画像とを入力する手段であることを特徴とする請求
項１４記載の画像合成装置。15. The means for inputting a plurality of images is a means for inputting a reference image and an image having a central portion of the reference image overlapping each other. Image synthesizer.
定の回転変換を施して合成して出力することを特徴とす
る請求項１４記載の画像合成装置。16. The image synthesizing apparatus according to claim 14, wherein the image synthesizing means performs a predetermined rotation conversion on the images used for synthesizing, synthesizes and outputs.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03270813A JP3104327B2 (en) | 1991-10-18 | 1991-10-18 | Distortion aberration correction device and image synthesis device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03270813A JP3104327B2 (en) | 1991-10-18 | 1991-10-18 | Distortion aberration correction device and image synthesis device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05110926A true JPH05110926A (en) | 1993-04-30 |
| JP3104327B2 JP3104327B2 (en) | 2000-10-30 |
Family
ID=17491379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03270813A Expired - Fee Related JP3104327B2 (en) | 1991-10-18 | 1991-10-18 | Distortion aberration correction device and image synthesis device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3104327B2 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH076227A (en) * | 1992-12-29 | 1995-01-10 | Philips Electron Nv | Method and apparatus for processing of image for formation of image from plurality of adjacent images |
| JPH07135605A (en) * | 1993-11-11 | 1995-05-23 | Mitsubishi Electric Corp | Picture synthesizer |
| WO2003049030A1 (en) * | 2001-12-07 | 2003-06-12 | Sony Corporation | Image processing apparatus, image processing method, storage medium, and computer program |
| US6760096B2 (en) | 2001-09-03 | 2004-07-06 | Seiko Epson Corporation | Lens-evaluating method and lens-evaluating apparatus |
| WO2007129446A1 (en) * | 2006-05-01 | 2007-11-15 | Nikon Corporation | Image processing method, image processing program, image processing device, and imaging device |
| JP2009044730A (en) * | 2007-07-16 | 2009-02-26 | Trw Automotive Us Llc | Method and apparatus for distortion correction and image enhancing of vehicle rear viewing system |
| JP2009064427A (en) * | 2007-08-27 | 2009-03-26 | Core Logic Inc | Method for correcting image distortion and apparatus for processing image using the method |
| JP2009533924A (en) * | 2006-04-10 | 2009-09-17 | ノキア コーポレイション | Composition of panoramic images using frame selection |
| JP4893629B2 (en) * | 2005-12-05 | 2012-03-07 | 株式会社ニコン | Distortion correction method, distortion correction program, image processing apparatus, interchangeable lens, camera, and camera system |
| WO2015190031A1 (en) * | 2014-06-11 | 2015-12-17 | ソニー株式会社 | Information-processing device, information processing method, program, and image display device |
| US9412154B2 (en) | 2013-09-13 | 2016-08-09 | Samsung Electronics Co., Ltd. | Depth information based optical distortion correction circuit and method |
| KR101714213B1 (en) * | 2015-09-09 | 2017-03-09 | 현대오트론 주식회사 | Apparatus for revising image distortion of lens |
| KR20170037205A (en) * | 2015-09-25 | 2017-04-04 | 삼성전자주식회사 | Method for controlling parameter of image sensor |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013160533A2 (en) | 2012-04-25 | 2013-10-31 | Nokia Corporation | Method, apparatus and computer program product for generating panorama images |
-
1991
- 1991-10-18 JP JP03270813A patent/JP3104327B2/en not_active Expired - Fee Related
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH076227A (en) * | 1992-12-29 | 1995-01-10 | Philips Electron Nv | Method and apparatus for processing of image for formation of image from plurality of adjacent images |
| JPH07135605A (en) * | 1993-11-11 | 1995-05-23 | Mitsubishi Electric Corp | Picture synthesizer |
| US6760096B2 (en) | 2001-09-03 | 2004-07-06 | Seiko Epson Corporation | Lens-evaluating method and lens-evaluating apparatus |
| WO2003049030A1 (en) * | 2001-12-07 | 2003-06-12 | Sony Corporation | Image processing apparatus, image processing method, storage medium, and computer program |
| JP2003178298A (en) * | 2001-12-07 | 2003-06-27 | Sony Corp | Image processor, image processing method, storage medium and computer program |
| US7426317B2 (en) | 2001-12-07 | 2008-09-16 | Sony Corporation | Image processing apparatus and image processing method, storage medium and computer program |
| JP4893629B2 (en) * | 2005-12-05 | 2012-03-07 | 株式会社ニコン | Distortion correction method, distortion correction program, image processing apparatus, interchangeable lens, camera, and camera system |
| US7860343B2 (en) | 2006-04-10 | 2010-12-28 | Nokia Corporation | Constructing image panorama using frame selection |
| JP4653235B2 (en) * | 2006-04-10 | 2011-03-16 | ノキア コーポレイション | Composition of panoramic images using frame selection |
| JP2009533924A (en) * | 2006-04-10 | 2009-09-17 | ノキア コーポレイション | Composition of panoramic images using frame selection |
| WO2007129446A1 (en) * | 2006-05-01 | 2007-11-15 | Nikon Corporation | Image processing method, image processing program, image processing device, and imaging device |
| JP4811462B2 (en) * | 2006-05-01 | 2011-11-09 | 株式会社ニコン | Image processing method, image processing program, image processing apparatus, and imaging apparatus |
| US8155477B2 (en) | 2006-05-01 | 2012-04-10 | Nikon Corporation | Image processing method, carrier medium carrying image processing program, image processing apparatus, and imaging apparatus |
| JP4695167B2 (en) * | 2007-07-16 | 2011-06-08 | ティーアールダブリュー・オートモーティブ・ユーエス・エルエルシー | Method and apparatus for correcting distortion and enhancing an image in a vehicle rear view system |
| JP2009044730A (en) * | 2007-07-16 | 2009-02-26 | Trw Automotive Us Llc | Method and apparatus for distortion correction and image enhancing of vehicle rear viewing system |
| JP2009064427A (en) * | 2007-08-27 | 2009-03-26 | Core Logic Inc | Method for correcting image distortion and apparatus for processing image using the method |
| US9412154B2 (en) | 2013-09-13 | 2016-08-09 | Samsung Electronics Co., Ltd. | Depth information based optical distortion correction circuit and method |
| WO2015190031A1 (en) * | 2014-06-11 | 2015-12-17 | ソニー株式会社 | Information-processing device, information processing method, program, and image display device |
| US9894330B2 (en) | 2014-06-11 | 2018-02-13 | Sony Corporation | Information processing apparatus and information processing method for correction of images |
| KR101714213B1 (en) * | 2015-09-09 | 2017-03-09 | 현대오트론 주식회사 | Apparatus for revising image distortion of lens |
| US9984444B2 (en) | 2015-09-09 | 2018-05-29 | Hyundai Autron Co., Ltd. | Apparatus for correcting image distortion of lens |
| KR20170037205A (en) * | 2015-09-25 | 2017-04-04 | 삼성전자주식회사 | Method for controlling parameter of image sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3104327B2 (en) | 2000-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6299124B2 (en) | Projection system, image processing apparatus, projection method, and program | |
| US7529424B2 (en) | Correction of optical distortion by image processing | |
| US7489335B2 (en) | Photographic apparatus with function of image correction and method thereof | |
| US6385334B1 (en) | System and method for adjusting stereo camera | |
| US20090141148A1 (en) | Distortion-corrected image generation unit and distortion-corrected image generation method | |
| JP3104327B2 (en) | Distortion aberration correction device and image synthesis device | |
| US8350951B2 (en) | Image sensing apparatus and image data correction method | |
| JPH08116490A (en) | Image processing unit | |
| WO2005055592A1 (en) | Image configuration device and image configuration method | |
| US20120177302A1 (en) | Image processing device, image processing method and storage medium | |
| US8085320B1 (en) | Early radial distortion correction | |
| JP2007129303A (en) | Image processing apparatus | |
| JP2008241491A (en) | Three-dimensional measurement instrument | |
| US20080278613A1 (en) | Methods, apparatuses and systems providing pixel value adjustment for images produced with varying focal length lenses | |
| KR101140953B1 (en) | Method and apparatus for correcting distorted image | |
| JP2000283753A (en) | Device for measuring distance using stereographic picture | |
| JP2000125175A (en) | Camera, image processing system and recording medium | |
| JP2008298589A (en) | Device and method for detecting positions | |
| JP7210337B2 (en) | Image processing device and distortion correction coefficient calculation method | |
| JPH1153548A (en) | Processor and method for image processing and transmission medium | |
| JP5446285B2 (en) | Image processing apparatus and image processing method | |
| JP6755737B2 (en) | Distance measuring device, imaging device, and distance measuring method | |
| JP2002094860A (en) | Image processor and image processing method and memory medium | |
| JPH064660A (en) | Image synthesizer | |
| JP2000284389A (en) | Self-diagnostic device for stereo camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |