WO2007066459A1 - 歪曲補正方法、歪曲補正プログラム、画像処理装置、交換レンズ、カメラ、及びカメラシステム - Google Patents

歪曲補正方法、歪曲補正プログラム、画像処理装置、交換レンズ、カメラ、及びカメラシステム Download PDF

Info

Publication number
WO2007066459A1
WO2007066459A1 PCT/JP2006/321906 JP2006321906W WO2007066459A1 WO 2007066459 A1 WO2007066459 A1 WO 2007066459A1 JP 2006321906 W JP2006321906 W JP 2006321906W WO 2007066459 A1 WO2007066459 A1 WO 2007066459A1
Authority
WO
WIPO (PCT)
Prior art keywords
distortion
function
camera
distortion correction
optical system
Prior art date
Application number
PCT/JP2006/321906
Other languages
English (en)
French (fr)
Inventor
Tsukasa Murata
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to EP06822826.1A priority Critical patent/EP1959676B1/en
Priority to JP2007549038A priority patent/JP4893629B2/ja
Priority to US12/085,550 priority patent/US8558926B2/en
Publication of WO2007066459A1 publication Critical patent/WO2007066459A1/ja

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer

Definitions

  • This number (below ,.) "" ", which represents the distribution, differs not only by the () of the lens, but also by the shooting position (matching the f focal point d).
  • the camera described in the patent is provided with a tel that contains aaa for each lens as a report. If the camera refers to this according to the po of the image, the distortion distribution on the image can be easily estimated. 1 2 3 847
  • the correct method of 0007 Ming is a method of correcting images taken by an optical system, and a procedure for preparing a report when the difference of the previous system is approximated by the number of cases set for that system, It is characterized in that it includes a procedure for measuring the music of the image taken by the academic system based on the condition set in the image and the prepared information.
  • the number be the number of each term constituting the above number. Moreover, it is desirable that the above number includes a term of the power of the above. Further, it is desirable that the above-mentioned number include the term of the power of the separation. Further, the number may include the term of the root of the separation.
  • the Ming program is characterized by the fact that it implements the correct method of Ming.
  • the Akira's processing device is equipped with means for executing the Akira's correction method.
  • Ming-Nen is characterized by pre-storing a report when the difference between optical systems is approximated by the number of cases set for that science system.
  • the number be the number of each term constituting the above number, and that the number desirably include a term of the power of the above. [0112] Further, it is desirable that the number include the term of the power of the separation.
  • the number may include the term of the root of the separation.
  • the camera system of Ming is characterized by including the lens of Ming and a camera capable of reading the information stored in the lens.
  • the camera may be provided with a means for measuring the music of the image taken by the school of science, based on the condition of the science system set in the image and the report obtained. Hope that.
  • the camera be provided with means for correcting the image according to the measured song.
  • the camera be provided with a means for adding the above-mentioned information to the image taken in the school of science.
  • the camera of Ming is characterized by preliminarily storing a report when the difference in the optical system is approximated by the number of cases set in the scientific system.
  • the number be the number of each term constituting the above number, and it is also desirable that the number include a term of the power of the above. Further, it is desirable that the above-mentioned number include the term of the power of the separation. Further, the number may include the term of the root of the separation.
  • the correct method of Ming is a procedure for preparing a report when the difference in the shooting system is represented by the number of positions on the plane, and an estimation is made by using the prepared report of the image taken by the above system.
  • the step of correcting the image based on the measurement, the combination of the number of the number and the number of the term is the positive degree and / or the amount of the report. It is determined according to.
  • the alternative of the above number is ( ⁇ ), which is expressed only by the term of the second upper order of in the ratio of high to large in the above system.
  • the content is 4 or less, which is included in the above-mentioned ( ⁇ ).
  • the alternative of the above number is expressed by the following equation when the ratio of high to large in the above-mentioned academic system is expressed as () C (,
  • the option of the above number is () (or H), which is expressed by the following equation when the ratio of the high to the high of the academic system is taken.
  • the procedure for preparing the report when the difference in the academic system of photographing was expressed by the number of the positions on the plane, and the stored information of the images photographed by the scientific system were used.
  • This is a program that executes the procedure of estimating, the procedure of correcting the image based on the measurement, and the combination of the number of the above-mentioned number and the number of terms Is characterized by the above-mentioned academic system.
  • the content is 4 or less, which is included in the above-mentioned ( ⁇ ).
  • the Ming Camera is a camera that preliminarily remembers information when the difference in shooting systems is represented by the number of positions on the plane. It is characterized by ( ⁇ ) which is expressed only by terms of degree 2 above in the high ratio to.
  • the number is under 4, which is included in the above items.
  • Ming-no-zu is an exchange lens that pre-remembers the information when the difference in the academic system of photography is expressed by the number of positions on the plane. Sometimes, it is characterized by ( ⁇ ) which is expressed only by terms of degree 2 above.
  • the number is under 4, which is included in the above items.
  • the camera system of Ming is characterized by having a camera capable of reading the information stored in the lens.
  • a correct method, a program, and an image processing device that can increase the degree of curvature of an image while suppressing the amount of prepared information will be realized. Moreover, according to Ming, a suitable exchange, a camera, and a camera system will be realized to realize it.
  • FIG. 3 is a diagram showing an example of data (distribution given to an image) when 2 zoom is in zoom.
  • the camera system consists of interchangeable cameras as shown in.
  • the 002s pan can be equipped with a zoomsn CPR with variable focus and separation.
  • the camera has a camera CP
  • Exchanges Moons forms an image of the subject on camera 2's camera 2.
  • 2 takes an image of the object and acquires the image. Then, after being processed at signal 3, it is delivered at 4 o'clock.
  • No. 7 processes the image, and the corrected image is compressed and processed in 5, and then recorded in Record 6.
  • the exchanges contain the information obtained by approximating the distribution that the zooms give to the image by the number of the zooms' positions (positions and) as 1 of the zooms.
  • 1 is generated by the manufacturer of the exchange dish based on the data of Zumunds or the measured data. 1 will be described later.
  • the 0031 CP is designed for proper timing such as when the power is turned on.
  • the lens CP hits the shadow of the image, and sets the lens set to zoom (focus on focus). Take it and send it with the camera CP in the camera.
  • the ones received by the camera CP are used for the above-mentioned image processing as needed.
  • the correct processing is performed by using the one-position information. This correct processing will be described later.
  • Figure 2 is a diagram showing an example of the data (distribution given to the image) when the zoom is in the position.
  • the two are , and. This can be expressed in terms of as follows.
  • the distribution also includes the C of the function (), as shown by the dotted line in 2.
  • this (d) consists of three terms: the focus d term of the focus d, the focus d term of the power term, and the focus d squared term.
  • this (f) consists of 3 terms: the term of the power f of the zero, the power of the focus f, and the power of the square of the focus f.
  • the term of the power of f it is possible to approximate a small amount of cloth in the f direction to high. It should be noted that it is possible to use other curtain numbers instead of (f), which will be described later.
  • the d-direction distribution of in f f can be approximated by a curve, which is represented by (d) of d as follows, for example.
  • the cloth in the df direction of can be approximated by a curved surface as shown in 7 (note that in 7 the d axis is shown instead of the d axis, and the axis is shown instead of the f axis. ). That
  • S is, for example, represented by the following d f ().
  • This () is composed of 9 items that can combine the above-mentioned (d) and the above-mentioned (f).
  • the surface of c in the d f direction can be approximated by a curved surface (note that in 9 the d axis is shown instead of the d axis, and the axis is shown instead of the f axis).
  • the s is, for example, represented by (c) of d f as follows.
  • a () is towing, 9 in () (below ,.) "00 0 0 2 0 1
  • the manufacturer is based on the data of C g C C C (6),
  • image 1 Is a chart showing the order of correct processing by image 7. As shown in image 7, image 1
  • the value of in shooting is calculated by applying the lens in shooting (of d f) to S that is not known.
  • the image path 7 is known, but the value in (x) of the image is calculated by applying the lens (d f) in the image.
  • image 7 is obtained by applying the shooting distance (of df) to S of unknown C. , Calculate the value of C in shooting.
  • the image 7 fits the C values of the three given (3), and the distribution (()) produced in the image is defined as (step), and the image 7 produces the distribution produced in the image.
  • the image is transformed into a direction in which the image is suppressed and processed as necessary. This completes the correction of the image (step 3).
  • the image 7 is the image of or with the addition of the notification (step S 4). This image is recorded in Record 6.
  • 1 of the camera system is not a report of C under the patent, but a report for identifying S (7) of S, S (8) of C, and S (9) of C. .
  • Such a 1 represents C under all positions with a small amount of information.
  • the camera system can infer the distribution of the captured image every time, and can correct it positively.
  • the number representing the approximation S and the term representing the root of the number of the f f and the power of the f f to the number representing the S approximation may be included. It is desirable for the manufacturer to obtain an approximation S S S for each time by appropriately combining the terms such as ,, the root of, and.
  • the lens attached to the camera was set as the lens, so the cloth for C was approximated by () in the df direction, but the imaged lens was the lens (f was fixed). In that case, approximate it with () of focus d only.
  • the number (()) was set to 3, but it may be increased or decreased as necessary. Usually, the number is large when the distribution is complicated, and the number is small when the distribution is simple.
  • the stem consists of a camera system, a computer 2 and a computer 3.
  • the camera stem is connected to camera amp 2 by a key 4. Inside the camera stem lens, the same 1 as in the state is stored.
  • Computer 2 has a program installed via a body such as the Internet C O.
  • Image 7 performs a positive reason when the camera is not set to DO.
  • FIG. 2 is a chart showing the order of positive logic. As shown in 2 For image 7, the image, 1, and the information are input (step, step), and the value of C is calculated in the same manner as in the state (step S2). Then, in image 7, instead of correct processing,
  • the image showing the value of C is added to the image before the image is displayed.
  • the image is recorded by the note 6 in the camera.
  • Mp2 is the entry in the camera.
  • the image stored in 6 is captured via the case 4 with appropriate timing. Then, the computer 2 performs a correct process on the image captured in the installed program.
  • mp2 In the normal process, mp2 first recognizes the value of C added to the image. By fitting these values, the image distribution becomes known. Pump 2 relocates the image in the direction in which the distribution that occurs in the image is suppressed, and applies processing as necessary. This completes the correction of the image. Then, mp2 shows an image of, and saves it as needed.
  • the camera calculates the value of C based on 1 stored in the exchange and adds the information of those values to the image. Therefore, the mp2 can obtain a high degree of correction to the camera degree in the state without any knowledge of () () (C) described above.
  • the computer 2 was used. Instead of the computer 2, a computer equipped with an image processing function is used, and the same correct processing is performed for the computer. Moyo. That
  • the camera system consisting of the interchangeable-type camera has been explained, but it can also be applied to the camera of the in-zoom type. If it's a zoom type, then it can be anywhere in the camera 1.
  • the distribution is represented by the fourth-order function (), but it may be represented by a higher-order number above 5. Also, describe the distribution as the number below 3 below.
  • 00703 is a diagram showing an example of data (distribution given to an image) when the lens is in the lens.
  • the horizontal axis is.
  • the following five types of (2) (3) (4) (5) (6) are listed as the complements of that number (and C is).
  • C of these numbers depends on the positive (the combination of df).
  • the cloth for df direction of, the cloth for df direction of, and the cloth for df direction of C can be approximated by a smooth curved surface SSS as shown by the dotted lines in () () (C), respectively.
  • the curve shown in 4 is an example, and the actual curve is not always the same.
  • each of C is represented by d ((7) (7) (
  • (7) consists of 9 pairs of terms that are only the sum of d f, and includes 9 pairs of near 00 0 0 2 0 2 20 2 22.
  • 007 (7) consists of 9 pairs of terms with only the number of d f, and 9 pairs of near A A A A A A A A A A A A
  • (7C) consists of nine pairs of d f numbers, including 9 pairs of near A00 A A A A A A A A A.
  • (2) (3) is 3, so a total of 27 pairs (“AAAAAA 00 0 0 2 0 2 2 0 2 22 00 0 0 2 0 2 AAAAAAAAAA will be included 20 2 22 00 0 0 2 0 2 20 2 22 007, and (4) to (6) are 2, so a total of 8 pairs
  • the manufacturer multiplies the data in ns by fitting it to (2) individually (that is, the fitting by the least squares method), and further, the fitting difference in ns. . It is represented by the amount of deviation between the distribution obtained by this fitting and the fitting and the number of data used for that fitting. Below, the amount of deviation of these multiple data is.
  • the builder accumulates the approximate differences in each position, and then evaluates (2) based on the size of the difference.
  • the data is individually fitted to (3), and the approximate differences in the positions are also multiplied. Then, the quality of (3) is evaluated based on the size of the similarity in the lens.
  • the manufacturer multiplies the data in the index by fitting it to (4) individually, and further accumulates the approximate difference in the index. Then, the degree of (4) is evaluated based on the size of the similarity in the lens.
  • the data is individually fitted to (5), and the approximate difference in the positions is also multiplied. Then, the degree of (5) is evaluated according to the size of the closeness in the lens.
  • the manufacturer multiplies the data in the index by fitting it to the value in (6), and further accumulates the approximate difference in the index. Then, the degree of (6) is evaluated based on the size of the similarity in the lens.
  • 5 is a graph that compares the difference in (2) and the difference in (3) (again, data for the same index).
  • the approximate difference is shown for each position, and the axis value is the approximate difference. According to this 5, at least in terms of It can be seen that (3) can reduce the approximate difference.
  • 5 6 is data related to the ind, but when is adjusted to other compound ind, it is
  • FIG. 8 is a graph comparing the differences of these (4) (5) (6) by the lens.
  • the approximate difference is shown for each ins, and the value on the axis shows the maximum difference in ins. According to this 8, it can be seen that (4) is effective in reducing the roughness due to the approximate difference in terms of the distance.
  • the builder of this embodiment approximates the data of Nez with the number of classes, and estimates the difference caused by those numbers individually. And, for example, if the degree of positiveness is high enough (e.g., it is the software that does the positiveness, or the lens is a high-class species), the manufacturer may The most term of any number (for example,
  • the manufacturer obtains the value of C obtained in the ittin for (3) in the position. , And then ittates (7) (7) (7C) to get 27 pairs of nearest values. Therefore, the nearest value of these 27 pairs is set as 1 of the index. In fact, in the case of actual positive, 27 sets of close values included in 1 are fitted (3), and the positive value is obtained by the fitting.
  • the manufacturer when (4) is elected, the manufacturer obtains the value of (4) obtained in the tin for (4). , And get the nearest 8 sets of ittin for (7) (7). Therefore, in this case, the nearest value of these 8 pairs will be taken as 1 of the index. In fact, in the case of actual positiveness, the 8 sets of close values included in it are fitted (4), and the resulting positive value is used. Also, when other distortion numbers are selected, the manufacturer obtains the values of the approximate numbers necessary for the selected numbers, as in the case of selecting (3) and (4). The value is assumed to be distortion 1.
  • the optimum 1 is prepared for the lens, so that the actual positive can be surely made to be a good positive.
  • the number of when considering the positive degree and the amount of information, at the present time, the number below 4 is realistic. In addition, if there are traps above the number 3, the number including at least the quadratic term of the quadratic term of the quadratic term of should be included in the consideration. 0093, the following (7) is better than (3) above.
  • the 0096 computer When connected to a digital camera, the 0096 computer takes in the image data stored in the digital camera.
  • This data is a positive elephant.
  • this data includes, as additional information, a report indicating the type of lens used and a report indicating the value of the shooting index d f. This kind of addition was made by the shooting digital camera along with other information (such as when playing Yatter Speed).
  • Nmpi recognizes the class of nds and d f by referring to the information of the image data. Then, by referring to te, the class of the number corresponding to the class of the lens and the approximate number are read out.
  • the number 4 and the 8 nearest numbers are read out.
  • the pump obtains the guess by pre-storing (4) the nearest 8 values read out.
  • the distortion distribution on the image is defined as.
  • the image data is corrected according to this distribution.
  • the number 3 and the number 2 7 of the nearest numbers are read out.
  • the pump gets the guess by pre-storing (3) the nearest 27 values read out.
  • the distortion distribution on the image is taken as. The pump corrects the image data according to this distribution.
  • the pump of this embodiment is best suited for multiple types of lenses.
  • a computer having an image processing function may be used instead of the computer, and the same processing may be performed on the computer.
  • the camera includes a camera CP with a variable position (d f).
  • this 1 does not have to be the number of the above, but the values of those numbers can be distorted.
  • the zoom lens has a relatively low positive value and a limit on the memory capacity of O.
  • the eight nearest values in (4) are obtained by the camera builder. That is as explained in the three states. It is possible to apply the 8 nearest values to the distortion (4), To be done.
  • the lens When 0 05, the lens forms an image of the subject on 2, the 2 captures the image of the object and obtains the image data. That data is the signal
  • the 0106 camera CP stores the value of its distance f d in O.
  • step 7 the image data stored in memory 4 is subjected to correct processing according to the distribution.
  • the data is recorded in record 6 after being compressed and processed.
  • the camera according to the present embodiment stores (4) is used as a memory and corrects it based on it. Therefore, it is possible to obtain a certain result while suppressing the information of 1. it can.
  • the camera of this embodiment uses (4), but (3) may be used instead of (4) if the amount of information in 1 can be increased. If it is possible to increase the amount of information,
  • O in the camera P of 1 is used, but it may be provided separately from the camera P.
  • the camera of this embodiment corrects the image data
  • information necessary for the correction such as the above-mentioned distribution report
  • the camera system 22 is a camera system. As shown in 22, the camera system consists of interchangeable cameras.
  • the camera has a camera CP
  • the nearest 27 values of (3) are stored.
  • the nearest values of these 27 sets are obtained by the manufacturer of the exchange plates. That is as explained in the three states.
  • 0112 nds P reads the nearest value of 27 sets from O at the proper timing such as when the power is turned on and transmits it to the camera P in the camera.
  • Camera P takes those 27 pairs of nearest values as the distortion in O.
  • the 2 captures the image of the object and acquires the image data. That data is the signal
  • the camera P fits the value of the lens fd to the distortion distribution on the image.
  • step 7 the image data stored in item 4 is processed according to its distribution. The data is compressed and processed in 5, and then recorded in record 6.
  • the description of the pan in Other types of mounts () that can be attached to the same shall also contain the same (27 nearest pairs). The nearest value of these 27 sets is obtained by the manufacturer of the lens. That is as explained in the three states.
  • the camera remembers (3) (that is, the approximation difference is smaller than the other distortion numbers of the same number), and the exchange index (other types of index) is set as 1. , (3) of the 27 most recent values are memorized, and positively, both of them are used. Therefore, according to the camera system, it is possible to obtain a high result while suppressing a large amount of information of 1.
  • O in the camera CP in (3) is used, but it may be provided separately from the camera P.
  • the camera of this embodiment corrects the image data
  • information necessary for the correction such as the above-mentioned distribution report
  • Various numbers are stored in the O in the camera CP.
  • the n's are stored as the number 1 for the n's, the optimal number for the ind (3 for 23) and that number (for 27 close pairs).
  • the optimal number for the in The difference is determined (if it is the same, then it is determined), and the method for determining the type of the number and the method for determining the value of the approximate number are as described in Section 3. Yes, this is done by the manufacturer of replacement dishes.
  • the replacement lens P when the former (n) is attached to the camera, the replacement lens P will be numbered 2 and 27 pairs of the nearest number at the proper timing such as when the power is turned on. Read out and send with camera P in camera. When the camera P recognizes 3) in a class of numbers, it takes 27 sets of nearby values and distorts them in O (3) to get a guess. Using this, the camera corrects in the same way as in 6 states.
  • the latter (other types of lenses are attached to the camera, and the lens P in the replacement lens is used for proper timing such as when the power is turned on.
  • the camera CP recognizes 4) in the class of numbers it fits eight pairs of nearest values into the distortion (4) in O to get a guess. Using this, the camera corrects as in 6 states.
  • the camera stores (3 (4) and exchanges (the other types of lenses are 3 or 4 in the optimum number of types) for various numbers. 4), and the number of values of that number is stored as 278, and the information of both of them is used, and thus, depending on the camera system. For example, although the amount of information stored in the camera is large, it is possible to always obtain the optimum correction for the exchange.
  • the camera of this embodiment corrects the image data
  • information necessary for the correction such as the above-mentioned distribution report

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Structure And Mechanism Of Cameras (AREA)

Abstract

 本発明は、光学系で撮影した画像の歪曲補正方法において、予め用意すべき情報量を抑えながら画像の歪曲の推測精度を高めることを提供する。そのために、前記光学系の歪曲収差(A)を、その光学系に設定される撮影条件(d,f)の関数(SA:A(f,d))で近似したときの近似情報を予め用意し、前記光学系で撮影した画像の歪曲を、その画像の撮影時に設定された前記撮影条件と、予め用意された前記近似情報とに基づき推測する。この近似情報によれば、少ない情報量で全ての撮影条件下における歪曲収差を推測することができる。

Description

明 細 書
歪曲補正方法、歪曲補正プログラム、画像処理装置、交換レンズ、カメラ 、及びカメラシステム
技術分野
[0001] 本発明は、ディジタルカメラや画像処理ソフトウェアなどに適用される歪曲補正方 法、歪曲補正プログラムに関する。また、本発明は、ディジタルカメラなどのカメラ、デ イジタルカメラなどに適用される画像処理装置、交換レンズ、及びカメラシステムに関 する。
背景技術
[0002] ディジタルカメラなどで撮影した画像を歪曲補正する画像処理技術が知られて!/、る
(特許文献 1,非特許文献 1等を参照)。その歪曲補正では、画像上の歪曲量分布が 既知となって!/、る必要がある。
撮影用のレンズが画像に与える歪曲量 Dは、理想像点の像高を Y、実際の像点の 像高を Υ
0とすると、以下の式で表される。
[0003] D= 100 X (Y-Y ) /Y [%]
ο ο
この歪曲量 Dの画像上の分布は、以下のとおり像高比 r (二像高 Z最高像高)の関 数で以下のとおり近似することができる。
D (r)≡a r + a r +a r +a r +a r +a r H—
1 2 3 4 5 6
多くの場合、以下のとおり次数を 3に抑えたとしても十分に良い近似ができる。
[0004] D (r)≡a r+a r2+a r3
1 2 3
歪曲量分布を表すこの関数の係数(以下、「歪曲係数」という。)a , a , a
1 2 3は、レンズ の種類 (仕様)によって異なるだけでなぐ撮影時のレンズポジション (焦点距離 fと焦 点位置 dとの組み合わせ)によっても変化する。
このため、特許文献 1に記載のカメラには、歪曲補正情報として、歪曲係数 a , a , a
1 2 をレンズポジション毎に格納したテーブルが予め用意されている。画像の撮影時、レ
3
ンズポジションに応じてカメラがこのテーブルを参照すれば、画像上の歪曲量分布を 簡単に推測することができる。 特許文献 1:特開 2003 - 110847号公報
非特許文献 1 :高橋友刀, 「レンズ設計」,東海大学出版会, P127, 1994年 3月 20 曰
発明の開示
発明が解決しょうとする課題
[0005] このようなカメラにおいて補正精度の向上を図るには、レンズポジションの刻みを細 力べしたり、歪曲量分布を表す関数の次数を増やしたりすればよいが、テーブルの情 報量が膨大になる。また、テーブルの許容情報量や補正精度に対する要求精度は カメラの仕様などにより様々である。
そこで本発明は、予め用意すべき情報量を抑えながら画像の歪曲の推測精度を高 めることのできる歪曲補正方法、歪曲補正プログラム、画像処理装置を提供すること を目的とする。また、本発明は、その歪曲補正方法を実現するのに好適な交換レンズ
、カメラ、及びカメラシステムを提供することを目的とする。
[0006] また、本発明は、良好な歪曲補正を確実に行うことのできる歪曲補正方法、歪曲補 正プログラム、カメラ、交換レンズ、及びカメラシステムを提供することを目的とする。 課題を解決するための手段
[0007] 本発明の歪曲補正方法は、光学系で撮影した画像の歪曲補正方法であって、前 記光学系の歪曲収差を、その光学系に設定される撮影条件の関数で近似したときの 近似情報を予め用意する手順と、前記光学系で撮影した画像の歪曲を、その画像の 撮影時に設定された前記撮影条件と予め用意された前記近似情報とに基づき推測 する手順と、を含むことを特徴とする。
[0008] なお、前記撮影条件は、前記光学系の焦点位置及び Z又は焦点距離からなること が望ましい。
また、前記近似情報は、前記歪曲収差を前記画像上位置の関数で表したときの 1 つ以上の係数の各々を、前記焦点位置及び Z又は前記焦点距離の冪関数で近似 したときの近似情報であることが望ま 、。
[0009] また、前記近似情報は、前記冪関数を構成する各項の係数からなることが望ま 、 また、前記冪関数には、前記焦点位置の逆冪乗の項が含まれることが望ましい。 また、前記冪関数には、前記焦点距離の逆冪乗の項が含まれることが望ましい。 また、前記冪関数には、前記焦点距離の重根の項が含まれてもよい。
また、本発明の歪曲補正プログラムは、本発明の何れかの歪曲補正方法をコンビュ ータに実行させることを特徴とする。
[0010] また、本発明の画像処理装置は、本発明の何れかの歪曲補正方法を実行する手 段を備えたことを特徴とする。
また、本発明の交換レンズは、光学系の歪曲収差を、その光学系に設定される撮 影条件の関数で近似したときの近似情報を予め記憶したことを特徴とする。
なお、前記撮影条件は、前記光学系の焦点位置及び Z又は焦点距離からなること が望ましい。
[0011] また、前記近似情報は、前記歪曲収差を前記画像上位置の関数で表したときの 1 つ以上の係数の各々を、前記焦点位置及び Z又は前記焦点距離の冪関数で近似 したときの近似情報であることが望ま 、。
また、前記近似情報は、前記冪関数を構成する各項の係数力 なることが望ましい また、前記冪関数には、前記焦点位置の逆冪乗の項が含まれることが望ましい。
[0012] また、前記冪関数には、前記焦点距離の逆冪乗の項が含まれることが望ましい。
また、前記冪関数には、前記焦点距離の重根の項が含まれてもよい。
また、本発明のカメラシステムは、本発明の何れかの交換レンズと、前記交換レンズ が予め記憶した前記近似情報を読み取ることの可能なカメラとを備えたことを特徴と する。
なお、前記カメラには、前記交換レンズの前記光学系で撮影した画像の歪曲を、そ の画像の撮影時に設定された前記光学系の撮影条件と前記読み取った前記近似情 報とに基づき推測する手段が備えられることが望ましい。
[0013] また、前記カメラには、前記推測した前記歪曲に応じて前記画像を歪曲補正する手 段が備えられることが望まし 、。
また、前記カメラには、前記推測した前記歪曲を示す情報を前記画像に対し付カロ する手段が備えられることが望ま 、。
また、前記カメラには、前記交換レンズの光学系で撮影した画像に対し、前記読み 取った前記近似情報を付加する手段が備えられることが望ましい。
[0014] また、本発明のカメラは、光学系の歪曲収差を、その光学系に設定される撮影条件 の関数で近似したときの近似情報を予め記憶したことを特徴とする。
なお、前記撮影条件は、前記光学系の焦点位置及び Z又は焦点距離からなること が望ましい。
また、前記近似情報は、前記歪曲収差を前記画像上位置の関数で表したときの 1 つ以上の係数の各々を、前記焦点位置及び Z又は前記焦点距離の冪関数で近似 したときの近似情報であることが望まし 、。
[0015] また、前記近似情報は、前記冪関数を構成する各項の係数力もなることが望ま 、 また、前記冪関数には、前記焦点位置の逆冪乗の項が含まれることが望ましい。 また、前記冪関数には、前記焦点距離の逆冪乗の項が含まれることが望ましい。 また、前記冪関数には、前記焦点距離の重根の項が含まれてもよい。
また、本発明の歪曲補正方法は、撮影用の光学系の歪曲収差を像面上位置の関 数で表したときの歪曲情報を予め用意する手順と、前記光学系で撮影した画像の歪 曲量を、予め用意された前記歪曲情報を用いて推測する手順と、前記推測した歪曲 量に基づき、前記画像を歪曲補正する手順とを含む歪曲補正方法において、前記 関数の項数及び各項の次数の組み合わせは、前記歪曲補正の要求精度及び Z又 は前記歪曲情報の許容情報量に応じて決定されることを特徴とする。
[0016] なお、前記関数の選択肢の 1つは、前記光学系の最大像高に対する各像高の比を rとおいたときに、少なくとも rの 4次の項と、 rの 3次の項と、 rの 2次の項とで歪曲量 Dを 表す関数 D (r)であることが望ま 、。
また、前記関数の選択肢の 1つは、前記光学系の最大像高に対する各像高の比を rとおいたときに、 rの 2以上の次数の項のみで歪曲量 Dを表す関数 D (r)であることが 望ましい。
[0017] また、前記関数 D (r)に含まれる rの項数は、 4以下であることが望ま 、。 また、前記関数の選択肢の 1つは、前記光学系の最大像高に対する各像高の比を rとおいたときに、以下の式で歪曲量 Dを表す関数 D (r)≡Ar4+Br3+Cr2 (但し、 A, B, Cは係数)であることが望ましい。
また、前記関数の選択肢の 1つは、前記光学系の最大像高に対する各像高の比を rとおいたときに、以下の式で歪曲量 Dを表す関数 D (r)≡Ar3+Br2 (但し、 A, Bは係 数)であることが望ましい。
[0018] また、本発明の歪曲補正プログラムは、撮影用の光学系の歪曲収差を像面上位置 の関数で表したときの歪曲情報を予め用意する手順と、前記光学系で撮影した画像 の歪曲量を、予め記憶された前記歪曲情報を用いて推測する手順と、前記推測した 歪曲量に基づき、前記画像を歪曲補正する手順とをコンピュータに実行させる歪曲 補正プログラムであって、前記歪曲情報は、前記光学系の種類毎に用意され、前記 関数の項数及び各項の次数の組み合わせは、前記光学系の種類毎に予め決めら れていることを特徴とする。
[0019] なお、少なくとも 1種類の前記光学系の前記関数は、前記光学系の最大像高に対 する各像高の比 ¾τとおいたときに、少なくとも rの 4次の項と、 rの 3次の項と、 rの 2次 の項とで歪曲量 Dを表す関数 D (r)であることが望ま 、。
また、少なくとも 1種類の前記光学系の前記関数は、前記光学系の最大像高に対 する各像高の比 ¾τとおいたときに、 rの 2以上の次数の項のみで歪曲量 Dを表す関 数 D (r)であることが望まし 、。
[0020] また、前記関数 D (r)に含まれる rの項数は、 4以下であることが望ま 、。
また、少なくとも 1種類の前記光学系の前記関数は、前記光学系の最大像高に対 する各像高の比 ¾τとおいたときに、以下の式で歪曲量 Dを表す関数 D (r)≡Ar4+B r3 + Cr2 (但し、 A, B, Cは係数)であることが望ましい。
また、少なくとも 1種類の前記光学系の前記関数は、前記光学系の最大像高に対 する各像高の比 ¾τとおいたときに、以下の式で歪曲量 Dを表す関数 D (r)≡Ar3 + B r2 (但し、 A, Bは係数)であることが望ましい。
[0021] また、本発明のカメラは、撮影用の光学系の歪曲収差を像面上位置の関数で表し たときの歪曲情報を予め記憶したカメラであって、前記関数は、前記光学系の最大 像高に対する各像高の比を rとおいたときに、 rの 2以上の次数の項のみで歪曲量 D を表す関数 D (r)であることを特徴とする。
なお、前記関数 D (r)に含まれる rの項数は、 4以下であることが望ましい。
[0022] また、前記関数は、前記光学系の最大像高に対する各像高の比を rとおいたときに 、以下の式で歪曲量 Dを表す関数 D (r)≡Ar4+Br3+Cr2 (但し、 A, B, Cは係数)で あることが望ましい。
また、前記関数は、前記光学系の最大像高に対する各像高の比を rとおいたときに 、以下の式で歪曲量 Dを表す関数 D (r)≡Ar3+Br2 (但し、 A, Bは係数)であること が望ましい。。
[0023] また、本発明の交換レンズは、撮影用の光学系の歪曲収差を像面上位置の関数で 表したときの歪曲情報を予め記憶した交換レンズであって、前記関数は、前記光学 系の最大像高に対する各像高の比を rとおいたときに、 rの 2以上の次数の項のみで 歪曲量 Dを表す関数 D (r)であることを特徴とする。
なお、前記関数 D (r)に含まれる rの項数は、 4以下であることが望ましい。
[0024] また、前記関数は、前記光学系の最大像高に対する各像高の比を rとおいたときに 、以下の式で歪曲量 Dを表す関数 D (r)≡Ar4+Br3+Cr2 (但し、 A, B, Cは係数)で あることが望ましい。
また、前記関数は、前記光学系の最大像高に対する各像高の比を rとおいたときに 、以下の式で歪曲量 Dを表す関数 D (r)≡Ar3+Br2 (但し、 A, Bは係数)であること が望ましい。
[0025] また、本発明のカメラシステムは、前記交換レンズが予め記憶した前記歪曲情報を 読み取ることの可能なカメラとを備えたことを特徴とする。
発明の効果
[0026] 本発明によれば、予め用意すべき情報量を抑えながら画像の歪曲の推測精度を高 めることのできる歪曲補正方法、歪曲補正プログラム、画像処理装置が実現する。ま た、本発明によれば、それを実現するのに好適な交換レンズ、カメラ、及びカメラシス テムが実現する。
また、本発明によれば、良好な歪曲補正を確実に行うことのできる歪曲補正方法、 歪曲補正プログラム、カメラ、交換レンズ、及びカメラシステムが実現する。
図面の簡単な説明
[図 1]第 1実施形態のカメラシステムの構成図である。
[図 2]ズームレンズ 11Lが或るレンズポジションにあるときの歪曲収差データ(画像に 与えられる歪曲量分布)の一例を示す図である。
[図 3]歪曲係数 A, B, Cのデータを示す図である。
[図 4]歪曲係数 Aのデータを示す図である。
[図 5]歪曲係数 Bのデータを示す図である。
[図 6]歪曲係数 Cのデータを示す図である。
[図 7]近似曲面 Sの概念を示す図である。
A
[図 8]近似曲面 Sの概念を示す図である。
B
[図 9]近似曲面 S の概念を示す図である。
C
[図 10]第 1実施形態の歪曲補正処理の手順を示すフローチャートである。
[図 11]第 2実施形態のシステムの構成図である。
[図 12]歪曲補正の前処理の手順を示すフローチャートである。
[図 13]或るレンズが或るレンズポジションにあるときの歪曲収差データ(画像に与えら れる歪曲量分布)の一例を示す図である。
[図 14]歪曲係数 A, B, Cの d, f方向の分布の様子を示す図である。
[図 15]歪曲量関数(12)による近似誤差と、歪曲量関数(13)による近似誤差とを比 較するグラフである(何れも、或る同じレンズ 1に関するデータ)。
[図 16]図 15の縦軸を、全像高における最大近似誤差の絶対値としたものである。
[図 17]歪曲量関数(14)による近似誤差と、歪曲量関数(15)による近似誤差と、歪曲 量関数(16)による近似誤差とを比較するグラフである(何れも或る同じレンズ 2に関 するデータ)。
[図 18]歪曲量関数(14) , (15) , (16)の近似誤差を、レンズ 2の代わりにレンズ 1によ つて比較するグラフである。
[図 19]画像データの付加情報を説明する図である。
[図 20]コンピュータが記憶するテーブルの内容を説明する図である。 [図 21]第 5実施形態のカメラの構成図である。
[図 22]第 6実施形態のカメラシステムの構成図である。
[図 23]第 7実施形態のカメラシステムの構成図である。
発明を実施するための最良の形態
[0028] [第 1実施形態]
本発明の第 1実施形態を説明する。本実施形態は、カメラシステムの実施形態であ る。
先ず、本カメラシステムの構成を説明する。
図 1は、本カメラシステムの構成図である。図 1に示すとおり、本カメラシステムは、 交換レンズ 11とカメラ本体 10とからなる。
[0029] 交換レンズ 11には、焦点位置及び焦点距離が可変のズームレンズ 11L,レンズ C PU11A, ROM11Bなどが備えられる。カメラ本体 10には、カメラ CPU10A,撮像 素子 12,信号処理回路 13,メモリ 14,圧縮 ·伸張回路 15,記録部 16,画像処理回 路 17などが備えられる。
撮影時、交換レンズ 11内のズームレンズ 11Lは、カメラ本体 10内の撮像素子 12上 に被写体の像を形成する。撮像素子 12は、その被写体の像を撮像して画像を取得 する。その画像は、信号処理回路 13において処理された後、メモリ 14^ ^一時的に格 納される。画像処理回路 17は、その画像に対し画像処理を施し、補正後の画像が、 圧縮 ·伸張回路 15にお 、て圧縮処理された後、記録部 16にお 、て記録される。
[0030] ここで、交換レンズ 11内の ROM11Bには、ズームレンズ 11Lの歪曲補正情報 Iとし て、ズームレンズ 11Lが画像に与える歪曲量分布をズームレンズ 11Lのレンズポジシ ヨン (焦点位置及び焦点距離)の関数で近似したときの情報が格納される。この歪曲 補正情報 Iは、交換レンズ 11の製造者がズームレンズ 11Lの設計データ又は実測デ ータに基づき予め生成したものである。歪曲補正情報 Iの内容は、後述する。
[0031] 交換レンズ 11内のレンズ CPU11Aは、電源投入時などの適当なタイミングで RO Ml 1Bから歪曲補正情報 Iを読み出し、カメラ本体 10内のカメラ CPU10Aへと送信 する。また、レンズ CPU11Aは、画像の撮影に当たり、ズームレンズ 11Lに設定され たレンズポジション (焦点位置と焦点距離との組み合わせ)を不図示のエンコーダを 介して読み取り、そのレンズポジション情報をカメラ本体 10内のカメラ CPU 1 OAへと 送信する。カメラ CPU10Aが受信した歪曲補正情報 I及びレンズポジション情報は、 必要に応じて前述した画像処理に利用される。特に、本実施形態では、カメラ本体 1 0が歪曲補正モードに設定されているときに、それら歪曲補正情報 I及びレンズポジ シヨン情報を利用して歪曲補正処理が行われる。この歪曲補正処理の詳細は、後述 する。
[0032] 次に、歪曲補正情報 Iの内容を詳細に説明する。
図 2は、ズームレンズ 11Lが或るレンズポジションにあるときの歪曲収差データ(画 像に与えられる歪曲量分布)の一例を示す図である。図 2の横軸は、像高比 rであり、 縦軸は、歪曲量 Dである。この歪曲量 Dを像高比 rの関数で表すと、以下のとおりであ る。
D≡Ar4+Br3 + Cr2
そして、このズームレンズ 11Lのレンズポジション(焦点位置 d,焦点距離 fの組み合 わせ)が変化すると、歪曲量分布は、例えば、図 2中に点線で示すように変化し、関 数(1)における歪曲係数 A, B, Cの組み合わせも変化する。
[0033] そこで、製造者は、ズームレンズ 11Lの設計データを用いたシミュレーション、又は 、ズームレンズ 11Lを用いた実験を行い、ズームレンズ 11Lのレンズポジション(焦点 位置 d,焦点距離 fの組み合わせ)を複数通りに変化させ、複数通りの歪曲係数 A, B , Cのデータを取得する。ここでは、簡単のため、焦点位置 d,焦点距離 fの各々を 3 通りずつ変化させ、 9通りのデータを取得した場合を説明する。
[0034] 取得された 9通りの歪曲係数 A, B, Cのデータを焦点位置 d及び焦点距離 f毎に並 ベると、図 3に示すとおりになる。さらに、歪曲係数 Aのデータと歪曲係数 Bのデータと 歪曲係数 Cのデータとを分けて表すと、図 4,図 5,図 6に示すとおりになる。
図 4において、例えば、焦点距離 f=f における歪曲係数 Aのデータ A , A , A を
1 11 21 31 参照すると、焦点距離 f =f における焦点位置 dによる歪曲係数 Aの変化がわかる。こ
1
れらのデータ A , A , A を用いれば、焦点距離 f=f における歪曲係数 Aの d方向
11 21 31 1
の分布を曲線で近似することができる。その近似曲線 Lは、例えば、焦点位置 dの冪
A
関数(1 Ad)で表される。 [0035] [数 1] ョ《。 - - -(lAd)
Figure imgf000011_0001
因みに、この冪関数(lAd)は、焦点位置 dのゼロ乗の項と、焦点位置 dの 1乗の 項と、焦点位置 dの— 2乗の項との 3つの項力もなる。このように、 dの逆冪乗の項を利 用すると、少ない項数で歪曲係数 Aの d方向の分布を高精度に近似することができる 。なお、この冪関数(lAd)の代わりに他の冪関数を使用することも可能であるが、そ れについては後述する。
[0036] また、図 4において、例えば、焦点位置 d=dにおける歪曲係数 Aのデータ A , A
1 11 12
, Α を参照すると、焦点位置 d=dにおける焦点距離 fによる歪曲係数 Aの変化がわ
13 1
かる。これらのデータ A , A , A を用いれば、焦点位置 d=dにおける歪曲係数 A
11 12 13 1
の f方向の分布を曲線で近似することができる。その近似曲線 L
Aは、例えば、焦点距 離 fの冪関数( 1 Af )で表される。
[0037] [数 2]
Figure imgf000011_0002
因みに、この冪関数(lAf)は、焦点距離 fのゼロ乗の項と、焦点距離 fの 1乗の項 と、焦点距離 fの— 2乗の項との 3つの項力もなる。このように、 fの逆冪乗の項を利用 すると、少な 、項数で歪曲係数 Aの f方向の分布を高精度に近似することができる。 なお、この冪関数(lAf)の代わりに他の冪関数を使用することも可能であるが、それ については後述する。
[0038] 同様に、図 5に示した歪曲係数 Bの 3つのデータ B , B , B を用いれば、焦点距
11 21 31
離 f = f における歪曲係数 Bの d方向の分布を曲線で近似することができ、その近似
1
曲線 Lは、例えば、以下のような dの冪関数(lBd)で表される。
B
[0039] [数 3]
Figure imgf000011_0003
また、図 5に示した歪曲係数 Bの 3つのデータ B , B , B を用いれば、焦点位置 d =dにおける歪曲係数 Bの f方向の分布を曲線で近似することができ、その近似曲線
1
Lハ、例えば、以下のような fの冪関数(lBf)で表される。
[0040] [数 4] ゾ J
同様に、図 6に示した歪曲係数 Cの 3つのデータ C , C , C を用いれば、焦点距
11 21 31
離 f =f における歪曲係数 Cの d方向の分布を曲線で近似することができ、その近似
1
曲線 Lは、例えば、以下のような dの冪関数(lCd)で表される。
[0041] [数 5] {d)≡r0 + ≡∑ -' …( め
Figure imgf000012_0001
また、図 6に示した歪曲係数 Cの 3つのデータ C , C , C を用いれば、焦点位置 d
11 12 13
=dにおける歪曲係数 Cの f方向の分布を曲線で近似することができ、その近似曲線
1
Lは、例えば、以下のような fの冪関数(lCf)で表される。
[0042] 園 (f -de/)
Figure imgf000012_0002
以上のことを拡張して考えると、次のことがわかる。
すなわち、図 4に示した歪曲係数 Aの 9つのデータ A , A , · ··, Α を用いれば、
11 12 33
図 7に示すとおり、歪曲係数 Aの d, f方向の分布を曲面で近似することができる(なお 、図 7では d軸の代わりに lZd軸を、 f軸の代わりに lZf軸を示した。)。その近似曲 面 Sは、例えば、以下のようなお fの冪関数(1A)で表される。
[0043] [数 7]
Figure imgf000012_0003
この冪関数(1A)は、歪曲係数 Aを焦点位置 d及び焦点距離 fで冪展開してできる 冪関数であって、上述した冪関数(1 Ad)と、上述した冪関数(lAf)とを組み合わせ てできる 9つの項からなる。 同様に、図 5に示した歪曲係数 Bの 9つのデータ B , B , · ··, B を用いれば、図 8
11 12 33
に示すとおり、歪曲係数 Bの d, f方向の分布を曲面で近似することができる(なお、図 8では d軸の代わりに lZd軸を、 f軸の代わりに lZf軸を示した。)。その近似曲面 S
B
は、例えば、以下のようなお fの冪関数(1B)で表される。
[0044] [数 8]
Β(/,ά)≡∑∑Α ά-' -(15) この冪関数(IB)は、上述した冪関数(lBd)と、上述した冪関数(lBf)とを組み合 わせてできる 9つの項からなる。
同様に、図 6に示した歪曲係数 Cの 9つのデータ C , C , · ··, C を用いれば、図 9
11 12 33
に示すとおり、歪曲係数 Cの d, f方向の分布を曲面で近似することができる(なお、図 9では d軸の代わりに lZd軸を、 f軸の代わりに lZf軸を示した。)。その近似曲面 S
C
は、例えば、以下のようなお fの冪関数(1C)で表される。
[0045] [数 9] c (/,めョ∑» —'尸 …( )
尸 この冪関数は、上述した冪関数(lCd)と、上述した冪関数(lCf)とを組み合わせて できる 9つの項からなる。
そこで、製造者は、歪曲係数 Aの 9つのデータ A , A , · ··, Α (図 4)に基づき、歪
11 12 33
曲係数 Aの近似曲面 S (図 7)を算出する。すなわち、製造者は、歪曲係数 Aの 9つ
A
のデータ A , A , · ··, Α に対し、近似曲面 Sを表す冪関数(1 A)をフィッティングし
11 12 33 A
、冪関数(1A)中の 9つの係数 (以下、「近似係数」という。) Γ , Γ , Γ , Γ , Γ
00 01 02 10 11
, Γ , Γ , Γ , Γ の値を選定する。
12 20 21 22
[0046] ここでは、歪曲係数 Aのデータ数と、選定すべき近似係数 Γの数とが等しいので、 そのフィッティングでは、データ A , A , · ··, Α を冪関数(1A)に当てはめて 9つの
11 12 33
式を取得し、それらの式を連立方程式として 9つの近似係数 Γ , Γ , Γ , Γ , Γ
00 01 02 10
, Γ , Γ , Γ , Γ の値を求めればよい。なお、そのフィッティングの精度を高め
11 12 20 21 22
るには、歪曲係数 Aのデータ数を 10以上に増やした上で、そのフィッティングに最小 自乗法を適用すればよい。
[0047] 同様に、製造者は、歪曲係数 Bの 9つのデータ B , B , ···, B (図 5)に基づき、歪
11 12 33
曲係数 Bの近似曲面 S (図 8)を算出する。すなわち、製造者は、歪曲係数 Bの 9つの
B
データ B , B , ···, B に対し、近似曲面 Sを表す冪関数(1B)をフィッティングし、
11 12 33 B
冪関数(1B)中の 9つの近似係数 Δ , Δ , Δ , Δ , Δ , Δ , Δ , Δ , Δ の
00 01 02 10 11 12 20 21 22 値を選定する。
[0048] ここでは、歪曲係数 Βのデータ数と、選定すべき近似係数 Δの数とが等しいので、 そのフィッティングでは、データ Β , Β , ···, Β を冪関数(1B)に当てはめて 9つの
11 12 33
式を取得し、それらの式を連立方程式として 9つの近似係数 Δ , Δ , Δ , Δ , Δ
00 01 02 10
, Δ , Δ , Δ , Δ の値を求めればよい。なお、そのフィッティングの精度を高め
11 12 20 21 22
るには、歪曲係数 Βのデータ数を 10以上に増やした上で、そのフィッティングに最小 自乗法を適用すればよい。
[0049] 同様に、製造者は、歪曲係数 Cの 9つのデータ C , C , ···, C (図 6)に基づき、
11 12 33
歪曲係数 Cの近似曲面 S (図 9)を算出する。すなわち、製造者は、歪曲係数 Cの 9
C
つのデータ C , c , ···, C に対し、近似曲面 Sを表す冪関数(1C)をフィッティング
11 12 33 C
し、冪関数(1C)中の 9つの近似係数 Λ , Λ , Λ , Λ , Λ , Λ , Λ , Λ , Λ
00 01 02 10 11 12 20 21 22 の値を選定する。
[0050] ここでは、歪曲係数 Cのデータ数と、選定すべき近似係数 Λの数とが等しいので、 そのフィッティングでは、データ Β , Β , ···, Β を冪関数(1C)に当てはめて 9つの
11 12 33
式を取得し、それらの式を連立方程式として 9つの近似係数 Λ , Λ , Λ , Λ , Λ
00 01 02 10
, Λ , Λ , Λ , Λ の値を求めればよい。なお、そのフィッティングの精度を高め
11 12 20 21 22
るには、歪曲係数 Cのデータ数を 10以上に増やした上で、そのフィッティングに最小 自乗法を適用すればよい。
[0051] 以上算出された近似曲面 S , S , S、すなわち、 27個の近似係数 Γ , Γ , Γ ,
A B C 00 01 02
Γ , Γ , Γ , Γ , Γ , Γ , Δ , Δ , Δ , Δ , Δ , Δ , Δ , Δ , Δ , Λ
10 11 12 20 21 22 00 01 02 10 11 12 20 21 22
, Λ , Λ , Λ , Λ , Λ , Λ , Λ , Λ の値が、図 1に示した歪曲補正情報 Iで
00 01 02 10 11 12 20 21 22
ある。これらの値を ROM11Bに格納する際には、各値を各近似係数に対応づけて テーブルの形式にしておくとよい。 [0052] なお、歪曲係数 A, B, Cの分布を、より高精度に近似するには、近似曲面 S , S ,
A B
Sを表現する冪関数(1A) , (IB) , (1C)の項数を増やせばよい。但し、項数が増え
C
ると近似係数の数も増えるので、歪曲補正情報 Iの情報量が増える。このため、本実 施形態では、冪関数(1A) , (IB) , (1C)の項数を 9ずつに抑えて、近似係数の数を 合計 27に抑えることとする。
[0053] 次に、歪曲補正情報 Iを利用した歪曲補正処理の手順を説明する。
図 10は、画像処理回路 17による歪曲補正処理の手順を示すフローチャートである 。図 10に示すとおり、画像処理回路 17は、画像、歪曲補正情報 I、及びレンズポジシ ヨン情報を入力する (ステップ Sl)。
このうち、歪曲補正情報 Iに含まれる 9つの近似係数 Γ , Γ , Γ , Γ , Γ , Γ
00 01 02 10 11 12
, Γ , Γ , Γ の値と、上述した冪関数(1A)とにより、歪曲係数 Aの近似曲面 S (
20 21 22 A 図 7)が既知となる。
[0054] また、歪曲補正情報 Iに含まれる 9つの近似係数 Δ , Δ , Δ , Δ , Δ , Δ ,
00 01 02 10 11 12
Δ , Δ , Δ の値と、上述した冪関数(1B)とにより、歪曲係数 Bの近似曲面 S (図
20 21 22 B
8)が既知となる。
また、歪曲補正情報 Iに含まれる 9つの近似係数 Λ , Λ , Λ , Λ , Λ , Λ ,
00 01 02 10 11 12
Λ , Λ , Λ の値と、上述した冪関数(1C)とにより、歪曲係数 Cの近似曲面 S (図
20 21 22 C
9)が既知となる。
[0055] また、レンズポジション情報により、撮影時におけるレンズポジション(焦点位置 d及 び焦点距離 fの値)が既知となる。
そこで、画像処理回路 17は、既知となった歪曲係数 Aの近似曲面 Sに対し、撮影
A
時におけるレンズポジション (焦点位置 d及び焦点距離 fの値)を当てはめることにより 、撮影時における歪曲係数 Aの値を算出する。
[0056] 同様に、画像処理回路 17は、既知となった歪曲係数 Bの近似曲面 Sに対し、撮影
B
時におけるレンズポジション (焦点位置 d及び焦点距離 fの値)を当てはめることにより 、撮影時における歪曲係数 Bの値を算出する。
同様に、画像処理回路 17は、既知となった歪曲係数 Cの近似曲面 Sに対し、撮影
C
時におけるレンズポジション (焦点位置 d及び焦点距離 fの値)を当てはめることにより 、撮影時における歪曲係数 cの値を算出する。
[0057] さらに、画像処理回路 17は、算出された 3つの歪曲係数 A, B, Cの値を関数(1)へ 当てはめ、画像に生じている歪曲量分布(関数(1)参照)を既知とする (ステップ S2) 続いて、画像処理回路 17は、画像に生じている歪曲量分布が抑えられる方向に画 像を座標変換し、必要に応じて画素補間処理を施す。これによつて、画像の歪曲補 正が完了する (ステップ S3)。その後、画像処理回路 17は、歪曲補正後の画像、又 は、歪曲補正後の画像にレンズポジション情報を付加したものを出力する (ステップ S 4)。この画像力 記録部 16において記録される。
[0058] 以上、本カメラシステムでは、交換レンズ 11内の ROM11Bが、ズームレンズ 11Lの 歪曲収差情報 Iを予め格納している。その情報量は、特許文献 1のそれと同程度であ る (特許文献 1の表 1, 2を参照)。
しかし、本カメラシステムの歪曲補正情報 Iは、特許文献 1のような複数通りのレンズ ポジション下における歪曲係数 A, B, Cの情報ではなぐ歪曲係数 Aの近似曲面 S (
A
図 7)、歪曲係数 Bの近似曲面 S (図 8)、歪曲係数 Cの近似曲面 S (図 9)を特定する
B C
ための情報である。このような歪曲補正情報 Iは、少ない情報量で全てのレンズポジ シヨン下における歪曲係数 A, B, Cを表す。
[0059] したがって、近似曲面 S , S , Sを予め高精度に求めておきさえすれば、本カメラ
A B C
システムは、撮影した画像の歪曲量分布をレンズポジションに依らず高精度に推測し 、その歪曲補正を高精度に行うことができる。
なお、本カメラシステムでは、近似曲面 Sを表現する冪関数(1A)に対し、焦点距
A
離 fの逆数の重根の項 (f— 1/2= iZ fなど)や、焦点距離 fの冪乗の項 (f, f2など)を含 めてもよい。これらの項を利用した冪関数の例(2A) , (3A)を以下に示す。
[0060] [数 10]
A(f,d)≡ ∑Ι>Γ' /つ -(2Α)
[0061] [数 11] A(f, d)≡ X ∑W -QA) また、同様に、近似曲面 Sを表現する冪関数や、近似曲面 Sを表現する冪関数に
B C
対し、焦点距離 fの逆数の重根の項や、焦点距離 fの冪乗の項を含めてもよい。
これらの冪乗の項、重根の項、逆冪乗の項などを適切に組み合わせることで、製造 者は、なるべく少ない項数でなるべく高精度に近似曲面 S , S , Sを得ることが望ま
A B C
しい。
[0062] また、本カメラシステムでは、カメラ本体 10に装着される撮影レンズをズームレンズ 1 寂としたので、歪曲係数 A, B, Cの分布を焦点位置 d及び焦点距離 fの双方の関数 (曲面)で近似したが、撮影レンズが単焦点レンズ (焦点距離 fが固定されたレンズ)で ある場合には、焦点位置 dのみの関数(曲線)で近似すればよい。また、本カメラシス テムでは、歪曲係数の個数(関数(1)参照)を 3としたが、必要に応じて増減させても よい。通常、歪曲量分布が複雑な場合は歪曲係数の個数は多くなり、歪曲量分布が 単純な場合は歪曲係数の個数は少なくなる。
[0063] [第 2実施形態]
本発明の第 2実施形態を説明する。本実施形態は、カメラシステムを含むコンビュ ータシステムの実施形態である。
先ず、本システムの構成を説明する。
図 11は、本システムの構成図である。図 11〖こ示すとおり、本システムは、カメラシス テム 1、コンピュータ 2、モニタ 3からなる。カメラシステム 1のカメラ本体 10とコンビユー タ 2とは、ケーブル 4で接続されている。カメラシステム 1の交換レンズ 11内の ROM1 1Bには、第 1実施形態と同様の歪曲補正情報 Iが格納されている。コンピュータ 2に は、インターネットや CD— ROMなどの媒体を介して、歪曲補正プログラムが予めィ ンストールされている。
[0064] 次に、カメラシステム 1の動作を説明する。ここでは、第 1実施形態のカメラシステム の動作との相違点のみ説明する。相違点は、カメラ本体 10が歪曲補正モードに設定 されて 、な 、ときに、画像処理回路 17が歪曲補正の前処理を実行する点にある。 図 12は、歪曲補正の前処理の手順を示すフローチャートである。図 12に示すとお り、画像処理回路 17は、画像、歪曲補正情報 I、レンズポジション情報を入力し (ステ ップ S1)、第 1実施形態におけるそれと同様に、歪曲係数 A, B, Cの値を算出する( ステップ S2)。その後、画像処理回路 17は、歪曲補正処理を行う代わりに、歪曲係数 A, B, Cの値を示す情報を画像に付加して力も画像を出力する。その画像が、カメラ 本体 10内の記録部 16により記録される。
[0065] 次に、コンピュータ 2の動作を説明する。コンピュータ 2は、カメラ本体 10内の記録 部 16に格納された画像を、適当なタイミングでケーブル 4を介して取り込む。そして、 コンピュータ 2は、予めインストールされた歪曲補正プログラムに従い、取り込んだ画 像に対し歪曲補正処理を施す。
歪曲補正処理では、コンピュータ 2は、先ず、画像に付加された歪曲係数 A, B, C の値を認識する。これらの値を関数(1)へ当てはめると、画像の歪曲量分布が既知と なる。コンピュータ 2は、画像に生じている歪曲量分布が抑えられる方向に画像を座 標変換し、必要に応じて画素補間処理を施す。これによつて、画像の歪曲補正が完 了する。その後、コンピュータ 2は、歪曲補正後の画像をモニタ 3へ表示し、必要に応 じてそれを保存する。
[0066] 以上、本システムでは、カメラ本体 10が、交換レンズ 11内の ROM11Bに格納され た歪曲補正情報 Iに基づき歪曲係数 A, B, Cの値を算出すると共に、それら値の情 報を画像へ付加する。したがって、コンピュータ 2は、上述した冪関数(1A) , (1B) , (1C)を何ら認識していなくとも、第 1実施形態におけるカメラ本体 10と同程度に高精 度な歪曲補正を行うことができる。
[0067] なお、本システムでは、歪曲補正の前処理 (歪曲係数 A, B, Cの値の算出)がカメ ラ本体 10の側で行われた力 コンピュータ 2の側で行われるよう歪曲補正プログラム を変更してもよい。その場合、カメラ本体 10内の画像処理回路 17は、画像に対し歪 曲補正情報 I及びレンズポジション情報、或いはレンズポジション情報のみを付加す ることになる。
[0068] また、本システムでは、コンピュータ 2が利用された力 コンピュータ 2の代わりに、画 像処理機能を搭載したストレージャゃプリンタなどを利用し、ストレージャゃプリンタな どに対し同様の歪曲補正処理を行わせてもよ 、。 [その他]
なお、上述した第 1実施形態、第 2実施形態では、交換レンズ 11とカメラ本体 10と 力 なるカメラシステム 1を説明したが、レンズ一体型のカメラにも本発明は適用可能 である。レンズ一体型の場合、歪曲補正情報 Iの格納先は、カメラの何れの箇所であ つてもよい。
[0069] また、上述した第 1実施形態、第 2実施形態では、歪曲量分布を 4次の関数(1)で 表したが、 5次以上の高次の関数で表してもよい。また、歪曲量分布を 3次以下の低 次の関数で表してもよい。
[第 3実施形態]
以下、本発明の第 3実施形態を説明する。本実施形態は、ソフトウェアやディジタ ルカメラなどが歪曲補正を行う際に必要な歪曲補正情報 Iを用意する実施形態である 。歪曲補正情報 Iは、撮影用のレンズの種類 (仕様)に固有なので、レンズの製造者 によって予め用意される。なお、本実施形態で用意した歪曲補正情報 Iは、前述した 実施形態で使用することも可能である。
[0070] 図 13は、或るレンズが或るレンズポジションにあるときの歪曲収差データ(画像に与 えられる歪曲量分布)の一例を示す図である。図 13において、横軸は像高比 rであり 、縦軸は歪曲量 Dである。この歪曲量 Dを像高比 rの関数で近似する場合、その関数 の候補としては、例えば、以下の 5種類の関数(12) , (13) , (14) , (15) , (16)が挙 げられる(但し、 A, B, Cは歪曲係数)。
[0071] D (r)≡Ar3+Br2+Cr · ,· (12)
D (r)≡Ar4+Br3+Cr2 · ,· (13)
D (r)≡Ar3+Br2 · ,· (14)
D (r)≡Ar4+Br3 "- (15)
D (r)≡Ar5+Br3 · ,· (16)
また、これらの関数の歪曲係数 A, B, Cは、レンズのレンズポジション(焦点位置 d, 焦点距離 fの組み合わせ)に応じて変化する。歪曲係数 Aの d, f方向の分布、歪曲係 数 Bの d, f方向の分布、歪曲係数 Cの d, f方向の分布は、それぞれ、図 14 (A) , (B) , (C)に点線で示すとおり、滑らかな曲面 S , S , Sで近似することができる。但し、 図 14に示した曲線の形状は、一例であって、実際の形状はこれと同じになるとは限ら ない。
[0072] 本実施形態では、歪曲係数 A, B, Cのそれぞれを、 d, fの関数(17A), (17B), (
17C)で近似することを考える。
[0073] [数 12]
A(f,め三∑∑1^ 厂 (17 )
=0 ゾ =0
.(17
c(/,め •07C)
Figure imgf000020_0001
以下、これらの関数(17A), (17B), (17C)を「係数用関数」といい、上述した関数 (12)〜(16)を「歪曲量関数」という。
係数用関数(17A)は、 d, fの次数の組み合わせの異なる 9組の項からなり、 9組の 近似係数 Γ , Γ , Γ , Γ , Γ , Γ , Γ , Γ , Γ を含む。
00 01 02 10 11 12 20 21 22
[0074] 係数用関数(17B)は、 d, fの次数の組み合わせの異なる 9組の項力 なり、 9組の 近似係数 Δ , Δ , Δ , Δ , Δ , Δ , Δ , Δ , Δ を含む。
00 01 02 10 11 12 20 21 22
係数用関数(17C)は、 d, fの次数の組み合わせの異なる 9組の項からなり、 9組の 近似係数 Λ , Λ , Λ , Λ , Λ , Λ , Λ , Λ , Λ を含む。
00 01 02 10 11 12 20 21 22
このとき、上述した歪曲量関数(12)〜(16)は、以下の式(12')〜(16')で表され ることになる。
[0075] [数 13] D{r,f,d) ∑∑Γ '/— 3 + ∑△ ' / 2 +∑∑A0d-'f
二 ゾ
Figure imgf000021_0001
D(r,f,d) ∑∑r>T/- +∑∑Ayi/-'/- 2 -(14')
D(r,f,d) ∑∑r>r/ 4 V -(is-)
Figure imgf000021_0002
D(r,f,d) ∑∑r> /- 5 V -(ΐ ·)
y=oゾ =0 =o
このうち、歪曲量関数(12'), (13')は、 rの項数が 3なので、合計で 27組の近似係 数(Γ , Γ , Γ , Γ , Γ , Γ , Γ , Γ , Γ , Δ , Δ , Δ , Δ , Δ , Δ
, Δ , Δ , Δ , Λ , Λ , Λ , Λ , Λ , Λ , Λ , Λ , Λ )を含むことになる
[0076] 一方、歪曲量関数(14')〜(16')は、 rの項数が 2なので、合計で 18組の近似係 数(Γ , Γ , Γ , Γ , Γ , Γ , Γ , Γ , Γ , Δ , Δ , Δ , Δ , Δ , Δ
, Δ , Δ , Δ )を含むことになる。
したがって、製造者は、歪曲収差データの近似に歪曲量関数(12), (13)の何れ かを用いる場合は、 27組の近似係数の値を歪曲補正情報 Iとすればよぐ歪曲収差 データの近似に歪曲量関数(14), (15), (16)の何れかを用いる場合は、 18組の 近似係数の値を歪曲補正情報 Iとすればよい。歪曲補正に当たっては、歪曲補正情 報 Iに含まれる近似係数の値を歪曲量関数(12')〜(16')の何れかに当てはめ、レ ンズポジション d, fから画像上の歪曲量分布を一義的に求める推測式を得ればよ!ヽ
[0077] さて、本実施形態では、製造者は、レンズの各レンズポジションにおける歪曲収差 データを用意する。この歪曲収差データは、レンズの設計データに基づくシミュレ一 シヨンによって得たものであっても、レンズの実測データであってもよいが、なるべく詳 細なデータであることが望ましい。この歪曲収差データを利用し、製造者は、歪曲量 関数(12)〜( 16)を評価する。 [0078] 歪曲量関数(12)の評価では、先ず、製造者は、各レンズポジションにおける歪曲 収差データを、歪曲量関数(12)に対し個別にフィッティングし (例えば、最小二乗法 によるフィッティングである。)、さらに、各レンズポジションにおけるフィッティング誤差 をそれぞれ見積もる。このフィッティング誤差は、フィッティングで得た歪曲量分布と、 そのフィッティングに用いた複数の歪曲収差データとの間のずれ量によって表される 。以下では、それら複数の歪曲収差データの各々のずれ量を、「近似誤差」という。 製造者は、各レンズポジションにおける近似誤差をそれぞれ見積もると、その近似誤 差の大きさや分布により、歪曲量関数(12)の良否を評価する。
[0079] 歪曲量関数(13)の評価では、先ず、製造者は、各レンズポジションにおける歪曲 収差データを、歪曲量関数(13)に対し個別にフィッティングし、さらに、各レンズポジ シヨンにおける近似誤差をそれぞれ見積もる。そして、各レンズポジションにおける近 似誤差の大きさや分布により、歪曲量関数( 13)を良否を評価する。
歪曲量関数(14)の評価では、先ず、製造者は、各レンズポジションにおける歪曲 収差データを、歪曲量関数(14)に対し個別にフィッティングし、さらに、各レンズポジ シヨンにおける近似誤差をそれぞれ見積もる。そして、各レンズポジションにおける近 似誤差の大きさや分布により、歪曲量関数( 14)の良否を評価する。
[0080] 歪曲量関数(15)の評価では、先ず、製造者は、各レンズポジションにおける歪曲 収差データを、歪曲量関数(15)に対し個別にフィッティングし、さらに、各レンズポジ シヨンにおける近似誤差をそれぞれ見積もる。そして、各レンズポジションにおける近 似誤差の大きさや分布により、歪曲量関数(15)の良否を評価する。
歪曲量関数(16)の評価では、先ず、製造者は、各レンズポジションにおける歪曲 収差データを、歪曲量関数(16)に対し個別にフィッティングし、さらに、各レンズポジ シヨンにおける近似誤差をそれぞれ見積もる。そして、各レンズポジションにおける近 似誤差の大きさや分布により、歪曲量関数(16)の良否を評価する。
[0081] ここで、図 15は、歪曲量関数(12)の近似誤差と、歪曲量関数(13)の近似誤差とを 比較するグラフである(何れも、同じレンズ 1に関するデータ)。図 15では、近似誤差 をレンズポジション毎に示しており、縦軸の値は、全像高に亘る近似誤差の自乗和で ある。この図 15によると、少なくともレンズ 1に関しては、歪曲量関数(12)よりも歪曲 量関数(13)の方が、近似誤差を小さくできることがわ力る。
[0082] また、図 16は、図 15の縦軸を、各レンズポジションでの全像高における最大近似 誤差の絶対値としたものである。この図からも、歪曲量関数(12)よりも歪曲量関数(1 3)の方が近似誤差を小さくできることがわかる。
因みに、図 15,図 16は、レンズ 1に関するデータである力 本発明者が他の複数種 類のレンズについて調べたところ、それらのレンズに関しても、歪曲量関数(12)よりも 歪曲量関数(13)の方が近似誤差を小さくできるという結果が得られた。したがって、 この歪曲量関数(13)は、歪曲量関数(12)と同じ項数でありながら、歪曲量関数(12 )よりも近似誤差を小さくする有効な関数である。つまり、この歪曲量関数(13)による と、歪曲補正情報 Iの情報量の増大を抑えながら近似誤差の低減を図ることができる
[0083] 次に、図 17は、歪曲量関数(14)の近似誤差と、歪曲量関数(15)の近似誤差と、 歪曲量関数(16)の近似誤差とを比較するグラフである(何れも或るレンズ 2に関する データ)。図 17では、近似誤差をレンズポジション毎に示しており、縦軸の値は、各レ ンズポジションでの全像高における最大近似誤差の絶対値を示している。この図 17 によると、少なくともレンズ 2に関しては、歪曲量関数(16)よりも歪曲量関数(15)の 方が近似誤差を小さくでき、歪曲量関数(15)よりも歪曲量関数(14)の方が近似誤 差を小さくできることがわかる。
[0084] また、図 18は、これらの歪曲量関数(14) , (15) , (16)の近似誤差を、レンズ 1によ つて比較したグラフである。図 18では、近似誤差をレンズポジション毎に示しており、 縦軸の値は、各レンズポジションでの全像高における最大近似誤差の絶対値を示し ている。この図 18によると、レンズ 1に関して歪曲量関数(14)は、近似誤差のレンズ ポジションによるバラツキを小さくするのに有効であることがわかる。一方、歪曲量関 数(15) , (16)は、一部のレンズポジションで近似誤差を小さくするものの、他のレン ズポジションで近似誤差を大きくする。したがって、レンズ 1に関しても、歪曲量関数( 14)が最も好ま 、ことがわ力つた。
[0085] ここで、図 18の歪曲量関数(14)のデータと、図 16の歪曲量関数(13)のデータと を比較する。これらのデータは、同じレンズ 1に関するデータである。これらの図から わかるのは、歪曲量関数(14)の近似誤差の方が、歪曲量関数(13)の近似誤差より も若干大きくなることである。しかし、歪曲量関数(14)は、その項数が歪曲量関数(1 3)のそれよりも 1つ少ない。したがって、歪曲量関数(14)は、近似誤差を抑えながら 歪曲収差情報の情報量の低減を図るのに有効である。
[0086] 以上のとおり、本実施形態の製造者は、レンズの歪曲収差データを複数種類の歪 曲量関数で近似し、それらの歪曲量関数がもたらす近似誤差を個別に見積もる。そ して、例えば、歪曲補正の要求精度が十分に高い場合 (歪曲補正を実行するのがソ フトウェアである場合や、レンズが高級機種である場合など)は、製造者は、近似誤 差が十分に小さくなる歪曲量関数の中で最も項数の少ないもの(例えば、歪曲量関 数 (13) )を選出する。また、歪曲補正情報 Iの許容情報量が低い場合 (歪曲補正を 実行するのがディジタルカメラである場合や、レンズが標準機種である場合など)には 、製造者は、項数が十分に少ない歪曲量関数の中で最も近似誤差の小さくなるもの( 例えば、歪曲量関数(14) )を選出する。
[0087] 続いて、例えば、歪曲量関数(13)が選出された場合、製造者は、歪曲量関数(13 )に対する前記フィッティングで得た歪曲係数 A, B, Cの値 (これらは、各レンズポジ シヨンについて取得される。)を、さらに、係数用関数(17A) , (17B) , (17C)に対し フィッティングして 27組の近似係数の値を取得する。したがって、この場合は、これら 27組の近似係数の値力 そのレンズの歪曲補正情報 Iとして用意されることになる。 因みに、実際の歪曲補正では、その歪曲補正情報 Iに含まれる 27組の近似係数の 値が歪曲量関数(13' )へ当てはめられ、それによつて得られる推測式により、歪曲補 正が行われる。
[0088] また、例えば、歪曲量関数(14)が選出された場合、製造者は、歪曲量関数(14)に 対する前記フィッティングで得た歪曲係数 A, Bの値 (これらは、各レンズポジションに ついて取得される。)を、さらに、係数用関数(17A) , (17B)に対しフィッティングして 18組の近似係数の値を取得する。したがって、この場合、これら 18組の近似係数の 値力 そのレンズの歪曲補正情報 Iとして用意されることになる。因みに、実際の歪曲 補正では、その歪曲補正情報 Iに含まれる 18組の近似係数の値が歪曲量関数(14' )へ当てはめられ、それによつて得られる推測式により、歪曲補正が行われる。 [0089] また、他の歪曲量関数が選出された場合も、製造者は、歪曲量関数(13) , (14)が 選出された場合と同様に、選出された歪曲量関数に必要な近似係数の値を取得し、 それらの値を歪曲補正情報 Iとして用意する。
以上、本実施形態によると、個々のレンズに最適な歪曲補正情報 Iが用意されるの で、実際の歪曲補正を、確実に良好な歪曲補正とすることができる。
[0090] なお、本実施形態では、 5種類の歪曲量関数(12)〜(16)について検討した力 検 討対象に他の種類の歪曲量関数を含めてもよい。
その際、項数の多い歪曲量関数を含めてもよいが、歪曲補正の補正精度と情報量 との双方を考慮すると、現時点で現実的なのは、項数力 以下の歪曲量関数である。 また、歪曲量関数の項数が 3項以上であっても構わない場合、少なくとも、 rの 2次の 項, rの 3次の項, rの 4次の項を含んだ歪曲量関数を検討対象に含めるとよい。
[0091] 因みに、以下に示す歪曲量関数(17)は、上述した歪曲量関数(13)よりも項数が 1 つ多いが、歪曲量関数(13) , (14)と同様、 2次以上の項のみ力もなるので、同じ項 数の別の種類の歪曲量関数 (例えば、 D (r)≡Ar4+Br3 + Cr2 + Dr)と比較すると、 近似誤差の低減が期待できる。
D (r)≡Ar5+Br4+Cr3 + Dr2 · ,· (17)
このうち、歪曲係数 A, B, Cは、係数用関数(17A) , (17B) , (17C)で近似するこ とができ、歪曲係数 Dについても、同様の係数用関数 (d, fの逆冪関数等)で近似す ることがでさる。
[0092] また、本実施形態では、全てのレンズについて全ての歪曲量関数を検討する必要 は無ぐ例えば、或るレンズの歪曲収差の傾向力 検討済みの他種のレンズの歪曲 量の傾向と似ている場合などには、幾つかの歪曲量関数を検討対象カゝら外してもよ い。
但し、本発明者が複数種類のレンズで検討したところ、少なくとも上述した歪曲量関 数(13) , (14)については有効となることが多力つた。このため、他に理由の無い限り 、これらの歪曲量関数(13) , (14)については検討対象に含めることが望ましい。
[0093] また、本実施形態では、歪曲係数 A (係数用関数(17A) )を、 fの逆冪の項と dの逆 冪の項とで構成した力 fの逆数の重根の項 (f— 1/2= iZ fなど)や、 fの冪乗の項 (f, f2など)を含めてもよい。これらの項を利用した係数用関数の例(17Α' ) , (17A")を 以下に示す。
[0094] [数 14]
A(f,d)≡∑ ∑Γ^ …(
'二0 - = η0,一 1, ίί,2
A(f,d)≡ ∑ ∑Γ '尸 -(17Α")
ϊ'=0, 1,— 2ゾ =— 1,0,1 また、同様に、歪曲係数 Β (係数用関数 (17B) ) ,歪曲係数 C (係数用関数 (17C) ) ,歪曲係数 Dにおいても、焦点距離 fの逆数の重根の項や焦点距離 fの冪乗の項を 含めてもよい。
また、本実施形態では、レンズの焦点距離 fと焦点位置 dとの双方が可変であること を前提とした力 レンズが単焦点レンズである場合は fが不変なので、上述した歪曲 係数 A, B, C, Dが dのみの関数で近似される。このとき、係数用関数(17A) , (17B ) , (17C)の項数はそれぞれ 3となる。
[0095] [第 4実施形態]
以下、本発明の第 4実施形態を説明する。本実施形態は、歪曲補正機能を有した 画像編集ソフトウェア (歪曲補正プログラム)の実施形態である。このソフトウェアは、 インターネットや CD— ROMなどを介してディジタルカメラのユーザのコンピュータへ インストールされる。ここでは、このコンピュータの動作を説明することにより、このソフ トウエアの内容を説明する。
[0096] コンピュータは、ディジタルカメラに接続されると、そのディジタルカメラに格納され ている画像データを取り込む。この画像データ力 歪曲補正の対象となる。この画像 データには、図 19に示すように、付加情報として、使用されたレンズの種類を示す情 報と、撮影時のレンズポジション d, fの値を示す情報とが付加されている。このような 付加情報は、撮影時にディジタルカメラによって他の情報 (露出,シャッタースピード ,撮影日時など)と共に付加されたものである。
[0097] また、コンピュータは、各種の歪曲量関数 (ここでは、 2種類の歪曲量関数(13 ' ) , ( 14 ' )とする。)を予め記憶すると共に、複数種類のレンズの歪曲補正情報 Iを、例え ば、図 20に示すようにテーブルとして予め記憶している。このテーブルにおいて、歪 曲補正情報 Iは、レンズの種類毎に格納されており、各レンズの歪曲補正情報 Iは、そ のレンズに最適な歪曲量関数の種類と、その歪曲量関数に含まれる各近似係数の 値とからなる。
[0098] 各レンズに最適な歪曲量関数の種類は、なるべく近似誤差の小さいもの (仮に同程 度の近似誤差ならばなるベく項数の少ないもの)に予め選定されている(図 20では、 歪曲量関数(13)を「13」と表し、歪曲量関数(14)を「14」と表した。 ) 0その歪曲量関 数の種類の選定方法と、近似係数の値の取得方法とは、第 3実施形態において説明 したとおりである。
[0099] 歪曲補正では、コンピュータは、画像データの付加情報を参照してレンズの種類と 、レンズポジション d, fの値とを認識する。そして、テーブルを参照し、そのレンズの種 類に対応付けられた歪曲量関数の種類と、近似係数の値とを読み出す。
例えば、レンズの種類が「3」であったとすると、歪曲量関数の種類「14」と、 18組の 近似係数の値とが読み出される。コンピュータは、読み出した 18組の近似係数の値 を予め記憶した歪曲量関数(14' )へ当てはめることにより、推測式を取得する。また 、コンピュータは、その推測式へ認識したレンズポジション d, fの値を当てはめること により、画像上の歪曲量分布を既知とする。コンピュータは、この歪曲量分布に応じ て画像データの歪曲補正を行う。
[0100] また、例えば、レンズの種類が「4」であったとすると、歪曲量関数の種類「13」と、 2 7組の近似係数の値とが読み出される。コンピュータは、読み出した 27組の近似係数 の値を予め記憶した歪曲量関数( 13 ' )へ当てはめることにより、推測式を取得する。 また、コンピュータは、その推測式へ認識したレンズポジション d, fの値を当てはめる ことにより、画像上の歪曲量分布を既知とする。コンピュータは、この歪曲量分布に応 じて画像データの歪曲補正を行う。
[0101] 以上、本実施形態のコンピュータは、複数種類のレンズの各々に最適な歪曲量関 数の種類を予め記憶し、歪曲補正時の推測ではレンズの種類に応じて歪曲量関数 を使い分けるので、各画像データに対し良好な歪曲補正を確実に施すことができる。 なお、本実施形態のテーブルの内容は、新しい種類のレンズが発売される毎に更 新される(つまり新しい種類のレンズの歪曲補正情報 Iが追加される)ことが望ましい。 更新情報は、各種のソフトウェアと同様、インターネット上で公開され、それをユーザ 力 Sコンピュータへダウンロードすればよい。
[0102] また、本実施形態では、歪曲量関数(13)と歪曲量関数(14)とが利用された (具体 的には歪曲量関数(13' )と歪曲量関数(14' )とが利用された)が、コンピュータ上で は、演算量の増加がさほど問題とならないので、歪曲量関数(17)や、上述した各種 の歪曲量関数が利用されてもよい。
また、本実施形態では、コンピュータを利用した力 コンピュータの代わりに、画像 処理機能を搭載したストレージャゃプリンタなどを利用し、ストレージャゃプリンタなど に対し同様の処理を行わせてもよ 、。
[0103] [第 5実施形態]
以下、本発明の第 5実施形態を説明する。本実施形態は、歪曲補正機能を搭載し たレンズ一体型ディジタルカメラの実施形態である。
図 21は、本カメラの構成図である。図 21に示すとおり、本カメラ 10には、レンズポジ シヨン (焦点位置 d及び焦点距離 f)が可変のレンズ 10L,カメラ CPU10A,撮像素子 12,信号処理回路 13,メモリ 14,圧縮 ·伸張回路 15,記録部 16,画像処理回路 17 などが備えられる。このうち、カメラ CPU10Aの内部には、 ROMや RAMが備えられ る。
[0104] このカメラ CPU10A内の ROMには、レンズ 10Lに関する歪曲補正情報 Iが予め格 納されている。但し、このカメラ 10はレンズ一体型であり、レンズの種類が変化するこ とはないので、この歪曲補正情報 Iは、上述した複数組の近似係数である必要は無く 、それらの近似係数の値を歪曲量関数へ当てはめてできる推測式でよい。また、レン ズー体型のカメラ 10では、歪曲補正の要求精度は比較的低ぐ ROMの記憶容量に も限度があるので、歪曲量関数の種類は、項数が少ない割には近似誤差の小さいも の、すなわち、歪曲量関数(14) (具体的には歪曲量関数(14' ) )とされる。この歪曲 量関数(14' )の 18組の近似係数の値は、カメラ 10の製造者によって予め取得される 。その取得方法は、第 3実施形態で説明したとおりである。その 18組の近似係数の 値を歪曲量関数(14' )に当てはめてできる推測式力 カメラ CPU 1 OAの ROMへ格 納される。
[0105] 撮影時、レンズ 10Lが撮像素子 12上に被写体の像を形成すると、撮像素子 12は、 その被写体の像を撮像して画像データを取得する。その画像データは、信号処理回 路 13において処理された後、メモリ 14^ ^一時的に格納される。この撮影時のレンズ 1 OLのレンズポジション f, dの値は、不図示のエンコーダを介してカメラ CPU10Aによ つて読み取られる。
[0106] カメラ CPU10Aは、そのレンズポジション f, dの値を、 ROMに格納された推測式へ 当てはめ、画像上の歪曲量分布を既知とする。画像処理回路 17は、その歪曲量分 布に応じて、メモリ 14に格納された画像データに対し歪曲補正処理を施す。歪曲補 正後の画像データは、圧縮 ·伸張回路 15において圧縮処理された後、記録部 16に おいて記録される。
[0107] 以上、本実施形態のカメラ 10は、歪曲補正情報 Iとして、歪曲量関数(14)を利用し た推測式を予め記憶し、それに基づき歪曲補正を行う。したがって、歪曲補正情報 I の情報量を抑えながら、一定の歪曲補正効果を得ることができる。
なお、本実施形態のカメラ 10は、歪曲量関数(14)を利用したが、歪曲補正情報 I の情報量を増やすことが可能な場合は、歪曲量関数(14)の代わりに歪曲量関数(1 3)を利用してもよい。また、さらに情報量を増やすことが可能な場合は、歪曲量関数 (17)を利用してもよい。さらには、 rの 2以上の次数の項のみ力もなる他の歪曲量関 数を利用してもよい。但し、現実的には、歪曲量関数の rの項の総数は、 4以下である ことが望ましい。
[0108] また、本実施形態では、歪曲補正情報 Iの格納先をカメラ CPU10A内の ROMとし た力 カメラ CPU10Aとは別に設けられたメモリであっても構わない。
また、本実施形態のカメラ 10は、画像データに対し歪曲補正を施した力 歪曲補正 を施す代わりに、歪曲補正に必要な情報 (前述した歪曲量分布の情報など)を画像 データに付カ卩してもよい。その場合、画像データの歪曲補正は、コンピュータなどで 行われること〖こなる。
[0109] [第 6実施形態]
以下、本発明の第 6実施形態を説明する。本実施形態は、歪曲補正機能を持つデ イジタルカメラシステムの実施形態である。
図 22は、本カメラシステムの構成図である。図 22に示すとおり、本カメラシステムは 、交換レンズ 11とカメラ 10とからなる。
[0110] 交換レンズ 11には、レンズポジション (焦点位置 d及び焦点距離 f)が可変のレンズ 1 1L,レンズ CPU11A, ROM11Bなどが備えられる。カメラ 10には、カメラ CPU10A ,撮像素子 12,信号処理回路 13,メモリ 14,圧縮 ·伸張回路 15,記録部 16,画像処 理回路 17などが備えられる。このうち、カメラ CPU10Aの内部には、 ROMや RAM が備えられる。
[0111] カメラ CPU10A内の ROMには、歪曲量関数(13' )が予め格納されており、交換レ ンズ 11内の ROM11Bには、レンズ 11Lに関する歪曲補正情報 Iとして、歪曲量関数 (13 ' )の 27組の近似係数の値が格納されて 、る。これら 27組の近似係数の値は、 交換レンズ 11の製造者によって予め取得される。その取得方法は、第 3実施形態で 説明したとおりである。
[0112] 交換レンズ 11内のレンズ CPU11Aは、電源投入時などの適当なタイミングで RO Ml 1Bから 27組の近似係数の値を読み出し、カメラ 10内のカメラ CPU10Aへと送 信する。カメラ CPU10Aは、それら 27組の近似係数の値を、 ROM内の歪曲量関数 (13 ' )へ当てはめて、推測式を取得する。
撮影時、レンズ 11Lが撮像素子 12上に被写体の像を形成すると、撮像素子 12は、 その被写体の像を撮像して画像データを取得する。その画像データは、信号処理回 路 13において処理された後、メモリ 14^ ^一時的に格納される。この撮影時のレンズ 1 1Lのレンズポジション f, dの値は、不図示のエンコーダを介してレンズ CPU11Aによ つて読み取られ、カメラ 10内のカメラ CPU10Aへと送信される。
[0113] カメラ CPU10Aは、そのレンズポジション f, dの値を前記推測式へ当てはめ、画像 上の歪曲量分布を既知とする。画像処理回路 17は、その歪曲量分布に応じて、メモ リ 14に格納された画像データに対し歪曲補正処理を施す。歪曲補正後の画像デー タは、圧縮 ·伸張回路 15において圧縮処理された後、記録部 16において記録される なお、本実施形態では、或る 1つの交換レンズ 11の説明し力しな力つた力 カメラ 1 0に装着可能な他の種類の交換レンズ (不図示)〖こも、同様の歪曲補正情報 1 (27組 の近似係数の値)が予め格納されているものとする。これら 27組の近似係数の値は、 その交換レンズの製造者によって予め取得される。その取得方法は、第 3実施形態 で説明したとおりである。
[0114] 以上、本実施形態のカメラシステムでは、カメラ 10は、歪曲量関数(13' ) (つまり、 同じ項数の他の歪曲量関数より近似誤差が小さい歪曲量関数)を予め記憶し、交換 レンズ 11 (及び他の種類の交換レンズ)は、歪曲補正情報 Iとして、歪曲量関数(13' )の 27組の近似係数の値を予め記憶し、歪曲補正には、それら両者の情報が利用さ れる。したがって、本カメラシステムによれば、歪曲収差情報 Iの情報量の増大を抑え ながら、高い歪曲補正効果を得ることができる。
[0115] なお、本実施形態のカメラシステムでは、歪曲量関数(13) (具体的には歪曲量関 数(13 ' ) )を利用したが、歪曲補正の要求精度が低い場合は、歪曲量関数(13)の 代わりに歪曲量関数(14)を利用してもよい。また、情報量を増やすことが可能な場 合は、歪曲量関数(17)を利用してもよい。さらには、 rの 2以上の次数の項のみから なる他の歪曲量関数を利用してもよい。但し、現実的には、歪曲量関数の rの項の総 数は、 4以下であることが望ましい。
[0116] また、本実施形態では、歪曲量関数(13' )の格納先をカメラ CPU10A内の ROM とした力 カメラ CPU10Aとは別に設けられたメモリであっても構わない。
また、本実施形態のカメラ 10は、画像データに対し歪曲補正を施した力 歪曲補正 を施す代わりに、歪曲補正に必要な情報 (前述した歪曲量分布の情報など)を画像 データに付カ卩してもよい。その場合、画像データの歪曲補正は、コンピュータなどで 行われること〖こなる。
[0117] [第 7実施形態]
以下、本発明の第 7実施形態を説明する。本実施形態は、歪曲補正機能を持つデ イジタルカメラシステムの実施形態である。ここでは、第 6実施形態との相違点のみ説 明する。
図 23は、本カメラシステムの構成図である。相違点は、交換レンズ 11が予め記憶す る情報と、カメラ 10が予め記憶する情報とにある。 [0118] カメラ CPU10A内の ROMには、各種の歪曲量関数が予め格納されている。ここで は、簡単のため、歪曲量関数(13' ) , (14' )の 2種類とする (なお、情報量をなるベく 少なくするため、格納される情報を、歪曲量関数(13) , (14)と、係数用関数(17A) , (17B) , (17C)との組み合わせしてもよい。)。
交換レンズ 11内の ROM11Bには、レンズ 11Lに関する歪曲補正情報 Iとして、レン ズ 11Lに最適な歪曲量関数の種類(図 23では「13」)と、その歪曲量関数の近似係 数の値(27組の近似係数の値)とが格納される。レンズ 11Lに最適な歪曲量関数の 種類は、なるべく近似誤差の小さいもの (仮に同程度の近似誤差ならばなるベく項数 の少ないもの)に予め選定されている。その歪曲量関数の種類の選定方法と、近似 係数の値の取得方法とは、第 3実施形態において説明したとおりである。これは、交 換レンズ 11の製造者によって予め行われる。
[0119] 因みに、カメラ 10に装着可能な他の種類の交換レンズの ROMには、その交換レン ズに関する歪曲補正情報 Γとして、その交換レンズに最適な歪曲量関数の種類 (図 2 3では「14」)と、その歪曲量関数の近似係数の値(18組の近似係数の値)とが格納さ れる。その交換レンズに最適な歪曲量関数の種類は、なるべく近似誤差の小さいも の(仮に同程度の近似誤差ならばなるベく項数の少ないもの)に予め選定されている 。その歪曲量関数の種類の選定方法と、近似係数の値の取得方法とは、第 3実施形 態において説明したとおりである。これは、交換レンズの製造者によって予め行われ る。
[0120] このうち、前者(交換レンズ 11)がカメラ 10に装着されると、交換レンズ 11内のレン ズ CPU11Aは、電源投入時などの適当なタイミングで ROM11B力 歪曲補正情報 (ここでは、歪曲量関数の種類「12」と、 27組の近似係数の値)を読み出し、カメラ 10 内のカメラ CPU10Aへと送信する。カメラ CPU10Aは、歪曲量関数の種類 (ここでは 「13」)を認識すると、 27組の近似係数の値を ROM内の歪曲量関数( 13 ' )へ当ては めて、推測式を取得する。その推測式を利用して、カメラ 10は、第 6実施形態と同様 に歪曲補正を行う。
[0121] 一方、後者 (他の種類の交換レンズ)がカメラ 10に装着されると、交換レンズ内のレ ンズ CPUは、電源投入時などの適当なタイミングで ROMカゝら歪曲補正情報 (ここで は、歪曲量関数の種類「14」と、 18組の近似係数の値)を読み出し、カメラ 10内の力 メラ CPU10Aへと送信する。カメラ CPU10Aは、歪曲量関数の種類 (ここでは「4」) を認識すると、 18組の近似係数の値を ROM内の歪曲量関数(14' )へ当てはめて、 推測式を取得する。その推測式を利用して、カメラ 10は、第 6実施形態と同様に歪曲 補正を行う。
[0122] 以上、本実施形態のカメラシステムでは、カメラ 10は、各種の歪曲量関数 (ここでは
(13,), (14,))を予め記憶し、交換レンズ 11 (及び他の種類の交換レンズ)は、レン ズに最適な歪曲量関数の種類 (ここでは「 13」又は「 14」)と、その歪曲量関数の近似 係数の値 (ここでは 27組又は 18組の近似係数の値)とを予め記憶している。そして、 歪曲補正には、それら両者の情報が利用される。したがって、本カメラシステムによれ ば、カメラ 10が予め記憶すべき情報の情報量が多くなるものの、交換レンズの各々 に対し常に最適な歪曲補正を行うことが可能になる。
[0123] なお、本実施形態のカメラシステムでは、歪曲量関数(13) , (14) (具体的には歪 曲量関数 (13 ' ) , (14' ) )を利用したが、情報量を増やすことが可能な場合は、歪曲 量関数(17)を利用してもよい。さらには、 rの 2以上の次数の項のみ力もなる他の歪 曲量関数を利用してもよい。但し、現実的には、歪曲量関数の rの項の総数は、 4以 下であることが望ましい。
[0124] また、本実施形態では、歪曲量関数の格納先をカメラ CPU10A内の ROMとしたが 、カメラ CPU10Aとは別に設けられたメモリであっても構わない。
また、本実施形態のカメラ 10は、画像データに対し歪曲補正を施した力 歪曲補正 を施す代わりに、歪曲補正に必要な情報 (前述した歪曲量分布の情報など)を画像 データに付カ卩してもよい。その場合、画像データの歪曲補正は、コンピュータなどで 行われること〖こなる。

Claims

請求の範囲
[1] 光学系で撮影した画像の歪曲補正方法であって、
前記光学系の歪曲収差を、その光学系に設定される撮影条件の関数で近似したと きの近似情報を予め用意する手順と、
前記光学系で撮影した画像の歪曲を、その画像の撮影時に設定された前記撮影 条件と予め用意された前記近似情報とに基づき推測する手順と、
を含むことを特徴とする歪曲補正方法。
[2] 請求項 1に記載の歪曲補正方法において、
前記撮影条件は、
前記光学系の焦点位置及び Z又は焦点距離力 なる
ことを特徴とする歪曲補正方法。
[3] 請求項 2に記載の歪曲補正方法において、
前記近似情報は、
前記歪曲収差を前記画像上位置の関数で表したときの 1つ以上の係数の各々を、 前記焦点位置及び Z又は前記焦点距離の冪関数で近似したときの近似情報である ことを特徴とする歪曲補正方法。
[4] 請求項 3に記載の歪曲補正方法において、
前記近似情報は、
前記冪関数を構成する各項の係数からなる
ことを特徴とする歪曲補正方法。
[5] 請求項 3又は請求項 4に記載の歪曲補正方法において、
前記冪関数には、
前記焦点位置の逆冪乗の項が含まれる
ことを特徴とする歪曲補正方法。
[6] 請求項 3〜請求項 5の何れか一項に記載の歪曲補正方法において、
前記冪関数には、
前記焦点距離の逆冪乗の項が含まれる
ことを特徴とする歪曲補正方法。
[7] 請求項 3〜請求項 6の何れか一項に記載の歪曲補正方法において、 前記冪関数には、
前記焦点距離の重根の項が含まれる
ことを特徴とする歪曲補正方法。
[8] 請求項 1〜請求項 7の何れか一項に記載の歪曲補正方法をコンピュータに実行さ せる
ことを特徴とする歪曲補正プログラム。
[9] 請求項 1〜請求項 7の何れか一項に記載の歪曲補正方法を実行する手段を備え た
ことを特徴とする画像処理装置。
[10] 光学系の歪曲収差を、その光学系に設定される撮影条件の関数で近似したときの 近似情報を予め記憶した
ことを特徴とする交換レンズ。
[11] 請求項 10に記載の交換レンズにおいて、
前記撮影条件は、
前記光学系の焦点位置及び Z又は焦点距離力 なる
ことを特徴とする交換レンズ。
[12] 請求項 11に記載の交換レンズにおいて、
前記近似情報は、
前記歪曲収差を前記画像上位置の関数で表したときの 1つ以上の係数の各々を、 前記焦点位置及び Z又は前記焦点距離の冪関数で近似したときの近似情報である ことを特徴とする交換レンズ。
[13] 請求項 12に記載の交換レンズにおいて、
前記近似情報は、
前記冪関数を構成する各項の係数からなる
ことを特徴とする交換レンズ。
[14] 請求項 12又は請求項 13に記載の交換レンズにおいて、
前記冪関数には、 前記焦点位置の逆冪乗の項が含まれる
ことを特徴とする交換レンズ。
[15] 請求項 12〜請求項 14の何れか一項に記載の交換レンズにおいて、
前記冪関数には、
前記焦点距離の逆冪乗の項が含まれる
ことを特徴とする交換レンズ。
[16] 請求項 12〜請求項 15の何れか一項に記載の交換レンズにおいて、
前記冪関数には、
前記焦点距離の重根の項が含まれる
ことを特徴とする交換レンズ。
[17] 請求項 10〜請求項 16の何れか一項に記載の交換レンズと、
前記交換レンズが予め記憶した前記近似情報を読み取ることの可能なカメラと を備えたことを特徴とするカメラシステム。
[18] 請求項 17に記載のカメラシステムにおいて、
前記カメラには、
前記交換レンズの前記光学系で撮影した画像の歪曲を、その画像の撮影時に設 定された前記光学系の撮影条件と前記読み取った前記近似情報とに基づき推測す る手段が備えられる
ことを特徴とするカメラシステム。
[19] 請求項 18に記載のカメラシステムにおいて、
前記カメラには、
前記推測した前記歪曲に応じて前記画像を歪曲補正する手段が備えられる ことを特徴とするカメラシステム。
[20] 請求項 18又は請求項 19に記載のカメラシステムにおいて、
前記カメラには、
前記推測した前記歪曲を示す情報を前記画像に対し付加する手段が備えられる ことを特徴とするカメラシステム。
[21] 請求項 17〜請求項 20の何れか一項に記載のカメラシステムにおいて、 前記カメラには、
前記交換レンズの光学系で撮影した画像に対し、前記読み取った前記近似情報を 付加する手段が備えられる
ことを特徴とするカメラシステム。
[22] 光学系の歪曲収差を、その光学系に設定される撮影条件の関数で近似したときの 近似情報を予め記憶した
ことを特徴とするカメラ。
[23] 請求項 22に記載のカメラにおいて、
前記撮影条件は、
前記光学系の焦点位置及び Z又は焦点距離力 なる
ことを特徴とするカメラ。
[24] 請求項 23に記載のカメラにおいて、
前記近似情報は、
前記歪曲収差を前記画像上位置の関数で表したときの 1つ以上の係数の各々を、 前記焦点位置及び Z又は前記焦点距離の冪関数で近似したときの近似情報である ことを特徴とするカメラ。
[25] 請求項 24に記載のカメラにおいて、
前記近似情報は、
前記冪関数を構成する各項の係数からなる
ことを特徴とするカメラ。
[26] 請求項 24又は請求項 25に記載のカメラにおいて、
前記冪関数には、
前記焦点位置の逆冪乗の項が含まれる
ことを特徴とするカメラ。
[27] 請求項 24〜請求項 26の何れか一項に記載のカメラにおいて、
前記冪関数には、
前記焦点距離の逆冪乗の項が含まれる
ことを特徴とするカメラ。
[28] 請求項 24〜請求項 27の何れか一項に記載のカメラにおいて、
前記冪関数には、
前記焦点距離の重根の項が含まれる
ことを特徴とするカメラ。
[29] 撮影用の光学系の歪曲収差を像面上位置の関数で表したときの歪曲情報を予め 用意する手順と、
前記光学系で撮影した画像の歪曲量を、予め用意された前記歪曲情報を用いて 推測する手順と、
前記推測した歪曲量に基づき、前記画像を歪曲補正する手順と
を含む歪曲補正方法において、
前記関数の項数及び各項の次数の組み合わせは、
前記歪曲補正の要求精度及び Z又は前記歪曲情報の許容情報量に応じて決定さ れる
ことを特徴とする歪曲補正方法。
[30] 請求項 29に記載の歪曲補正方法において、
前記関数の選択肢の 1つは、
前記光学系の最大像高に対する各像高の比 とお ヽたときに、少なくとも rの 4次 の項と、 rの 3次の項と、 rの 2次の項とで歪曲量 Dを表す関数 D (r)である
ことを特徴とする歪曲補正方法。
[31] 請求項 29又は請求項 30に記載の歪曲補正方法において、
前記関数の選択肢の 1つは、
前記光学系の最大像高に対する各像高の比 とおいたときに、 rの 2以上の次数 の項のみで歪曲量 Dを表す関数 D (r)である
ことを特徴とする歪曲補正方法。
[32] 請求項 31に記載の歪曲補正方法において、
前記関数 D (r)に含まれる rの項数は、 4以下である
ことを特徴とする歪曲補正方法。
[33] 請求項 29〜請求項 32の何れか一項に記載の歪曲補正方法において、 前記関数の選択肢の 1つは、
前記光学系の最大像高に対する各像高の比 とお ヽたときに、以下の式で歪曲 量 Dを表す関数 D (r)である
D (r)≡Ar4+Br3+Cr2 (但し、 A, B, Cは係数)
ことを特徴とする歪曲補正方法。
[34] 請求項 29〜請求項 33の何れか一項に記載の歪曲補正方法において、
前記関数の選択肢の 1つは、
前記光学系の最大像高に対する各像高の比 とお ヽたときに、以下の式で歪曲 量 Dを表す関数 D (r)である
D (r)≡Ar3+Br2 (但し、 A, Bは係数)
ことを特徴とする歪曲補正方法。
[35] 撮影用の光学系の歪曲収差を像面上位置の関数で表したときの歪曲情報を予め 用意する手順と、
前記光学系で撮影した画像の歪曲量を、予め記憶された前記歪曲情報を用いて 推測する手順と、
前記推測した歪曲量に基づき、前記画像を歪曲補正する手順と
をコンピュータに実行させる歪曲補正プログラムであって、
前記歪曲情報は、前記光学系の種類毎に用意され、
前記関数の項数及び各項の次数の組み合わせは、前記光学系の種類毎に予め決 められている
ことを特徴とする歪曲補正プログラム。
[36] 請求項 35に記載の歪曲補正プログラムにおいて、
少なくとも 1種類の前記光学系の前記関数は、
前記光学系の最大像高に対する各像高の比 とお ヽたときに、少なくとも rの 4次 の項と、 rの 3次の項と、 rの 2次の項とで歪曲量 Dを表す関数 D (r)である
ことを特徴とする歪曲補正プログラム。
[37] 請求項 35又は請求項 36に記載の歪曲補正プログラムにおいて、
少なくとも 1種類の前記光学系の前記関数は、 前記光学系の最大像高に対する各像高の比 とおいたときに、 rの 2以上の次数 の項のみで歪曲量 Dを表す関数 D (r)である
ことを特徴とする歪曲補正プログラム。
[38] 請求項 37に記載の歪曲補正プログラムにおいて、
前記関数 D (r)に含まれる rの項数は、 4以下である
ことを特徴とする歪曲補正プログラム。
[39] 請求項 35〜請求項 38の何れか一項に記載の歪曲補正プログラムにおいて、 少なくとも 1種類の前記光学系の前記関数は、
前記光学系の最大像高に対する各像高の比 とお ヽたときに、以下の式で歪曲 量 Dを表す関数 D (r)である
D (r)≡Ar4+Br3+Cr2 (但し、 A, B, Cは係数)
ことを特徴とする歪曲補正プログラム。
[40] 請求項 35〜請求項 39の何れか一項に記載の歪曲補正プログラムにおいて、 少なくとも 1種類の前記光学系の前記関数は、
前記光学系の最大像高に対する各像高の比 とお ヽたときに、以下の式で歪曲 量 Dを表す関数 D (r)である
D (r)≡Ar3+Br2 (但し、 A, Bは係数)
ことを特徴とする歪曲補正プログラム。
[41] 撮影用の光学系の歪曲収差を像面上位置の関数で表したときの歪曲情報を予め 記'隐したカメラであって、
前記関数は、
前記光学系の最大像高に対する各像高の比 とおいたときに、 rの 2以上の次数 の項のみで歪曲量 Dを表す関数 D (r)である
ことを特徴とするカメラ。
[42] 請求項 41に記載のカメラにおいて、
前記関数 D (r)に含まれる rの項数は、 4以下である
ことを特徴とするカメラ。
[43] 請求項 41又は請求項 42に記載のカメラにおいて、 前記関数は、
前記光学系の最大像高に対する各像高の比 とお ヽたときに、以下の式で歪曲 量 Dを表す関数 D (r)である
D (r)≡Ar4+Br3+Cr2 (但し、 A, B, Cは係数)
ことを特徴とするカメラ。
[44] 請求項 41又は請求項 42に記載のカメラにおいて、
前記関数は、
前記光学系の最大像高に対する各像高の比 とお ヽたときに、以下の式で歪曲 量 Dを表す関数 D (r)である
D (r)≡Ar3+Br2 (但し、 A, Bは係数)
ことを特徴とするカメラ。
[45] 撮影用の光学系の歪曲収差を像面上位置の関数で表したときの歪曲情報を予め 記憶した交換レンズであって、
前記関数は、
前記光学系の最大像高に対する各像高の比 とおいたときに、 rの 2以上の次数 の項のみで歪曲量 Dを表す関数 D (r)である
ことを特徴とする交換レンズ。
[46] 請求項 45に記載の交換レンズにおいて、
前記関数 D (r)に含まれる rの項数は、 4以下である
ことを特徴とする交換レンズ。
[47] 請求項 45又は請求項 46に記載の交換レンズにぉ 、て、
前記関数は、
前記光学系の最大像高に対する各像高の比 とお ヽたときに、以下の式で歪曲 量 Dを表す関数 D (r)である
D (r)≡Ar4+Br3+Cr2 (但し、 A, B, Cは係数)
ことを特徴とする交換レンズ。
[48] 請求項 45又は請求項 46に記載の交換レンズにぉ 、て、
前記関数は、 前記光学系の最大像高に対する各像高の比 とお ヽたときに、以下の式で歪曲 量 Dを表す関数 D (r)である
D (r)≡Ar3+Br2 (但し、 A, Bは係数)
ことを特徴とする交換レンズ。
請求項 45〜請求項 48の何れか一項に記載の交換レンズと、
前記交換レンズが予め記憶した前記歪曲情報を読み取ることの可能なカメラと を備えたことを特徴とするカメラシステム。
PCT/JP2006/321906 2005-12-05 2006-11-01 歪曲補正方法、歪曲補正プログラム、画像処理装置、交換レンズ、カメラ、及びカメラシステム WO2007066459A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP06822826.1A EP1959676B1 (en) 2005-12-05 2006-11-01 Distortion correction method, image processing apparatus, interchangeable lens, camera, and camera system
JP2007549038A JP4893629B2 (ja) 2005-12-05 2006-11-01 歪曲補正方法、歪曲補正プログラム、画像処理装置、交換レンズ、カメラ、及びカメラシステム
US12/085,550 US8558926B2 (en) 2005-12-05 2006-11-01 Distortion correction method, distortion correction program, image processing apparatus, interchangeable lens, camera, and camera system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005-350985 2005-12-05
JP2005350985 2005-12-05
JP2006-086316 2006-03-27
JP2006086316 2006-03-27

Publications (1)

Publication Number Publication Date
WO2007066459A1 true WO2007066459A1 (ja) 2007-06-14

Family

ID=38122610

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/321906 WO2007066459A1 (ja) 2005-12-05 2006-11-01 歪曲補正方法、歪曲補正プログラム、画像処理装置、交換レンズ、カメラ、及びカメラシステム

Country Status (4)

Country Link
US (1) US8558926B2 (ja)
EP (1) EP1959676B1 (ja)
JP (1) JP4893629B2 (ja)
WO (1) WO2007066459A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009064427A (ja) * 2007-08-27 2009-03-26 Core Logic Inc 映像歪曲補正方法及びその補正方法を採用した映像処理装置
WO2009142002A1 (en) 2008-05-19 2009-11-26 Canon Kabushiki Kaisha Information supplying apparatus, lens apparatus, camera apparatus and image pickup system
US20110176035A1 (en) * 2008-06-27 2011-07-21 Anders Poulsen Tilt and shift adaptor, camera and image correction method
JP2015033138A (ja) * 2013-08-03 2015-02-16 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh ズーム系を有するデジタル光学撮像システムを較正するための方法、ズーム系を有するデジタル光学撮像システムにおける収差を補正するための方法、及びデジタル光学撮像システム
JP2020016851A (ja) * 2018-07-27 2020-01-30 株式会社ニコン 交換レンズ、カメラボディ、及び、カメラシステム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7612805B2 (en) * 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
JP2009290863A (ja) * 2008-04-28 2009-12-10 Panasonic Corp 撮像装置およびカメラボディ
JP5230564B2 (ja) * 2009-08-14 2013-07-10 キヤノン株式会社 レンズ装置および撮影システム
JP2011215395A (ja) * 2010-03-31 2011-10-27 Canon Inc 収差補正機能を有する撮像装置及び撮像装置における収差補正方法
JP5605030B2 (ja) * 2010-07-06 2014-10-15 株式会社ニコン カメラボディおよび交換レンズ
JP6565326B2 (ja) * 2014-08-11 2019-08-28 セイコーエプソン株式会社 撮像表示装置及びその制御方法
US11483547B2 (en) 2019-12-04 2022-10-25 Nxp Usa, Inc. System and method for adaptive correction factor subsampling for geometric correction in an image processing system
CN112034692A (zh) * 2020-09-22 2020-12-04 珠海奔图电子有限公司 光学扫描装置及电子成像设备
CN115482288A (zh) * 2021-05-31 2022-12-16 影石创新科技股份有限公司 镜头参数转换方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03242526A (ja) * 1990-02-20 1991-10-29 Nippon Telegr & Teleph Corp <Ntt> カメラの歪曲収差更正方法
JPH06250277A (ja) * 1993-02-24 1994-09-09 Olympus Optical Co Ltd カメラシステム
US5905530A (en) 1992-08-24 1999-05-18 Canon Kabushiki Kaisha Image pickup apparatus
JP2000125175A (ja) * 1998-10-16 2000-04-28 Olympus Optical Co Ltd カメラ、画像処理システム、及び記録媒体
JP2003050990A (ja) * 2001-08-07 2003-02-21 Minolta Co Ltd 画像処理装置及びコンピュータを画像処理装置として機能させるためのプログラム
JP2003110847A (ja) 2002-07-09 2003-04-11 Olympus Optical Co Ltd 画像出力装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3104327B2 (ja) * 1991-10-18 2000-10-30 松下電器産業株式会社 歪曲収差補正装置および画像合成装置
JP3035416B2 (ja) * 1992-11-18 2000-04-24 キヤノン株式会社 撮像装置及び画像再生装置及び映像システム
JPH06153065A (ja) 1992-11-11 1994-05-31 Olympus Optical Co Ltd 撮像装置
US5461440A (en) * 1993-02-10 1995-10-24 Olympus Optical Co., Ltd. Photographing image correction system
JPH0746610A (ja) * 1993-07-27 1995-02-14 Tochigi Nikon:Kk 画像入力装置
DE19855885A1 (de) * 1997-12-04 1999-08-05 Fuji Photo Film Co Ltd Bildverarbeitungsverfahren und -vorrichtung
JP2000125174A (ja) * 1998-10-12 2000-04-28 Fuji Photo Film Co Ltd 画像情報における歪曲収差補正方法および装置
JP2003069889A (ja) * 2001-08-24 2003-03-07 Fuji Photo Film Co Ltd 撮像装置並びに画像出力装置
JP3971246B2 (ja) * 2002-06-03 2007-09-05 富士フイルム株式会社 デジタル撮影装置
JP2004241991A (ja) * 2003-02-05 2004-08-26 Minolta Co Ltd 撮像装置、画像処理装置及び画像処理プログラム
US7596286B2 (en) 2003-08-06 2009-09-29 Sony Corporation Image processing apparatus, image processing system, imaging apparatus and image processing method
JP4104571B2 (ja) * 2004-03-29 2008-06-18 三洋電機株式会社 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03242526A (ja) * 1990-02-20 1991-10-29 Nippon Telegr & Teleph Corp <Ntt> カメラの歪曲収差更正方法
US5905530A (en) 1992-08-24 1999-05-18 Canon Kabushiki Kaisha Image pickup apparatus
JPH06250277A (ja) * 1993-02-24 1994-09-09 Olympus Optical Co Ltd カメラシステム
JP2000125175A (ja) * 1998-10-16 2000-04-28 Olympus Optical Co Ltd カメラ、画像処理システム、及び記録媒体
JP2003050990A (ja) * 2001-08-07 2003-02-21 Minolta Co Ltd 画像処理装置及びコンピュータを画像処理装置として機能させるためのプログラム
JP2003110847A (ja) 2002-07-09 2003-04-11 Olympus Optical Co Ltd 画像出力装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP1959676A4
YUTO TAKAHASHI: "Lens Designing", 20 March 1994, TOKAI UNIVERSITY PRESS, pages: 127

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009064427A (ja) * 2007-08-27 2009-03-26 Core Logic Inc 映像歪曲補正方法及びその補正方法を採用した映像処理装置
WO2009142002A1 (en) 2008-05-19 2009-11-26 Canon Kabushiki Kaisha Information supplying apparatus, lens apparatus, camera apparatus and image pickup system
EP2304933A1 (en) * 2008-05-19 2011-04-06 Canon Kabushiki Kaisha Information supplying apparatus, lens apparatus, camera apparatus and image pickup system
CN102027738A (zh) * 2008-05-19 2011-04-20 佳能株式会社 信息供给装置、透镜装置、照相机装置和图像拾取系统
EP2304933A4 (en) * 2008-05-19 2011-09-14 Canon Kk INFORMATION PROVIDING APPARATUS, LENS APPARATUS, CAMERA APPARATUS, AND IMAGE CAPTURE SYSTEM
US8913148B2 (en) 2008-05-19 2014-12-16 Canon Kabushiki Kaisha Information supplying apparatus, lens apparatus, camera apparatus and image pickup system
US20110176035A1 (en) * 2008-06-27 2011-07-21 Anders Poulsen Tilt and shift adaptor, camera and image correction method
JP2015033138A (ja) * 2013-08-03 2015-02-16 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh ズーム系を有するデジタル光学撮像システムを較正するための方法、ズーム系を有するデジタル光学撮像システムにおける収差を補正するための方法、及びデジタル光学撮像システム
JP2020016851A (ja) * 2018-07-27 2020-01-30 株式会社ニコン 交換レンズ、カメラボディ、及び、カメラシステム

Also Published As

Publication number Publication date
EP1959676B1 (en) 2017-04-12
US8558926B2 (en) 2013-10-15
JPWO2007066459A1 (ja) 2009-05-14
JP4893629B2 (ja) 2012-03-07
EP1959676A4 (en) 2012-01-04
EP1959676A1 (en) 2008-08-20
US20090167925A1 (en) 2009-07-02

Similar Documents

Publication Publication Date Title
WO2007066459A1 (ja) 歪曲補正方法、歪曲補正プログラム、画像処理装置、交換レンズ、カメラ、及びカメラシステム
US8368762B1 (en) Methods and apparatus for camera calibration based on multiview image geometry
US9007482B2 (en) Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
JP5615393B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6625144B2 (ja) 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム、記憶媒体、および、レンズ装置
JP2006270918A (ja) 画像補正方法、撮影装置、画像補正装置およびプログラム並びに記録媒体
JP2009017419A (ja) 撮像装置及び交換レンズ装置
JP5534832B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20080218607A1 (en) Distortion correction for photographing device
JP4798221B2 (ja) 画像の歪曲補正方法、歪曲補正プログラム、及び光学装置
JP6821526B2 (ja) 画像処理方法、画像処理装置、撮像装置、および、プログラム
US10713763B2 (en) Image processing apparatus, image processing method, and storage medium
JP4983541B2 (ja) プログラム、画像処理装置およびカメラ
JP6598886B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、記憶媒体、および、レンズ装置
JP2017028583A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
WO2009110183A1 (ja) 変化要因情報のデータの生成法および信号処理装置
JP2012222465A5 (ja)
JP6136248B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016119532A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2015119428A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP2018180729A (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP6566780B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP5495500B2 (ja) 変化要因情報のデータの生成法および信号処理装置
JP2008182684A (ja) 歪曲補正方法、歪曲補正装置、歪曲補正プログラム、及びディジタルカメラ
JP2015103902A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2007549038

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 12085550

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2006822826

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006822826

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE