WO2011158507A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2011158507A1
WO2011158507A1 PCT/JP2011/003437 JP2011003437W WO2011158507A1 WO 2011158507 A1 WO2011158507 A1 WO 2011158507A1 JP 2011003437 W JP2011003437 W JP 2011003437W WO 2011158507 A1 WO2011158507 A1 WO 2011158507A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
optical system
distance
size
subject
Prior art date
Application number
PCT/JP2011/003437
Other languages
English (en)
French (fr)
Inventor
木村　雅之
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180003333.4A priority Critical patent/CN102472621B/zh
Priority to EP11795415.6A priority patent/EP2584310A4/en
Priority to US13/390,536 priority patent/US9134126B2/en
Priority to JP2011544709A priority patent/JP5841844B2/ja
Publication of WO2011158507A1 publication Critical patent/WO2011158507A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus

Definitions

  • the present invention relates to an image processing apparatus that measures the depth of a scene based on a plurality of images taken from a single viewpoint.
  • the active method is a method of irradiating a subject with infrared rays, ultrasonic waves, laser, or the like, and calculating the distance to the subject based on the time until the reflected wave returns or the angle of the reflected wave.
  • the passive method is a method for calculating a distance based on an image of a subject. In particular, when measuring the distance to a subject using a camera, a passive method that does not require a device for irradiating infrared rays or the like is widely used.
  • DFD Depth from Defocus
  • Equation (1) Equation (1)
  • h represents a point spread function (Point Spread Function, hereinafter referred to as PSF) representing the blur state of the optical system
  • d (x, y) is from the lens principal point to the subject at the position (x, y).
  • subject distance the lens principal point to the subject at the position (x, y).
  • * in the expression represents a convolution operation.
  • Equation (1) includes S (x, y) and d (x, y) as unknowns.
  • an image I 2 (x, y) in which the focus position is changed in the same scene is photographed. Changing the focus position is equivalent to changing the PSF for the same subject distance. That is, Formula (2) is materialized.
  • h ′ represents a PSF at a focus position different from h.
  • Patent Document 1 and Patent Document 2 disclose a technique using a telecentric optical system so that a change in image magnification does not occur.
  • Patent Document 1 Patent Document 1
  • the second issue is the uniformity of blur.
  • the PSF is greatly different, it is impossible to apply processing using a uniform PSF to the entire image in each DFD algorithm. . This complicates the distance calculation process. Therefore, it is desirable that the blur is uniform throughout the image.
  • the present invention has been made in view of the above reasons, and an image processing apparatus and an image processing method including an optical system capable of capturing an image having a sufficiently small change in image magnification and uniform blur throughout the image.
  • the purpose is to provide.
  • An image processing apparatus is based on an image pickup device that picks up an image, an optical system that forms an image of a subject on the image pickup device, and the size of blur that occurs in the image.
  • a distance measurement unit that measures a subject distance, which is a distance to the subject, and the optical system has a characteristic that the distance from the subject system measured by the distance measurement unit is the farthest and farthest from the optical system.
  • the optical system When the change of the focus position in the optical system is performed by moving the image sensor, the optical system is configured such that the incident angle ⁇ of the principal ray to the image sensor satisfies the following expression (3). It may be a feature.
  • F is the F number of the optical system
  • f is the focal length of the optical system
  • minD is the number of pixels indicating the minimum blur that can be detected by the distance measuring unit
  • B is measured by the distance measuring unit.
  • the number of steps of the subject distance, u min is the closest distance to the optical system in the subject distance range measured by the distance measuring unit.
  • the amount of change in image magnification caused by the change in focus is less than the size that can be distinguished in the distance measurement process. That is, the same coordinates on a plurality of captured images with different focus positions are associated with a single coordinate of the original image S (x, y).
  • the range of the subject distance measured by the distance measuring unit is closest to the optical system.
  • a difference ⁇ y between the image size at the image sensor when the focus position is adjusted and the image size at the image sensor when the focus position is adjusted to the farthest side from the optical system satisfies the following expression (4). .
  • d is the pixel size of the image sensor. According to such a configuration, it is ensured that the amount of change in the image magnification caused by the focus change is less than the size that can be distinguished in the distance measurement processing. That is, the same coordinates on a plurality of captured images with different focus positions are associated with a single coordinate of the original image S (x, y).
  • the optical system may be characterized in that the amount of field curvature ⁇ q at each image height satisfies the following expression (5).
  • F is the F number of the optical system
  • f is the focal length of the optical system
  • minD is the number of pixels indicating the minimum blur that can be detected by the distance measuring unit
  • u max is measured by the distance measuring unit.
  • d is the size of the pixel of the image sensor.
  • Such a configuration ensures that the amount of off-axis blur caused by field curvature is less than the size that can be distinguished in the distance measurement process. As a result, the same blur distance is obtained for the same subject distance, and the error in the distance measurement process can be reduced.
  • the optical system may be characterized in that the sagittal field curvature ⁇ qs and the tangential field curvature ⁇ qt at each image height satisfy the following expressions (6) and (7), respectively.
  • F is the F number of the optical system
  • f is the focal length of the optical system
  • minD is the number of pixels indicating the minimum blur that can be detected by the distance measuring unit
  • u max is measured by the distance measuring unit.
  • the distance on the farthest side from the optical system in the subject distance range, d is the size of the pixel of the image sensor
  • This configuration ensures that the amount of off-axis blur caused by astigmatism falls below the size that can be distinguished in the distance measurement process. As a result, the blur shape becomes more uniform in the entire image, and an error in performing distance measurement processing by applying a uniform PSF to the entire image can be reduced.
  • the optical system may further be characterized in that the coma aberration amount ⁇ c at each image height satisfies the following expression (8).
  • minD is the number of pixels indicating the minimum size of blur that can be detected by the distance measuring unit
  • d is the size of the pixels of the image sensor.
  • This configuration ensures that the amount of off-axis blur caused by coma is less than the discriminable magnitude in the distance measurement process. As a result, the blur shape becomes more uniform throughout the image, and errors in performing distance measurement processing by applying uniform PSF to the entire image can be reduced.
  • the amount of change in image magnification and the non-uniformity of blur on and off the axis are maintained in a range that does not affect the image processing for distance measurement. For this reason, an error due to lens performance does not occur even if image magnification adjustment or the like is not taken into consideration during image processing and uniform processing is applied to the entire image.
  • FIG. 1 is a diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2A is a diagram schematically illustrating the imaging relationship of the lenses.
  • FIG. 2B is a diagram schematically showing how the image magnification changes with the position of the image plane.
  • FIG. 3 is a diagram schematically showing the relationship between the amount of movement of the image plane and the amount of change in image magnification.
  • FIG. 4 is a diagram schematically showing the relationship between the position of the image plane and the size of the circle of confusion.
  • FIG. 5A is a diagram schematically illustrating curvature of field.
  • FIG. 5B is a diagram schematically showing astigmatism.
  • FIG. 5C is a diagram schematically illustrating coma aberration.
  • FIG. 5A is a diagram schematically illustrating curvature of field.
  • FIG. 5B is a diagram schematically showing astigmatism.
  • FIG. 5C is a diagram schematically illustrating coma
  • FIG. 6 is a diagram schematically showing the relationship between the curvature of field and the size of the circle of confusion.
  • FIG. 7 is a diagram schematically showing the magnitude of coma aberration.
  • FIG. 8 is a diagram showing the lens shape of the optical system in the first embodiment.
  • FIG. 9 is a diagram showing a minimum configuration of an image processing apparatus for realizing the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus according to the first embodiment of the present invention.
  • the image processing apparatus 10 includes an imaging unit 12, a frame memory 14, a distance measurement unit 16, and a control unit 18.
  • the imaging unit 12 includes an imaging element 20 such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor, and an optical system 22 for causing the imaging element 20 to form a subject image. Capture an image and output the image.
  • an imaging element 20 such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor
  • an optical system 22 for causing the imaging element 20 to form a subject image. Capture an image and output the image.
  • the frame memory 14 is a memory for storing images in units of frames, and stores the image output by the imaging unit 12 and the like.
  • the distance measuring unit 16 measures the subject distance based on the image captured by the imaging unit 12.
  • a well-known DFD algorithm that is generally used can be used, including the method described in Non-Patent Document 1.
  • the control unit 18 includes a CPU, a ROM and a RAM that store a control program, and controls each functional block included in the image processing apparatus 10.
  • FIG. 2A is a diagram schematically illustrating the imaging relationship of the lenses. According to the lens formula, the following equation (9) is established between the distance u from the principal point of the lens 32 (hereinafter, simply referred to as “principal point”) to the subject surface and the distance v from the principal point to the image plane. The relationship indicated by is established.
  • f is the focal length of the lens 32.
  • the size of the subject is y
  • the size of the subject image is y ′. From equation (9), when the distance u from the principal point to the subject surface changes under the condition that the focal distance f is constant, the distance v from the principal point to the image surface also changes. When the distance v changes, the image size y ′′ also changes as shown in FIG. 2B. This is because the principal ray 34 passing through the center of the aperture is inclined with respect to the optical axis 36 and is incident on the image plane. The relationship between the incident angle of the principal ray 34 and the amount of change in image size will be described in more detail.
  • Is ⁇ v, and the incident angle of the principal ray 34 is ⁇ the amount of change ⁇ y from the image size y at the reference position can be obtained by the following equation (10).
  • Equation (11) At least one of ⁇ v or ⁇ needs to be small.
  • ⁇ v In order to perform distance measurement by DFD, it is necessary to change the blur with a change in focus, and therefore ⁇ v cannot be made very small.
  • ⁇ v In order to perform distance measurement by DFD, it is necessary to change the blur with a change in focus, and therefore ⁇ v cannot be made very small.
  • the relationship between ⁇ v and the size of blur will be described with reference to FIG.
  • the focal length of the lens 32 is f
  • the distance u from the principal point to the subject surface, and the image plane is at a position away from the in-focus position by ⁇ v.
  • the diameter D of the circle of confusion representing the size of the blur generated at this time is expressed by the following formula (12).
  • F is the F number of the optical system 22.
  • ⁇ v is determined so that the diameter D is large enough for distance measurement by DFD.
  • D is expressed by the following equation (13 ).
  • the optical system 22 may be designed so as to satisfy Expression (15).
  • the change of the focus position in the optical system 22 is performed by moving the imaging element 20, but the lens included in the optical system 22 is moved to change the focus position. May be performed.
  • the image size on the image sensor 20 before the change of the focus position (when the focus position is set to the side closest to the optical system 22 in the range of the subject distance measured by the distance measuring unit 16) is y ′, and the focus
  • the size of the image on the image sensor 20 after the position change (when the focus position is set to the farthest side from the optical system 22 in the range of the subject distance measured by the distance measuring unit 16) is y ′′. If the absolute value of the difference ⁇ y is smaller than the size d of one pixel of the image sensor, it can be considered that the size of the image is not substantially changed, and therefore the following formula (16) needs to be satisfied. There is.
  • Off-axis aberration curvature of field
  • the blur uniformity is affected by three of the field curvature, astigmatism and coma aberration shown in FIGS. 5A, 5B and 5C, respectively.
  • the allowable amount of these aberrations will be described.
  • the curvature of field is a phenomenon in which the focal point of off-axis light does not exist on a plane that includes the focal point of the on-axis light beam and is perpendicular to the optical axis, and moves back and forth in the optical axis direction.
  • distance measurement by DFD is performed on the assumption that the blur is uniform in the entire image, the subject is actually at a different distance because the blur of the subject at an equal distance becomes different depending on the angle of view. It will be measured as a thing.
  • the permissible amount of field curvature will be described below.
  • F is the F number of the optical system 22. Smaller than the size d * minD of differentiable minimum blur in D q is DFD algorithm, substantially free of its influence is negligible. In order to satisfy this condition, the field curvature ⁇ q at each image height needs to satisfy the following equation (18). Therefore, the optical system 22 may be designed so as to satisfy Expression (18).
  • Astigmatism is a phenomenon in which the in-focus position differs between a light beam in a concentric direction (sagittal direction) and a light beam in a radial direction (tangential direction) with respect to the optical axis.
  • astigmatism is present, off-axis blur does not spread into a uniform circular shape, causing a phenomenon such as a vertically long or horizontally long ellipse, and the uniformity of the blurred shape is impaired throughout the image.
  • the amount of astigmatism is the distance between the surface perpendicular to the optical axis including the focal point in each of the sagittal and tangential directions, and the surface perpendicular to the optical axis including the focal point of the on-axis light beam. Defined as field curvature. Therefore, when the sagittal field curvature amount at each image height is ⁇ qs and the tangential field curvature amount is ⁇ qt, the optical system 22 is designed so that these satisfy inequality (18) instead of ⁇ q. Thus, the effect of astigmatism can be substantially ignored. That is, the optical system 22 may be designed so as to satisfy the expressions (19) and (20).
  • the coma aberration is a phenomenon in which the size of the image formed by the principal ray of off-axis light and the outer ray differs.
  • the blur does not spread evenly off-axis, but has a tail-like shape, which also impairs the uniformity of the blur shape throughout the image.
  • the allowable amount of coma will be described below.
  • the coma aberration amount ⁇ c is defined as a difference in size between an image formed by the principal ray 71 passing through the center of the aperture and an image formed by the ray 72 passing through the outermost side of the aperture.
  • ⁇ c is positive when the image becomes larger. Therefore, if the size of ⁇ c at each image height is smaller than the minimum blur size dminD that can be discriminated by the DFD algorithm, the influence can be substantially ignored. For that purpose, it is necessary to satisfy the following formula (21). Therefore, the optical system 22 may be designed so as to satisfy Expression (21).
  • each condition is determined by the combined focal length and F number of the entire optical system 22 as the focal length and F number.
  • the upper limit is set for the image magnification change and the field curvature based on a finite subject distance. However, in order to simplify the calculation, these calculations may be performed with the subject distance set to infinity.
  • Specific numerical examples of the optical system 22 according to the present embodiment are shown in Table 1, and the shape is shown in FIG. Note that R, d, nd, and ⁇ d represent the radius of curvature (unit: mm), the surface interval (unit: mm), the refractive index of the d-line, and the Abbe number, respectively.
  • the surface number * represents an aspherical surface. In FIG. 8, the surface numbers are indicated by numbers.
  • the aspherical shape is expressed by the following formula (22).
  • c 1 / R
  • k is a conical coefficient
  • a 4 , A 6 , A 8 , A 10 , and A 12 are fourth-order, sixth-order, eighth-order, tenth-order, and twelfth-order aspheric coefficients, respectively. It is.
  • Table 2 shows the conic coefficient k and the aspheric coefficients A 4 , A 6 , A 8 , A 10 , and A 12 of each aspheric surface.
  • the surface numbers in Table 2 are the same as the surface numbers in Table 1.
  • the focal length is 15.78 mm
  • the F number is 2.8
  • the half angle of view is 14.97 °.
  • the incident angle ⁇ of the principal ray is
  • the curvature of field ⁇ q is
  • the coma aberration amount ⁇ c needs to satisfy
  • Table 3 shows incident angles ⁇ F, ⁇ d, and ⁇ C (units: degrees) of chief rays at respective image heights with respect to the F-line, d-line, and C-line of the optical system 22 in Table 1.
  • Table 4 shows sagittal field curvature amounts ⁇ qsF, ⁇ qsd, ⁇ qsC, and tangential field curvature amounts ⁇ qtF, ⁇ qtd, and ⁇ qtC with respect to the F-line, d-line, and C-line of the optical system 22 in Table 1.
  • the curvature of field shown here indicates the amount of displacement from the axial image plane position at each wavelength, and its unit is ⁇ m.
  • Table 5 shows coma aberration amounts ⁇ cF, ⁇ cd, and ⁇ cC (unit: ⁇ m) with respect to the F-line, d-line, and C-line of the optical system 22 in Table 1.
  • the specified conditions are satisfied for any image height and any wavelength. For this reason, the amount of change in image magnification and the non-uniformity of blurring on and off the axis are kept in a range that does not affect the image processing for distance measurement. Even if uniform processing is applied to the entire image, no error due to lens performance occurs.
  • FIG. 9 is a diagram showing the minimum configuration of the image processing apparatus for realizing the present invention, and the image processing apparatus 10 only needs to include the imaging unit 12 and the distance measurement unit 16.
  • the present invention can also be realized as a method including, as steps, processing executed by a distance measuring unit provided in the image processing apparatus.
  • the present invention can also be realized as an integrated circuit in which the distance measuring unit provided in the image processing apparatus is integrated.
  • the present invention can also be realized as a program for causing a computer to execute processing executed by a distance measuring unit included in the image processing apparatus.
  • the present invention can perform distance measurement based on an image photographed from a single viewpoint, it can be applied to all imaging devices. In particular, it has uniform blur characteristics over the entire image, and there is no need to switch processing for each location of the image, making it ideal for applications that require high distance measurement accuracy and applications that require a small amount of processing. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)
  • Automatic Focus Adjustment (AREA)
  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)

Abstract

　画像処理装置（１０）は、画像を撮像する撮像素子（２０）と、撮像素子（２０）に被写体像を結像させるための光学系（２２）と、画像に生じるぼけの大きさに基づいて被写体距離を計測する距離計測部（１６）とを備え、光学系（２２）の特性は、距離計測部（１６）において計測する被写体距離の範囲のうち、光学系（２２）に最も近い側と最も遠い側にフォーカス位置を合わせた場合の、像倍率の変化が所定の画素数以下になると同時に、光学系（２２）の像高による点広がり関数の違いが距離計測部（１６）による被写体距離の計測に影響を及ぼさないための所定の大きさ以下になるという条件を満たす。

Description

[規則37.2に基づきISAが決定した発明の名称]　画像処理装置及び画像処理方法
　本発明は、単一の視点から撮影された複数枚の画像に基づいて、シーンの奥行きを計測する画像処理装置に関する。
　ある３次元シーンの奥行き、すなわち各被写体までの距離を非接触で計測するための様々な方法が提案されている。それらを大別すると、能動的手法と受動的手法とがある。能動的手法は、赤外線、超音波またはレーザーなどを被写体に照射し、反射波が戻ってくるまでの時間または反射波の角度などをもとに被写体までの距離を算出する手法である。受動的手法は、被写体の像に基づいて距離を算出する手法である。特にカメラを用いて被写体までの距離を計測する場合においては、赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。
　受動的手法にも多くの手法が提案されており、その一つとしてフォーカスの変化によって生じるぼけに基づいて距離を計測するＤｅｐｔｈ　ｆｒｏｍ　Ｄｅｆｏｃｕｓ（以下ＤＦＤと表記）と呼ばれる手法が提案されている。ＤＦＤには、複数のカメラを必要としない、少数の画像から距離計測が可能である、などの特徴がある。
　以下、ＤＦＤの原理について簡単に説明する。
　撮影画像をＩ（ｘ，ｙ）、レンズによるぼけのない状態を表す原画像をＳ（ｘ，ｙ）とすると、両者の間には式（１）のような関係が成立する。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｈは光学系のぼけの状態を表す点広がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ、以下ＰＳＦと表記）を表し、ｄ（ｘ，ｙ）は位置（ｘ，ｙ）におけるレンズの主点から被写体までの距離（以下、「被写体距離」と言う。）を表す。また、式中の「＊」は畳み込み演算を表す。
　式（１）は、Ｓ（ｘ，ｙ）とｄ（ｘ，ｙ）を未知数として含んでいる。ここで、同一のシーンでフォーカス位置を変えた画像Ｉ2（ｘ，ｙ）を撮影する。フォーカス位置を変えることは同一の被写体距離に対するＰＳＦが変化することに相当する。即ち、式（２）が成立する。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｈ’はｈとは異なるフォーカス位置におけるＰＳＦを表す。これらの式を解くことで、シーンの原画像Ｓ（ｘ，ｙ）と被写体距離ｄ（ｘ，ｙ）を求めることができ、非特許文献１をはじめとして様々な解法が提案されている。
　ここで問題になるのが、通常の光学系はフォーカス位置を変化させるとそれに伴い像倍率が変化する点である。像倍率が変化すると撮影画像Ｉ（ｘ，ｙ）と撮影画像Ｉ2（ｘ，ｙ）との間で対応する原画像Ｓ（ｘ，ｙ）の位置が変わるため、正しい距離計測が行えなくなる。これに対して、特許文献１および特許文献２において、像倍率の変化が生じないようテレセントリック光学系を用いる手法が開示されている。
特許第２９６３９９０号公報 特許第３４８１６３１号公報
"Ｄｅｐｔｈ　ｆｒｏｍ　Ｄｅｆｏｃｕｓ：ａ　ｓｐａｔｉａｌ　ｄｏｍａｉｎ　ａｐｐｒｏａｃｈ"，Ｍ．Ｓｕｂｂａｒａｏ，Ｇ．Ｓｕｒｙａ，Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，Ｖｏｌ．１３，Ｎｏ．３，ｐｐ．２７１－２９４，１９９４
　しかし、特許文献１および特許文献２に記載の手法には大きく２つの課題が残っている。
　まず一つ目の課題として、テレセントリック光学系を用いる必要があるということは光学的に大きな制約となり、レンズ設計の自由度が大きく低下する。
　二つ目の課題はぼけの均一性についてである。撮影画像のうち、光軸上の画像と光軸外の画像とでぼけ方、即ちＰＳＦが大きく異なる場合、ＤＦＤの各アルゴリズムにおいて画像全体に一律のＰＳＦを用いて処理を適用することができなくなる。このため、距離算出処理が複雑になる。したがって、画像全体でぼけ方が均一であることが望ましい。しかし、テレセントリック光学系を用いる場合にはぼけ方が均一であることを必ずしも保証するものではない。
　本発明は上記事由を鑑みてなされたものであり、像倍率の変化量が十分小さく、かつ画像全体で均一なぼけを有する画像を撮像することができる光学系を備える画像処理装置および画像処理方法を提供することを目的とする。
　本発明のある局面にかかる画像処理装置は、画像を撮像する撮像素子と、前記撮像素子に被写体の像を結像させるための光学系と、前記画像に生じるぼけの大きさに基づいて、前記被写体までの距離である被写体距離を計測する距離計測部とを備え、前記光学系の特性は、前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系に最も近い側と最も遠い側にフォーカス位置を合わせた場合の、像倍率の変化が所定の画素数以下になると同時に、前記光学系の像高による点広がり関数の違いが前記距離計測部による前記被写体距離の計測に影響を及ぼさないための所定の大きさ以下になるという条件を満たす。
　このような構成によると、光学系の特性が距離計測処理に実質的な影響を与えない範囲に制限されるため、距離計測処理の中で画像中の位置ごとに処理を変えるなどの手段をとることなしに、画像全体で均一な精度を保証することができる。
　また、前記光学系におけるフォーカス位置の変化を前記撮像素子を移動させることにより行った場合、前記光学系は、前記撮像素子への主光線の入射角θが以下の式（３）を満たすことを特徴としてもよい。
Figure JPOXMLDOC01-appb-M000003
　ただし、Ｆは前記光学系のＦナンバー、ｆは前記光学系の焦点距離、ｍｉｎＤは前記距離計測部において検出可能なぼけの最小の大きさを示す画素数、Ｂは前記距離計測部において計測する前記被写体距離の段階数、ｕminは前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系に最も近い側の距離である。
　このような構成によると、フォーカスの変化によって生じる像倍率の変化量が距離計測処理において弁別可能な大きさを下回ることが保証される。つまり、フォーカス位置を変えた複数の撮影画像上での同一の座標は、原画像Ｓ（ｘ，ｙ）の単一の座標と対応付けられる。
　また、前記光学系におけるフォーカス位置の変化を前記光学系に含まれるレンズを移動させることにより行った場合、前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系に最も近い側にフォーカス位置を合わせた場合の前記撮像素子における像の大きさと前記光学系から最も遠い側にフォーカス位置を合わせた場合の前記撮像素子における像の大きさの差δｙが以下の式（４）を満たす。
Figure JPOXMLDOC01-appb-M000004
　ただし、ｄは前記撮像素子の画素の大きさである。このような構成によると、フォーカスの変化によって生じる像倍率の変化量が距離計測処理において弁別可能な大きさを下回ることが保証される。つまり、フォーカス位置を変えた複数の撮影画像上での同一の座標は、原画像Ｓ（ｘ，ｙ）の単一の座標と対応付けられる。
　また、前記光学系は、各像高における像面湾曲量δｑが以下の式（５）を満たすことを特徴としてもよい。
Figure JPOXMLDOC01-appb-M000005
　ただし、Ｆは前記光学系のＦナンバー、ｆは前記光学系の焦点距離、ｍｉｎＤは前記距離計測部において検出可能なぼけの最小の大きさを示す画素数、ｕmaxは前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系から最も遠い側の距離、ｄは前記撮像素子の画素の大きさである。
　このような構成によると、像面湾曲によって生じる軸外のぼけの量が距離計測処理において弁別可能な大きさを下回ることが保証される。これによって、同じ被写体距離に対しては同程度のぼけの大きさとなり、距離計測処理の誤差を低減することができる。
　また、前記光学系は、各像高におけるサジタル像面湾曲量δｑｓおよびタンジェンシャル像面湾曲量δｑｔが、それぞれ以下の式（６）および式（７）を満たすことを特徴としてもよい。
Figure JPOXMLDOC01-appb-M000006
　ただし、Ｆは前記光学系のＦナンバー、ｆは前記光学系の焦点距離、ｍｉｎＤは前記距離計測部において検出可能なぼけの最小の大きさを示す画素数、ｕmaxは前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系から最も遠い側の距離、ｄは前記撮像素子の画素の大きさである
　このような構成によると、非点較差によって生じる軸外のぼけの量が距離計測処理において弁別可能な大きさを下回ることが保証される。これによって、画像全体でぼけの形がより均一なものとなり、画像全体に一律なＰＳＦを適用して距離計測処理を行う際の誤差を低減することができる。
　また、前記光学系は、さらに各像高におけるコマ収差量δｃが以下の式（８）を満たすことを特徴としてもよい。
Figure JPOXMLDOC01-appb-M000007
　ただし、ｍｉｎＤは前記距離計測部において検出可能なぼけの最小の大きさを示す画素数、ｄは前記撮像素子の画素の大きさである。
　このような構成によると、コマ収差によって生じる軸外のぼけの量が距離計測処理において弁別可能な大きさを下回ることが保証される。これによって、画像全体でぼけの形がより均一なものとなり、画像全体に一律なＰＳＦを適用して距離計測処理を行う際の誤差を低減することができる。
　本発明にかかる画像処理装置によれば、像倍率の変化量、および軸上と軸外でのぼけの不均一さが距離計測の画像処理に影響しない範囲に保たれる。このため、画像処理の際に像倍率の調整などを考慮せず、かつ画像全体に均一な処理を適用してもレンズの性能に起因する誤差が生じることがない。
図１は、本発明の実施の形態１における画像処理装置の構成を示す図である。 図２Ａは、レンズの結像関係を模式的に示す図である。 図２Ｂは、像面の位置に伴い像倍率が変化する様子を模式的に示す図である。 図３は、像面の移動量と像倍率の変化量の関係を模式的に示す図である。 図４は、像面の位置と錯乱円の大きさの関係を模式的に示す図である。 図５Ａは、像面湾曲を模式的に示す図である。 図５Ｂは、非点収差を模式的に示す図である。 図５Ｃは、コマ収差を模式的に示す図である。 図６は、像面湾曲量と錯乱円の大きさの関係を模式的に示す図である。 図７は、コマ収差の大きさを模式的に示す図である。 図８は、実施の形態１における光学系のレンズ形状を示す図である。 図９は、本発明を実現するための画像処理装置の最小構成を示す図である。
　（実施の形態１）
　以下本発明の実施の形態について、図面を参照しながら説明する。図１は本発明の実施の形態１にかかる画像処理装置の機能的な構成を示すブロック図である。
　画像処理装置１０は、撮像部１２、フレームメモリ１４、距離計測部１６、制御部１８を備える。
　撮像部１２は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサといった撮像素子２０と、撮像素子２０に被写体像を結像させるための光学系２２とを含んで構成され、被写体像を撮像して画像を出力する。
　フレームメモリ１４は、画像をフレーム単位で記憶するためのメモリであり、撮像部１２が出力した画像などを記憶する。
　距離計測部１６は、撮像部１２によって撮影された画像に基づいて、被写体距離を計測する。距離計測の手法として、非特許文献１に記載の手法をはじめ、一般的に利用される周知のＤＦＤアルゴリズムを用いることができる。
　制御部１８は、ＣＰＵと、制御プログラムを格納するＲＯＭおよびＲＡＭなどとを含んで構成され、画像処理装置１０が備える各機能ブロックを制御する。
　次に、光学系２２が満たすべき性能の条件について順に説明する。
　（像倍率変化）
　図２Ａはレンズの結像関係を模式的に示す図である。レンズの公式より、レンズ３２の主点（以下、単に「主点」という。）から被写体面までの距離ｕと主点から像面までの距離ｖとの間には、以下の式（９）で示す関係が成立する。
Figure JPOXMLDOC01-appb-M000008
　ただし、ｆはレンズ３２の焦点距離である。このとき、被写体の大きさをｙ、被写体像の大きさをｙ’とする。式（９）より、焦点距離ｆが一定の条件において、主点から被写体面までの距離ｕが変化すると、主点から像面までの距離ｖもあわせて変化する。距離ｖが変化すると、図２Ｂのように像の大きさｙ’’もあわせて変化する。これは開口の中心を通過する主光線３４が光軸３６に対して傾いて像面に入射していることに起因する。主光線３４の入射角と像の大きさの変化量の関係についてさらに詳しく説明する。
　図３のように、距離計測部１６において計測する被写体距離の範囲のうち、フォーカス位置を光学系２２に最も近い位置と最も遠い位置とに合わせたときの、主点から像面までの距離ｖの変化量をδｖ、主光線３４の入射角をθとすると、上記基準位置における像の大きさｙからの変化量δｙは以下の式（１０）で求めることができる。
Figure JPOXMLDOC01-appb-M000009
　ここで、δｙの絶対値が撮像素子の１画素の大きさｄより小さければ、実質的に像の大きさは変化していないと考えることができる。つまり、主点から像面までの距離ｖが変化しても像の大きさが変化しないためには以下の式（１１）を満たす必要がある。
Figure JPOXMLDOC01-appb-M000010
　式（１１）を満たすためには、δｖかθの少なくとも一方が小さい必要がある。しかし、ＤＦＤによる距離計測を行うためにはフォーカスの変化に伴ってぼけが変化する必要があるため、δｖをあまり小さくすることはできない。以下、δｖとぼけの大きさの関係について図４に基づいて説明する。
　今、レンズ３２の焦点距離をｆ、主点から被写体面までの距離ｕとし、合焦位置からδｖだけ離れた位置に像面があるとする。回折による影響を無視した場合、このときに生じるぼけの大きさを表す錯乱円の直径Ｄは以下の式（１２）で表される。
Figure JPOXMLDOC01-appb-M000011
　ただし、Ｆは光学系２２のＦナンバーである。この直径ＤがＤＦＤによる距離計測に十分な大きさとなるようδｖの値を決定する。ＤＦＤのアルゴリズムにおいて弁別可能なぼけの大きさの単位をｍｉｎＤ画素とし、Ｂ段階の距離計測（距離を段階数Ｂで表したときの距離計測）ができればよいとすると、Ｄは以下の式（１３）を満たせばよいことが分かる。
Figure JPOXMLDOC01-appb-M000012
　式（１２）および式（１３）より、ＤＦＤにとって十分なぼけの大きさを得るためには、δｖは式（１４）を満たす必要がある。
Figure JPOXMLDOC01-appb-M000013
　式（１１）および式（１４）より、像の大きさの変化の小ささと、ＤＦＤにとって十分なぼけの大きさとを得るため、主光線３４の入射角θが満たすべき条件は以下の式（１５）で表される。したがって、式（１５）を満たすように、光学系２２を設計すればよい。
Figure JPOXMLDOC01-appb-M000014
　式（１５）より、ｕが小さいほど右辺の値は小さくなる。したがって、ＤＦＤで距離計測を行う被写体距離の範囲のうち、最も光学系２２に近い側の距離をｕminとすると、式（１５）においてｕ＝ｕminを満たすときの左辺の値がθの大きさの実質的な上限となる。
　本実施の形態において、光学系２２におけるフォーカス位置の変化を撮像素子２０を移動させることにより行った場合を仮定しているが、フォーカス位置の変化には光学系２２に含まれるレンズを移動させることにより行ってもよい。
　フォーカス位置の変化前（距離計測部１６において計測する被写体距離の範囲のうち、光学系２２に最も近い側にフォーカス位置を合わせた場合）の撮像素子２０における像の大きさをｙ’とし、フォーカス位置の変化後（距離計測部１６において計測する被写体距離の範囲のうち、光学系２２から最も遠い側にフォーカス位置を合わせた場合）の撮像素子２０における像の大きさをｙ’’としたとき、それらの差δｙの絶対値が撮像素子の１画素の大きさｄより小さければ、実質的に像の大きさは変化していないと考えることができるため、以下の式（１６）を満たす必要がある。
Figure JPOXMLDOC01-appb-M000015
　ただし、前記光学系に含まれるレンズの移動によって、先程と同様にＤＦＤにとって十分なぼけの量を得る必要がある。そのため、フォーカス変化前に被写体距離ｕの位置の被写体に焦点が合っていた場合、フォーカス変化後の同じ被写体からの光のぼけの大きさＤが式（１３）を満たす必要がある。
　（軸外収差：像面湾曲）
　先述のとおり、ＤＦＤにおいてはぼけが画像全体で均一であることが望ましい。いわゆるザイデルの５収差のうち、ぼけの均一性に影響するのは図５Ａ、図５Ｂおよび図５Ｃにそれぞれ示す像面湾曲、非点収差およびコマ収差の３つである。以下ではこれらの収差の許容量について説明する。
　まず、図５Ａに示す像面湾曲について説明する。像面湾曲は軸外光の合焦点が、軸上光線の合焦点を含み光軸に対して垂直な面上に存在せず、光軸方向に前後する現象である。画像全体でぼけが均一であると仮定してＤＦＤによる距離計測を行った場合、実際には等距離にある被写体のぼけが画角によって異なる大きさになってしまうため、被写体が異なる距離にあるものとして計測されてしまう。像面湾曲の許容量について、以下で説明する。
　図６のように、ある画角の光線６１による像面湾曲量がδｑであるとする。ただし、δｑは被写体面から像面６２に向かう方向を正とする。レンズ３２の焦点距離をｆ、主点から被写体面までの距離ｕとし、回折による影響を無視した場合、この画角に対する錯乱円の直径Ｄqは、以下の式（１７）で表される。
Figure JPOXMLDOC01-appb-M000016
　ただし、Ｆは光学系２２のＦナンバーである。ＤqがＤＦＤのアルゴリズムにおいて弁別可能な最小のぼけの大きさｄ＊ｍｉｎＤより小さければ、実質的にその影響は無視できる。この条件を満たすためには、各像高における像面湾曲量δｑは以下の式（１８）を満たす必要がある。したがって、式（１８）を満たすように、光学系２２を設計すればよい。
Figure JPOXMLDOC01-appb-M000017
　式（１８）より、ｕが大きいほど右辺の値は小さくなる。したがって、ＤＦＤで距離計測を行う距離範囲のうち、最も光学系２２から遠い側の距離をｕmaxとすると、式（１８）においてｕ＝ｕmaxを満たすときのδｑの値がδｑの大きさの実質的な上限となる。
　（軸外収差：非点収差）
　次に、図５Ｂに示す非点収差について説明する。非点収差は光軸に対して同心円方向（サジタル方向）の光束と放射方向（タンジェンシャル方向）の光束で合焦位置が異なる現象である。非点収差が存在すると軸外ではぼけが均等な円形に広がらず、縦長や横長の楕円形になるなどの現象が生じ、画像全体でぼけの形状の均一性が損なわれる。
　非点収差量はサジタル方向およびタンジェンシャル方向の各方向における合焦点を含み光軸に対して垂直な面と、軸上光線の合焦点を含み光軸に対して垂直な面との距離、すなわち像面湾曲として定義される。したがって、各像高におけるサジタル方向の像面湾曲量をδｑｓ、タンジェンシャル方向の像面湾曲量をδｑｔとしたとき、これらがδｑにかわって式（１８）を満たすように光学系２２を設計することで、非点収差の影響を実質的に無視することができる。つまり、式（１９）および式（２０）を満たすように、光学系２２を設計すればよい。
Figure JPOXMLDOC01-appb-M000018
　式（１９）より、ｕが大きいほど右辺の値は小さくなる。したがって、ＤＦＤで距離計測を行う距離範囲のうち、最も光学系２２から遠い側の距離をｕmaxとすると、式（１９）においてｕ＝ｕmaxを満たすときのδｑｓの値がδｑｓの大きさの実質的な上限となる。同様に、式（２０）において、ｕ＝ｕmaxを満たすときのδｑｔの値がδｑｔの大きさの実質的な上限となる。
　（軸外収差：コマ収差）
　最後に、図５Ｃに示すコマ収差について説明する。コマ収差は軸外光の主光線と外側の光線によってできる像の大きさが異なる現象である。コマ収差が存在すると軸外ではぼけが均等に広がらず、尾を引いたような形状になり、やはり画像全体でぼけの形状の均一性が損なわれる。コマ収差の許容量について、以下で説明する。
　いま、被写体位置が無限遠にあるとする。このとき、図７のように、コマ収差量δｃは、開口の中心を通る主光線７１によってできる像と、開口の最も外側を通る光線７２によってできる像の大きさの差として定義される。ただし、δｃは像が大きくなる方を正とする。したがって、各像高におけるδｃの大きさがＤＦＤのアルゴリズムにおいて弁別可能な最小のぼけの大きさｄｍｉｎＤより小さければ、実質的にその影響は無視できる。そのためには、以下の式（２１）を満たす必要がある。したがって、式（２１）を満たすように光学系２２を設計すればよい。
Figure JPOXMLDOC01-appb-M000019
　なお、ここまでの各条件の説明は単レンズを用いたときの条件についてのものであるが、本発明の実施の形態における光学系２２の構成は単レンズに限定されるものではない。この場合、焦点距離やＦナンバーとして光学系２２全体の合成焦点距離やＦナンバーによって各条件は決定される。
　なお、像倍率変化および像面湾曲について、有限の被写体距離に基づいて上限を定めているが、計算を簡略化するため、被写体距離を無限遠としてこれらの計算を行ってもよい。
　（具体的な数値実施例）
　本実施の形態にかかる光学系２２の具体的な数値実施例を表１に、形状を図８に記す。なお、Ｒ、ｄ、ｎｄ、νｄはそれぞれ各面の曲率半径（単位：ｍｍ）、面間隔（単位：ｍｍ）、ｄ線の屈折率、アッベ数を表す。また、面番号の＊は非球面を表す。図８には面番号を数字で示している。非球面形状は以下の式（２２）で表される。
Figure JPOXMLDOC01-appb-M000020
　ここで、ｃ＝１／Ｒであり、ｋは円錐係数、Ａ4、Ａ6、Ａ8、Ａ10、Ａ12はそれぞれ４次、６次、８次、１０次、１２次の非球面係数である。
Figure JPOXMLDOC01-appb-T000001
　また、各非球面の円錐係数ｋおよび非球面係数Ａ4、Ａ6、Ａ8、Ａ10、Ａ12は表２に示される。表２の面番号は表１の面番号と同じである。
Figure JPOXMLDOC01-appb-T000002
　なお、焦点距離は１５．７８ｍｍであり、Ｆナンバーは２．８、半画角は１４．９７°とする。また、ＤＦＤに関するパラメータは、撮像素子の画素の大きさｄを２．４μｍ、ＤＦＤのアルゴリズムにおいて弁別可能なぼけの大きさの単位ｍｉｎＤを２画素、奥行き検出の段階数Ｂを１６階調、距離計測を行う被写体距離は１ｍから１０ｍの範囲とする。すなわち、ｕmin＝１ｍ、ｕmax＝１０ｍである。このとき、式（１５）、式（１８）、式（２１）より、主光線の入射角θは｜θ｜＜０．６２９°を、像面湾曲量δｑは｜δｑ｜＜１３．４６μｍを、コマ収差量δｃは｜δｃ｜＜４．８０μｍをそれぞれ満たす必要がある。
　表１の光学系２２の、Ｆ線、ｄ線、Ｃ線に対する各像高における主光線の入射角θＦ、θｄ、θＣ（単位：度）を表３に示す。
Figure JPOXMLDOC01-appb-T000003
　表１の光学系２２の、Ｆ線、ｄ線、Ｃ線に対するサジタル像面湾曲量δｑｓＦ、δｑｓｄ、δｑｓＣ、タンジェンシャル像面湾曲量δｑｔＦ、δｑｔｄ、δｑｔＣを表４に記す。なお、ここで示す像面湾曲量は各波長における軸上像面位置からの変位量を示し、単位はμｍである。
Figure JPOXMLDOC01-appb-T000004
　表１の光学系２２のＦ線、ｄ線、Ｃ線に対するコマ収差量δｃＦ、δｃｄ、δｃＣ（単位：μｍ）を表５に記す。
Figure JPOXMLDOC01-appb-T000005
　いずれの像高、いずれの波長に対しても指定した条件を満たしている。このため、像倍率の変化量、および軸上と軸外でのぼけの不均一さが距離計測の画像処理に影響しない範囲に保たれるため、画像処理の際に像倍率の調整などを考慮せず、かつ画像全体に均一な処理を適用してもレンズの性能に起因する誤差が生じることがない。
　なお、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　なお、図９は、本発明を実現するための画像処理装置の最小構成を示す図であり、画像処理装置１０は、撮像部１２と、距離計測部１６とを備えていればよい。
　また、本発明は、上記画像処理装置が備える距離計測部が実行する処理をステップとして含む方法として実現することもできる。
　また、本発明は、上記画像処理装置が備える距離計測部を集積化した集積回路として実現することもできる。
　また、本発明は、上記画像処理装置が備える距離計測部が実行する処理をコンピュータに実行させるためのプログラムとして実現することもできる。
　本発明は単一の視点から撮影された画像を元に距離計測を行うことができるため、撮像機器全般に適用可能である。特に画像全体で均一なぼけの特性を有し、画像の場所ごとに処理を切り替える必要がないため、高い距離計測精度を要求される用途や、処理量を少なく抑える必要のある用途に最適である。
　１０　画像処理装置
　１２　撮像部
　１４　フレームメモリ
　１６　距離計測部
　１８　制御部
　２０　撮像素子
　２２　光学系

Claims (6)

  1. 　画像を撮像する撮像素子と、
    　前記撮像素子に被写体の像を結像させるための光学系と、
    　前記画像に生じるぼけの大きさに基づいて、前記被写体までの距離である被写体距離を計測する距離計測部とを備え、
    　前記光学系の特性は、前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系に最も近い側と最も遠い側にフォーカス位置を合わせた場合の、像倍率の変化が所定の画素数以下になると同時に、前記光学系の像高による点広がり関数の違いが前記距離計測部による前記被写体距離の計測に影響を及ぼさないための所定の大きさ以下になるという条件を満たす
    　画像処理装置。
  2. 　前記光学系におけるフォーカス位置を変化させた場合、前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系に最も近い側にフォーカス位置を合わせた場合の前記撮像素子における像の大きさと前記光学系から最も遠い側にフォーカス位置を合わせた場合の前記撮像素子における像の大きさとの差δｙが以下の式（１）を満たす
    Figure JPOXMLDOC01-appb-M000021
     　ただし、ｄは前記撮像素子の１画素の大きさである
    　請求項１に記載の画像処理装置。
  3. 　前記光学系は、各像高における像面湾曲量δｑが以下の式（２）を満たす
    Figure JPOXMLDOC01-appb-M000022
     　ただし、Ｆは前記光学系のＦナンバー、ｆは前記光学系の焦点距離、ｍｉｎＤは前記距離計測部において検出可能なぼけの最小の大きさを示す画素数、ｕmaxは前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系から最も遠い側の距離、ｄは前記撮像素子の画素の大きさである
    　請求項１に記載の画像処理装置。
  4. 　前記光学系は、各像高におけるサジタル像面湾曲量δｑｓおよびタンジェンシャル像面湾曲量δｑｔが、それぞれ以下の式（３）および式（４）を満たす
    Figure JPOXMLDOC01-appb-M000023
     　ただし、Ｆは前記光学系のＦナンバー、ｆは前記光学系の焦点距離、ｍｉｎＤは前記距離計測部において検出可能なぼけの最小の大きさを示す画素数、ｕmaxは前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系から最も遠い側の距離、ｄは前記撮像素子の画素の大きさである
    　請求項１に記載の画像処理装置。
  5. 　前記光学系は、各像高におけるコマ収差量δｃが以下の式（５）を満たす
    Figure JPOXMLDOC01-appb-M000024
     　ただし、ｍｉｎＤは前記距離計測部において検出可能なぼけの最小の大きさを示す画素数、ｄは前記撮像素子の画素の大きさである
    　請求項１に記載の画像処理装置。
  6. 　画像を撮像する撮像素子と、
    　前記撮像素子に被写体の像を結像させるための光学系と、
    　前記画像に生じるぼけの大きさに基づいて、前記被写体までの距離である被写体距離を計測する距離計測部とを備える画像処理装置による画像処理方法であって、
    　前記距離計測部が、前記画像に生じるぼけの大きさに基づいて、前記被写体距離を計測するステップを含み、
    　前記光学系の特性は、前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系に最も近い側と最も遠い側にフォーカス位置を合わせた場合の、像倍率の変化が所定の画素数以下になると同時に、前記光学系の像高による点広がり関数の違いが前記距離計測部による前記被写体距離の計測に影響を及ぼさないための所定の大きさ以下になるという条件を満たす
    　画像処理方法。
PCT/JP2011/003437 2010-06-17 2011-06-16 画像処理装置及び画像処理方法 WO2011158507A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180003333.4A CN102472621B (zh) 2010-06-17 2011-06-16 图像处理装置及图像处理方法
EP11795415.6A EP2584310A4 (en) 2010-06-17 2011-06-16 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US13/390,536 US9134126B2 (en) 2010-06-17 2011-06-16 Image processing device, and image processing method
JP2011544709A JP5841844B2 (ja) 2010-06-17 2011-06-16 画像処理装置及び画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-138786 2010-06-17
JP2010138786 2010-06-17

Publications (1)

Publication Number Publication Date
WO2011158507A1 true WO2011158507A1 (ja) 2011-12-22

Family

ID=45347922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/003437 WO2011158507A1 (ja) 2010-06-17 2011-06-16 画像処理装置及び画像処理方法

Country Status (5)

Country Link
US (1) US9134126B2 (ja)
EP (1) EP2584310A4 (ja)
JP (1) JP5841844B2 (ja)
CN (1) CN102472621B (ja)
WO (1) WO2011158507A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2011158508A1 (ja) * 2010-06-17 2013-08-19 パナソニック株式会社 画像処理装置および画像処理方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013103410A1 (en) 2012-01-05 2013-07-11 California Institute Of Technology Imaging surround systems for touch-free display control
WO2014107434A1 (en) 2013-01-02 2014-07-10 California Institute Of Technology Single-sensor system for extracting depth information from image blur
JP6091228B2 (ja) * 2013-01-30 2017-03-08 キヤノン株式会社 画像処理装置、撮像装置
JP5851650B2 (ja) * 2013-03-04 2016-02-03 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体
WO2015053113A1 (ja) * 2013-10-08 2015-04-16 オリンパス株式会社 撮像装置及び電子機器
US10031328B2 (en) * 2015-07-24 2018-07-24 General Electric Company Systems and methods for image processing in optical microscopes
CN108141530B (zh) * 2015-09-29 2020-06-30 富士胶片株式会社 图像处理装置、图像处理方法及介质
KR102382871B1 (ko) 2017-07-18 2022-04-05 삼성전자주식회사 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법
CN109660791B (zh) * 2018-12-28 2020-05-15 中国科学院长春光学精密机械与物理研究所 一种在轨航天相机系统像散辨别方法
US20230160778A1 (en) * 2021-11-19 2023-05-25 Motional Ad Llc Systems and methods for measurement of optical vignetting

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06505096A (ja) * 1991-02-12 1994-06-09 オックスフォード・センサ・テクノロジイ・リミテッド 光センサ
JP2963990B1 (ja) 1998-05-25 1999-10-18 京都大学長 距離計測装置及び方法並びに画像復元装置及び方法
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
JP2009288042A (ja) * 2008-05-29 2009-12-10 Nikon Corp 距離測定装置
JP2010016743A (ja) * 2008-07-07 2010-01-21 Olympus Corp 測距装置、測距方法、測距プログラム又は撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1256831A1 (en) * 2001-05-11 2002-11-13 MVTec Software GmbH Method and system for calibrating an image range device
JP2003215442A (ja) 2002-01-25 2003-07-30 Canon Inc 多点測距装置
GB0301775D0 (en) 2003-01-25 2003-02-26 Wilson John E Device and method for 3Dimaging
JP5173665B2 (ja) * 2008-08-08 2013-04-03 キヤノン株式会社 画像撮影装置およびその距離演算方法と合焦画像取得方法
US8432479B2 (en) * 2010-04-30 2013-04-30 Apple Inc. Range measurement using a zoom camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06505096A (ja) * 1991-02-12 1994-06-09 オックスフォード・センサ・テクノロジイ・リミテッド 光センサ
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
JP2963990B1 (ja) 1998-05-25 1999-10-18 京都大学長 距離計測装置及び方法並びに画像復元装置及び方法
JP2009288042A (ja) * 2008-05-29 2009-12-10 Nikon Corp 距離測定装置
JP2010016743A (ja) * 2008-07-07 2010-01-21 Olympus Corp 測距装置、測距方法、測距プログラム又は撮像装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M. SUBBARAO; G. SURYA: "Depth from Defocus: a spatial domain approach", INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 13, no. 3, 1994, pages 271 - 294
See also references of EP2584310A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2011158508A1 (ja) * 2010-06-17 2013-08-19 パナソニック株式会社 画像処理装置および画像処理方法
JP5869883B2 (ja) * 2010-06-17 2016-02-24 パナソニック株式会社 画像処理装置

Also Published As

Publication number Publication date
CN102472621B (zh) 2015-08-05
JPWO2011158507A1 (ja) 2013-08-19
JP5841844B2 (ja) 2016-01-13
CN102472621A (zh) 2012-05-23
US20120140064A1 (en) 2012-06-07
US9134126B2 (en) 2015-09-15
EP2584310A1 (en) 2013-04-24
EP2584310A4 (en) 2014-07-09

Similar Documents

Publication Publication Date Title
JP5841844B2 (ja) 画像処理装置及び画像処理方法
JP5777592B2 (ja) ズームレンズ及びそれを有する撮像装置
JP6726183B2 (ja) 写真またはフィルムカメラ用の対物レンズ、およびそのような対物レンズの変調伝達関数の特定の空間周波数範囲の選択的減衰方法
JP5868275B2 (ja) ズームレンズ及びそれを有する撮像装置
KR20110033816A (ko) 단일-렌즈 확장피사계심도 촬상시스템
JP2007158825A (ja) 画像入力装置
US10462363B2 (en) Optical apparatus
US7676147B2 (en) Focus detection apparatus and optical apparatus
JP2014010286A5 (ja)
JP2019066701A (ja) ズームレンズおよびそれを有する撮像装置
US11800226B2 (en) Control apparatus, image pickup apparatus, lens apparatus, control method, and storage medium, that provide an image-stabilization driving amount for a predetermined image point position
JP6376809B2 (ja) 三次元形状計測システムに用いられる投影装置および撮像装置
TWI467262B (zh) 透鏡調芯裝置及攝像透鏡
JP4527203B2 (ja) 測距装置
US10225450B2 (en) Image capturing apparatus and image capturing unit
JP6628678B2 (ja) 距離測定装置、撮像装置、および距離測定方法
JP5264847B2 (ja) 測距装置、レンズシステムおよび撮像装置
JP2006094469A (ja) 撮像装置および撮像方法
JP2016066995A (ja) 像ズレ量算出装置、撮像装置、および像ズレ量算出方法
JP6604144B2 (ja) 結像レンズ系および撮像装置および検査装置
JP7035839B2 (ja) 結像レンズ系および撮像装置
US20230090825A1 (en) Optical element assembly, optical apparatus, estimation method, and non-transitory storage medium storing estimation program
US20240114244A1 (en) Control apparatus, image stabilization apparatus, optical apparatus, control method, and storage medium
US20220321786A1 (en) Control apparatus, image pickup apparatus, lens apparatus, camera system, control method, and memory medium
JP2009041968A (ja) 復元処理を前提としたレンズの評価方法および装置、評価用補正光学系

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180003333.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011544709

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11795415

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13390536

Country of ref document: US

Ref document number: 2011795415

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE