WO2016195135A1 - 자동 초점 조절 기능 및/또는 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템 - Google Patents

자동 초점 조절 기능 및/또는 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템 Download PDF

Info

Publication number
WO2016195135A1
WO2016195135A1 PCT/KR2015/005569 KR2015005569W WO2016195135A1 WO 2016195135 A1 WO2016195135 A1 WO 2016195135A1 KR 2015005569 W KR2015005569 W KR 2015005569W WO 2016195135 A1 WO2016195135 A1 WO 2016195135A1
Authority
WO
WIPO (PCT)
Prior art keywords
aperture
apertures
center position
remaining
image sensor
Prior art date
Application number
PCT/KR2015/005569
Other languages
English (en)
French (fr)
Inventor
문준호
김동석
경종민
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to US15/579,055 priority Critical patent/US10613417B2/en
Priority to KR1020177030279A priority patent/KR101930196B1/ko
Priority to PCT/KR2015/005569 priority patent/WO2016195135A1/ko
Publication of WO2016195135A1 publication Critical patent/WO2016195135A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • the present invention relates to a multi-aperture camera system having an autofocus function and / or a depth estimation function.
  • the present invention relates to a multi-aperture camera system having an autofocus function and / or a depth estimation function by including a plurality of apertures. to be.
  • the active method which is divided into using ultrasonic waves or using infrared rays, requires an ultrasonic or infrared generating device, which requires a relatively large amount of additional power, and there is a window between the camera and the subject, or There is a drawback of not being able to focus at very close or close distances.
  • Dual-Phase Matching is a method that extracts depth and adjusts auto focus by matching stereo images based on the triangulation principle in a rangefinder camera.
  • Contrast detection is an automatic focusing method currently used in most compact digital cameras. It continuously calculates the contrast of a part of the image while moving the lens and determines that the focus is reached when the contrast is maximized.
  • the phase difference detection method compares the light coming through the lens in pairs to determine whether the camera is in focus. To this end, a sensor for detecting phase difference must be additionally used or a sensor having a dual pixel structure must be used.
  • the dual phase matching method has a problem in that auto focusing is performed by using an image obtained from an additional structure called a rangefinder, not a photographed image of a camera, and a contrast detection method needs to calculate the contrast of an image while continuously moving a lens. Because of this, auto focusing takes a long time.
  • the phase difference detection method has a difficulty in mass production and quality control when the phase difference detection sensor is used separately, and it is difficult to apply to a micro camera such as a mobile phone camera.
  • the phase difference detection method using the dual pixel sensor has a problem of increasing the sensor cost. In particular, in the case of an ultra-compact camera, the image sensor pixel size is gradually getting smaller to implement the dual pixel sensor. There are technical difficulties.
  • Stereo camera technology one of the techniques for estimating the depth of a subject, installs two optical systems at a certain distance, acquires an image of a subject from a sensor of each of the two optical systems, and then calculates the disparity between the two images. It is a method of estimating depth by comparing. Since this method acquires an image with two different sensors, it requires synchronization between the two images, and requires a cost for precise alignment and image adjustment.
  • propagation time technique and structured ray technique among the techniques for estimating the depth of a subject are techniques for irradiating rays such as infrared rays and estimating depth by using a detector, which are difficult to use outdoors and consume a lot of power. There is a problem.
  • the present specification proposes a multi-aperture camera system having an auto focusing function and / or a depth estimating function to solve the disadvantages and problems of the conventional auto focusing technique and the depth estimation technique.
  • Embodiments of the present invention include a plurality of apertures having different center positions, thereby eliminating the disadvantages and problems of conventional autofocus techniques and depth estimation techniques. Provides a perch camera system.
  • a multi-aperture camera system having an auto focusing function.
  • An image sensor processing a light signal flowing through each of the plurality of apertures to generate a plurality of images;
  • an autofocus controller configured to determine a distance at which the image sensor moves based on the plurality of apertures using the plurality of images for autofocus adjustment, wherein at least one of the plurality of apertures is selected from among the plurality of apertures.
  • the aperture has a center position that is shifted from the center position of the apertures other than the at least one aperture among the plurality of apertures.
  • the plurality of apertures may be formed on one optical system.
  • the at least one aperture may be formed on the remaining aperture.
  • the remaining aperture may be formed by providing a filter for detecting a specific optical signal in an optical system in which the plurality of apertures are formed.
  • the at least one aperture may be formed by etching a specific region on the remaining aperture.
  • the at least one aperture and the remaining apertures may be formed to have any one of a circle, a triangle, a square, and a polygon.
  • the at least one aperture may introduce an optical signal having a different wavelength from the optical signal introduced by the remaining aperture.
  • the auto focus controller may include a difference between a center position of each of the plurality of images, a distance between a center position of the at least one aperture and a center position of the remaining apertures, an optical system in which the plurality of apertures are formed, and the The distance at which the image sensor moves based on the plurality of apertures may be determined based on a distance between the image sensors, a subject distance focused on the image sensor, and a focal length.
  • the auto focus controller may verify a distance that the image sensor moves based on the plurality of apertures by using a blur size difference in each of the plurality of images.
  • a multi-aperture camera system having a depth estimation function comprises a plurality of apertures; An image sensor processing a light signal flowing through each of the plurality of apertures to generate a plurality of images; And a depth estimator configured to estimate a depth from a subject to an optical system in which the plurality of apertures are formed, using the plurality of images, wherein at least one of the plurality of apertures is configured as the plurality of apertures.
  • it has a center position which is shift
  • the plurality of apertures may be formed on one optical system.
  • the at least one aperture may be formed on the remaining aperture.
  • the remaining aperture may be formed by providing a filter for detecting a specific optical signal in an optical system in which the plurality of apertures are formed.
  • the at least one aperture may be formed by etching a specific region on the remaining aperture.
  • the at least one aperture and the remaining apertures may be formed to have any one of a circle, a triangle, a square, and a polygon.
  • the at least one aperture may introduce an optical signal having a different wavelength from the optical signal introduced by the remaining aperture.
  • the depth estimator may include a difference between a center position of each of the plurality of images, a distance between a center position of the at least one aperture and a center position of the remaining aperture, a subject distance focused on the image sensor, and a focal length. The depth from the subject to the optical system in which the plurality of apertures are formed may be estimated.
  • the depth estimator may verify the depth from the subject to the optical system in which the plurality of apertures are formed using the blur size difference in each of the plurality of images.
  • Embodiments of the present invention include a plurality of apertures having different center positions on one optical system, thereby autofocusing function and / or depth estimation to solve the disadvantages and problems of conventional autofocus technique and depth estimation technique
  • a multi-aperture camera system having a function can be provided.
  • the embodiments of the present invention include a plurality of apertures having different center positions on one optical system, thereby making it low cost compared to a multi-aperture camera system having a conventional autofocus function and a depth estimation function.
  • Possible multi-aperture camera systems can be provided.
  • embodiments of the present invention include a plurality of apertures having different center positions on one optical system, so that not only a long focal length but also a short focal length, and an indoor and outdoor auto focus adjustment function and / or Alternatively, a multi-aperture camera system can be provided that can operate the depth estimation function.
  • embodiments of the present invention include a plurality of apertures having different center positions on one optical system, thereby providing a multi-aperture camera system for performing an auto focus adjustment process and / or a depth estimation process at high speed. Can be.
  • 1 is a view for explaining the principle of the auto-focus control function and the depth estimation function of the camera system according to an embodiment of the present invention.
  • FIG. 2 is a view for explaining an auto focusing function and a depth estimation function of a camera system according to an embodiment of the present invention.
  • FIG 3 is a view showing a plurality of apertures according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a plurality of apertures according to another exemplary embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method for adjusting auto focus of a camera system according to an embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating a camera system having an auto focus function according to an embodiment of the present invention.
  • FIG. 7 is a flow chart illustrating a depth estimation method of a camera system according to an embodiment of the present invention.
  • FIG. 8 is a block diagram illustrating a camera system having a depth estimation function according to an embodiment of the present invention.
  • 1 is a view for explaining the principle of the auto-focus control function and the depth estimation function of the camera system according to an embodiment of the present invention.
  • the image plane 110 on which an image of a subject is formed is disposed at position 1 that is a focal length (the image plane 110, the image is processed by processing an optical signal).
  • the image sensor for generating a) is positioned, the focus of the subject is well adjusted, the optical signal flowing through each of the plurality of apertures (120, 130) can be processed to produce a clear image.
  • the plurality of apertures 120 and 130 included in the camera system will be described as being the aperture 120 which introduces visible light and the aperture 130 which introduces infrared light, but is not limited thereto. It may be a variety of apertures that introduce optical signals of different wavelengths.
  • the image plane 110 when the image plane 110 is disposed at the position 2, since the focus of the subject is not accurately formed and blur occurs, the optical signal flowing through each of the plurality of apertures 120 and 130 is processed. An image with blur may be generated. At this time, the center position of the visible light image generated by the visible light aperture 120 and the center position of the infrared image generated by the infrared aperture 130 do not coincide with each other. The center of the infrared image shifts to the right with respect to the center of the visible light image. On the other hand, when the image plane 110 is disposed at position 3, a phenomenon in which the center of the infrared image is biased to the left based on the center of the visible light image.
  • the camera system according to the embodiment of the present invention includes a plurality of apertures 120 and 130 which are formed such that their respective center positions are shifted, thereby providing an autofocus function and a depth estimation function using the above-described principle. Can have Detailed description thereof will be described below.
  • FIG. 2 is a view for explaining an auto focusing function and a depth estimation function of a camera system according to an embodiment of the present invention.
  • the camera system includes a plurality of apertures 210 and 220 by using the above-described principle, and thus may have an auto focusing function and a depth estimation function. .
  • the center position of the visible light image generated by the visible light aperture 210 and the center position of the infrared image generated by the infrared aperture 220 among the plurality of apertures 210 and 220 in the camera system is calculated as shown in Equation 1 based on the above-described principle.
  • Equation 1 x represents a difference between the center position of the visible light aperture 210 and the center position of the infrared aperture 220, D represents the diameter of the visible light aperture 210, and f is the focal point.
  • the distance F # represents a brightness value of the lens in the camera system, a represents a subject distance, and a 0 represents a subject distance focused on the image sensor 230.
  • the value of the difference p between the center position of the visible light image and the center position of the infrared image is changed from positive to negative or from negative to positive, the direction of difference between the two images is changed. Therefore, according to the sign of the value of p, it may be distinguished whether the subject having the border blur is in the foreground or the background based on the focused position.
  • the depth a depth from the subject to the optical system 240 in which the plurality of apertures 210 and 220 are formed
  • Equation 1 depth from the subject to the optical system 240 in which the plurality of apertures 210 and 220 are formed
  • Equation 2 a 0 denotes a distance of a subject focused on the image sensor 230, f denotes a focal length, p denotes a difference between the center position of the visible light image and the center position of the infrared image, x Denotes the difference between the center position of the visible light aperture 210 and the center position of the infrared aperture 220.
  • the distance ⁇ b to which the image sensor 230 should move for auto focusing may be calculated as shown in Equation 3 below.
  • Equation 3 p represents the difference between the center position of the visible light image and the center position of the infrared image, and x is the difference between the center position of the visible light aperture 210 and the center position of the infrared aperture 220.
  • B 0 denotes a distance between the optical system 240 and the image sensor 230 on which the plurality of apertures 210 and 220 are formed, and a 0 denotes a subject distance focused on the image sensor 230.
  • F represents the focal length.
  • the camera system includes a plurality of apertures 210 and 220 formed so that their respective center positions are shifted, thereby estimating depth as shown in Equation 2, You can adjust the focus automatically as shown in Equation 3.
  • the plurality of apertures 210 and 220 may be formed on one optical system 240. Detailed description thereof will be described with reference to FIGS. 3 and 4.
  • the camera system may verify the estimated depth and the adjusted focus as shown in Equations 4 to 6 by using the blur size difference in the plurality of images generated by each of the plurality of apertures 210 and 220. It may be.
  • Equation 4 the blur d of the visible light image and the infrared image is expressed as in Equation 4.
  • Equation 4 f denotes a focal length, F # denotes a brightness value of a lens in a camera system, and a denotes a depth from a subject to an optical system 240 in which a plurality of apertures 210 and 220 are formed. , a 0 represents the object distance focused on the image sensor 230.
  • Equation 5 representing the depth from Equation 4 to the optical system 240 in which the plurality of apertures 210 and 220 are formed and a distance ⁇ b to which the image sensor 230 should move for auto focus adjustment Equation 6 representing Equation 6 may be calculated.
  • F # represents a brightness value of a lens in a camera system
  • a 0 represents a subject distance focused on the image sensor 230
  • f represents a focal length
  • d represents a visible light image and an infrared image.
  • Equation 6 d represents the magnitude of the blur of the visible image and the infrared image or the difference between the blur between the visible image and the infrared image, f represents the focal length, and F # represents the brightness value of the lens in the camera system.
  • b 0 represents a distance between the optical system 240 and the image sensor 230 in which the plurality of apertures 210 and 220 are formed, and a 0 represents a subject distance focused on the image sensor 230. Accordingly, the camera system may verify the distance that the image sensor 230 should move for the auto focus adjustment calculated from Equation 3 using Equation 6.
  • FIG 3 is a view showing a plurality of apertures according to an embodiment of the present invention.
  • At least one of the plurality of apertures 310 and 320 is at least one of the plurality of apertures 310 and 320. It has a center position that is shifted from the center position of the remaining aperture 320 except for the aperture 310.
  • the plurality of apertures 310 and 320 will be described as being composed of two apertures. However, the present disclosure is not limited thereto, and may include three or four apertures. Detailed description thereof will be described with reference to FIG. 4.
  • the plurality of apertures 310 and 320 may be formed on one optical system.
  • at least one aperture 310 of the plurality of apertures 310 and 320 may be formed on the remaining aperture 320.
  • the remaining aperture 320 is formed by a filter for detecting a specific optical signal in the optical system in which the plurality of apertures 310 and 320 are formed, and at least one aperture 310 is formed in the remaining aperture.
  • a specific region may be formed by etching the aperture 320.
  • the remaining aperture 320 is coated with a filter for blocking an optical signal of 650nm wavelength or more on the rear surface of the optical system formed of a glass plate, and a filter for blocking an optical signal of 810nm wavelength or more on the front surface of the optical system formed of a glass plate. It may be coated and formed.
  • the at least one aperture 310 may be formed by etching a specific region on the remaining aperture 320 to have a central position that is shifted from the center position of the remaining aperture 320.
  • the at least one aperture 310 may introduce an optical signal having a different wavelength from the optical signal introduced by the remaining aperture 320.
  • the optical signal flowing through the remaining aperture 320 may be an optical signal having a visible wavelength
  • the optical signal flowing through the at least one aperture 310 may be an optical signal having an visible wavelength and an infrared ray. It may be an optical signal of a wavelength.
  • each of the plurality of apertures 310 and 320 may be formed in various shapes to have any one of a circle, a triangle, a square, and a polygon.
  • the optical system in which the plurality of apertures 310 and 320 are formed may be adaptively located above or below the lens included in the camera system.
  • 4A to 4C illustrate a plurality of apertures according to another exemplary embodiment of the present invention.
  • a plurality of apertures included in a camera system may vary in the number or shape of the included apertures.
  • the plurality of apertures included in the camera system may be configured of a first aperture for introducing an RG signal formed on one optical system and a second aperture for introducing a B signal, as in the case of 410.
  • the plurality of apertures may be composed of a first aperture for introducing the RGB signal and a second aperture for introducing the IR signal.
  • the plurality of apertures are not limited or limited to the cases shown in the drawings, and may be configured with various numbers of apertures in various forms.
  • FIG. 5 is a flowchart illustrating a method for adjusting auto focus of a camera system according to an embodiment of the present invention.
  • the camera system generates a plurality of images by processing an optical signal flowing through each of the plurality of apertures.
  • At least one aperture of the plurality of apertures has a center position that is shifted from the center position of the remaining apertures except at least one aperture of the plurality of apertures.
  • the at least one aperture may introduce an optical signal having a different wavelength from the optical signal introduced by the remaining aperture.
  • the plurality of apertures may be formed on one optical system.
  • the aperture of at least one of the plurality of apertures may be formed on the remaining apertures except at least one of the plurality of apertures.
  • the remaining aperture may be formed by a filter for detecting a specific optical signal in an optical system in which a plurality of apertures are formed, and at least one aperture may be formed by etching a specific region on the remaining aperture. have.
  • each of the plurality of apertures may be formed to have any one of a circle, a triangle, a square, and a polygon.
  • the camera system may process the plurality of images to calculate parameters for auto focusing.
  • a camera system is a parameter for auto focusing, the difference in the center position of each of a plurality of images, the distance between the center position of at least one aperture and the center position of the remaining apertures, the plurality of apertures Distance between the optical system and the image sensor, the object distance focused on the image sensor, and the focal length can be calculated.
  • the camera system uses the plurality of images to determine the distance that the image sensor moves relative to the plurality of apertures for auto focus adjustment (520).
  • the camera system may be configured such that a difference in the center position of each of the plurality of images obtained from the plurality of images, the distance between the center position of at least one aperture and the center position of the remaining apertures, and the plurality of apertures
  • the distance at which the image sensor moves based on the plurality of apertures may be determined based on a distance between the formed optical system and the image sensor, a subject distance focused on the image sensor, and a focal length.
  • the camera system may verify the distance that the image sensor moves based on the plurality of apertures using the blur size difference in each of the plurality of images.
  • the camera system may adjust the focus by moving the image sensor or moving the barrel in which the optical system in which the plurality of apertures are formed to move the image sensor relatively is based on the distance determined in step 520.
  • FIG. 6 is a block diagram illustrating a camera system having an auto focus function according to an embodiment of the present invention.
  • a camera system includes a plurality of apertures 610, an image sensor 620, and an auto focus controller 630.
  • At least one aperture of the plurality of apertures 610 has a center position that is shifted from the center position of the remaining apertures except at least one aperture of the plurality of apertures 610.
  • the at least one aperture may introduce an optical signal having a different wavelength from the optical signal introduced by the remaining aperture.
  • the plurality of apertures 610 may be formed on one optical system.
  • the aperture of at least one of the plurality of apertures 610 may be formed on the remaining apertures except for the at least one aperture of the plurality of apertures 610.
  • the remaining aperture is formed by a filter for detecting a specific light signal in an optical system in which the plurality of apertures 610 are formed, and at least one aperture is etched by a specific region on the remaining aperture. Can be formed.
  • each of the plurality of apertures 610 may be formed to have any one of a circle, a triangle, a square, and a polygon.
  • the image sensor 620 processes a light signal flowing through each of the plurality of apertures 610 to generate a plurality of images.
  • the image sensor 620 may process a plurality of images to calculate parameters for auto focus adjustment.
  • the image sensor 620 is a parameter for auto focusing, and the difference in the center position of each of the plurality of images, the distance between the center position of at least one aperture and the center position of the remaining apertures, and the plurality of images.
  • the distance between the optical system in which the apertures 610 are formed and the image sensor 620, a subject distance focused on the image sensor 620, and a focal length may be calculated.
  • the auto focus controller 630 determines a distance that the image sensor 620 moves with respect to the plurality of apertures 610 by using a plurality of images for auto focus adjustment.
  • the auto focus controller 630 may include a difference in the center position of each of the plurality of images obtained from the plurality of images, a distance between the center position of at least one aperture and the center position of the remaining apertures,
  • the image sensor 620 stores the plurality of apertures based on a distance between the optical system in which the plurality of apertures 610 are formed and the image sensor 620, a subject distance focused on the image sensor 620, and a focal length.
  • the moving distance may be determined based on 610.
  • the auto focus controller 630 verifies the distance that the image sensor 620 moves with respect to the plurality of apertures 610 using the blur size difference in each of the plurality of images. You may.
  • the auto focus controller 630 may move the image sensor 620 based on the distance determined as described above, or the plurality of apertures 610 may be formed to move the image sensor 620 relatively.
  • the focus can be adjusted by moving the barrel in which the optical system is fixed.
  • FIG. 7 is a flow chart illustrating a depth estimation method of a camera system according to an embodiment of the present invention.
  • a camera system generates a plurality of images by processing an optical signal flowing through each of a plurality of apertures.
  • At least one aperture of the plurality of apertures has a center position that is shifted from the center position of the remaining apertures except at least one aperture of the plurality of apertures.
  • the at least one aperture may introduce an optical signal having a different wavelength from the optical signal introduced by the remaining aperture.
  • the plurality of apertures may be formed on one optical system.
  • the aperture of at least one of the plurality of apertures may be formed on the remaining apertures except at least one of the plurality of apertures.
  • the remaining aperture may be formed by a filter for detecting a specific optical signal in an optical system in which a plurality of apertures are formed, and at least one aperture may be formed by etching a specific region on the remaining aperture. have.
  • each of the plurality of apertures may be formed to have any one of a circle, a triangle, a square, and a polygon.
  • the camera system may process the plurality of images to calculate parameters for depth estimation.
  • a camera system is a parameter for depth estimation, in which the difference in the center position of each of the plurality of images, the distance between the center position of at least one aperture and the center position of the remaining aperture, the focus of the image sensor You can calculate the subject distance and focal length.
  • the camera system estimates the depth from the subject to the optical system in which the plurality of apertures are formed using the plurality of images (720).
  • the camera system is focused on an image sensor obtained from a plurality of images, the difference in the center position of each of the plurality of images, the distance between the center position of at least one aperture and the center position of the remaining aperture, and the image sensor.
  • the depth from the subject to the optical system in which the plurality of apertures are formed may be estimated based on the correct subject distance and the focal length.
  • the camera system may verify the depth from the subject to the optical system in which the plurality of apertures are formed using the blur size difference in each of the plurality of images.
  • FIG. 8 is a block diagram illustrating a camera system having a depth estimation function according to an embodiment of the present invention.
  • a camera system includes a plurality of apertures 810, an image sensor 820, and a depth estimator 830.
  • At least one aperture of the plurality of apertures 810 has a center position that is shifted from the center position of the remaining apertures except at least one aperture of the plurality of apertures 810.
  • the at least one aperture may introduce an optical signal having a different wavelength from the optical signal introduced by the remaining aperture.
  • the plurality of apertures 810 may be formed on one optical system.
  • at least one aperture of the plurality of apertures 810 may be formed on the remaining apertures except at least one aperture of the plurality of apertures 810.
  • the remaining aperture is formed by a filter for detecting a specific optical signal in an optical system in which the plurality of apertures 810 are formed, and at least one aperture is etched by a specific region on the remaining aperture. Can be formed.
  • each of the plurality of apertures 810 may be formed to have any one of a circle, a triangle, a square, and a polygon.
  • the image sensor 820 processes a light signal flowing through each of the plurality of apertures 810 to generate a plurality of images.
  • the image sensor 820 may process the plurality of images to calculate parameters for depth estimation.
  • the image sensor 820 is a parameter for depth estimation, and the difference in the center position of each of the plurality of images, the distance between the center position of at least one aperture and the center position of the remaining aperture, the image sensor In operation 820, a subject distance and a focal length that are in focus may be calculated.
  • the depth estimator 830 estimates the depth from the subject to the optical system in which the plurality of apertures 810 are formed using the plurality of images.
  • the depth estimator 830 may obtain a difference between a center position of each of the plurality of images, a distance between the center position of at least one aperture and the center position of the remaining aperture, and the image obtained from the plurality of images.
  • the depth from the subject to the optical system in which the plurality of apertures 810 are formed may be estimated based on the subject distance focused on the sensor 820 and the focal length.
  • the depth estimator 830 may verify the depth from the subject to the optical system in which the plurality of apertures 810 are formed using the blur size difference in each of the plurality of images. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

자동 초점 조절 기능을 갖는 멀티 애퍼쳐 카메라 시스템은 복수의 애퍼처들; 상기 복수의 애퍼처들 각각을 통하여 유입되는 광 신호를 처리하여 복수의 이미지들을 생성하는 이미지 센서; 및 자동 초점 조절을 위해서, 상기 복수의 이미지들을 이용하여 상기 이미지 센서가 상기 복수의 애퍼처들을 기준으로 움직이는 거리를 결정하는 자동 초점 조절부를 포함하고, 상기 복수의 애퍼처들 중 적어도 어느 하나의 애퍼처는 상기 복수의 애퍼처들 중 상기 적어도 어느 하나의 애퍼처를 제외한 나머지 애퍼처의 중심 위치와 어긋나는 중심 위치를 갖는다.

Description

자동 초점 조절 기능 및/또는 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템
본 발명은 자동 초점 기능 및/또는 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템에 관한 것으로, 복수의 애퍼처들을 포함함으로써, 자동 초점 기능 및/또는 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템에 대한 기술이다.
자동 초점 조절 기능이 포함된 카메라 양산 모델로서는 1977년 코니카에서 처음 출시된 이후 기계적 및 비기계적 방식을 응용한 다양한 자동 초점 조절 기술들이 개발되어 왔다. 또한 스테레오 카메라 기술, 전파 시간(time of flight) 기술, 구조 광선(structured light) 기술 등을 이용한 피사체에 대한 깊이 추정을 위한 여러 기술들이 개발되어 왔다.
종래의 자동 초점 조절 기술은 크게 능동 방식과 수동 방식으로 분류될 수 있다. 초음파를 사용하는 경우 또는 적외선을 사용하는 경우로 나뉘는 능동 방식은 초음파 또는 적외선 발생 장치가 필요하기 때문에, 상대적으로 많은 양의 추가 전력이 소요되는 문제가 있고, 카메라와 피사체 사이에 창문이 있는 경우 또는 매우 먼 거리에 있거나 근접한 경우에 초점을 맞추지 못하는 단점이 있다.
수동 방식은 이중상 합치 방식, 대비 검출 방식 또는 위상차 검출 방식 등이 있다. 이중상 합치 방식은 레인지파인더 카메라에서 삼각 측량 원리를 기반으로 스테레오 영상을 합치시키는 방법을 통하여 깊이 추출을 하고 자동 초점 조절을 하는 방식이다. 대비 검출 방식은 현재 대부분의 컴팩트 디지털 카메라에서 사용되는 자동 초점 조절 방식으로서 렌즈를 움직이면서 영상 일부분의 대비를 계속적으로 계산하고 대비값이 최대가 되었을 경우를 초점이 맞은 것으로 판단하는 방식이다. 위상차 검출 방식은 렌즈를 통해 들어오는 빛을 한 쌍으로 나누어 비교하여 초점이 맞았는지 여부를 판단한다. 이를 위해서는 위상차 검출을 위한 센서가 추가로 사용되거나 이중 픽셀(dual pixel) 구조의 센서가 사용되어야 한다.
그러나, 이중상 합치 방식은 카메라의 촬영 영상이 아닌 레인지파인더라는 추가 구조물에서 획득한 영상을 이용하여 자동 초점 조절을 해야 하는 문제점이 있으며, 대비 검출 방식은 렌즈를 계속적으로 움직이면서 영상의 대비를 계산해야 하기 때문에 자동 초점 조절 시간이 오래 걸리는 단점이 있다. 위상차 검출 방식은 위상차 검출 센서를 따로 사용할 경우, 매우 정밀한 정렬이 필요하므로 양산과 품질 관리에서의 난점이 있으며, 휴대전화 카메라와 같은 초소형 카메라에 적용하기 어렵다. 또한, 이중 픽셀 센서를 사용하여 위상차 검출을 하는 방식은 센서 비용이 증가하는 문제가 발생하며, 특히, 초소형 카메라의 경우, 영상 센서 픽셀의 크기가 점점 작아지고 있는 추세에서 이중 픽셀 센서를 구현하는데 있어 기술적 난제를 지니고 있다.
피사체에 대한 깊이 추정을 위한 기술 중 하나인 스테레오 카메라 기술은, 일정한 거리를 두고 두 개의 광학계들을 설치하여 두 개의 광학계들 각각의 센서로부터 피사체의 영상을 획득한 후, 두 영상들의 차이(disparity)를 비교하여 깊이를 추정하는 방식이다. 이 방식은 서로 다른 두 개의 센서들로 각각 영상을 획득하기 때문에, 두 영상들 사이의 동기화 과정이 필요하며 이를 위한 정밀한 정렬과 영상 조정을 위한 비용이 필요하다.
또한, 피사체에 대한 깊이 추정을 위한 기술 중 전파 시간 기술 및 구조 광선 기술은 적외선 등의 광선을 조사하고 탐지장치(detector)를 사용하여 깊이를 추정하는 기술로서, 실외에서 사용하기 어렵고 전력 소모가 큰 문제점이 있다.
이에, 본 명세서에서는 종래의 자동 초점 조절 기술 및 깊이 추정 기술의 단점과 문제점을 해결하는 자동 초점 조절 기능 및/또는 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템을 제안한다.
본 발명의 실시예들은 서로 다른 중심 위치를 갖는 복수의 애퍼처들을 포함함으로써, 종래의 자동 초점 기술 및 깊이 추정 기술의 단점과 문제점을 해결하는 자동 초점 조절 기능 및/또는 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템을 제공한다.
본 발명의 일실시예에 따른 자동 초점 조절 기능을 갖는 멀티 애퍼쳐 카메라 시스템은 복수의 애퍼처들; 상기 복수의 애퍼처들 각각을 통하여 유입되는 광 신호를 처리하여 복수의 이미지들을 생성하는 이미지 센서; 및 자동 초점 조절을 위해서, 상기 복수의 이미지들을 이용하여 상기 이미지 센서가 상기 복수의 애퍼처들을 기준으로 움직이는 거리를 결정하는 자동 초점 조절부를 포함하고, 상기 복수의 애퍼처들 중 적어도 어느 하나의 애퍼처는 상기 복수의 애퍼처들 중 상기 적어도 어느 하나의 애퍼처를 제외한 나머지 애퍼처의 중심 위치와 어긋나는 중심 위치를 갖는다.
상기 복수의 애퍼처들은 하나의 광학계 상에 형성될 수 있다.
상기 적어도 어느 하나의 애퍼처는 상기 나머지 애퍼처 상에 형성될 수 있다.
상기 나머지 애퍼처는 상기 복수의 애퍼처들이 형성되는 광학계에 특정 광 신호를 검출하는 필터가 구비되어 형성될 수 있다.
상기 적어도 어느 하나의 애퍼처는 상기 나머지 애퍼처 상에 특정 영역이 에칭되어 형성될 수 있다.
상기 적어도 어느 하나의 애퍼처 및 상기 나머지 애퍼처는 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
상기 적어도 어느 하나의 애퍼처는 상기 나머지 애퍼처가 유입시키는 광 신호와 구별되는 다른 파장의 광 신호를 유입시킬 수 있다.
상기 자동 초점 조절부는 상기 복수의 이미지들 각각의 중심 위치의 차이, 상기 적어도 어느 하나의 애퍼처의 중심 위치와 상기 나머지 애퍼처의 중심 위치 사이의 거리, 상기 복수의 애퍼처들이 형성되는 광학계와 상기 이미지 센서 사이의 거리, 상기 이미지 센서에 초점이 맞은 피사체 거리 및 초점 거리에 기초하여 상기 이미지 센서가 상기 복수의 애퍼처들을 기준으로 움직이는 거리를 결정할 수 있다.
상기 자동 초점 조절부는 상기 복수의 이미지들 각각에서의 블러 크기 차이를 이용하여 상기 이미지 센서가 상기 복수의 애퍼처들을 기준으로 움직이는 거리를 검증할 수 있다.
본 발명의 일실시예에 따른 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템은 복수의 애퍼처들; 상기 복수의 애퍼처들 각각을 통하여 유입되는 광 신호를 처리하여 복수의 이미지들을 생성하는 이미지 센서; 및 상기 복수의 이미지들을 이용하여 피사체로부터 상기 복수의 애퍼처들이 형성되는 광학계까지의 깊이를 추정하는 깊이 추정부를 포함하고, 상기 복수의 애퍼처들 중 적어도 어느 하나의 애퍼처는 상기 복수의 애퍼처들 중 상기 적어도 어느 하나의 애퍼처를 제외한 나머지 애퍼처의 중심 위치와 어긋나는 중심 위치를 갖는다.
상기 복수의 애퍼처들은 하나의 광학계 상에 형성될 수 있다.
상기 적어도 어느 하나의 애퍼처는 상기 나머지 애퍼처 상에 형성될 수 있다.
상기 나머지 애퍼처는 상기 복수의 애퍼처들이 형성되는 광학계에 특정 광 신호를 검출하는 필터가 구비되어 형성될 수 있다.
상기 적어도 어느 하나의 애퍼처는 상기 나머지 애퍼처 상에 특정 영역이 에칭되어 형성될 수 있다.
상기 적어도 어느 하나의 애퍼처 및 상기 나머지 애퍼처는 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
상기 적어도 어느 하나의 애퍼처는 상기 나머지 애퍼처가 유입시키는 광 신호와 구별되는 다른 파장의 광 신호를 유입시킬 수 있다.
상기 깊이 추정부는 상기 복수의 이미지들 각각의 중심 위치의 차이, 상기 적어도 어느 하나의 애퍼처의 중심 위치와 상기 나머지 애퍼처의 중심 위치 사이의 거리, 상기 이미지 센서에 초점이 맞은 피사체 거리 및 초점 거리에 기초하여 상기 피사체로부터 상기 복수의 애퍼처들이 형성되는 광학계까지의 깊이를 추정할 수 있다.
상기 깊이 추정부는 상기 복수의 이미지들 각각에서의 블러 크기 차이를 이용하여 상기 피사체로부터 상기 복수의 애퍼처들이 형성되는 광학계까지의 깊이를 검증할 수 있다.
본 발명의 실시예들은 하나의 광학계 상에 서로 다른 중심 위치를 갖는 복수의 애퍼처들을 포함함으로써, 종래의 자동 초점 기술 및 깊이 추정 기술의 단점과 문제점을 해결하는 자동 초점 조절 기능 및/또는 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템을 제공할 수 있다.
구체적으로, 본 발명의 실시예들은 하나의 광학계 상에 서로 다른 중심 위치를 갖는 복수의 애퍼처들을 포함함으로써, 종래의 자동 초점 기능 및 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템에 비해 저 비용으로 제작 가능한 멀티 애퍼쳐 카메라 시스템을 제공할 수 있다.
또한, 본 발명의 실시예들은 하나의 광학계 상에 서로 다른 중심 위치를 갖는 복수의 애퍼처들을 포함함으로써, 초점거리가 긴 경우뿐만 아니라 초점거리가 짧은 경우, 또한 실내외 어디에서나 자동 초점 조절 기능 및/또는 깊이 추정 기능을 작동시킬 수 있는 멀티 애퍼쳐 카메라 시스템을 제공할 수 있다.
또한, 본 발명의 실시예들은 하나의 광학계 상에 서로 다른 중심 위치를 갖는 복수의 애퍼처들을 포함함으로써, 자동 초점 조절 과정 및/또는 깊이 추정 과정을 고속으로 수행하는 멀티 애퍼쳐 카메라 시스템을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 카메라 시스템의 자동 초점 조절 기능 및 깊이 추정 기능의 원리를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 카메라 시스템의 자동 초점 조절 기능 및 깊이 추정 기능을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 복수의 애퍼처들을 나타낸 도면이다.
도 4는 본 발명의 다른 일실시예에 따른 복수의 애퍼처들을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 카메라 시스템의 자동 초점 조절 방법을 나타낸 플로우 차트이다.
도 6은 본 발명의 일실시예에 따른 자동 초점 조절 기능을 갖는 카메라 시스템을 나타낸 블록도이다.
도 7은 본 발명의 일실시예에 따른 카메라 시스템의 깊이 추정 방법을 나타낸 플로우 차트이다.
도 8은 본 발명의 일실시예에 따른 깊이 추정 기능을 갖는 카메라 시스템을 나타낸 블록도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일실시예에 따른 카메라 시스템의 자동 초점 조절 기능 및 깊이 추정 기능의 원리를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 카메라 시스템에서 피사체의 이미지가 맺히는 이미지면(110)이 초점 거리인 위치 1에 배치된 경우(이미지면(110)에는 광 신호를 처리하여 이미지를 생성하는 이미지 센서가 위치함), 피사체의 초점이 잘 맞게 되어 복수의 애퍼처들(120, 130) 각각을 통하여 유입되는 광 신호가 처리되어 선명한 이미지가 생성될 수 있다. 이하, 카메라 시스템에 포함되는 복수의 애퍼처들(120, 130)이 가시광선을 유입시키는 애퍼처(120) 및 적외선을 유입시키는 애퍼처(130)인 경우로 설명하나, 이에 제한되거나 한정되지 않고, 각기 다른 파장의 광 신호를 유입시키는 다양한 애퍼처들일 수 있다.
그러나, 이미지면(110)이 위치 2에 배치된 경우, 피사체의 초점이 정확이 맺히지 않게 되어 블러가 발생되기 때문에, 복수의 애퍼처들(120, 130) 각각을 통하여 유입되는 광 신호가 처리되어 블러가 존재하는 이미지가 생성될 수 있다. 이 때, 피사체에 대한 복수의 이미지들 중 가시광선 애퍼처(120)에 의해 생성되는 가시광선 이미지의 중심 위치와 적외선 애퍼처(130)에 의해 생성되는 적외선 이미지의 중심 위치가 일치하지 않게 되는데, 적외선 이미지의 중심이 가시광선 이미지의 중심을 기준으로 오른쪽으로 치우치는 현상이 발생한다. 반면에, 이미지면(110)이 위치 3에 배치된 경우, 반대로 적외선 이미지의 중심이 가시광선 이미지의 중심을 기준으로 왼쪽으로 치우치는 현상이 발생된다.
본 발명의 일실시예에 따른 카메라 시스템은 이와 같이 각각의 중심 위치가 어긋나도록 형성되는 복수의 애퍼처들(120, 130)을 포함함으로써, 상술한 원리를 이용하여 자동 초점 기능 및 깊이 추정 기능을 가질 수 있다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
도 2는 본 발명의 일실시예에 따른 카메라 시스템의 자동 초점 조절 기능 및 깊이 추정 기능을 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 카메라 시스템은 위에서 상술한 원리를 이용하여 복수의 애퍼처들(210, 220)을 포함함으로써, 자동 초점 조절 기능 및 깊이 추정 기능을 가질 수 있다.
구체적으로, 카메라 시스템에서 복수의 애퍼처들(210, 220) 중 가시광선 애퍼처(210)에 의해 생성되는 가시광선 이미지의 중심 위치와 적외선 애퍼처(220)에 의해 생성되는 적외선 이미지의 중심 위치 사이의 차이(disparity) p는 위에서 상술한 원리에 기초하여 수학식 1과 같이 계산된다.
[수학식 1]
p= (x/D)*(f2/(F#(a0-f))*(a0/a-1)
수학식 1에서, x는 가시광선 애퍼처(210)의 중심 위치와 적외선 애퍼처(220)의 중심 위치 사이의 차이를 나타내고, D는 가시광선 애퍼처(210)의 직경을 나타내며, f는 초점 거리를 나타내고, F#은 카메라 시스템에서 렌즈의 밝기값을 나타내며, a는 피사체 거리를 나타내고, a0는 이미지 센서(230)에 초점이 맞은 피사체 거리를 나타낸다.
이 때, 가시광선 이미지의 중심 위치와 적외선 이미지의 중심 위치 사이의 차이 p의 값이 양수에서 음수로 바뀌거나, 음수에서 양수로 바뀌는 경우, 두 영상들 사이의 차이 방향이 바뀐 것이다. 따라서, p의 값의 부호에 따라, 경계선 블러가 있는 피사체가 초점 맞은 위치를 기준으로 전경(foreground)에 있는지 또는 배경(background)에 있는지가 구분될 수 있다.
또한, 수학식 1로부터 피사체에 대한 깊이 a(피사체로부터 복수의 애퍼처들(210, 220)이 형성되는 광학계(240)까지의 깊이)가 수학식 2와 같이 계산될 수 있다.
[수학식 2]
a= a0/(1+((a0-f)/f)*p/x)
수학식 2에서, a0는 이미지 센서(230)에 초점이 맞은 피사체 거리를 나타내고, f는 초점 거리를 나타내며, p는 가시광선 이미지의 중심 위치와 적외선 이미지의 중심 위치 사이의 차이를 나타내고, x는 가시광선 애퍼처(210)의 중심 위치와 적외선 애퍼처(220)의 중심 위치 사이의 차이를 나타낸다.
또한, 자동 초점 조절을 위하여 이미지 센서(230)가 움직여야 하는 거리 △b가 수학식 3과 같이 계산될 수 있다.
[수학식 3]
△b= b0/((x/p)-1)=(1/((x/p)-1))*((a0f)/(a0-f))
수학식 3에서, p는 가시광선 이미지의 중심 위치와 적외선 이미지의 중심 위치 사이의 차이를 나타내고, x는 가시광선 애퍼처(210)의 중심 위치와 적외선 애퍼처(220)의 중심 위치 사이의 차이를 나타내며, b0는 복수의 애퍼처들(210, 220)이 형성되는 광학계(240)와 이미지 센서(230) 사이의 거리를 나타내고, a0는 이미지 센서(230)에 초점이 맞은 피사체 거리를 나타내며, f는 초점 거리를 나타낸다.
이와 같이, 본 발명의 일실시예에 따른 카메라 시스템은 각각의 중심 위치가 어긋나도록 형성되는 복수의 애퍼처들(210, 220)을 포함함으로써, 수학식 2와 같이 깊이를 추정할 수 있고, 수학식 3과 같이 자동으로 초점을 조절할 수 있다.
이 때, 복수의 애퍼처들(210, 220)은 하나의 광학계(240) 상에 형성될 수 있다. 이에 대한 상세한 설명은 도 3 및 도 4를 참조하여 기재하기로 한다.
또한, 카메라 시스템은 복수의 애퍼처들(210, 220) 각각에 의해 생성되는 복수의 이미지들에서의 블러 크기 차이를 이용하여, 추정된 깊이 및 조절된 초점을 수학식 4 내지 6과 같이 검증할 수도 있다.
우선, 가시광선 이미지 및 적외선 이미지의 블러 d는 수학식 4와 같이 표현된다.
[수학식 4]
d= f2/(F#(a0-f))*|(a0/a)-1|
수학식 4에서, f는 초점 거리를 나타내고, F#은 카메라 시스템에서 렌즈의 밝기값을 나타내며, a는 피사체로부터 복수의 애퍼처들(210, 220)이 형성되는 광학계(240)까지의 깊이를 나타내며, a0는 이미지 센서(230)에 초점이 맞은 피사체 거리를 나타낸다.
따라서, 수학식 4로부터 피사체로부터 복수의 애퍼처들(210, 220)이 형성되는 광학계(240)까지의 깊이를 나타내는 수학식 5 및 자동 초점 조절을 위하여 이미지 센서(230)가 움직여야 하는 거리 △b를 나타내는 수학식 6을 계산할 수 있다.
[수학식 5]
a= a0/(1+(F#(a0-f)/f2)*d) (a<a0 )
a= a0/(1-(F#(a0-f)/f2)*d) (a<a0 )
수학식 5에서, F#은 카메라 시스템에서 렌즈의 밝기값을 나타내고, a0는 이미지 센서(230)에 초점이 맞은 피사체 거리를 나타내며, f는 초점 거리를 나타내고, d는 가시광선 이미지 및 적외선 이미지의 블러의 크기 또는 가시광선 이미지 및 적외선 이미지 사이의 블러의 차이를 나타낸다. 따라서, 카메라 시스템은 수학식 2로부터 추정된 깊이를 수학식 5를 이용하여 검증할 수 있다.
[수학식 6]
△b= b0/|f/(dF#)-1| =1/|f/(dF#)-1|*(a0f)/(a0-f)
수학식 6에서, d는 가시광선 이미지 및 적외선 이미지의 블러의 크기 또는 가시광선 이미지 및 적외선 이미지 사이의 블러의 차이를 나타내고, f는 초점 거리를 나타내며, F#는 카메라 시스템에서 렌즈의 밝기값을 나타내고, b0는 복수의 애퍼처들(210, 220)이 형성되는 광학계(240)와 이미지 센서(230) 사이의 거리를 나타내며, a0는 이미지 센서(230)에 초점이 맞은 피사체 거리를 나타낸다. 따라서, 카메라 시스템은 수학식 3으로부터 계산된 자동 초점 조절을 위하여 이미지 센서(230)가 움직여야 하는 거리를 수학식 6을 이용하여 검증할 수 있다.
도 3은 본 발명의 일실시예에 따른 복수의 애퍼처들을 나타낸 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 복수의 애퍼처들(310, 320) 중 적어도 어느 하나의 애퍼처(310)는 복수의 애퍼처들(310, 320) 중 적어도 어느 하나의 애퍼처(310)를 제외한 나머지 애퍼처(320)의 중심 위치와 어긋나는 중심 위치를 갖는다. 이하, 복수의 애퍼처들(310, 320)이 두 개의 애퍼처들로 구성되는 경우로 설명하지만, 이에 제한되거나 한정되지 않고, 세 개 또는 네 개 등의 애퍼처들로 구성될 수도 있다. 이에 대한 상세한 설명은 도 4를 참조하여 기재하기로 한다.
또한, 복수의 애퍼처들(310, 320)은 하나의 광학계 상에 형성될 수 있다. 특히, 복수의 애퍼처들(310, 320) 중 적어도 어느 하나의 애퍼처(310)는 나머지 애퍼처(320) 상에 형성될 수 있다.
이러한 경우, 나머지 애퍼처(320)는 복수의 애퍼처들(310, 320)이 형성되는 광학계에 특정 광 신호를 검출하는 필터가 구비되어 형성되고, 적어도 어느 하나의 애퍼처(310)는 나머지 애퍼처(320) 상에 특정 영역이 에칭되어 형성될 수 있다. 예를 들어, 나머지 애퍼처(320)는 유리판으로 형성되는 광학계의 후면에 650nm 파장 이상의 광 신호를 차단하는 필터가 코팅되고, 유리판으로 형성되는 광학계의 전면에 810nm 파장 이상의 광 신호를 차단하는 필터가 코팅되어 형성될 수 있다. 또한, 적어도 어느 하나의 애퍼처(310)는 나머지 애퍼처(320)의 중심 위치와 어긋나는 중심 위치를 갖도록 나머지 애퍼처(320) 상의 특정 영역이 에칭되어 형성될 수 있다.
따라서, 적어도 어느 하나의 애퍼처(310)는 나머지 애퍼처(320)가 유입시키는 광 신호와 구별되는 다른 파장의 광 신호를 유입시킬 수 있다. 예를 들어, 나머지 애퍼처(320)를 통하여 유입되는 광 신호는 가시광선 파장의 광 신호일 수 있고, 적어도 어느 하나의 애퍼처(310)를 통하여 유입되는 광 신호는 가시광선 파장의 광 신호 및 적외선 파장의 광 신호일 수 있다.
이 때, 복수의 애퍼처들(310, 320) 각각은 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 다양한 형태로 형성될 수 있다.
또한, 복수의 애퍼처들(310, 320)이 형성되는 광학계는 카메라 시스템에 포함되는 렌즈의 상부 또는 하부에 적응적으로 위치할 수 있다.
도 4a 내지 4c는 본 발명의 다른 일실시예에 따른 복수의 애퍼처들을 나타낸 도면이다.
도 4a 내지 4c를 참조하면, 본 발명의 일실시예에 따른 일실시예에 따른 카메라 시스템에 포함되는 복수의 애퍼처들은 포함되는 애퍼처의 개수 또는 형태가 다양할 수 있다.
예를 들어, 카메라 시스템에 포함되는 복수의 애퍼처들은 410의 경우와 같이, 하나의 광학계 상에 형성되는 RG 신호를 유입시키는 제1 애퍼처 및 B 신호를 유입시키는 제2 애퍼처로 구성될 수 있다. 또한, 복수의 애퍼처들은 420의 경우와 같이, RGB 신호를 유입시키는 제1 애퍼처 및 IR 신호를 유입시키는 제2 애퍼처로 구성될 수 있다.
복수의 애퍼처들은 도면에 도시된 경우로 제한되거나 한정되지 않고, 다양한 형태의 다양한 개수의 애퍼처로 구성될 수 있다.
도 5는 본 발명의 일실시예에 따른 카메라 시스템의 자동 초점 조절 방법을 나타낸 플로우 차트이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 카메라 시스템은 복수의 애퍼처들 각각을 통하여 유입되는 광 신호를 처리하여 복수의 이미지들을 생성한다(510).
여기서, 복수의 애퍼처들 중 적어도 어느 하나의 애퍼처는 복수의 애퍼처들 중 적어도 어느 하나의 애퍼처를 제외한 나머지 애퍼처의 중심 위치와 어긋나는 중심 위치를 갖는다. 이 때, 적어도 어느 하나의 애퍼처는 나머지 애퍼처가 유입시키는 광 신호와 구별되는 다른 파장의 광 신호를 유입시킬 수 있다.
또한, 복수의 애퍼처들은 하나의 광학계 상에 형성될 수 있다. 특히, 복수의 애퍼처들 중 적어도 어느 하나의 애퍼처는 복수의 애퍼처들 중 적어도 어느 하나의 애퍼처를 제외한 나머지 애퍼처 상에 형성될 수 있다.
예를 들어, 나머지 애퍼처는 복수의 애퍼처들이 형성되는 광학계에 특정 광 신호를 검출하는 필터가 구비되어 형성되고, 적어도 어느 하나의 애퍼처는 나머지 애퍼처 상에 특정 영역이 에칭되어 형성될 수 있다.
또한, 복수의 애퍼처들 각각은 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
510 단계에서, 카메라 시스템은 복수의 이미지들을 처리하여, 자동 초점 조절을 위한 파라미터들을 계산할 수 있다. 예를 들어, 카메라 시스템은 자동 초점 조절을 위한 파리미터로서, 복수의 이미지들 각각의 중심 위치의 차이, 적어도 어느 하나의 애퍼처의 중심 위치와 나머지 애퍼처의 중심 위치 사이의 거리, 복수의 애퍼처들이 형성되는 광학계와 이미지 센서 사이의 거리, 이미지 센서에 초점이 맞은 피사체 거리 및 초점 거리 등을 계산할 수 있다.
그 후, 카메라 시스템은 자동 초점 조절을 위해서, 복수의 이미지들을 이용하여 이미지 센서가 복수의 애퍼처들을 기준으로 움직이는 거리를 결정한다(520).
구체적으로, 카메라 시스템은 복수의 이미지들로부터 획득되는, 복수의 이미지들 각각의 중심 위치의 차이, 적어도 어느 하나의 애퍼처의 중심 위치와 나머지 애퍼처의 중심 위치 사이의 거리, 복수의 애퍼처들이 형성되는 광학계와 이미지 센서 사이의 거리, 이미지 센서에 초점이 맞은 피사체 거리 및 초점 거리에 기초하여 이미지 센서가 복수의 애퍼처들을 기준으로 움직이는 거리를 결정할 수 있다.
또한, 도면에는 도시되지 않았지만, 카메라 시스템은 복수의 이미지들 각각에서의 블러 크기 차이를 이용하여 이미지 센서가 복수의 애퍼처들을 기준으로 움직이는 거리를 검증할 수도 있다.
따라서, 카메라 시스템은 520 단계에서 결정된 거리에 기초하여, 이미지 센서를 움직이거나, 상대적으로 이미지 센서가 움직이도록 복수의 애퍼처들이 형성되는 광학계가 고정된 경통을 움직임으로써, 초점을 조절할 수 있다.
도 6은 본 발명의 일실시예에 따른 자동 초점 조절 기능을 갖는 카메라 시스템을 나타낸 블록도이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 카메라 시스템은 복수의 애퍼처들(610), 이미지 센서(620) 및 자동 초점 조절부(630)를 포함한다.
여기서, 복수의 애퍼처들(610) 중 적어도 어느 하나의 애퍼처는 복수의 애퍼처들(610) 중 적어도 어느 하나의 애퍼처를 제외한 나머지 애퍼처의 중심 위치와 어긋나는 중심 위치를 갖는다. 이 때, 적어도 어느 하나의 애퍼처는 나머지 애퍼처가 유입시키는 광 신호와 구별되는 다른 파장의 광 신호를 유입시킬 수 있다.
또한, 복수의 애퍼처들(610)은 하나의 광학계 상에 형성될 수 있다. 특히, 복수의 애퍼처들(610) 중 적어도 어느 하나의 애퍼처는 복수의 애퍼처들(610) 중 적어도 어느 하나의 애퍼처를 제외한 나머지 애퍼처 상에 형성될 수 있다.
예를 들어, 나머지 애퍼처는 복수의 애퍼처들(610)이 형성되는 광학계에 특정 광 신호를 검출하는 필터가 구비되어 형성되고, 적어도 어느 하나의 애퍼처는 나머지 애퍼처 상에 특정 영역이 에칭되어 형성될 수 있다.
또한, 복수의 애퍼처들(610) 각각은 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
이미지 센서(620)는 복수의 애퍼처들(610) 각각을 통하여 유입되는 광 신호를 처리하여 복수의 이미지들을 생성한다.
이 때, 이미지 센서(620)는 복수의 이미지들을 처리하여, 자동 초점 조절을 위한 파라미터들을 계산할 수 있다. 예를 들어, 이미지 센서(620)는 자동 초점 조절을 위한 파리미터로서, 복수의 이미지들 각각의 중심 위치의 차이, 적어도 어느 하나의 애퍼처의 중심 위치와 나머지 애퍼처의 중심 위치 사이의 거리, 복수의 애퍼처들(610)이 형성되는 광학계와 이미지 센서(620) 사이의 거리, 이미지 센서(620)에 초점이 맞은 피사체 거리 및 초점 거리 등을 계산할 수 있다.
자동 초점 조절부(630)는 자동 초점 조절을 위해서, 복수의 이미지들을 이용하여 이미지 센서(620)가 복수의 애퍼처들(610)을 기준으로 움직이는 거리를 결정한다.
구체적으로, 자동 초점 조절부(630)는 복수의 이미지들로부터 획득되는, 복수의 이미지들 각각의 중심 위치의 차이, 적어도 어느 하나의 애퍼처의 중심 위치와 나머지 애퍼처의 중심 위치 사이의 거리, 복수의 애퍼처들(610)이 형성되는 광학계와 이미지 센서(620) 사이의 거리, 이미지 센서(620)에 초점이 맞은 피사체 거리 및 초점 거리에 기초하여 이미지 센서(620)가 복수의 애퍼처들(610)을 기준으로 움직이는 거리를 결정할 수 있다.
또한, 도면에는 도시되지 않았지만, 자동 초점 조절부(630)는 복수의 이미지들 각각에서의 블러 크기 차이를 이용하여 이미지 센서(620)가 복수의 애퍼처들(610)을 기준으로 움직이는 거리를 검증할 수도 있다.
따라서, 자동 초점 조절부(630)는 상술한 바와 같이 결정된 거리에 기초하여, 이미지 센서(620)를 움직이거나, 상대적으로 이미지 센서(620)가 움직이도록 복수의 애퍼처들(610)이 형성되는 광학계가 고정된 경통을 움직임으로써, 초점을 조절할 수 있다.
도 7은 본 발명의 일실시예에 따른 카메라 시스템의 깊이 추정 방법을 나타낸 플로우 차트이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 카메라 시스템은 복수의 애퍼처들 각각을 통하여 유입되는 광 신호를 처리하여 복수의 이미지들을 생성한다(710).
여기서, 복수의 애퍼처들 중 적어도 어느 하나의 애퍼처는 복수의 애퍼처들 중 적어도 어느 하나의 애퍼처를 제외한 나머지 애퍼처의 중심 위치와 어긋나는 중심 위치를 갖는다. 이 때, 적어도 어느 하나의 애퍼처는 나머지 애퍼처가 유입시키는 광 신호와 구별되는 다른 파장의 광 신호를 유입시킬 수 있다.
또한, 복수의 애퍼처들은 하나의 광학계 상에 형성될 수 있다. 특히, 복수의 애퍼처들 중 적어도 어느 하나의 애퍼처는 복수의 애퍼처들 중 적어도 어느 하나의 애퍼처를 제외한 나머지 애퍼처 상에 형성될 수 있다.
예를 들어, 나머지 애퍼처는 복수의 애퍼처들이 형성되는 광학계에 특정 광 신호를 검출하는 필터가 구비되어 형성되고, 적어도 어느 하나의 애퍼처는 나머지 애퍼처 상에 특정 영역이 에칭되어 형성될 수 있다.
또한, 복수의 애퍼처들 각각은 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
710 단계에서, 카메라 시스템은 복수의 이미지들을 처리하여, 깊이 추정을 위한 파라미터들을 계산할 수 있다. 예를 들어, 카메라 시스템은 깊이 추정을 위한 파리미터로서, 복수의 이미지들 각각의 중심 위치의 차이, 적어도 어느 하나의 애퍼처의 중심 위치와 나머지 애퍼처의 중심 위치 사이의 거리, 이미지 센서에 초점이 맞은 피사체 거리 및 초점 거리 등을 계산할 수 있다.
그 후, 카메라 시스템은 복수의 이미지들을 이용하여 피사체로부터 복수의 애퍼처들이 형성되는 광학계까지의 깊이를 추정한다(720).
구체적으로, 카메라 시스템은 복수의 이미지들로부터 획득되는, 복수의 이미지들 각각의 중심 위치의 차이, 적어도 어느 하나의 애퍼처의 중심 위치와 나머지 애퍼처의 중심 위치 사이의 거리, 이미지 센서에 초점이 맞은 피사체 거리 및 초점 거리에 기초하여 피사체로부터 복수의 애퍼처들이 형성되는 광학계까지의 깊이를 추정할 수 있다.
또한, 도면에는 도시되지 않았지만, 카메라 시스템은 복수의 이미지들 각각에서의 블러 크기 차이를 이용하여 피사체로부터 복수의 애퍼처들이 형성되는 광학계까지의 깊이를 검증할 수도 있다.
도 8은 본 발명의 일실시예에 따른 깊이 추정 기능을 갖는 카메라 시스템을 나타낸 블록도이다.
도 8을 참조하면, 본 발명의 일실시예에 따른 카메라 시스템은 복수의 애퍼처들(810), 이미지 센서(820) 및 깊이 추정부(830)를 포함한다.
여기서, 복수의 애퍼처들(810) 중 적어도 어느 하나의 애퍼처는 복수의 애퍼처들(810) 중 적어도 어느 하나의 애퍼처를 제외한 나머지 애퍼처의 중심 위치와 어긋나는 중심 위치를 갖는다. 이 때, 적어도 어느 하나의 애퍼처는 나머지 애퍼처가 유입시키는 광 신호와 구별되는 다른 파장의 광 신호를 유입시킬 수 있다.
또한, 복수의 애퍼처들(810)은 하나의 광학계 상에 형성될 수 있다. 특히, 복수의 애퍼처들(810) 중 적어도 어느 하나의 애퍼처는 복수의 애퍼처들(810) 중 적어도 어느 하나의 애퍼처를 제외한 나머지 애퍼처 상에 형성될 수 있다.
예를 들어, 나머지 애퍼처는 복수의 애퍼처들(810)이 형성되는 광학계에 특정 광 신호를 검출하는 필터가 구비되어 형성되고, 적어도 어느 하나의 애퍼처는 나머지 애퍼처 상에 특정 영역이 에칭되어 형성될 수 있다.
또한, 복수의 애퍼처들(810) 각각은 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
이미지 센서(820)는 복수의 애퍼처들(810) 각각을 통하여 유입되는 광 신호를 처리하여 복수의 이미지들을 생성한다.
이 때, 이미지 센서(820)는 복수의 이미지들을 처리하여, 깊이 추정을 위한 파라미터들을 계산할 수 있다. 예를 들어, 이미지 센서(820)는 깊이 추정을 위한 파리미터로서, 복수의 이미지들 각각의 중심 위치의 차이, 적어도 어느 하나의 애퍼처의 중심 위치와 나머지 애퍼처의 중심 위치 사이의 거리, 이미지 센서(820)에 초점이 맞은 피사체 거리 및 초점 거리 등을 계산할 수 있다.
깊이 추정부(830)는 복수의 이미지들을 이용하여 피사체로부터 복수의 애퍼처들(810)이 형성되는 광학계까지의 깊이를 추정한다.
구체적으로, 깊이 추정부(830)는 복수의 이미지들로부터 획득되는, 복수의 이미지들 각각의 중심 위치의 차이, 적어도 어느 하나의 애퍼처의 중심 위치와 나머지 애퍼처의 중심 위치 사이의 거리, 이미지 센서(820)에 초점이 맞은 피사체 거리 및 초점 거리에 기초하여 피사체로부터 복수의 애퍼처들(810)이 형성되는 광학계까지의 깊이를 추정할 수 있다.
또한, 도면에는 도시되지 않았지만, 깊이 추정부(830)는 복수의 이미지들 각각에서의 블러 크기 차이를 이용하여 피사체로부터 복수의 애퍼처들(810)이 형성되는 광학계까지의 깊이를 검증할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 자동 초점 조절 기능을 갖는 멀티 애퍼쳐 카메라 시스템에 있어서,
    복수의 애퍼처들;
    상기 복수의 애퍼처들 각각을 통하여 유입되는 광 신호를 처리하여 복수의 이미지들을 생성하는 이미지 센서; 및
    자동 초점 조절을 위해서, 상기 복수의 이미지들을 이용하여 상기 이미지 센서가 상기 복수의 애퍼처들을 기준으로 움직이는 거리를 결정하는 자동 초점 조절부
    를 포함하고,
    상기 복수의 애퍼처들 중 적어도 어느 하나의 애퍼처는
    상기 복수의 애퍼처들 중 상기 적어도 어느 하나의 애퍼처를 제외한 나머지 애퍼처의 중심 위치와 어긋나는 중심 위치를 갖는, 멀티 애퍼쳐 카메라 시스템.
  2. 제1항에 있어서,
    상기 복수의 애퍼처들은
    하나의 광학계 상에 형성되는, 멀티 애퍼쳐 카메라 시스템.
  3. 제1항에 있어서,
    상기 적어도 어느 하나의 애퍼처는
    상기 나머지 애퍼처 상에 형성되는, 멀티 애퍼쳐 카메라 시스템.
  4. 제3항에 있어서,
    상기 나머지 애퍼처는
    상기 복수의 애퍼처들이 형성되는 광학계에 특정 광 신호를 검출하는 필터가 구비되어 형성되는, 멀티 애퍼쳐 카메라 시스템.
  5. 제4항에 있어서,
    상기 적어도 어느 하나의 애퍼처는
    상기 나머지 애퍼처 상에 특정 영역이 에칭되어 형성되는, 멀티 애퍼쳐 카메라 시스템.
  6. 제1항에 있어서,
    상기 적어도 어느 하나의 애퍼처 및 상기 나머지 애퍼처는
    원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성되는, 멀티 애퍼쳐 카메라 시스템.
  7. 제1항에 있어서,
    상기 적어도 어느 하나의 애퍼처는
    상기 나머지 애퍼처가 유입시키는 광 신호와 구별되는 다른 파장의 광 신호를 유입시키는, 멀티 애퍼쳐 카메라 시스템.
  8. 제1항에 있어서,
    상기 자동 초점 조절부는
    상기 복수의 이미지들 각각의 중심 위치의 차이, 상기 적어도 어느 하나의 애퍼처의 중심 위치와 상기 나머지 애퍼처의 중심 위치 사이의 거리, 상기 복수의 애퍼처들이 형성되는 광학계와 상기 이미지 센서 사이의 거리, 상기 이미지 센서에 초점이 맞은 피사체 거리 및 초점 거리에 기초하여 상기 이미지 센서가 상기 복수의 애퍼처들을 기준으로 움직이는 거리를 결정하는, 멀티 애퍼쳐 카메라 시스템.
  9. 제8항에 있어서,
    상기 자동 초점 조절부는
    상기 복수의 이미지들 각각에서의 블러 크기 차이를 이용하여 상기 이미지 센서가 상기 복수의 애퍼처들을 기준으로 움직이는 거리를 검증하는, 멀티 애퍼쳐 카메라 시스템.
  10. 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템에 있어서,
    복수의 애퍼처들;
    상기 복수의 애퍼처들 각각을 통하여 유입되는 광 신호를 처리하여 복수의 이미지들을 생성하는 이미지 센서; 및
    상기 복수의 이미지들을 이용하여 피사체로부터 상기 복수의 애퍼처들이 형성되는 광학계까지의 깊이를 추정하는 깊이 추정부
    를 포함하고,
    상기 복수의 애퍼처들 중 적어도 어느 하나의 애퍼처는
    상기 복수의 애퍼처들 중 상기 적어도 어느 하나의 애퍼처를 제외한 나머지 애퍼처의 중심 위치와 어긋나는 중심 위치를 갖는, 멀티 애퍼쳐 카메라 시스템.
  11. 제10항에 있어서,
    상기 복수의 애퍼처들은
    하나의 광학계 상에 형성되는, 멀티 애퍼쳐 카메라 시스템.
  12. 제10항에 있어서,
    상기 적어도 어느 하나의 애퍼처는
    상기 나머지 애퍼처 상에 형성되는, 멀티 애퍼쳐 카메라 시스템.
  13. 제12항에 있어서,
    상기 나머지 애퍼처는
    상기 복수의 애퍼처들이 형성되는 광학계에 특정 광 신호를 검출하는 필터가 구비되어 형성되는, 멀티 애퍼쳐 카메라 시스템.
  14. 제13항에 있어서,
    상기 적어도 어느 하나의 애퍼처는
    상기 나머지 애퍼처 상에 특정 영역이 에칭되어 형성되는, 멀티 애퍼쳐 카메라 시스템.
  15. 제10항에 있어서,
    상기 적어도 어느 하나의 애퍼처 및 상기 나머지 애퍼처는
    원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성되는, 멀티 애퍼쳐 카메라 시스템.
  16. 제10항에 있어서,
    상기 적어도 어느 하나의 애퍼처는
    상기 나머지 애퍼처가 유입시키는 광 신호와 구별되는 다른 파장의 광 신호를 유입시키는, 멀티 애퍼쳐 카메라 시스템.
  17. 제10항에 있어서,
    상기 깊이 추정부는
    상기 복수의 이미지들 각각의 중심 위치의 차이, 상기 적어도 어느 하나의 애퍼처의 중심 위치와 상기 나머지 애퍼처의 중심 위치 사이의 거리, 상기 이미지 센서에 초점이 맞은 피사체 거리 및 초점 거리에 기초하여 상기 피사체로부터 상기 복수의 애퍼처들이 형성되는 광학계까지의 깊이를 추정하는, 멀티 애퍼쳐 카메라 시스템.
  18. 제17항에 있어서,
    상기 깊이 추정부는
    상기 복수의 이미지들 각각에서의 블러 크기 차이를 이용하여 상기 피사체로부터 상기 복수의 애퍼처들이 형성되는 광학계까지의 깊이를 검증하는, 멀티 애퍼쳐 카메라 시스템.
PCT/KR2015/005569 2015-06-03 2015-06-03 자동 초점 조절 기능 및/또는 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템 WO2016195135A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/579,055 US10613417B2 (en) 2015-06-03 2015-06-03 Multi-aperture camera system having auto focusing function and/or depth estimation function
KR1020177030279A KR101930196B1 (ko) 2015-06-03 2015-06-03 자동 초점 조절 기능 및/또는 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템
PCT/KR2015/005569 WO2016195135A1 (ko) 2015-06-03 2015-06-03 자동 초점 조절 기능 및/또는 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/005569 WO2016195135A1 (ko) 2015-06-03 2015-06-03 자동 초점 조절 기능 및/또는 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템

Publications (1)

Publication Number Publication Date
WO2016195135A1 true WO2016195135A1 (ko) 2016-12-08

Family

ID=57441275

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/005569 WO2016195135A1 (ko) 2015-06-03 2015-06-03 자동 초점 조절 기능 및/또는 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템

Country Status (3)

Country Link
US (1) US10613417B2 (ko)
KR (1) KR101930196B1 (ko)
WO (1) WO2016195135A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11523043B2 (en) 2020-10-12 2022-12-06 Apple Inc. Camera autofocus using time-of-flight assistance

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060092314A1 (en) * 2004-10-31 2006-05-04 Silverstein D A Autofocus using a filter with multiple apertures
WO2012057622A1 (en) * 2010-10-24 2012-05-03 Ziv Attar System and method for imaging using multi aperture camera
US20120113227A1 (en) * 2010-11-05 2012-05-10 Chung-Ang University Industry-Academy Cooperation Foundation Apparatus and method for generating a fully focused image by using a camera equipped with a multi-color filter aperture
US20130235250A1 (en) * 2012-03-06 2013-09-12 Csr Technology Inc. Fast auto focus techniques for digital cameras
WO2015015383A2 (en) * 2013-08-01 2015-02-05 Corephotonics Ltd. Thin multi-aperture imaging system with auto-focus and methods for using same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4826315A (en) * 1985-06-14 1989-05-02 Canon Kabushiki Kaisha Lens meter
KR101327228B1 (ko) 2009-11-11 2013-11-11 중앙대학교 산학협력단 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치
EP2594062B1 (en) 2010-07-16 2016-09-14 Dual Aperture International Co. Ltd. Flash system for multi-aperture imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060092314A1 (en) * 2004-10-31 2006-05-04 Silverstein D A Autofocus using a filter with multiple apertures
WO2012057622A1 (en) * 2010-10-24 2012-05-03 Ziv Attar System and method for imaging using multi aperture camera
US20120113227A1 (en) * 2010-11-05 2012-05-10 Chung-Ang University Industry-Academy Cooperation Foundation Apparatus and method for generating a fully focused image by using a camera equipped with a multi-color filter aperture
US20130235250A1 (en) * 2012-03-06 2013-09-12 Csr Technology Inc. Fast auto focus techniques for digital cameras
WO2015015383A2 (en) * 2013-08-01 2015-02-05 Corephotonics Ltd. Thin multi-aperture imaging system with auto-focus and methods for using same

Also Published As

Publication number Publication date
KR101930196B1 (ko) 2018-12-17
US10613417B2 (en) 2020-04-07
US20190049821A1 (en) 2019-02-14
KR20170135869A (ko) 2017-12-08

Similar Documents

Publication Publication Date Title
WO2013022235A2 (en) Auto focus adjusting method, auto focus adjusting apparatus, and digital photographing apparatus including the same
WO2019235859A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
WO2015137635A1 (en) Image pickup apparatus and method for generating image having depth information
WO2010151044A2 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
WO2016036059A1 (en) Photographing apparatus and photographing method
WO2018040444A1 (zh) 一种双摄像头拍照控制方法、拍照控制装置及终端
WO2019199101A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
WO2015016619A1 (en) Electronic apparatus, method of controlling the same, and image reproducing apparatus and method
WO2013100239A1 (ko) 스테레오 비전 시스템의 영상처리방법 및 그 장치
WO2017030262A1 (en) Photographing apparatus and method for controlling the same
WO2019164312A1 (ko) 카메라 모듈 및 그의 초해상도 영상 처리 방법
WO2019143050A1 (en) Electronic device and method for controlling autofocus of camera
WO2020141827A1 (ko) 광학계 및 이를 포함하는 카메라 모듈
WO2016167499A1 (ko) 촬영 장치 및 촬영 장치의 제어 방법
WO2020153703A1 (ko) 카메라 장치 및 그의 오토포커싱 방법
WO2016195135A1 (ko) 자동 초점 조절 기능 및/또는 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템
WO2016099165A1 (ko) 이미지 센서, 이를 포함하는 영상 획득 장치 및 그 장치를 포함하는 휴대용 단말기
WO2014073939A1 (en) Method and apparatus for capturing and displaying an image
WO2019088407A1 (ko) 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치
WO2012057435A1 (en) Camera module and estimation method of auto focus search range thereof
WO2016137273A1 (ko) 카메라 모듈 및 이를 이용한 자동 초점 조절 방법
WO2019059635A1 (ko) 하나의 이미지 센서를 통해 획득된 rgb 이미지와 ir 이미지를 이용하여 기능을 제공하는 전자 장치
WO2020067745A1 (ko) 카메라 장치
EP3135029A1 (en) Imaging device and photographing apparatus
WO2020045932A1 (ko) 영상 처리 장치 및 영상 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15894308

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177030279

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15894308

Country of ref document: EP

Kind code of ref document: A1