WO2019209064A1 - 카메라 모듈 및 그의 깊이 정보 추출 방법 - Google Patents

카메라 모듈 및 그의 깊이 정보 추출 방법 Download PDF

Info

Publication number
WO2019209064A1
WO2019209064A1 PCT/KR2019/005057 KR2019005057W WO2019209064A1 WO 2019209064 A1 WO2019209064 A1 WO 2019209064A1 KR 2019005057 W KR2019005057 W KR 2019005057W WO 2019209064 A1 WO2019209064 A1 WO 2019209064A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
structured light
unit
optical
camera
Prior art date
Application number
PCT/KR2019/005057
Other languages
English (en)
French (fr)
Inventor
이창혁
박강열
장성하
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to CN201980028493.0A priority Critical patent/CN112020856B/zh
Priority to US17/050,641 priority patent/US11393112B2/en
Publication of WO2019209064A1 publication Critical patent/WO2019209064A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3152—Modulator illumination systems for shaping the light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Definitions

  • the present invention relates to a camera module and a method for extracting depth information thereof.
  • 3D content is applied in many fields such as education, manufacturing, autonomous driving as well as game and culture, and depth information is required to obtain 3D content.
  • Depth information is information representing a distance in space and represents perspective information of another point with respect to one point of the 2D image.
  • One method of obtaining depth information is a method of projecting IR (Infrared) structured light onto an object and extracting depth information by analyzing light reflected from the object. According to the IR structured light method, it is difficult to obtain a desired depth resolution for a moving object.
  • IR structured light method it is difficult to obtain a desired depth resolution for a moving object.
  • the number of dots constituting the pattern of the structured light must be increased.
  • each dot must be distinguished by the resolution of the image sensor, it is difficult to increase the number of dots indefinitely until a desired depth resolution is obtained.
  • An object of the present invention is to provide a camera module for extracting depth information using a structured light method and a depth information extraction method thereof.
  • the camera module generates a structured light having a specific pattern and projects it on a subject, and the structured light projector changes the light path of the structured light in subpixel units of an image sensor for each image frame, and the structure And a structured light camera for photographing a subject on which light is projected to generate a plurality of low resolution image frames, and generating a high resolution depth map using the plurality of low resolution image frames.
  • the structured light projector may be disposed at a predetermined interval from the camera.
  • the subpixel may have a size larger than 0 pixels and smaller than 1 pixel.
  • the structured light projector includes: a light source unit for generating light, an optical unit for condensing the generated light to generate the structured light of the specific pattern, and a light path of the structured light for each image frame to subpixel the camera image sensor. It may include a tilting unit for changing in units.
  • the tilting unit may change the optical path of the structured light in any one direction of up, down, left and right.
  • the tilting unit may be positioned between the light source unit and the optical unit to change an optical path of the structured light.
  • the tilting unit may be positioned in front of the optical unit to change an optical path of the structured light.
  • the optical unit includes a light collecting element for collecting the light generated by the light source unit and a pattern element diffracting the light collected by the light collecting element to generate a structured light having a specific pattern, wherein the tilting unit is the light collecting element. Located between and the pattern element can change the optical path of the structured light.
  • the plurality of low resolution image frames may have different optical paths of corresponding structural lights.
  • the structured light camera may generate a plurality of low resolution depth maps corresponding to each of a plurality of low resolution image frames, and generate a high resolution depth map by applying super resolution to the plurality of low resolution depth maps. Can be.
  • the structured light camera may generate a high resolution image frame by applying super resolution to a plurality of low resolution image frames, and generate a high resolution depth map corresponding to the high resolution image frame.
  • depth information can be obtained at a high resolution without significantly increasing the number of pixels of the image sensor or the number of dots of the structured light pattern.
  • FIG. 1 is a block diagram of a camera module according to an embodiment of the present invention.
  • FIG. 2 is a view showing a change in the optical path of the structured light according to an embodiment of the present invention.
  • FIG. 3 is a block diagram of a structured light projector according to an embodiment of the present invention.
  • FIG. 4 is a configuration diagram of an optical unit according to an embodiment of the present invention.
  • FIG. 5 is a diagram for describing a subpixel according to an exemplary embodiment of the present invention.
  • FIG. 6 is a view for explaining a variable prism according to an embodiment of the present invention.
  • FIG. 7 is a view for explaining a liquid lens according to an embodiment of the present invention.
  • FIG 8 to 10 are views showing the arrangement of the tilting unit according to an embodiment of the present invention.
  • FIG. 11 is a block diagram of a structured light camera according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component.
  • FIGS. 1 and 2 First, a camera module according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 and 2.
  • 1 is a block diagram of a camera module according to an embodiment of the present invention.
  • 2 is a view showing a change in the optical path of the structured light according to an embodiment of the present invention.
  • the camera module 10 includes a structured light projector 100 and a structured light camera 200.
  • the structured light projector 100 generates a structured light of a specific pattern and projects the structured light onto a subject.
  • the structured light projector 100 changes the light path of the structured light by one subpixel of the image sensor in the structured light camera 200 and projects the image on the subject for each image frame.
  • the first image frame indicates that structured light is projected onto a subject according to a reference light path.
  • the second image frame indicates that the structured light whose light path is moved to the right by the subpixels in the reference light path is projected onto the subject. Comparing the first image frame with the second image frame, it can be seen that the specific pattern of the structured light projected onto the subject is shifted to the right by the subpixels. That is, by changing the optical path of the structured light by the subpixels, the specific pattern is moved by the subpixels and projected onto the subject. In FIG. 2, the optical path of the structured light is changed to the right by the subpixels, but it may be changed in any one direction of up, down, left, and right.
  • the structured light projector 100 may be disposed at a predetermined distance from the structured light camera 200 to extract depth information.
  • the distance between the structured light projector 100 and the structured light camera 200 may be 5 to 200 mm.
  • the structured light projector 100 and the structured light camera 200 may be disposed together in the camera module 10.
  • the structured light camera 200 generates a plurality of low resolution image frames by photographing a subject on which a structured light of a specific pattern is projected.
  • the structured light camera 200 generates a high resolution image frame by matching the plurality of low resolution image frames.
  • the high resolution image frame refers to an image frame having a relatively higher resolution than the low resolution image frame.
  • the structured light camera 200 is composed of an optical structure corresponding to the wavelength of the structured light.
  • the structured light camera 200 may be configured as an optical structure capable of capturing an infrared wavelength.
  • the camera module 10 may further include an illumination unit (not shown).
  • the illumination unit may irradiate light onto a subject separately from the structured light projector.
  • the light irradiated by the lighting unit may be near infrared or visible light.
  • the structured light camera 200 may photograph the extracted light to extract the shape and the feature point of the subject.
  • 3 is a block diagram of a structured light projector according to an embodiment of the present invention.
  • 4 is a configuration diagram of an optical unit according to an embodiment of the present invention.
  • the structured light projector 100 includes a light source unit 110, an optical unit 120, and a tilting unit 130.
  • the light source unit 110 generates light.
  • the light generated by the light source unit 110 may be an infrared ray having a wavelength of 770 to 3000 nm, or may be visible light having a wavelength of 380 to 770 nm.
  • the light source unit 110 may generate light using a light emitting diode (LED).
  • the light emitting diode includes an organic light emitting diode (OLED) and a laser diode (LD).
  • the light source unit 110 may have a form in which a plurality of light emitting diodes are arrayed.
  • the optical unit 120 collects light generated by the light source unit 110 to generate structured light having a specific pattern.
  • the optical unit 120 projects a structured light having a specific pattern on the subject.
  • the optical unit 120 includes a light collecting element 121 and a pattern element 122.
  • the light collecting element 121 collects the light generated by the light source unit 110.
  • the light collecting element 121 may include at least one of a concave lens, a convex lens, and a collimator.
  • the pattern element 122 diffracts the light received from the light collecting element 121 to generate structured light having a specific pattern.
  • the pattern element 122 may include at least one of a diffractive optical element (DOE), a hologram optical element (HOE), and a computer generated hologram (CGH).
  • DOE diffractive optical element
  • HOE hologram optical element
  • CGH computer generated hologram
  • the specific pattern may be implemented through a plurality of dots so as to easily find the corresponding point.
  • the plurality of dots have a unique pattern so as to be distinguished from each other.
  • the specific pattern may be implemented in a grid pattern or a vertical pattern, or may be implemented in a horizontal pattern.
  • the tilting unit 130 changes the optical path of the structured light for each image frame in sub-pixel units of the image sensor included in the structured light camera.
  • the tilting unit 130 may change the optical path of the structured light in any one of up, down, left and right directions. Accordingly, when the structured light camera photographs the subject after irradiating the subject with the structured light whose optical path is changed in the unit of the subpixel of the image sensor, the low-speed unit moves in the direction of any one of the up, down, left, and right directions by the subpixel unit. A resolution video frame is generated.
  • FIG. 5 is a diagram for describing a subpixel according to an exemplary embodiment of the present invention.
  • 3 illustrates an image sensor of 320 ⁇ 240 resolution in which 76,800 pixels are arranged in a matrix. That is, in FIG. 3, one block is one pixel. In this case, a predetermined interval may be formed between the plurality of pixels as shown in the shaded portion of FIG. 3. In the embodiment of the present invention, the description is made with one pixel including a predetermined interval adjacent to the pixel.
  • the subpixel may be larger than 0 pixels and smaller than 1 pixel. For example, the subpixel may have a size of 0.5 pixels and may have a size of 1/3 or 1/4 pixels. The size of the subpixel may be changed by those skilled in the art according to the resolution of the low resolution image frame and the high resolution image frame.
  • the tilting unit changes the light path by deflecting incident light.
  • the tilting unit changes a path of light by using a height difference of a material having a specific refractive index.
  • the material having a specific refractive index may be liquid liquids (liquid optics).
  • the tilting unit may be composed of a tunable prism or a liquid lens having an optical structure capable of changing the optical path of the reflected light.
  • FIG. 6 is a view for explaining a variable prism according to an embodiment of the present invention.
  • Fig. 6A shows the structure of the variable prism.
  • the variable prism includes a glass container 131, an optical liquid layer 132, a membrane 133, a lens shaper 134, a glass window 135, and an actuator (not shown). Include.
  • the glass container 131 is configured to contain a liquid.
  • the glass container 131 is made of a transparent material through which light can pass.
  • the glass container 131 may be made of borosilicate.
  • the optical liquid layer 132 is made of an optical liquid having fluidity and allowing light to pass therethrough.
  • the optical liquid layer 132 is generated by the optical liquid being contained in the glass container 131.
  • the optical liquid layer 132 may change the optical path according to the shape deformed by the lens shaper 134.
  • the refractive index of the optical liquid may be 1 to 1.5.
  • the optical liquid may be perfluoro polyether (PFPE).
  • the membrane 133 seals the optical liquid contained in the glass container 131 so as not to flow to the outside. In addition, the membrane 133 seals the optical liquid layer 132 so that the optical liquid layer 132 does not enter the foreign matter.
  • the membrane 133 is made of a transparent material through which light can pass. Membrane 133 is stretchable.
  • the membrane 133 may be made of polydimethyl siloxane (PDMS).
  • the glass window 135 is composed of a plate of transparent material through which light can pass.
  • the glass window 135 may be made of borosilicate.
  • the lens shaper 134 may be made of metal.
  • the lens shaper 134 may be configured as a circular plate having a hole through which light may pass.
  • the lens shaper 134 may include a power transmission member capable of receiving a force from the actuator at a point symmetrical about the origin.
  • the actuator may deform the shape of the optical liquid layer 132 by pressing the power transmission member of the lens shaper 134.
  • the actuator may be configured as a voice coil motor (VCM).
  • FIG. 6B shows the driving mechanism of the variable prism.
  • the variable prism according to the embodiment of the present invention generates a height difference by pressing an actuator to deform the shape of the optical liquid layer 132 by pressing the power transmission member of the lens shaper 134.
  • the optical liquid layer 132 having the height difference changes the optical path by deflecting incident light.
  • FIG. 7 is a view for explaining a liquid lens according to an embodiment of the present invention.
  • the liquid lens may have a structure including two optical liquids having different properties between the two plates. Both optical liquids consist of a flowable material with a refractive index of 1-2.
  • a driving voltage is applied to the two optical liquids, the interface between the two optical liquids is deformed. Light passing through the interface may change the optical path. As the deviation of the driving voltages applied to the two optical liquids increases, a change in the field of view (FOV) angle of the interface may increase.
  • FOV field of view
  • FIGS. 8 to 10 are views showing the arrangement of the tilting unit according to an embodiment of the present invention.
  • the tilting unit 130 may be located between the light source unit 110 and the optical unit 120. Therefore, the tilting unit 130 changes the light path of the light generated by the light source unit 110. And, as the light path of the light is changed, the optical unit 120 generates structured light having the changed light path. For example, in the first frame, it is assumed that structural light is projected onto the subject 1 according to the optical path as shown in FIG. 6. Then, in the second frame after the first frame, the tilting unit 130 moves the optical path of the light generated by the light source unit 110 as a to enter the optical unit 120. Then, the optical unit 120 generates the structured light of the optical path such as b according to the changed optical path and projects it on the subject 1.
  • the tilting unit 130 may be located in front of the optical unit 120.
  • the tilting unit 130 changes the optical path of the structured light generated by the optical unit 120.
  • the first frame it is assumed that structural light is projected onto the subject 1 according to the optical path as shown in FIG. 9.
  • the tilting unit 130 moves the optical path of the structured light generated by the optical unit 120 as c and projects it on the subject 1.
  • the tilting unit 130 may be included in the optical unit.
  • the tilting unit 130 may be positioned between the light collecting element 121 of the optical unit and the pattern element 122 of the optical unit. Therefore, the tilting unit 130 changes the light path of the light collected by the light collecting element and transmits the light path to the pattern element.
  • the pattern element may generate structured light having a changed light path. For example, in the first frame, it is assumed that structural light is projected onto the subject 1 according to the optical path as shown in FIG. 8. Then, in the second frame after the first frame, the tilting unit 130 changes the optical path of the light received from the light converging element as d and transmits it to the pattern element. Then, the pattern element generates structured light having an optical path such as e and projects it on the subject 1.
  • FIG. 11 is a block diagram of a structured light camera according to an embodiment of the present invention.
  • the structured light camera 200 includes a lens unit 210, an image sensor unit 220, and an image controller 230.
  • the lens unit 210 collects the structural light reflected from the subject and transmits the structural light to the image sensor 220.
  • the lens module 210 may include a lens, a lens barrel and a holder.
  • the lens may be configured in plural and may be composed of one. When a plurality of lenses is configured, each lens may be aligned with respect to a central axis to form an optical system.
  • the central axis may be the same as the optical axis of the optical system of the structured light camera 200.
  • the lens barrel may be coupled to the holder and have a space for accommodating the lens therein.
  • the lens barrel may be rotationally coupled with one or more lenses, but this is exemplary and may be coupled in other ways, such as by using an adhesive (for example, an adhesive resin such as epoxy).
  • the holder may be coupled to the lens barrel to support the lens barrel and may be coupled to a substrate to which the image sensor is attached.
  • the holder may have a space in which the IR glass may be attached to the lower portion of the lens barrel.
  • the holder includes a helical structure and can likewise be rotatably coupled with the lens barrel comprising the helical structure.
  • this is exemplary, and the holder and the lens barrel may be joined through an adhesive, or the holder and the lens barrel may be integrally formed.
  • the image sensor unit 220 absorbs structured light collected through the lens unit 210 to generate an image signal.
  • the image sensor may include a photo diode capable of absorbing the wavelength of the structured light.
  • the image sensor unit 220 may have a structure in which a plurality of pixels are arranged in a matrix form.
  • the image sensor unit 220 may be a complementary metal oxide semiconductor (CMOS) image sensor, or may be a charge coupled device (CCD) image sensor.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the image controller 130 generates a plurality of low resolution image frames using the image signal, and generates a high resolution depth image using the plurality of low resolution image frames.
  • a high resolution image is generated from a plurality of low resolution image frames using a super resolution (SR) technique.
  • SR super resolution
  • the mathematical model of the SR technique may be represented as in Equation 1.
  • the SR technique means a technique of estimating x by applying an inverse function of the resolution degradation factors estimated to y k .
  • the SR technique can be largely divided into a statistical method and a multiframe method, and the multiframe method can be largely divided into a space division method and a time division method.
  • a statistical method may be tried.
  • an iterative calculation process is required, and thus there is a problem of low efficiency.
  • the image controller 230 In order to apply the SR technique to extracting depth information, the image controller 230 generates a plurality of low resolution image frames by using the image signal received from the image sensor unit 220 and then SRs to the plurality of low resolution image frames. By applying the technique, a high resolution image frame can be generated, and depth information corresponding to the high resolution image frame can be extracted.
  • the image controller 230 generates a plurality of low resolution image frames using the image signal.
  • the image controller 230 matches the positional relationship of the plurality of low resolution image frames.
  • the image controller 230 sets one of the plurality of low resolution image frames as a reference image, and matches the positional relationship of the plurality of low resolution image frames around the reference image.
  • the plurality of low resolution image frames according to the embodiment of the present invention are images of structured light projected onto a subject according to different light paths. That is, a plurality of image frames according to an exemplary embodiment of the present invention have a predetermined pixel-to-frame movement during image capturing.
  • the image controller matches the positional relationship of a plurality of low-resolution image frames without a pixel-based motion estimation process. do.
  • the image controller 230 estimates a matching point using the matched positional relationship, and estimates each pixel value of the high resolution image frame using the estimated matching point.
  • the image controller 230 post-processes the estimated pixel value to generate a high resolution image frame.
  • the image controller 230 may post-process using a de-blocking filter or a de-blurring filter.
  • the image controller 230 may extract depth information using the high resolution image frame, and generate a high resolution depth map using the depth information.
  • the high resolution depth information may be extracted by applying the SR technique to the plurality of low resolution depth information.
  • the image controller 230 generates a plurality of low resolution image frames using the image signal.
  • the image controller 230 generates a low resolution depth map for each low resolution image frame.
  • the image controller 230 generates a high resolution depth map by applying an SR technique to each low resolution depth map.
  • the process of applying the SR technique to the low depth map is the same as the SR technique for the low resolution image frame, and thus a detailed description thereof will be omitted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 실시예에 따른 카메라 모듈은 특정 패턴의 구조광을 생성하여 피사체에 투사하되, 하나의 영상 프레임마다 상기 구조광의 광경로를 이미지 센서의 서브픽셀 단위로 변경하는 구조광 프로젝터, 그리고 상기 구조광이 투사된 피사체를 촬영하여 복수의 저해상 영상 프레임을 생성하고, 상기 복수의 저해상 영상 프레임을 이용하여 고해상 깊이 지도를 생성하는 구조광 카메라를 포함한다.

Description

카메라 모듈 및 그의 깊이 정보 추출 방법
본 발명은 카메라 모듈 및 그의 깊이 정보 추출 방법에 관한 것이다.
3차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
깊이 정보를 획득하는 방법 중 하나는, IR(Infrared) 구조광을 객체에 투사하며, 객체로부터 반사된 광을 해석하여 깊이 정보를 추출하는 방식이다. IR 구조광 방식에 따르면, 움직이는 객체에 대하여 원하는 수준의 깊이 분해능(Depth resolution)을 얻기 어려운 문제가 있다.
IR 구조광 방식에서 원하는 수준의 깊이 분해능을 획득하기 위해서는, 구조광의 패턴을 구성하는 도트의 개수를 증가시켜야 한다. 하지만, 이미지 센서의 해상도로 각 도트를 구분해야 하므로, 도트의 개수를 원하는 깊이 분해능을 얻을 때까지 무한정 증가시키기 어려운 문제가 있다.
본 발명이 이루고자 하는 기술적 과제는 구조광 방식을 이용하여 깊이 정보를 추출하는 카메라 모듈 및 그의 깊이 정보 추출 방법을 제공하는데 있다.
본 발명의 실시예에 따른 카메라 모듈은 특정 패턴의 구조광을 생성하여 피사체에 투사하되, 하나의 영상 프레임마다 상기 구조광의 광경로를 이미지 센서의 서브픽셀 단위로 변경하는 구조광 프로젝터, 그리고 상기 구조광이 투사된 피사체를 촬영하여 복수의 저해상 영상 프레임을 생성하고, 상기 복수의 저해상 영상 프레임을 이용하여 고해상 깊이 지도를 생성하는 구조광 카메라를 포함한다.
상기 구조광 프로젝터는, 상기 카메라와 기 설정된 간격을 두고 배치될 수 있다.
상기 서브 픽셀은, 0 픽셀보다 크고 1 픽셀보다 작은 크기를 가질 수 있다.
상기 구조광 프로젝터는, 빛을 생성하는 광원 유닛, 상기 생성된 빛을 집광하여 상기 특정 패턴의 구조광을 생성하는 광학 유닛, 그리고 하나의 영상 프레임마다 상기 구조광의 광경로를 카메라 이미지 센서의 서브픽셀 단위로 변경하는 틸팅 유닛을 포함할 수 있다.
상기 틸팅 유닛은, 상기 구조광의 광경로를 상, 하, 좌, 우 중 어느 하나의 방향으로 변경할 수 있다.
상기 틸팅 유닛은, 상기 광원 유닛과 상기 광학 유닛 사이에 위치하여 상기 구조광의 광경로를 변경할 수 있다.
상기 틸팅 유닛은, 상기 광학 유닛의 전면에 위치하여 상기 구조광의 광경로를 변경할 수 있다.
상기 광학 유닛은, 상기 광원 유닛이 생성한 빛을 집광하는 집광 소자와 상기 집광 소자가 집광한 빛을 회절시켜 특정 패턴의 구조광을 생성하는 패턴 소자를 포함하며, 상기 틸팅 유닛은, 상기 집광 소자와 상기 패턴 소자 사이에 위치하여 상기 구조광의 광경로를 변경할 수 있다.
상기 복수의 저해상 영상 프레임은, 각각에 대응하는 구조광의 광경로가 서로 다를 수 있다.
상기 구조광 카메라는, 복수의 저해상 영상 프레임 각각에 대응하는 복수의 저해상 깊이 지도를 생성하고, 상기 복수의 저해상 깊이 지도에 초해상 기법(super resolution)을 적용하여 고해상 깊이 지도를 생성할 수 있다.
상기 구조광 카메라는, 복수의 저해상 영상 프레임에 초해상 기법(super resolution)을 적용하여 고해상 영상 프레임을 생성하고, 상기 고해상 영상 프레임에 대응하는 고해상 깊이 지도를 생성할 수 있다.
본 발명의 한 실시예에 따른 카메라 모듈을 이용하면, 이미지 센서의 화소 수나 구조광 패턴의 도트 수를 크게 증가시키지 않고도 높은 해상도로 깊이 정보를 획득할 수 있다.
도 1은 본 발명의 실시예에 따른 카메라 모듈의 구성도이다.
도 2는 본 발명의 실시예에 따른 구조광의 광경로 변경을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 구조광 프로젝터의 구성도이다.
도 4는 본 발명의 실시예에 따른 광학 유닛의 구성도이다.
도 5는 본 발명의 실시예에 따른 서브 픽셀을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 가변 프리즘을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 액체 랜즈를 설명하기 위한 도면이다.
도 8 내지 도 10은 본 발명의 실시예에 따른 틸팅 유닛의 배치 구조를 나타낸 도면이다.
도 11은 본 발명의 실시예에 따른 구조광 카메라의 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
우선, 도 1 및 도 2를 통해 본 발명의 실시예에 따른 카메라 모듈에 대해 대해 상세하게 살펴보도록 한다.
도 1은 본 발명의 실시예에 따른 카메라 모듈의 구성도이다. 도 2는 본 발명의 실시예에 따른 구조광의 광경로 변경을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 카메라 모듈(10)은 구조광 프로젝터(100) 및 구조광 카메라(200)를 포함한다.
구조광 프로젝터(100)는 특정 패턴의 구조광을 생성한 후 피사체에 투사한다. 구조광 프로젝터(100)는 하나의 영상 프레임마다 구조광의 광경로를 구조광 카메라(200) 내 이미지 센서의 서브픽셀만큼 변경하여 피사체에 투사한다.
도 2에서 제1 영상 프레임은 기준 광경로에 따라 구조광이 피사체에 투사된 것을 나타낸다. 그리고 제2 영상 프레임은 기준 광경로에서 서브 픽셀만큼 우측으로 광경로가 이동된 구조광이 피사체에 투사된 것을 나타낸다. 제1 영상 프레임과 제2 영상 프레임을 비교하여 보면, 피사체에 투사된 구조광의 특정 패턴이 서브픽셀만큼 우측으로 이동한 것을 알 수 있다. 즉, 구조광의 광경로를 서브 픽셀만큼 변경함으로써, 특정 패턴이 서브픽셀만큼 이동하여 피사체에 투사된다. 도 2에서는 구조광의 광경로를 서브픽셀만큼 우측으로 변경하는 것으로 나타내었으나, 상, 하, 좌, 우 중 어느 하나의 방향으로 변경이 가능하다.
구조광 프로젝터(100)는 깊이 정보 추출을 위하여 구조광 카메라(200)와 일정 간격을 두고 배치될 수 있다. 예를 들어, 본 발명의 실시예에 따른 카메라 모듈(10)이 스마트폰과 같은 모바일 단말에 적용될 경우, 구조광 프로젝터(100)와 구조광 카메라(200) 사이의 거리는 5 내지 200mm 일 수 있다. 또는, 구조광 프로젝터(100)와 구조광 카메라(200)는 카메라 모듈(10) 내에 함께 배치될 수도 있다.
구조광 카메라(200)는 특정 패턴의 구조광이 투사된 피사체를 촬영하여 복수의 저해상 영상 프레임을 생성한다. 그리고, 구조광 카메라(200)는 복수의 저해상 영상 프레임을 정합하여 고해상 영상 프레임을 생성한다. 여기서, 고해상 영상 프레임은 저해상 영상 프레임보다 상대적으로 높은 해상도를 가지는 영상 프레임을 의미한다.
구조광 카메라(200)는 구조광의 파장에 대응하는 광학 구조로 구성된다. 예를 들어, 구조광이 적외선 파장으로 생성된 경우, 구조광 카메라(200)는 적외선 파장을 촬영할 수 있는 광학 구조로 구성될 수 있다.
한편, 카메라 모듈(10)은 조명부(미도시)를 더 포함할 수 있다. 조명부는 구조광 프로젝터와 별도로 피사체에 빛을 조사할 수 있다. 조명부가 조사하는 빛은 근적외선이나 가시광선 일 수 있다. 조명부가 빛을 조사하면, 구조광 카메라(200)는 이를 촬영하여 피사체의 형상과 특징점을 추출할 수 있다.
다음으로, 도 3 및 도 4를 통해 본 발명의 실시예에 따른 구조광 프로젝터에 대해 상세하게 살펴보도록 한다.
도 3은 본 발명의 실시예에 따른 구조광 프로젝터의 구성도이다. 도 4는 본 발명의 실시예에 따른 광학 유닛의 구성도이다.
도 3에 나타난 바와 같이, 본 발명의 실시예에 따른 구조광 프로젝터(100)는 광원 유닛(110), 광학 유닛(120) 및 틸팅 유닛(130)을 포함한다.
광원 유닛(110)은 빛을 생성한다. 이때, 광원 유닛(110)이 생성하는 빛은 파장이 770 내지 3000nm인 적외선 일 수 있으며, 파장이 380 내지 770 nm인 가시광선 일 수도 있다. 광원 유닛(110)은 발광 다이오드(Light Emitting Diode, LED)를 이용하여 빛을 생성할 수 있다. 발광 다이오드는 유기 발광 다이오드(Organic light emitting diode, OLED) 및 레이저 다이오드(Laser diode, LD)를 포함한다. 광원 유닛(110)은 복수의 발광 다이오드가 어레이 된 형태일 수 있다.
광학 유닛(120)은 광원 유닛(110)이 생성한 빛을 집광하여 특정 패턴의 구조광을 생성한다. 그리고, 광학 유닛(120)은 특정 패턴의 구조광을 피사체에 투사한다. 광학 유닛(120)은 집광 소자(121)와 패턴 소자(122)를 포함한다.
집광 소자(121)는 광원 유닛(110)이 생성한 빛을 집광한다. 집광 소자(121)는 오목렌즈, 볼록렌즈 및 콜리메이터(collimator) 중 적어도 하나를 포함할 수 있다.
패턴 소자(122)는 집광 소자(121)로부터 받은 빛을 회절시켜 특정 패턴의 구조광을 생성한다. 패턴 소자(122)는 회절 광학 소자(Diffractive Optical Element, DOE), 홀로그램 광학 소자(hologram optical element, HOE) 및 컴퓨터 생성 홀로그램(computer generated hologram, CGH) 중 적어도 하나를 포함할 수 있다. 예를 들어, 패턴 소자(122)가 회절 광학 소자인 경우, 패턴 소자(122)의 표면 요철 구조를 변환시켜 특정 패턴의 구조광을 생성할 수 있다.
이때, 특정 패턴은 대응점을 찾기 용이하도록 복수의 도트(dots)를 통해 구현될 수 있다. 여기서, 복수의 도트는 서로 구별되도록 고유한 패턴을 가진다. 특정 패턴은 격자 무늬나 세로 무늬로 구현될 수 있으며, 가로 무늬로도 구현될 수 있다.
틸팅 유닛(130)은 하나의 영상 프레임마다 구조광의 광경로를 구조광 카메라에 포함된 이미지 센서의 서브 픽셀(sub-pixel) 단위로 변경한다. 이때, 틸팅 유닛(130)은 상, 하, 좌 우 중 어느 하나의 방향으로 구조광의 광경로를 변경할 수 있다. 따라서, 이미지 센서의 서브 픽셀 단위로 광경로가 변경된 구조광을 피사체에 조사한 후, 구조광 카메라가 피사체를 촬영하면, 상, 하, 좌, 우 중 어느 하나의 방향으로 서브 픽셀 단위만큼 이동한 저해상 영상 프레임이 생성된다.
도 5는 본 발명의 실시예에 따른 서브 픽셀을 설명하기 위한 도면이다. 도 3에서는 76,800개의 픽셀이 매트릭스 형태로 배열된 320x240 해상도의 이미지 센서를 나타낸다. 즉, 도 3에서 하나의 블록이 1 픽셀이 된다. 이때, 복수의 픽셀 사이에는 도 3의 음영 부분과 같이 일정한 간격이 형성될 수 있다. 본 발명의 실시예에서는 픽셀에 인접한 일정 간격을 포함하여 1 픽셀로 설명하도록 한다. 서브 픽셀은 0픽셀보다 크고 1픽셀보다 작을 수 있다. 예를 들어, 서브픽셀은 0.5 픽셀의 크기를 가질 수 있으며, 1/3 또는 1/4 픽셀의 크기를 가질 수 도 있다. 서브픽셀의 크기는 저해상 영상 프레임과 고해상 영상 프레임의 해상도에 따라 당업자가 설계변경 할 수 있다.
다음으로, 도 6 및 도 7을 통해 본 발명의 실시예에 따른 틸팅 유닛의 구조에 대해 살펴보도록 한다.
본 발명의 실시예에 따른 틸팅 유닛은 입사된 빛을 편향시켜 광경로를 변경한다. 구체적으로 틸팅 유닛은 특정한 굴절률을 가지는 물질의 높이 차를 이용하여 빛의 경로를 변경한다. 이때, 특정한 굴절률을 가지는 물질은 광학 액체(liquid optics)일 수 있다. 틸팅 유닛은 반사광의 광경로를 변경할 수 있는 광학 구조를 가지는 가변 프리즘(tunable prism)이나 액체렌즈(liquid lens)로 구성될 수 있다.
도 6은 본 발명의 실시예에 따른 가변 프리즘을 설명하기 위한 도면이다.
도 6의 (a)는 가변 프리즘의 구조를 나타낸다. 도 6의 (a)에 나타난 바와 같이, 가변 프리즘은 글래스 컨테이너(131), 광학 액체층(132), 멤브레인(133), 렌즈 셰이퍼(134), 글래스 윈도우(135) 및 액추에이터(미도시)를 포함한다.
글래스 컨테이너(131)는 액체를 담을 수 있는 형태로 구성된다. 글래스 컨테이너(131)는 빛이 통과할 수 있는 투명한 재질로 구성된다. 글래스 컨테이너(131)는 붕규산염(borosilicate)으로 구성될 수 있다.
광학 액체층(132)은 유동성을 가지며 빛이 통과할 수 있는 광학 액체로 구성된다. 광학 액체층(132)은 글래스 컨테이너(131)에 광학 액체가 광학 액체가 담김으로써 생성된다. 광학 액체층(132)은 렌즈 셰이퍼(134)에 의해 변형된 형상에 따라 광경로를 변경할 수 있다. 광학 액체의 굴절률 1 내지 1.5일 수 있다. 광학 액체는 불소화유(perfluoro polyether, PFPE)일 수 있다.
멤브레인(133)은 글래스 컨테이너(131)에 담긴 광학 액체에 외부로 흐르지 않도록 밀봉한다. 또한, 멤브레인(133)은 광학 액체층(132)이 이물이 들어가지 않도록 광학 액체층(132)을 밀봉한다. 멤브레인(133)은 빛이 통과할 수 있는 투명 재질로 구성된다. 멤브레인(133)은 신축이 가능하다. 멤브레인(133)은 폴리디메틸실록산(polydimethyl siloxane, PDMS)으로 구성될 수 있다.
글래스 윈도우(135)는 빛이 통과할 수 있는 투명한 재질의 플레이트로 구성된다. 글래스 윈도우(135)는 붕규산염(borosilicate)으로 구성될 수 있다.
렌즈 셰이퍼(134)는 금속으로 구성될 수 있다. 렌즈 셰이퍼(134)는 빛이 통과할 수 있는 홀이 형성된 원형 플레이트로 구성될 수 있다. 렌즈 셰이퍼(134)는 원점을 중심으로 대칭되는 지점에 액추에이터로부터 힘을 전달받을 수 있는 동력전달부재을 포함할 수 있다.
액추에이터는 렌즈 셰이퍼(134)의 동력전달부재를 누름으로써 광학 액체층(132)의 형상을 변형시킬 수 있다. 엑추에이터는 VCM(Voice Coil Motor)로 구성될 수 있다.
도 6의 (b)는 가변 프리즘의 구동 매커니즘을 나타낸다. 도 6의 (b)와 같이, 본 발명의 실시예에 따른 가변 프리즘은 액추에이터가 렌즈 셰이퍼(134)의 동력전달부재를 눌러 광학 액체층(132)의 형상을 변형시킴으로써 높이차를 생성한다. 높이차가 형성된 광학 액체층(132)은 입사되는 빛에 편향을 줌으로써 광경로를 변경한다.
도 7은 본 발명의 실시예에 따른 액체 랜즈를 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 액체 랜즈는 두 개의 플레이트 사이에 성질이 서로 다른 두 개의 광학 액체를 포함하는 구조일 수 있다. 두 광학 액체는 굴절률 1 내지 2의 유동적 재질로 구성된다. 두 광학 액체에 구동 전압을 인가하면 두 광학 액체가 이루는 계면이 변형된다. 계면을 통과한 빛은 광경로가 변경될 수 있다. 두 광학 액체에 인가되는 구동 전압의 편차가 증가할수록 계면의 FOV(Field Of View) 각도 변화가 증가될 수 있다.
예를 들어, 도 7의 (a)와 도 7의 (c)에서와 같이, 60v와 30v의 전압이 인가되면, 60v 측의 제1 액체 높이가 낮아지고 30v 측의 제1 액체 높이가 높아진다. 그러면, 입사된 반사광은 액체 렌즈를 통과하면서 30v 측으로 광경로가 변경된다. 도 7의 (b)에서와 같이 45v의 동일한 전압이 인가되면, 반사광의 광경로는 변경되지 않는다.
다음으로, 도 8 내지 도 10을 통해 본 발명의 실시예에 따른 틸팅 유닛의 배치 구조에 대해 살펴보도록 한다. 도 8 내지 도 10은 본 발명의 실시예에 따른 틸팅 유닛의 배치 구조를 나타낸 도면이다.
먼저, 도 8에 나타난 바와 같이, 틸팅 유닛(130)은 광원 유닛(110)과 광학 유닛(120)의 사이에 위치할 수 있다. 따라서, 틸팅 유닛(130)은 광원 유닛(110)이 생성한 빛의 광경로를 변경한다. 그리고, 빛의 광경로가 변경됨에 따라, 광학 유닛(120)은 광경로가 변경된 구조광을 생성한다. 예를 들어, 제1 프레임에서는 도 6의 실선과 같은 광경로에 따라 피사체(1)에 구조광을 투사한다고 가정한다. 그러면, 제1 프레임 다음의 제2 프레임에서, 틸팅 유닛(130)은 광원 유닛(110)이 생성한 빛의 광경로를 a와 같이 이동시켜 광학 유닛(120)에 입사시킨다. 그러면 광학 유닛(120)은 변경된 광경로에 따라 b와 같은 광경로의 구조광을 생성하여 피사체(1)에 투사한다.
다음으로, 도 9에 나타난 바와 같이, 틸팅 유닛(130)은 광학 유닛(120)의 전면에 위치할 수 있다. 따라서, 틸팅 유닛(130)은 광학 유닛(120)이 생성한 구조광의 광경로를 변경한다. 예를 들어, 제1 프레임에서는 도 9의 실선과 같은 광경로에 따라 피사체(1)에 구조광을 투사한다고 가정한다. 그러면, 제1 프레임 다음의 제2 프레임에서, 틸팅 유닛(130)은 광학 유닛(120)이 생성한 구조광의 광경로를 c와 같이 이동시켜 피사체(1)에 투사한다.
다음으로, 도 10에 나타난 바와 같이, 틸팅 유닛(130)은 광학 유닛에 포함될 수 있다. 구체적으로 틸팅 유닛(130)은 광학 유닛의 집광 소자(121)와 광학 유닛의 패턴 소자(122) 사이에 위치할 수 있다. 따라서, 틸팅 유닛(130)은 집광 소자가 집광한 빛의 광경로를 변경하며, 패턴 소자에 전달한다. 그러면, 패턴 소자는 광경로가 변경된 구조광을 생성할 수 있다. 예를 들어, 제1 프레임에서는 도 8의 실선과 같은 광경로에 따라 피사체(1)에 구조광을 투사한다고 가정한다. 그러면, 제1 프레임 다음의 제2 프레임에서, 틸팅 유닛(130)은 집광 소자로부터 전달받은 빛의 광경로를 d와 같이 변경하여 패턴 소자에 전달한다. 그러면, 패턴 소자는 e와 같은 광경로를 가지는 구조광을 생성하여 피사체(1)에 투사한다.
도 11은 본 발명의 실시예에 따른 구조광 카메라의 구성도이다.
도 11에 나타난 바와 같이, 본 발명의 실시예에 따른 구조광 카메라(200)는 렌즈부(210), 이미지 센서부(220) 및 영상 제어부(230)를 포함한다.
렌즈부(210)은 피사체로부터 반사된 구조광을 집광하여 이미지 센서(220)에 전달한다.
본 발명의 실시예에 따르면, 렌즈 모듈(210)은 렌즈, 렌즈 배럴 및 홀더를 포함할 수 있다.
렌즈는 복수로 구성될 수 있으며, 1개로 구성될 수도 있다. 렌즈가 복수로 구성될 경우 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 구조광 카메라(200) 광학계의 광축(Optical axis)과 동일할 수 있다.
렌즈 배럴은 홀더와 결합되며, 내부에 렌즈를 수용할 수 있는 공간을 구비할 수 있다. 렌즈 배럴은 하나 또는 복수의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 이용한 방식 등 다른 방식으로 결합될 수 있다.
홀더는 렌즈 배럴과 결합되어 렌즈 배럴을 지지하고, 이미지 센서가 부착된 기판에 결합될 수 있다. 홀더는 렌즈 배럴 하부에 IR 글래스가 부착될 수 있는 공간을 구비할 수 있다. 홀더는 나선형 구조를 포함하고, 마찬가지로 나선형 구조를 포함하는 렌즈 배럴과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 홀더와 렌즈 배럴은 접착제를 통해 결합되거나, 홀더와 렌즈 배럴이 일체형으로 형성될 수도 있다.
이미지 센서부(220)는 렌즈부(210)를 통해 집광된 구조광을 흡수하여 영상 신호를 생성한다. 이미지 센서는 구조광의 파장을 흡수할 수 있는 포토 다이오드(photo diode)를 포함할 수 있다. 이미지 센서부(220)는 복수의 픽셀이 매트릭스 형태로 배열된 구조로 구성될 수 있다. 이미지 센서부(220)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있으며, CCD(Charge Coupled Device) 이미지 센서일 수도 있다.
다음으로, 영상 제어부(130)는 영상 신호를 이용하여 복수의 저해상 영상 프레임을 생성하고, 복수의 저해상 영상 프레임을 이용하여 고해상 깊이 영상을 생성한다.
본 발명의 실시예에서는 깊이 정보의 해상도를 높이기 위하여, 슈퍼 레졸루션(Super Resolution, SR) 기법을 이용하여 복수의 저해상 영상 프레임으로부터 고해상 영상을 생성한다. SR 기법의 수학적 모델은 수학식 1과 같이 나타낼 수 있다.
Figure PCTKR2019005057-appb-M000001
여기서, 1≤k≤p이고, p는 저해상 영상의 개수이며, yk는 저해상 영상(=[yk,1, yk,2, …, yk,M]T, 여기서, M=N1*N2), Dk는 다운 샘플링(down sampling) 매트릭스, Bk는 광학 흐림(blur) 매트릭스, Mk는 영상 왜곡(warping) 매트릭스, x는 고해상 영상(=[x1, x2, …, xN]T, 여기서, N=L1N1*L2N2), nk는 노이즈를 나타낸다. 즉, SR 기법에 따르면, yk에 추정된 해상도 열화 요소들의 역함수를 적용하여 x를 추정하는 기술을 의미한다. SR 기법은 크게 통계적 방식과 멀티프레임 방식으로 나뉠 수 있으며, 멀티프레임 방식은 크게 공간 분할 방식과 시간 분할 방식으로 나뉠 수 있다. 깊이 정보 획득을 위하여 SR 기법을 이용하는 경우, 수학식 1의 Mk의 역함수가 존재하지 않기 때문에, 통계적 방식이 시도될 수 있다. 다만, 통계적 방식의 경우, 반복 연산 과정이 필요하므로, 효율이 낮은 문제가 있다.
깊이 정보 추출에 SR 기법을 적용하기 위하여, 영상 제어부(230)는 이미지 센서부(220)로부터 수신한 영상신호를 이용하여 복수의 저해상 영상 프레임을 생성한 후, 복수의 저해상 영상 프레임에 SR 기법을 적용하여 고해상 영상 프레임을 생성하고, 고해상 영상 프레임에 대응한 깊이 정보를 추출할 수 있다.
구체적으로, 영상 제어부(230)는 영상 신호를 이용하여 복수의 저해상 영상 프레임을 생성한다.
그리고, 영상 제어부(230)는 복수의 저해상 영상 프레임의 위치 관계를 정합한다. 구체적으로, 영상 제어부(230)는 복수의 저해상 영상 프레임 중 하나를 기준 영상으로 설정하고, 기준 영상을 중심으로 복수의 저해상 영상 프레임의 위치 관계를 정합한다. 이때, 본 발명의 실시예에 따른 복수의 저해상 영상 프레임은 서로 다른 광경로에 따라 피사체에 투사된 구조광을 촬영한 영상이다. 즉, 본 발명의 실시예에 따른 복수의 영상 프레임들은 영상 촬영시 프레임간 화소 단위의 움직임이 정해져 있다. 따라서, 화소 단위의 움직임을 추정하여 복수의 영상을 정합하는 종래 SR 기법과는 달리, 본 발명의 실시예에 따른 영상 제어부는 화소 단위의 움직임 추정 과정 없이 복수의 저해상 영상 프레임의 위치관계를 정합한다.
그러면, 영상 제어부(230)는 정합된 위치 관계를 이용하여 정합점을 추정하고, 추정된 정합점을 이용하여 고해상 영상 프레임의 각 픽셀값을 추정한다. 그리고 영상 제어부(230)는 추정된 픽셀값을 후처리(post processing)하여 고해상 영상 프레임을 생성한다. 이때, 영상 제어부(230)는 블록 현상 제거 필터(de-blocking filter)나 초점 복원 필터(de-blurring filter)를 이용하여 후처리 할 수 있다.
다음으로, 영상 제어부(230)는 고해상 영상 프레임을 이용하여 깊이 정보를 추출하며, 깊이 정보를 이용하여 고해상 깊이 지도(depth map)를 생성할 수 있다.
다른 방법으로, 복수의 저해상 깊이 정보에 대하여 SR 기법을 적용하여 고해상 깊이 정보를 추출할 수 있다.
구체적으로, 영상 제어부(230)는 영상 신호를 이용하여 복수의 저해상 영상 프레임을 생성한다. 그리고, 영상 제어부(230)는 각각의 저해상 영상 프레임에 대한 저해상 깊이 지도를 생성한다.
그러면, 영상 제어부(230)는 각각의 저해상 깊이 지도에 대해 SR 기법을 적용하여 고해상 깊이 지도를 생성한다. 저해상 깊이 지도에 대한 SR 기법 적용 과정은 상기의 저해상 영상 프레임에 대한 SR 기법과 동일한 바, 상세한 설명은 생략하도록 한다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (11)

  1. 특정 패턴의 구조광을 생성하여 피사체에 투사하되, 하나의 영상 프레임마다 상기 구조광의 광경로를 이미지 센서의 서브픽셀 단위로 변경하는 구조광 프로젝터, 그리고
    상기 구조광이 투사된 피사체를 촬영하여 복수의 저해상 영상 프레임을 생성하고, 상기 복수의 저해상 영상 프레임을 이용하여 고해상 깊이 지도를 추출하는 구조광 카메라를 포함하는 카메라 모듈.
  2. 제1항에 있어서,
    상기 구조광 프로젝터는,
    상기 구조광 카메라와 기 설정된 간격을 두고 배치되는 카메라 모듈.
  3. 제1항에 있어서,
    상기 서브 픽셀은,
    0 픽셀보다 크고 1 픽셀보다 작은 크기를 가지는 카메라 모듈.
  4. 제1항에 있어서,
    상기 구조광 프로젝터는,
    빛을 생성하는 광원 유닛,
    상기 생성된 빛을 집광하여 상기 특정 패턴의 구조광을 생성하는 광학 유닛, 그리고
    하나의 영상 프레임마다 상기 구조광의 광경로를 카메라 이미지 센서의 서브픽셀 단위로 변경하는 틸팅 유닛을 포함하는 카메라 모듈.
  5. 제4항에 있어서,
    상기 틸팅 유닛은,
    상기 구조광의 광경로를 기준 광경로를 기준으로 상, 하, 좌, 우 중 어느 하나의 방향으로 변경하는 카메라 모듈.
  6. 제4항에 있어서,
    상기 틸팅 유닛은,
    상기 광원 유닛과 상기 광학 유닛 사이에 위치하여 상기 구조광의 광경로를 변경하는 카메라 모듈.
  7. 제4항에 있어서,
    상기 틸팅 유닛은,
    상기 광학 유닛의 전면에 위치하여 상기 구조광의 광경로를 변경하는 카메라 모듈.
  8. 제4항에 있어서,
    상기 광학 유닛은,
    상기 광원 유닛이 생성한 빛을 집광하는 집광 소자와 상기 집광 소자가 집광한 빛을 회절시켜 특정 패턴의 구조광을 생성하는 패턴 소자를 포함하며,
    상기 틸팅 유닛은,
    상기 집광 소자와 상기 패턴 소자 사이에 위치하여 상기 구조광의 광경로를 변경하는 카메라 모듈.
  9. 제1항에 있어서,
    상기 복수의 저해상 영상 프레임은,
    각각에 대응하는 구조광의 광경로가 서로 다른 카메라 모듈.
  10. 제9항에 있어서,
    상기 구조광 카메라는,
    복수의 저해상 영상 프레임 각각에 대응하는 복수의 저해상 깊이 지도를 생성하고, 상기 복수의 저해상 깊이 지도에 초해상 기법(super resolution)을 적용하여 고해상 깊이 지도를 생성하는 카메라 모듈.
  11. 제9항에 있어서,
    상기 구조광 카메라는,
    복수의 저해상 영상 프레임에 초해상 기법(super resolution)을 적용하여 고해상 영상 프레임을 생성하고, 상기 고해상 영상 프레임에 대응하는 고해상 깊이 지도를 생성하는 카메라 모듈.
PCT/KR2019/005057 2018-04-26 2019-04-26 카메라 모듈 및 그의 깊이 정보 추출 방법 WO2019209064A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980028493.0A CN112020856B (zh) 2018-04-26 2019-04-26 相机模块和用于通过相机模块提取深度信息的方法
US17/050,641 US11393112B2 (en) 2018-04-26 2019-04-26 Camera module and method for extracting depth information by same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180048635A KR102572974B1 (ko) 2018-04-26 2018-04-26 카메라 모듈 및 그의 깊이 정보 추출 방법
KR10-2018-0048635 2018-04-26

Publications (1)

Publication Number Publication Date
WO2019209064A1 true WO2019209064A1 (ko) 2019-10-31

Family

ID=68293790

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/005057 WO2019209064A1 (ko) 2018-04-26 2019-04-26 카메라 모듈 및 그의 깊이 정보 추출 방법

Country Status (4)

Country Link
US (1) US11393112B2 (ko)
KR (1) KR102572974B1 (ko)
CN (1) CN112020856B (ko)
WO (1) WO2019209064A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222496A1 (zh) * 2021-04-20 2022-10-27 上海图漾信息科技有限公司 深度数据测量头、计算设备和测量方法
EP4106308A4 (en) * 2020-02-13 2024-02-07 Lg Innotek Co Ltd CAMERA MODULE

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102572974B1 (ko) * 2018-04-26 2023-08-31 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
KR20230174621A (ko) * 2022-06-21 2023-12-28 삼성전자주식회사 깊이 맵 생성을 위한 전자 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101272573B1 (ko) * 2011-11-17 2013-06-10 재단법인대구경북과학기술원 구조광 패턴 기반의 깊이 정보 추정 장치 및 방법
US9325973B1 (en) * 2014-07-08 2016-04-26 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
US20160212332A1 (en) * 2015-01-16 2016-07-21 Mems Drive, Inc. Three-axis ois for super-resolution imaging
US9578218B2 (en) * 2014-06-02 2017-02-21 Apple Inc. Comb drive and leaf spring camera actuator
WO2017149092A2 (en) * 2016-03-02 2017-09-08 Optotune Ag Optical device, particularly camera, particularly comprising autofocus, image stabilization and super resolution

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3083719B2 (ja) * 1994-07-05 2000-09-04 シャープ株式会社 投射型液晶表示装置
WO2006134793A1 (ja) * 2005-06-14 2006-12-21 Brother Kogyo Kabushiki Kaisha 投影装置
US8538166B2 (en) * 2006-11-21 2013-09-17 Mantisvision Ltd. 3D geometric modeling and 3D video content creation
US10785463B2 (en) * 2013-07-16 2020-09-22 Texas Instruments Incorporated Super-resolution in structured light imaging
WO2015137635A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
JP2015185947A (ja) 2014-03-20 2015-10-22 株式会社東芝 撮像システム
JP2015212927A (ja) * 2014-04-17 2015-11-26 株式会社リコー 入力操作検出装置、入力操作検出装置を備えた画像表示装置及びプロジェクタシステム
US20160150219A1 (en) * 2014-11-20 2016-05-26 Mantisvision Ltd. Methods Circuits Devices Assemblies Systems and Functionally Associated Computer Executable Code for Image Acquisition With Depth Estimation
TWI781085B (zh) * 2015-11-24 2022-10-21 日商索尼半導體解決方案公司 複眼透鏡模組及複眼相機模組
CN109906353B (zh) * 2016-09-21 2021-06-15 飞利浦·M·约翰逊 采用混合循环二进制码结构光的非接触式坐标测量机
US10360693B2 (en) * 2017-03-01 2019-07-23 Cognex Corporation High speed structured light system
US10809424B2 (en) * 2017-03-29 2020-10-20 AGC Inc. Glass sheet composite, diaphragm using the same, and image projection structure
KR102572974B1 (ko) * 2018-04-26 2023-08-31 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
US11250277B2 (en) * 2018-11-30 2022-02-15 Universal City Studios Llc Alternating crossed alignment object detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101272573B1 (ko) * 2011-11-17 2013-06-10 재단법인대구경북과학기술원 구조광 패턴 기반의 깊이 정보 추정 장치 및 방법
US9578218B2 (en) * 2014-06-02 2017-02-21 Apple Inc. Comb drive and leaf spring camera actuator
US9325973B1 (en) * 2014-07-08 2016-04-26 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
US20160212332A1 (en) * 2015-01-16 2016-07-21 Mems Drive, Inc. Three-axis ois for super-resolution imaging
WO2017149092A2 (en) * 2016-03-02 2017-09-08 Optotune Ag Optical device, particularly camera, particularly comprising autofocus, image stabilization and super resolution

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4106308A4 (en) * 2020-02-13 2024-02-07 Lg Innotek Co Ltd CAMERA MODULE
WO2022222496A1 (zh) * 2021-04-20 2022-10-27 上海图漾信息科技有限公司 深度数据测量头、计算设备和测量方法

Also Published As

Publication number Publication date
US20210065390A1 (en) 2021-03-04
KR20190124542A (ko) 2019-11-05
KR102572974B1 (ko) 2023-08-31
US11393112B2 (en) 2022-07-19
CN112020856B (zh) 2023-03-24
CN112020856A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
WO2019209064A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
JP2024023479A (ja) カメラモジュール
US9083873B1 (en) Devices and methods for providing multi-aperture lens functionality
JP2005176151A5 (ko)
Stamenov et al. Panoramic monocentric imaging using fiber-coupled focal planes
WO2019199101A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
WO2017034308A1 (ko) 카메라 모듈
CN1472591A (zh) 成象装置
JP4142670B2 (ja) ズームカメラの光学装置
JP5332423B2 (ja) 撮像装置
WO2015115799A1 (ko) 카메라 장치
CN111818242B (zh) 影像感测装置
CN106331454A (zh) 一种显微镜精密拍照系统和拍照方法
CN206400179U (zh) 一种镜头
WO2020067745A1 (ko) 카메라 장치
CN211018954U (zh) 一种分视场成像模组及终端设备
WO2019245300A1 (ko) 이미지 센서 및 이를 이용하는 카메라 모듈
CN108873302B (zh) 一种光场显微图像的自动校正和重新聚焦方法
CN105572833B (zh) 光学装置
Gassner et al. Compact wide-angle array camera for presence detection
CN113810578B (zh) 一种屏下摄像头模块和显示装置
CN107040699A (zh) 摄影装置
CN102721531B (zh) 一种检测仪
CN1959459A (zh) 摄像装置
JP2006304230A (ja) 撮像装置及び表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19793565

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19793565

Country of ref document: EP

Kind code of ref document: A1