WO2019199101A1 - 카메라 모듈 및 그의 깊이 정보 추출 방법 - Google Patents

카메라 모듈 및 그의 깊이 정보 추출 방법 Download PDF

Info

Publication number
WO2019199101A1
WO2019199101A1 PCT/KR2019/004416 KR2019004416W WO2019199101A1 WO 2019199101 A1 WO2019199101 A1 WO 2019199101A1 KR 2019004416 W KR2019004416 W KR 2019004416W WO 2019199101 A1 WO2019199101 A1 WO 2019199101A1
Authority
WO
WIPO (PCT)
Prior art keywords
light signal
unit
image sensor
glass layer
filter
Prior art date
Application number
PCT/KR2019/004416
Other languages
English (en)
French (fr)
Inventor
김윤성
이웅
이창혁
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to JP2020555858A priority Critical patent/JP7485610B2/ja
Priority to EP19784499.6A priority patent/EP3780596A4/en
Priority to US17/047,268 priority patent/US11568553B2/en
Priority to CN201980025629.2A priority patent/CN111971957B/zh
Publication of WO2019199101A1 publication Critical patent/WO2019199101A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/006—Filter holders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings

Definitions

  • the present invention relates to a camera module and a method for extracting depth information thereof.
  • 3D content is applied in many fields such as education, manufacturing, autonomous driving as well as game and culture, and depth information is required to obtain 3D content.
  • Depth information is information representing a distance in space and represents perspective information of another point with respect to one point of the 2D image.
  • One method of obtaining depth information is a method of projecting IR (Infrared) structured light onto an object and extracting depth information by analyzing light reflected from the object. According to the IR structured light method, it is difficult to obtain a desired depth resolution for a moving object.
  • IR structured light method it is difficult to obtain a desired depth resolution for a moving object.
  • TOF time of flight
  • the distance to an object is calculated by measuring a flight time, that is, a time when light is reflected by shooting.
  • a flight time that is, a time when light is reflected by shooting.
  • the biggest advantage of the ToF method is that it provides fast real-time distance information on three-dimensional space.
  • the user can obtain accurate distance information without any algorithm or hardware correction.
  • accurate depth information can be obtained by measuring a very close subject or a moving subject.
  • the current ToF method has a problem in that information obtained per frame, that is, resolution is very low.
  • One way to increase the resolution is to increase the number of pixels in the image sensor. In this case, however, the volume and manufacturing cost of the camera module are greatly increased.
  • An object of the present invention is to provide a camera module for extracting depth information using the TOF method and a depth information extraction method thereof.
  • the camera module is an illumination unit for outputting an incident light signal irradiated to the object, a lens unit for collecting the reflected light signal reflected from the object, an image for generating an electrical signal from the reflected light signal collected by the lens unit Depth of the object using a phase difference between a sensor unit, a tilting unit shifting the optical path of the reflected light signal, and the incident light signal and the reflected light signal received by the image sensor unit with respect to the frame shifted by the tilting unit And an image control unit for extracting information, wherein the lens unit is disposed on the image sensor unit, and the lens unit is an IR (InfraRed) filter disposed on the image sensor unit, and at least one sheet disposed on the IR filter. It includes a lens of, the tilting portion controls the tilt of the IR filter.
  • IR InfraRed
  • the tilting unit may include a voice coil motor (VCM), and the IR filter may be disposed between the image sensor unit and the VCM.
  • VCM voice coil motor
  • the VCM may include a magnet holder, a plurality of magnets spaced at a predetermined interval on the magnet holder, a coil holder, and a plurality of coils spaced at a predetermined interval to be paired with the plurality of magnets on the coil holder. Can be.
  • the IR filter includes a glass layer and a glass layer holder for supporting the glass layer, and at least a portion of the glass layer holder may be surrounded by the magnet holder.
  • the magnet holder includes a plurality of magnet guides for receiving the plurality of magnets
  • the glass layer holder includes a plurality of protrusions protruding to correspond to the plurality of magnet guides
  • the plurality of protrusions comprises the plurality of coils. And move to contact the plurality of magnet guides or to be spaced apart from the plurality of magnet guides according to a magnetic field generated between the plurality of magnets.
  • the glass layer may be tilted at a predetermined angle according to the movement of the plurality of protrusions.
  • the glass layer may be an IR pass glass layer.
  • the IR filter may further include an IR pass glass layer spaced apart from the glass layer on the image sensor unit.
  • It may further include an elastic film disposed between the image sensor and the IR filter.
  • the housing may further include a housing for receiving the image sensor, and the elastic membrane may be bonded to the housing.
  • the camera module is an illumination unit for outputting an incident light signal irradiated to the object, a lens unit for collecting the reflected light signal reflected from the object, generating an electrical signal from the reflected light signal collected by the lens unit
  • an image controller for extracting depth information of the object by using a phase difference between signals, and the tilting part controls a shape of the elastic layer.
  • It includes a housing for receiving the image sensor, one side of the elastic membrane may be coupled to the housing and the other side of the elastic membrane may be coupled to the tilting portion.
  • depth information may be obtained at a high resolution without significantly increasing the number of pixels of the image sensor.
  • the subpixel shift effect can be obtained using a simple structure, and the image sensor can be protected from moisture, foreign matters, and the like.
  • FIG. 1 is a block diagram of a ToF camera module according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining a frequency of an incident light signal.
  • FIG 3 is an example of a cross-sectional view of a camera module.
  • FIG. 4 is a view for explaining an electrical signal generation process according to an embodiment of the present invention.
  • FIG. 5 is a view for explaining the image sensor 130 according to an embodiment of the present invention.
  • FIG. 6 is a view for explaining the optical path change of the reflected light signal by the tilting unit 140.
  • FIG. 7 and 8 are diagrams for explaining the SR technique according to an embodiment of the present invention.
  • FIG. 9 is a diagram for describing a pixel value arranging process according to an exemplary embodiment of the present invention.
  • 10 to 11 are views for explaining an effect of shifting an image frame input to an image sensor according to tilt control of an IR filter.
  • FIG. 12 is a perspective view of a VCM and IR filter in accordance with an embodiment of the present invention.
  • FIG. 13 is a cross-sectional view of a ToF camera module including a VCM and an IR filter according to an embodiment of the present invention.
  • FIG. 14 is a view illustrating a process of combining a magnet assembly and an IR filter included in a VCM according to an embodiment of the present invention.
  • FIG. 15 is a view illustrating a coupling process of a coil assembly included in a VCM according to an embodiment of the present invention.
  • 16 is a view illustrating a coupling process of a magnet assembly, an IR filter, and a coil assembly according to an exemplary embodiment of the present invention.
  • 17 is a cross-sectional view of a portion of a camera module according to an embodiment of the present invention.
  • ordinal numbers such as second and first
  • first and second components may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component.
  • FIG. 1 is a block diagram of a ToF camera module according to an embodiment of the present invention.
  • the ToF camera module 100 includes an illumination 110, a lens unit 120, an image sensor unit 130, a tilting unit 140, and an image control unit 150.
  • the lighting unit 110 generates an incident light signal and irradiates the object.
  • the lighting unit 110 may generate and output an incident light signal in the form of a pulse wave or a continuous wave.
  • the continuous wave may be in the form of a sinusoid wave or a squared wave.
  • the ToF camera module 100 may detect a phase difference between the incident light signal output from the illumination unit 110 and the reflected light signal reflected from the object.
  • the incident light may refer to light that is output from the lighting unit 110 and incident on the object
  • the reflected light may refer to light that is output from the lighting unit 110 and reflected from the object after reaching the object. From the standpoint of the ToF camera module 100, incident light may be output light, and reflected light may be input light.
  • the lighting unit 110 irradiates the generated incident light signal to the object for a predetermined exposure time.
  • the exposure period means one frame period.
  • the set exposure period is repeated. For example, when the ToF camera module 100 photographs an object at 20 FPS, the exposure period is 1/20 [sec]. In the case of generating 100 frames, the exposure period may be repeated 100 times.
  • the lighting unit 110 may generate a plurality of incident light signals having different frequencies.
  • the illumination unit 110 may sequentially generate a plurality of incident light signals having different frequencies.
  • the lighting unit 110 may simultaneously generate a plurality of incident light signals having different frequencies.
  • the lighting unit 110 controls the first half of the exposure period to generate an incident light signal having a frequency f 1 , and the other half of the exposure period generates an incident light signal having a frequency f 2 , as shown in FIG. 2. Can be controlled.
  • the lighting unit 110 may control some of the light emitting diodes to generate an incident light signal having a frequency f 1 , and control the other light emitting diodes to generate an incident light signal having a frequency f 2 .
  • the lighting unit 110 may include a light source 112 for generating light and a light modulator 114 for modulating the light.
  • the light source 112 generates light.
  • the light generated by the light source 112 may be infrared light having a wavelength of 770 to 3000 nm, or may be visible light having a wavelength of 380 to 770 nm.
  • the light source 112 may use a light emitting diode (LED), and may have a shape in which a plurality of light emitting diodes are arranged according to a predetermined pattern.
  • the light source 112 may include an organic light emitting diode (OLED) or a laser diode (LD).
  • the light source 112 repeatedly turns on / off at predetermined time intervals to generate an incident light signal in the form of a pulse wave or a continuous wave.
  • the predetermined time interval may be a frequency of the incident light signal. Flashing of the light source may be controlled by the light modulator 114.
  • the light modulator 114 controls the blinking of the light source 112 to control the light source 112 to generate an incident light signal in the form of a continuous wave or a pulse wave.
  • the light modulator 114 may control the light source 112 to generate an incident light signal in the form of a continuous wave or a pulse wave through frequency modulation or pulse modulation.
  • the lens unit 120 collects the reflected light signal reflected from the object and transmits the reflected light signal to the image sensor unit 130.
  • FIG 3 is an example of a cross-sectional view of a camera module.
  • the camera module 300 includes a lens assembly 310, an image sensor 320, and a printed circuit board 330.
  • the lens assembly 310 may correspond to the lens unit 120 of FIG. 1
  • the image sensor 320 may correspond to the image sensor unit 130 of FIG. 1.
  • the image controller 150 of FIG. 1 may be implemented in the printed circuit board 330.
  • the lighting unit 110 of FIG. 1 may be disposed on the side of the image sensor 320 on the printed circuit board 330 or may be disposed outside the camera module 300.
  • the lens assembly 310 may include a lens 312, a lens barrel 314, a lens holder 316, and an IR filter 318.
  • the lens 312 may be configured in plural, or may be composed of one.
  • each lens may be aligned with respect to a central axis to form an optical system.
  • the central axis may be the same as the optical axis of the optical system.
  • the lens barrel 314 is coupled to the lens holder 316 and may have a space for accommodating the lens therein.
  • the lens barrel 314 may be rotationally coupled with one or more lenses, but this is exemplary and may be coupled in other ways, such as by using an adhesive (eg, an adhesive resin such as epoxy). .
  • the lens holder 316 may be coupled to the lens barrel 314 to support the lens barrel 314, and may be coupled to the printed circuit board 330 on which the image sensor 320 is mounted.
  • a space in which the IR filter 318 may be attached may be formed below the lens barrel 314 by the lens holder 316.
  • a spiral pattern may be formed on the inner circumferential surface of the lens holder 316 and the lens barrel 314 may be rotatably coupled to the lens barrel 314 having the spiral pattern formed on the outer circumferential surface.
  • this is exemplary and the lens holder 316 and the lens barrel 314 may be coupled through an adhesive, or the lens holder 316 and the lens barrel 314 may be integrally formed.
  • the lens holder 316 may be divided into an upper holder 316-1 coupled to the lens barrel 314, and a lower holder 316-2 coupled to the printed circuit board 330 on which the image sensor 320 is mounted.
  • the upper holder 316-1 and the lower holder 316-2 may be integrally formed, formed in a structure separated from each other, and then fastened or coupled, or may be separated from each other. In this case, the diameter of the upper holder 316-1 may be smaller than the diameter of the lower holder 316-2.
  • the lens unit 120 may be configured in another structure capable of collecting and transmitting the reflected light signal incident to the ToF camera module 100 to the image sensor unit 130.
  • the image sensor unit 130 generates an electrical signal using the reflected light signal collected through the lens unit 120.
  • the image sensor 130 may absorb the reflected light signal in synchronization with the blinking period of the lighting unit 110.
  • the image sensor unit 130 may absorb light in an in phase and an out phase of the incident light signal output from the lighting unit 110, respectively. That is, the image sensor unit 130 may repeatedly absorb the reflected light signal when the light source is turned on and absorb the reflected light signal when the light source is turned off.
  • the image sensor 130 may generate an electrical signal corresponding to each reference signal by using a plurality of reference signals having different phase differences.
  • the frequency of the reference signal may be set equal to the frequency of the incident light signal output from the illumination unit 110. Therefore, when the illumination unit 110 generates an incident light signal at a plurality of frequencies, the image sensor unit 130 generates an electrical signal using a plurality of reference signals corresponding to each frequency.
  • the electrical signal may include information about the amount of charge or voltage corresponding to each reference signal.
  • FIG. 4 is a view for explaining an electrical signal generation process according to an embodiment of the present invention.
  • Each reference signal C 1 to C 4 may have the same frequency as the incident light signal, but may have a phase difference of 90 degrees.
  • One of the four reference signals C 1 may have the same phase as the incident light signal.
  • the reflected light signal is delayed in phase by a distance from the incident light signal to the object after being reflected.
  • the image sensor 130 mixes the reflected light signal and each reference signal, respectively. Then, the image sensor 130 may generate an electrical signal corresponding to the shaded portion of FIG. 4 for each reference signal.
  • the image sensor unit 130 absorbs the reflected light signal according to the plurality of frequencies.
  • incident light signals are generated at frequencies f 1 and f 2
  • the plurality of reference signals have a phase difference of 90 degrees.
  • the frequency can be generated with four electrical signals through the f 1 of the reflected light signal and four reference signals corresponding thereto.
  • Four electrical signals may be generated through the reflected light signal having the frequency f 2 and the four reference signals corresponding thereto.
  • a total of eight electrical signals can be generated.
  • the image sensor unit 130 may have a structure in which a plurality of pixels are arranged in a grid form.
  • the image sensor 130 may be a complementary metal oxide semiconductor (CMOS) image sensor, or may be a charge coupled device (CCD) image sensor.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the image sensor unit 130 may include a ToF sensor that receives infrared light reflected from a subject and measures a distance using a time or a phase difference.
  • FIG. 5 is a view for explaining the image sensor 130 according to an embodiment of the present invention.
  • the image sensor 130 having a 320x240 resolution 76,800 pixels are arranged in a grid.
  • a constant gap may be formed between the plurality of pixels as shown in the shaded portion of FIG. 5.
  • the description is made with one pixel including a predetermined interval adjacent to the pixel.
  • each pixel 132 includes a first light receiving unit 132-1 including a first photodiode and a first transistor, and a second light receiving unit 132 including a second photodiode and a second transistor. -2).
  • the first light receiver 132-1 receives the reflected light signal in phase with the waveform of the incident light. That is, at the time when the light source is turned on, the first photodiode is turned on to absorb the reflected light signal. Then, at the time when the light source is turned off, the first photodiode is turned off to stop the reflected light absorption. The first photodiode converts the absorbed reflected light signal into a current and transfers it to the first transistor. The first transistor converts the received current into an electrical signal and outputs the electrical signal.
  • the second light receiver 132-2 receives the reflected light signal in a phase opposite to the waveform of the incident light. That is, at the time that the light source is turned on, the second photodiode is turned off to absorb the reflected light signal. At the time when the light source is turned off, the second photodiode is turned on to stop the reflected light absorption. The second photodiode converts the absorbed reflected light signal into a current and transfers it to the second transistor. The second transistor converts the received current into an electrical signal.
  • the first light receiver 132-1 may be referred to as an in phase receiving unit
  • the second light receiver 132-2 may be referred to as an out phase receiving unit.
  • a difference occurs in the amount of light received according to the distance to the object.
  • the object is directly in front of the TOF camera module 100 (that is, when the distance is 0)
  • the light source blinks.
  • the period becomes a reception period of light as it is. Accordingly, only the first light receiver 132-1 receives the light, and the second light receiver 132-2 does not receive the light.
  • the image controller 150 calculates a phase difference between incident light and reflected light by using an electrical signal received from the image sensor unit 130, and uses the phase difference between the object and the ToF camera module 100. Calculate the distance.
  • the image controller 150 may calculate the phase difference between the incident light and the reflected light by using the charge information of the electric signal.
  • the image controller 150 may calculate the phase difference t d between the incident light signal and the reflected light signal using Equation 1 below.
  • Q 1 to Q 4 are charge charge amounts of each of the four electrical signals.
  • Q 1 is the amount of charge of the electric signal corresponding to the reference signal of the same phase as the incident light signal.
  • Q 2 is the amount of charge of the electric signal corresponding to the reference signal 180 degrees slower than the incident light signal.
  • Q 3 is the amount of charge of the electrical signal corresponding to the reference signal 90 degrees slower than the incident light signal.
  • Q 4 is the charge amount of an electrical signal corresponding to the reference signal whose phase is 270 degrees slower than the incident light signal.
  • the image controller 150 may calculate the distance between the object and the ToF camera module 100 using the phase difference between the incident light signal and the reflected light signal. In this case, the image controller 150 may calculate a distance d between the object and the ToF camera module 100 by using Equation 2 below.
  • a super resolution (SR) technique is used to increase the resolution of depth information.
  • the SR technique is a technique of obtaining a high resolution image from a plurality of low resolution images, and a mathematical model of the SR technique may be represented by Equation 3.
  • the SR technique means a technique of estimating x by applying an inverse function of the resolution degradation factors estimated to y k .
  • the SR technique can be largely divided into a statistical method and a multiframe method, and the multiframe method can be largely divided into a space division method and a time division method.
  • a statistical method may be tried.
  • an iterative calculation process is required, and thus there is a problem of low efficiency.
  • the image controller 150 In order to apply the SR technique to the extraction of depth information, the image controller 150 generates a plurality of low resolution subframes using the electrical signal received from the image sensor unit 130 and then uses the plurality of low resolution subframes. A plurality of low resolution depth information can be extracted. The high resolution depth information may be extracted by rearranging pixel values of the plurality of low resolution depth information.
  • high resolution is a relative meaning of higher resolution than low resolution.
  • the subframe may mean image data generated from an electrical signal corresponding to one exposure period and a reference signal.
  • an electrical signal is generated through eight reference signals in one image frame, that is, one image frame, eight subframes may be generated, and one more start of frame is generated.
  • a subframe may be mixed with image data, subframe image data, and the like.
  • the image controller 150 in order to apply the SR technique according to the embodiment of the present invention to extract the depth information, the image controller 150 generates a plurality of low resolution subframes by using the electrical signal received from the image sensor unit 130.
  • the pixel values of the plurality of low resolution subframes may be rearranged to generate a plurality of high resolution subframes.
  • high resolution depth information may be extracted using the high resolution subframe.
  • a pixel shift technique may be used. That is, after obtaining a plurality of image data shifted by subpixel for each subframe by using the pixel shift technique, a plurality of high resolution subframe image data are obtained by applying the SR technique for each subframe, and using these, high resolution depth Information can be extracted.
  • the ToF camera module 100 includes a tilting unit 140.
  • the tilting unit 140 changes the light path of at least one of the incident light signal and the reflected light signal in units of subpixels of the image sensor unit 130.
  • the tilting unit 140 changes the optical path of at least one of the incident light signal and the reflected light signal for each image frame. As described above, one image frame may be generated for each exposure period. Therefore, the tilting unit 140 changes the light path of at least one of the incident light signal and the reflected light signal when one exposure period ends.
  • the tilting unit 140 changes the light path of at least one of the incident light signal and the reflected light signal by the sub-pixel unit based on the image sensor 130. In this case, the tilting unit 140 changes the at least one light path among the incident light signal and the reflected light signal based on the current light path in one of up, down, left, and right directions.
  • FIG. 6 is a view for explaining the optical path change of the reflected light signal by the tilting unit 140.
  • the portion indicated by the solid line represents the current optical path of the reflected light signal
  • the portion indicated by the dotted line represents the changed optical path.
  • the tilting unit 140 may change the optical path of the reflected light signal as a dotted line.
  • the path of the reflected light signal is then shifted by subpixels in the current optical path. For example, as shown in FIG. 6A, when the tilting unit 140 moves the current optical path to the right of 0.173 degrees, the reflected light signal incident on the image sensor unit 130 is 0.5 pixels (sub pixel) to the right. You can move by).
  • the tilting unit 140 may change the optical path of the reflected light signal clockwise from the reference position. For example, as shown in FIG. 6B, the tilting unit 140 adjusts the optical path of the reflected light signal at the second exposure period to 0.5 pixels based on the image sensor unit 130 after the first exposure period ends. To the right. The tilting unit 140 moves the optical path of the reflected light signal downward by 0.5 pixels based on the image sensor unit 130 in the third exposure period. In addition, the tilting unit 140 moves the optical path of the reflected light signal to the left by 0.5 pixels based on the image sensor unit 130 in the fourth exposure period.
  • the tilting unit 140 moves the optical path of the reflected light signal upward by 0.5 pixels based on the image sensor 130 in the fifth exposure period. That is, with four exposure periods, the tilting unit 140 may move the optical path of the reflected light signal to its original position. This may be equally applied to shifting the optical path of the incident light signal, and thus detailed description thereof will be omitted.
  • the light path change pattern is only an example, and may be counterclockwise.
  • the subpixel may be larger than 0 pixel and smaller than 1 pixel.
  • the subpixels may have a size of 0.5 pixels and may have a size of 1/3 pixels.
  • the size of the subpixel can be changed by those skilled in the art.
  • FIG. 7 and 8 are diagrams for explaining the SR technique according to an embodiment of the present invention.
  • the image controller 150 may extract a plurality of low-depth depth information using the same exposure period, that is, a plurality of low-resolution subframes generated in the same frame.
  • the image controller 150 may extract high resolution depth information by rearranging pixel values of the plurality of low resolution depth information.
  • the optical paths of the incident light signal or the reflected light signal corresponding to the plurality of low resolution depth information may be different from each other.
  • the image controller 150 may generate 1-1 to 4-8 low resolution subframes using a plurality of electrical signals.
  • Low resolution subframes 1-1 to 1-8 are low resolution subframes generated in the first exposure period.
  • Low resolution subframes 2-1 through 2-8 are low resolution subframes generated in the second exposure period.
  • Low resolution subframes 3-1 through 3-8 are low resolution subframes generated in the third exposure period.
  • Low resolution subframes 4-1 to 4-8 are low resolution subframes generated in the fourth exposure period.
  • the image controller 150 extracts the low resolution depth information LRD-1 to LRD-4 by applying the depth information extraction technique to the plurality of low resolution subframes generated in each exposure period.
  • Low resolution depth information LRD-1 is low resolution depth information extracted using subframes 1-1 to 1-8.
  • Low resolution depth information LRD-2 is low resolution depth information extracted using subframes 2-1 to 2-8.
  • Low resolution depth information LRD-3 is low resolution depth information extracted using subframes 3-1 to 3-8.
  • Low resolution depth information LRD-4 is low resolution depth information extracted using subframes 4-1 to 4-8.
  • the image controller 150 extracts the high resolution depth information HRD by rearranging pixel values of the low resolution depth information LRD-1 to LRD-4.
  • the image controller 150 may generate a high resolution subframe by rearranging pixel values of a plurality of subframes corresponding to the same reference signal.
  • the plurality of subframes have different optical paths of corresponding incident or reflected light signals.
  • the image controller 150 may extract the high resolution depth information by using the plurality of high resolution subframes.
  • the image controller 150 generates 1-1 to 4-8 low resolution subframes using a plurality of electrical signals.
  • Low resolution subframes 1-1 to 1-8 are low resolution subframes generated in the first exposure period.
  • Low resolution subframes 2-1 through 2-8 are low resolution subframes generated in the second exposure period.
  • Low resolution subframes 3-1 through 3-8 are low resolution subframes generated in the third exposure period.
  • Low resolution subframes 4-1 to 4-8 are low resolution subframes generated in the fourth exposure period.
  • the low resolution subframes 1-1, 2-1, 3-1, and 4-1 correspond to the same reference signal C 1 but correspond to different optical paths.
  • the image controller 150 may generate the high resolution subframe H-1 by rearranging pixel values of the low resolution subframes 1-1, 2-1, 3-1, and 4-1.
  • the image controller may extract the high resolution depth information HRD by applying a depth information extraction technique to the high resolution subframes H-1 to H-8. .
  • FIG. 9 is a diagram for describing a pixel value arranging process according to an exemplary embodiment of the present invention.
  • the high resolution pixel grid has 8x8 pixels, which is the same as the pixel of the high resolution image.
  • the low resolution image may mean a low resolution subframe and low resolution depth information
  • the high resolution image may mean a high resolution subframe and high resolution depth information.
  • the first to fourth low resolution images are images captured by moving a light path in units of 0.5 pixel subpixels.
  • the image controller 150 arranges the pixel values of the second to fourth low resolution images according to the high resolution image according to the direction in which the optical paths are moved based on the first low resolution image in which the optical path is not moved.
  • the second low resolution image is an image shifted to the right by a subpixel from the first low resolution image. Therefore, the pixel B of the second low resolution image is disposed in the pixel located to the right of each pixel A of the first low resolution image.
  • the third low resolution image is an image shifted downward by a subpixel from the second low resolution image. Therefore, the pixel C of the third low resolution image is disposed in the pixel located below each pixel B of the second low resolution image.
  • the fourth low resolution image is an image shifted left by the subpixel from the third low resolution zero. Therefore, the pixel D of the fourth low resolution image is disposed in the pixel located to the left of the pixel C of the third low resolution image.
  • the image controller 150 may apply weights to the arranged pixel values.
  • the weight may be set differently according to the size of the subpixel or the moving direction of the optical path, and may be set differently for each low resolution image.
  • the tilting unit 140 may change the optical path in software or hardware.
  • the tilting unit 140 attempts to change the optical path in software, there is a problem in that the calculation amount of the ToF camera module 100 increases, and when the tilt path 140 changes the optical path in hardware, the structure of the ToF camera module 100 There is a problem of becoming complicated or bulky.
  • the tilting unit 140 may obtain data shifted by subpixels by controlling the inclination of the IR filter (318 of FIG. 2) included in the lens assembly, for example, the lens assembly. .
  • FIG. 10 to 11 are views for explaining an effect of shifting an image frame input to an image sensor according to tilt control of an IR filter.
  • FIG. 11 is a result of simulating a shift distance with respect to a tilting angle under a condition in which the thickness of the IR filter is 0.21 mm and the refractive index of the IR is 1.5.
  • the slope ⁇ 1 and the shift distance of the IR filter 318 may have the following relationship.
  • ⁇ 2 can be expressed as Equation 5.
  • ⁇ 1 is the tilt of the IR filter 318, that is, the tilting angle
  • n g is the refractive index of the IR filter 318
  • d is the thickness of the IR filter 318.
  • the image frame input on the image sensor may be tilted by about 5 to 6 ° to shift the image frame by 7 ⁇ m.
  • the vertical displacement of the IR filter 318 may be about 175 to 210 ⁇ m.
  • the tilting part for controlling the tilt of the IR filter may include a voice coil motor (VCM), and the IR filter 318 may be disposed between the image sensor and the VCM.
  • VCM voice coil motor
  • FIG. 12 is a perspective view of a VCM and IR filter according to an embodiment of the present invention
  • FIG. 13 is a cross-sectional view of a ToF camera module including a VCM and IR filter according to an embodiment of the present invention
  • FIG. FIG. 15 is a view illustrating a coupling process of a magnet assembly and an IR filter included in a VCM according to an embodiment
  • FIG. 15 is a view illustrating a coupling process of a coil assembly included in a VCM according to an embodiment of the present invention.
  • the tilting unit 140 includes a VCM 1000, and the VCM 1000 includes a magnet assembly 1100 and a coil assembly 1200, and is coupled to an IR filter 318. Or contact or be connected.
  • the VCM 1000 is only shown surrounded by the lens barrel 314 and the lens holder 318, and the lens 312 and the IR filter 318 are omitted.
  • the lens 312 and the IR filter 318 may be disposed as shown in FIG. 3. That is, the lens 312 may be surrounded by the lens barrel 314 or accommodated in a space in the VCM 1000.
  • the lens barrel 314 may be a part of the VCM 1000.
  • the magnet assembly 1100 includes a magnet holder 1110 and a plurality of magnets 1120, and the plurality of magnets 1120 are spaced apart at predetermined intervals on the magnet holder 1110.
  • the magnet holder 1110 may have a hollow circular ring shape or a rectangular ring shape, and a plurality of magnet guides 1112 may be formed to accommodate the plurality of magnets 1120.
  • the magnet holder 1110 may include a magnetic material or a soft magnetic material, for example, may include Fe.
  • the coil assembly 1200 may include a coil holder 1210, a plurality of coils 1220, and a coil terminal 1230, and the plurality of coils 1220 may include a plurality of magnets on the coil holder 1210. 1120 may be spaced apart from each other by a predetermined interval to mate.
  • the coil holder 1210 may have a hollow circular ring shape or a rectangular ring shape, and a plurality of coil guides 1212 may be formed to accommodate the plurality of coils 1220.
  • the coil holder 1210 may be a lens barrel 314.
  • the coil terminal 1230 may be connected to the plurality of coils 1220 and may apply power to the plurality of coils 1220.
  • IR filter 318 includes glass layer holder 3222 and glass layer 3184 supported by glass layer holder 3222.
  • the glass layer holder 3222 may include a first glass layer holder 3222-1 disposed under the glass layer 3184 and a second glass layer holder 3222-2 disposed at an upper edge of the glass layer 3184. It may include.
  • the second glass layer holder 3222-2 may have a hollow circular ring shape or a rectangular ring shape, and may be disposed in the hollow of the magnet holder 1110 to be surrounded by the magnet holder 1110.
  • the second glass layer holder 3222-2 may include a plurality of protrusions P1, P2, P3, and P4 protruding to correspond to the plurality of magnet guides 1112 of the magnet holder 1110.
  • the plurality of protrusions P1, P2, P3, and P4 may move to contact the plurality of magnet guides 1112 or to be spaced apart from the plurality of magnet guides 1112.
  • the second glass layer holder 3222-2 may include a magnetic material or a soft magnetic material.
  • an electric driving force may be generated between the plurality of magnet guides 1112 and the plurality of protrusions P1, P2, P3, and P4 of the second glass layer holder 3222-2, and the second glass layer holder 3322.
  • the glass layer 3184 supported by -2) may be tilted at a predetermined angle.
  • a slope formed between the protrusion P4 may vary.
  • the inclination of the glass layer 3184 may vary according to the inclination formed between the protrusion P1 and the protrusion P3 or the inclination formed between the protrusion P2 and the protrusion P4.
  • the second glass layer holder 3222-2 may also be referred to as a shaper.
  • a spacer 1130 may be further disposed between the magnet holder 1110 and the first glass layer holder 3222-1 for the degree of freedom of tilting of the glass layer 3184.
  • the glass layer 3184 may be an IR pass glass layer.
  • the glass layer 3184 may be a normal glass layer, and the IR filter 318 may be disposed on the image sensor 320 and spaced apart from the glass layer 3184. It may further comprise a layer 3186.
  • the IR pass glass layer 3186 is disposed on the image sensor 320, the possibility of direct penetration of moisture or foreign matter onto the image sensor 320 may be reduced.
  • the magnet assembly 1110 may further include a magnet holder 1140.
  • the magnet holder 1140 may support an upper portion of the plurality of magnets 1120, and thus, the plurality of magnets 1120 may move more stably and reliably.
  • the slope of the IR filter 318 is controlled according to the driving of the VCM 1000.
  • the IR filter 318 needs to be disposed together with the VCM 1000, and thus the IR filter 318 needs to be spaced apart from the image sensor 320.
  • the inclination of the IR filter 318 needs to be changed at any time, a free space for moving the IR filter 318 is required. At this time, the possibility of penetration of moisture, foreign matters, etc. into the free space for the movement of the IR filter 318 increases, so that the image sensor 320 may be easily exposed to moisture, foreign matters, and the like.
  • the image sensor 320 is intended to further include a structure for preventing the image sensor 320 is exposed to moisture, foreign matters, and the like.
  • FIG. 17 is a cross-sectional view of a portion of a camera module according to an embodiment of the present invention.
  • the top of the camera module for example, a lens, a lens barrel, a VCM, etc. are omitted, but the descriptions of FIGS. 3 and 10 to 14 may be equally applicable.
  • an image sensor 320 may be mounted on a printed circuit board 330, and the image sensor 320 may be accommodated in the housing 340.
  • the housing may be the second lens holder 316-2.
  • the slope of the IR filter 318 may be controlled by the VCM 1000 (see FIGS. 12-16). For example, when the first protrusion P1 of the first glass layer holder 3222-1 faces upward and the third protrusion P3 faces downward by the driving of the VCM 1000, the IR filter 318. A slope may be formed in the glass layer 3184.
  • the elastic membrane 1400 may be disposed between the IR filter 318 and the image sensor 320.
  • the elastic membrane 1400 may be fixed to the housing 340.
  • one surface of the elastic membrane 1400 may be fixed to the housing 340, and the other surface of the elastic membrane 1400 may be coupled to the tilting unit 140.
  • the elastic membrane 1400 may be, for example, a reverse osmosis (RO) membrane, a nano filtration (NF) membrane, an ultra-filtration (UF) membrane, a micro filtration (MF) membrane, or the like.
  • RO reverse osmosis
  • NF nano filtration
  • UF ultra-filtration
  • MF micro filtration
  • the RO membrane is a membrane having a pore size of about 1 to 15 Angstroms
  • the NF membrane is a membrane having a pore size of about 10 Angstroms
  • the UF membrane is a membrane having a pore size of about 15 to 200 Angstroms
  • the MF membrane is a membrane having a pore size of about 200 to 1000 Angstroms. Accordingly, it is possible to prevent a phenomenon in which moisture, foreign matters, or the like penetrate into the space disposed between the IR filter 318 and the housing 340, that is, for the movement of the IR filter 318.
  • the elastic membrane 1400 may be a transparent, stretchable membrane having a thickness of 25 to 50 ⁇ m, and may be disposed on at least a portion of the IR filter 318 directly on the elastic membrane 1400. That is, the shape of the elastic membrane 1400 may be controlled by the tilting unit 1400. Accordingly, the elastic membrane 1400 may be stretched or shrunk with the IR filter 318 when the IR filter 318 is tilted, and directly with the IR filter 318 when the IR filter 318 returns to its original position. It can be restored, so that the movement of the IR filter 318 can be stably supported.
  • the elastic membrane 1400 may be attached to the housing 340 that receives the image sensor 320 through the adhesive 1410.
  • the elastic membrane 1400 may be fixed to a housing 340 that receives the image sensor 320 through the mechanism 1420.
  • the elastic membrane 1400 may be disposed to cover an outer circumferential surface of the housing 340 that accommodates the image sensor 320, and together with the elastic membrane 1400 to fix the elastic membrane 1400. Additional fixing members 1430 may be disposed to surround the outer circumferential surface.
  • the elastic membrane 1400 may be directly disposed on the image sensor 320.
  • the elastic membrane 1400 may be disposed between the first glass layer holder 3222-1 and the housing 340, and may be fixed by the instruments 1440 and 1442.
  • the elastic membrane 1400 may be attached to the first glass layer holder 3222-1 and the housing 340 through adhesives 1450 and 1452.
  • ToF camera module 110 lighting unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명의 한 실시예에 따른 카메라 모듈은 객체에 조사되는 입사광 신호를 출력하는 조명부, 상기 객체로부터 반사된 반사광 신호를 집광하는 렌즈부, 상기 렌즈부에 의하여 집광된 반사광 신호로부터 전기 신호를 생성하는 이미지 센서부, 상기 반사광 신호의 광경로를 쉬프트시키는 틸팅부 및 상기 틸팅부에 의하여 쉬프트된 프레임에 대하여 상기 입사광 신호 및 상기 이미지 센서부에 수신된 상기 반사광 신호 간 위상 차를 이용하여 상기 객체의 깊이 정보를 추출하는 영상 제어부를 포함하고, 상기 렌즈부는 상기 이미지 센서부 상에 배치되며, 상기 렌즈부는 상기 이미지 센서부 상에 배치되는 IR(InfraRed) 필터, 그리고 상기 IR 필터 상에 배치되는 적어도 1매의 렌즈를 포함하고, 상기 틸팅부는 상기 IR 필터의 기울기를 제어한다.

Description

카메라 모듈 및 그의 깊이 정보 추출 방법
본 발명은 카메라 모듈 및 그의 깊이 정보 추출 방법에 관한 것이다.
3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
깊이 정보를 획득하는 방법 중 하나는, IR(Infrared) 구조광을 객체에 투사하며, 객체로부터 반사된 광을 해석하여 깊이 정보를 추출하는 방식이다. IR 구조광 방식에 따르면, 움직이는 객체에 대하여 원하는 수준의 깊이 분해능(Depth resolution)을 얻기 어려운 문제가 있다.
한편, IR 구조광 방식을 대체하는 기술로 TOF(Time of Flight) 방식이 주목 받고 있다.
TOF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정 없이도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 피사체를 측정하거나 움직이는 피사체를 측정하여도 정확한 깊이 정보를 획득할 수 있다.
하지만, 현재 ToF 방식의 경우 한 프레임당 얻을 수 있는 정보, 즉 해상도가 매우 낮다는 문제점이 있다.
해상도를 높이기 위한 방법으로 이미지 센서의 화소 수를 높이는 방법이 있다. 그러나 이 경우 카메라 모듈의 부피 및 제조 비용이 크게 증가하게 된다는 문제가 발생한다.
이에 따라, 카메라 모듈의 부피 및 제조 비용을 크게 증가시키지 않으면서도 해상도를 높일 수 있는 깊이 정보 획득 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는 TOF 방식을 이용하여 깊이 정보를 추출하는 카메라 모듈 및 그의 깊이 정보 추출 방법을 제공하는데 있다.
본 발명의 실시예에 따른 카메라 모듈은 객체에 조사되는 입사광 신호를 출력하는 조명부, 상기 객체로부터 반사된 반사광 신호를 집광하는 렌즈부, 상기 렌즈부에 의하여 집광된 반사광 신호로부터 전기 신호를 생성하는 이미지 센서부, 상기 반사광 신호의 광경로를 쉬프트시키는 틸팅부, 및 상기 틸팅부에 의하여 쉬프트된 프레임에 대하여 상기 입사광 신호 및 상기 이미지 센서부에 수신된 상기 반사광 신호 간 위상 차를 이용하여 상기 객체의 깊이 정보를 추출하는 영상 제어부를 포함하고, 상기 렌즈부는 상기 이미지 센서부 상에 배치되며, 상기 렌즈부는 상기 이미지 센서부 상에 배치되는 IR(InfraRed) 필터, 그리고 상기 IR 필터 상에 배치되는 적어도 1매의 렌즈를 포함하고, 상기 틸팅부는 상기 IR 필터의 기울기를 제어한다.
상기 틸팅부는 VCM(voice coil motor)를 포함하며, 상기 IR 필터는 상기 이미지 센서부와 상기 VCM 사이에 배치될 수 있다.
상기 VCM은 마그넷 홀더, 상기 마그넷 홀더 상에 소정 간격으로 이격되어 배치된 복수의 마그넷, 코일 홀더, 상기 코일 홀더 상에서 상기 복수의 마그넷과 짝을 이루도록 소정 간격으로 이격되어 배치된 복수의 코일을 포함할 수 있다.
상기 IR 필터는 유리층, 그리고 상기 유리층을 지지하는 유리층 홀더를 포함하고, 상기 유리층 홀더의 적어도 일부는 상기 마그넷 홀더에 의하여 둘러싸일 수 있다.
상기 마그넷 홀더는 상기 복수의 마그넷을 수용하는 복수의 마그넷 가이드를 포함하고, 상기 유리층 홀더는 상기 복수의 마그넷 가이드에 대응하도록 돌출된 복수의 돌출부를 포함하며, 상기 복수의 돌출부는 상기 복수의 코일 및 상기 복수의 마그넷 사이에 발생하는 자기장에 따라 상기 복수의 마그넷 가이드에 접촉하거나 상기 복수의 마그넷 가이드로부터 이격되도록 움직일 수 있다.
상기 복수의 돌출부의 움직임에 따라 상기 유리층이 소정 각도로 틸팅될 수 있다.
상기 유리층은 IR 패스 유리층일 수 있다.
상기 IR 필터는 상기 이미지 센서부 상에서 상기 유리층과 이격되어 배치되는 IR 패스 유리층을 더 포함할 수 있다.
상기 이미지 센서와 상기 IR 필터 사이에 배치되는 탄성막을 더 포함할 수 있다.
상기 이미지 센서를 수용하는 하우징을 더 포함하고, 상기 탄성막은 상기 하우징에 접합될 수 있다.
본 발명의 한 실시예에 따른 카메라 모듈은 객체에 조사되는 입사광 신호를 출력하는 조명부, 상기 객체로부터 반사된 반사광 신호를 집광하는 렌즈부, 상기 렌즈부에 의하여 집광된 반사광 신호로부터 전기 신호를 생성하는 이미지 센서부, 상기 이미지 센서부 상에 배치되는 탄성막, 상기 반사광 신호의 광경로를 쉬프트시키는 틸팅부, 및 상기 틸팅부에 의하여 쉬프트된 프레임에 대하여 상기 입사광 신호 및 상기 센서부에 수신된 상기 반사광 신호 간 위상 차를 이용하여 상기 객체의 깊이 정보를 추출하는 영상 제어부를 포함하고, 상기 틸팅부는 상기 탄성막의 형상을 제어한다.
상기 이미지 센서를 수용하는 하우징을 포함하고, 상기 탄성막의 일면은 상기 하우징에 결합되고 상기 탄성막의 타면은 상기 틸팅부와 결합될 수 있다.
본 발명의 한 실시예에 따른 카메라 모듈을 이용하면, 이미지 센서의 화소 수를 크게 증가시키지 않고도 높은 해상도로 깊이 정보를 획득할 수 있다.
또한, 본 발명의 한 실시예에 따르면, 간단한 구조를 이용하여 서브픽셀 쉬프트 효과를 얻을 수 있으며, 이와 함께 수분, 이물질 등으로부터 이미지 센서를 보호할 수 있다.
도 1은 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 블록도이다.
도 2는 입사광 신호의 주파수를 설명하기 위한 도면이다.
도 3은 카메라 모듈의 단면도의 한 예이다.
도 4는 본 발명의 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 이미지 센서(130)를 설명하기 위한 도면이다.
도 6은 틸팅부(140)에 의한 반사광 신호의 광경로 변경을 설명하기 위한 도면이다.
도 7 및 도 8은 본 발명의 실시예에 따른 SR 기법을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 픽셀값 배치 과정을 설명하기 위한 도면이다.
도 10 내지 도 11은 IR 필터의 기울기 제어에 따라 이미지 센서 상에 입력되는 영상 프레임이 쉬프트되는 효과를 설명하기 위한 도면이다.
도 12는 본 발명의 한 실시예에 따른 VCM 및 IR 필터의 사시도이다.
도 13은 본 발명의 한 실시예에 따른 VCM 및 IR 필터를 포함하는 ToF 카메라 모듈의 단면도이다.
도 14는 본 발명의 한 실시예에 따른 VCM에 포함되는 마그넷 어셈블리와 IR 필터의 결합 과정을 나타내는 도면이다.
도 15는 본 발명의 한 실시예에 따른 VCM에 포함되는 코일 어셈블리의 결합 과정을 나타내는 도면이다.
도 16은 본 발명의 한 실시예에 따른 마그넷 어셈블리, IR 필터 및 코일 어셈블리의 결합 과정을 나타내는 도면이다.
도 17은 본 발명의 한 실시예에 따른 카메라 모듈의 일부의 단면도이다.
도 18 내지 도 23은 탄성막이 배치되는 다양한 예를 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 블록도이다.
도 1을 참조하면, ToF 카메라 모듈(100)은 조명(110), 렌즈부(120), 이미지 센서부(130), 틸팅부(140) 및 영상 제어부(150)를 포함한다.
조명부(110)는 입사광 신호를 생성한 후 객체에 조사한다. 이때, 조명부(110)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 입사광 신호를 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 입사광 신호를 펄스파나 지속파 형태로 생성함으로써, ToF 카메라 모듈(100)은 조명부(110)로부터 출력된 입사광 신호와 객체로부터 반사된 반사광 신호 사이의 위상 차를 검출할 수 있다. 본 명세서에서, 입사광은 조명부(110)로부터 출력되어 객체에 입사되는 광을 의미하고, 반사광은 조명부(110)로부터 출력되어 객체에 도달한 후 객체로부터 반사되는 광을 의미할 수 있다. ToF 카메라 모듈(100)의 입장에서 입사광은 출력광이 될 수 있고, 반사광은 입력광이 될 수 있다.
조명부(110)는 생성된 입사광 신호를 소정의 노출주기(integration time) 동안 객체에 조사한다. 여기서, 노출주기란 1개의 프레임 주기를 의미한다. 복수의 프레임을 생성하는 경우, 설정된 노출주기가 반복된다. 예를 들어, ToF 카메라 모듈(100)이 20 FPS로 객체를 촬영하는 경우, 노출주기는 1/20[sec]가 된다. 그리고 100개의 프레임을 생성하는 경우, 노출주기는 100번 반복될 수 있다.
조명부(110)는 서로 다른 주파수를 가지는 복수의 입사광 신호를 생성할 수 있다. 조명부(110)는 서로 다른 주파수를 가지는 복수의 입사광 신호를 순차적으로 반복하여 생성할 수 있다. 또는, 조명부(110)는 서로 다른 주파수를 가지는 복수의 입사광 신호를 동시에 생성할 수도 있다.
도 2는 입사광 신호의 주파수를 설명하기 위한 도면이다. 본 발명의 실시예에 따르면, 조명부(110)는 도 2에서와 같이 노출주기의 첫 절반은 주파수 f1인 입사광 신호가 생성되도록 제어하고, 나머지 절반의 노출주기는 주파수 f2인 입사광 신호가 생성되도록 제어할 수 있다.
다른 실시예에 따르면, 조명부(110)는 복수의 발광 다이오드 중 일부 발광 다이오드는 주파수 f1인 입사광 신호가 생성되도록 제어하고, 나머지 발광 다이오드는 주파수 f2인 입사광 신호가 생성되도록 제어할 수도 있다.
이를 위하여, 조명부(110)는 빛을 생성하는 광원(112)과 빛을 변조하는 광변조부(114)를 포함할 수 있다.
우선, 광원(112)은 빛을 생성한다. 광원(112)이 생성하는 빛은 파장이 770 내지 3000nm인 적외선 일 수 있으며, 파장이 380 내지 770 nm인 가시광선 일 수도 있다. 광원(112)은 발광 다이오드(Light Emitting Diode, LED)를 이용할 수 있으며, 복수의 발광 다이오드가 일정한 패턴에 따라 배열된 형태를 가질 수 있다. 뿐만 아니라, 광원(112)은 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수도 있다.
광원(112)은 일정 시간 간격으로 점멸(on/off)을 반복하여 펄스파 형태나 지속파 형태의 입사광 신호를 생성한다. 일정 시간 간격은 입사광 신호의 주파수일 수 있다. 광원의 점멸은 광변조부(114)에 의해 제어될 수 있다.
광변조부(114)는 광원(112)의 점멸을 제어하여 광원(112)이 지속파나 펄스파 형태의 입사광 신호를 생성하도록 제어한다. 광변조부(114)는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 광원(112)이 지속파나 펄스파 형태의 입사광 신호를 생성하도록 제어할 수 있다.
한편, 렌즈부(120)는 객체로부터 반사된 반사광 신호를 집광하여 이미지 센서부(130)에 전달한다.
도 3은 카메라 모듈의 단면도의 한 예이다.
도 3을 참조하면, 카메라 모듈(300)은 렌즈 어셈블리(310), 이미지 센서(320) 및 인쇄회로기판(330)을 포함한다. 여기서, 렌즈 어셈블리(310)는 도 1의 렌즈부(120)에 대응하고, 이미지 센서(320)는 도 1의 이미지 센서부(130)에 대응할 수 있다. 그리고, 도 1의 영상 제어부(150) 등은 인쇄회로기판(330) 내에서 구현될 수 있다. 도시되지 않았으나, 도 1의 조명부(110)는 인쇄회로기판(330) 상에서 이미지 센서(320)의 측면에 배치되거나, 카메라 모듈(300)의 외부에 배치될 수도 있다.
렌즈 어셈블리(310)는 렌즈(312), 렌즈 배럴(314), 렌즈 홀더(316) 및 IR 필터(318)를 포함할 수 있다.
렌즈(312)는 복수 매로 구성될 수 있으며, 1매로 구성될 수도 있다. 렌즈(312)가 복수 매로 구성될 경우 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 광학계의 광축(Optical axis)과 동일할 수 있다.
렌즈 배럴(314)은 렌즈 홀더(316)와 결합되며, 내부에 렌즈를 수용할 수 있는 공간이 마련될 수 있다. 렌즈 배럴(314)은 하나 또는 복수의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 이용한 방식 등 다른 방식으로 결합될 수 있다.
렌즈 홀더(316)는 렌즈 배럴(314)과 결합되어 렌즈 배럴(314)을 지지하고, 이미지 센서(320)가 탑재된 인쇄회로기판(330)에 결합될 수 있다. 렌즈 홀더(316)에 의하여 렌즈 배럴(314) 하부에 IR 필터(318)가 부착될 수 있는 공간이 형성될 수 있다. 렌즈 홀더(316)외 내주면에는 나선형 패턴이 형성될 수 있고, 이와 마찬가지로 외주면에 나선형 패턴이 형성된 렌즈 배럴(314)과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 렌즈 홀더(316)와 렌즈 배럴(314)은 접착제를 통해 결합되거나, 렌즈 홀더(316)와 렌즈 배럴(314)이 일체형으로 형성될 수도 있다.
렌즈 홀더(316)는 렌즈 배럴(314)과 결합되는 상부 홀더(316-1) 및 이미지 센서(320)가 탑재된 인쇄회로기판(330)과 결합되는 하부 홀더(316-2)로 구분될 수 있으며, 상부 홀더(316-1) 및 하부 홀더(316-2)는 일체형으로 형성되거나, 서로 분리된 구조로 형성된 후 체결 또는 결합되거나, 서로 분리되어 이격된 구조를 가질 수도 있다. 이때, 상부 홀더(316-1)의 직경은 하부 홀더(316-2)의 직경보다 작게 형성될 수 있다.
상기의 예시는 일 실시예에 불과하며, 렌즈부(120)는 ToF 카메라 모듈(100)로 입사되는 반사광 신호를 집광하여 이미지 센서부(130)에 전달할 수 있는 다른 구조로 구성될 수도 있다.
다시 도 1을 참조하면, 이미지 센서부(130)는 렌즈부(120)를 통해 집광된 반사광 신호를 이용하여 전기 신호를 생성한다.
이미지 센서부(130)는 조명부(110)의 점멸 주기와 동기화되어 반사광 신호를 흡수할 수 있다. 구체적으로 이미지 센서부(130)는 조명부(110)로부터 출력된 입사광 신호와 동상(in phase) 및 이상(out phase)에서 각각 빛을 흡수할 수 있다. 즉, 이미지 센서부(130)는 광원이 켜져 있는 시간에 반사광 신호를 흡수하는 단계와 광원이 꺼져 있는 시간에 반사광 신호를 흡수하는 단계를 반복 수행할 수 있다.
다음으로, 이미지 센서(130)부는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 참조 신호의 주파수는 조명부(110)로부터 출력된 입사광 신호의 주파수와 동일하게 설정될 수 있다. 따라서, 조명부(110)가 복수의 주파수로 입사광 신호를 생성하는 경우, 이미지 센서부(130)는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성한다. 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다.
도 4는 본 발명의 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 4에 나타난 바와 같이, 본 발명의 실시예에 따른 참조 신호는 4개(C1 내지 C4)일 수 있다. 각 참조 신호(C1 내지 C4)는 입사광 신호와 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 참조 신호 중 하나(C1)는 입사광 신호와 동일한 위상을 가질 수 있다. 반사광 신호는 입사광 신호가 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연된다. 이미지 센서부(130)는 반사광 신호와 각 참조 신호를 각각 믹싱(mixing)한다. 그러면, 이미지 센서부(130)는 도 4의 음영 부분에 대응하는 전기 신호를 각 참조 신호별로 생성할 수 있다.
다른 실시예로, 노출 시간 동안 복수의 주파수로 입사광 신호가 생성된 경우, 이미지 센서부(130)는 복수의 주파수에 따른 반사광 신호를 흡수한다. 예를 들어, 주파수 f1과 f2로 입사광 신호가 생성되고, 복수의 참조 신호는 90도의 위상차를 가진다고 가정한다. 그러면, 반사광 신호 역시 주파수 f1과 f2를 가지므로, 주파수가 f1인 반사광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 그리고 주파수가 f2인 반사광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 따라서, 전기 신호는 총 8개가 생성될 수 있다.
이미지 센서부(130)는 복수의 픽셀이 그리드 형태로 배열된 구조로 구성될 수 있다. 이미지 센서부(130)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있으며, CCD(Charge Coupled Device) 이미지 센서일 수도 있다. 또한 이미지 센서부(130)는 피사체에 반사되는 적외선 광을 받아들여 시간 또는 위상차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다.
도 5는 본 발명의 실시예에 따른 이미지 센서(130)를 설명하기 위한 도면이다. 예를 들어, 도 5에서와 같이 320x240 해상도의 이미지 센서(130)의 경우 76,800개의 픽셀이 그리드 형태로 배열된다. 이때, 복수의 픽셀 사이에는 도 5의 음영 부분과 같이 일정한 간격이 형성될 수 있다. 본 발명의 실시예에서는 픽셀에 인접한 일정 간격을 포함하여 1 픽셀로 설명하도록 한다.
본 발명의 실시예에 따르면, 각 픽셀(132)은 제1 포토 다이오드 및 제1 트랜지스터를 포함하는 제1 수광부(132-1)와 제2 포토 다이오드 및 제2 트랜지스터를 포함하는 제2 수광부(132-2)를 포함할 수 있다.
제1 수광부(132-1)는 입사광의 파형과 동일 위상에서 반사광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제1 포토 다이오드는 턴온(turn-on)되어 반사광 신호를 흡수한다. 그리고, 광원이 꺼진 시간에, 제1 포토 다이오드는 턴오프(turn-off)되어 반사광 흡수를 중단한다. 제1 포토 다이오드는 흡수한 반사광 신호를 전류로 변환하여 제1 트랜지스터에 전달한다. 제1 트랜지스터는 전달받은 전류를 전기 신호로 변환하여 출력한다.
제2 수광부(132-2)는 입사광의 파형과 반대 위상에서 반사광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제2 포토 다이오드는 턴오프되어 반사광 신호를 흡수한다. 그리고, 광원이 꺼진 시간에, 제2 포토 다이오드는 턴온되어 반사광 흡수를 중단한다. 제2 포토 다이오드는 흡수한 반사광 신호를 전류로 변환하여 제2 트랜지스터에 전달한다. 제2 트랜지스터는 전달받은 전류를 전기 신호로 변환한다.
이에 따라, 제1 수광부(132-1)는 In Phase 수신 유닛이라 할 수 있고, 제2 수광부(132-2)는 Out Phase 수신 유닛이라 할 수 있다. 이와 같이, 제1 수광부(132-1) 및 제2 수광부(132-2)가 시간 차를 두고 활성화되면, 객체와의 거리에 따라 수신되는 광량에 차이가 발생하게 된다. 예를 들어, 객체가 TOF 카메라 모듈(100) 바로 앞에 있는 경우(즉, 거리=0인 경우)에는 조명부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 걸리는 시간이 0이므로, 광원의 점멸 주기는 그대로 광의 수신 주기가 된다. 이에 따라, 제1 수광부(132-1)만이 빛을 수신하게 되고, 제2 수광부(132-2)는 빛을 수신하지 못하게 된다. 다른 예로, 객체가 ToF 카메라 모듈(100)과 소정 거리 떨어져 위치하는 경우, 조명부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 시간이 걸리므로, 광원의 점멸 주기는 광의 수신 주기와 차이가 나게 된다. 이에 따라, 제1 수광부(132-1)와 제2 수광부(132-2)가 수신하는 빛의 양에 차이가 발생하게 된다. 즉, 제1 수광부(132-1)와 제2 수광부(132-2)에 입력된 광량의 차를 이용하여 객체의 거리가 연산될 수 있다. 다시 도 1을 참조하면, 영상 제어부(150)는 이미지 센서부(130)로부터 수신한 전기신호를 이용하여 입사광과 반사광 사이의 위상차를 계산하고, 위상차를 이용하여 객체와 ToF 카메라 모듈(100) 사이의 거리를 계산한다.
구체적으로, 영상 제어부(150)는 전기신호의 전하량 정보를 이용하여 입사광과 반사광 사이의 위상차를 계산할 수 있다.
상기에서 살펴본 바와 같이, 입사광 신호의 주파수마다 전기신호는 4개가 생성될 수 있다. 따라서, 영상 제어부(150)는 아래의 수학식 1을 이용하여 입사광 신호와 반사광 신호 사이의 위상차(td)를 계산할 수 있다.
Figure PCTKR2019004416-appb-M000001
여기서, Q1 내지 Q4는 4개의 전기 신호 각각의 전하 충전량이다. Q1은 입사광 신호와 동일한 위상의 기준신호에 대응하는 전기신호의 전하량이다. Q2는 입사광 신호보다 위상이 180도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q3는 입사광 신호보다 위상이 90도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q4는 입사광 신호보다 위상이 270도 느린 기준신호에 대응하는 전기신호의 전하량이다.
그러면, 영상 제어부(150)는 입사광 신호와 반사광 신호의 위상차를 이용하여 객체와 ToF 카메라 모듈(100) 사이의 거리를 계산할 수 있다. 이때, 영상 제어부(150)는 아래의 수학식 2를 이용하여 객체와 ToF 카메라 모듈(100) 사이의 거리(d)를 계산할 수 있다.
Figure PCTKR2019004416-appb-M000002
여기서, c는 빛의 속도이고, f는 입사광의 주파수이다.
한편, 본 발명의 실시예에서는 깊이 정보의 해상도를 높이기 위하여, 슈퍼 레졸루션(Super Resolution, SR) 기법을 이용하고자 한다. SR 기법은 복수의 저해상 영상으로부터 고해상 영상을 얻는 기법으로, SR 기법의 수학적 모델은 수학식 3과 같이 나타낼 수 있다.
Figure PCTKR2019004416-appb-M000003
여기서, 1≤k≤p이고, p는 저해상 영상의 개수이며, yk는 저해상 영상(=[yk,1, yk,2, ..., yk,M]T, 여기서, M=N1*N2) Dk는 다운 샘플링(down sampling) 매트릭스, Bk는 광학 흐림(blur) 매트릭스, Mk는 영상 왜곡(warping) 매트릭스, x는 고해상 영상(=[x1, x2, ..., xN]T, 여기서, N=L1N1*L2N2), nk는 노이즈를 나타낸다. 즉, SR 기법에 따르면, yk에 추정된 해상도 열화 요소들의 역함수를 적용하여 x를 추정하는 기술을 의미한다. SR 기법은 크게 통계적 방식과 멀티프레임 방식으로 나뉠 수 있으며, 멀티프레임 방식은 크게 공간 분할 방식과 시간 분할 방식으로 나뉠 수 있다. 깊이 정보 획득을 위하여 SR 기법을 이용하는 경우, 수학식 1의 Mk의 역함수가 존재하지 않기 때문에, 통계적 방식이 시도될 수 있다. 다만, 통계적 방식의 경우, 반복 연산 과정이 필요하므로, 효율이 낮은 문제가 있다.
깊이 정보 추출에 SR 기법을 적용하기 위하여, 영상 제어부(150)는 이미지 센서부(130)로부터 수신한 전기신호를 이용하여 복수의 저해상 서브프레임을 생성한 후, 복수의 저해상 서브프레임을 이용하여 복수의 저해상 깊이 정보를 추출할 수 있다. 그리고 복수의 저해상 깊이 정보의 픽셀값을 재배열하여 고해상 깊이 정보를 추출할 수 있다.
여기서, 고해상이라 함은 저해상보다 높은 해상도를 나타내는 상대적인 의미이다.
여기서, 서브프레임이란 어느 하나의 노출 주기 및 참조 신호에 대응한 전기 신호로부터 생성되는 이미지 데이터를 의미할 수 있다. 예를 들어, 제1 노출 주기, 즉 하나의 영상 프레임에서 8개의 참조 신호를 통해 전기 신호가 생성되는 경우, 8개의 서브프레임이 생성될 수 있으며, 시작 프레임(start of frame)이 1개 더 생성될 수 있다. 본 명세서에서, 서브프레임은 이미지 데이터, 서브프레임 이미지 데이터 등과 혼용될 수 있다.
또는, 깊이 정보 추출에 본 발명의 실시예에 따른 SR 기법을 적용하기 위하여, 영상 제어부(150)는 이미지 센서부(130)로부터 수신한 전기신호를 이용하여 복수의 저해상 서브프레임을 생성한 후, 복수의 저해상 서브프레임의 픽셀값을 재배열하여 복수의 고해상 서브프레임을 생성할 수 있다. 그리고, 고해상 서브프레임을 이용하여 고해상 깊이 정보를 추출할 수 있다.
이를 위하여, 픽셀 쉬프트(pixel shift) 기술을 이용할 수 있다. 즉, 픽셀 쉬프트 기술을 이용하여 서브프레임 별로 서브픽셀만큼 쉬프트된 여러 장의 이미지 데이터를 획득한 후, 서브프레임 별로 SR 기법을 적용하여 복수의 고해상 서브프레임 이미지 데이터를 획득하며, 이들을 이용하여 고해상의 깊이 정보를 추출할 수 있다. 픽셀 쉬프트를 위하여, 본 발명의 한 실시예에 따른 ToF 카메라 모듈(100)은 틸팅부(140)를 포함한다.
다시 도 1을 참조하면, 틸팅부(140)는 입사광 신호 또는 반사광 신호 중 적어도 하나의 광경로를 이미지 센서부(130)의 서브 픽셀 단위로 변경한다.
틸팅부(140)는 영상 프레임 별로 입사광 신호 또는 반사광 신호 중 적어도 하나의 광경로를 변경한다. 상기에서 설명한 바와 같이, 하나의 노출주기마다 1개의 영상 프레임이 생성될 수 있다. 따라서, 틸팅부(140)는 하나의 노출주기가 종료되면 입사광 신호 또는 반사광 신호 중 적어도 하나의 광경로를 변경한다.
틸팅부(140)는 이미지 센서부(130)를 기준으로 서브픽셀 단위만큼 입사광 신호 또는 반사광 신호 중 적어도 하나의 광경로를 변경한다. 이때, 틸팅부(140)는 현재 광경로를 기준으로 입사광 신호 또는 반사광 신호 중 적어도 하나의 광경로를 상, 하, 좌, 우 중 어느 하나의 방향으로 변경한다.
도 6은 틸팅부(140)에 의한 반사광 신호의 광경로 변경을 설명하기 위한 도면이다.
도 6의 (a)에서 실선으로 표시된 부분은 반사광 신호의 현재 광경로를 나타내고, 점선으로 표시된 부분은 변경된 광경로를 나타낸다. 현재 광경로에 대응하는 노출주기가 종료되면, 틸팅부(140)는 반사광 신호의 광경로를 점선과 같이 변경할 수 있다. 그러면, 반사광 신호의 경로는 현재 광경로에서 서브픽셀만큼 이동된다. 예를 들어, 도 6의 (a)에서와 같이, 틸팅부(140)가 현재 광경로를 0.173도 우측으로 이동시키면, 이미지 센서부(130)에 입사되는 반사광 신호는 우측으로 0.5 픽셀(서브 픽셀)만큼 이동할 수 있다.
본 발명의 실시예에 따르면, 틸팅부(140)는 기준 위치에서 시계방향으로 반사광 신호의 광경로를 변경할 수 있다. 예를 들어, 도 6의 (b)에 나타난 바와 같이, 틸팅부(140)는 제1 노출주기가 종료된 후, 제2 노출주기에 반사광 신호의 광경로를 이미지 센서부(130) 기준 0.5 픽셀만큼 우측으로 이동시킨다. 그리고 틸팅부(140)는 제3 노출주기에 반사광 신호의 광경로를 이미지 센서부(130) 기준 0.5 픽셀만큼 아래측으로 이동시킨다. 그리고 틸팅부(140)는 제4 노출주기에 반사광 신호의 광경로를 이미지 센서부(130) 기준 0.5 픽셀만큼 좌측으로 이동시킨다. 그리고 틸팅부(140)는 제5 노출주기에 반사광 신호의 광경로를 이미지 센서(130)부 기준 0.5 픽셀만큼 윗측으로 이동시킨다. 즉, 4개 노출주기로 틸팅부(140)는 반사광 신호의 광경로를 원위치로 이동시킬 수 있다. 이는 입사광 신호의 광경로를 이동시킬 때도 동일하게 적용될 수 있는바, 상세한 설명은 생략하도록 한다. 또한 광경로의 변경 패턴이 시계방향인 것은 일례에 불과하며, 반시계 방향일 수도 있다.
한편, 서브픽셀은 0픽셀보다 크고 1픽셀보다 작을 수 있다. 예를 들어, 서브픽셀은 0.5 픽셀의 크기를 가질 수 있으며, 1/3 픽셀의 크기를 가질 수 도 있다. 서브픽셀의 크기는 당업자에 의해 설계변경이 가능하다.
도 7 및 도 8은 본 발명의 실시예에 따른 SR 기법을 설명하기 위한 도면이다.
도 7을 참조하면, 영상 제어부(150)는 동일한 노출 주기, 즉 동일한 프레임에서 생성된 복수의 저해상 서브프레임을 이용하여 복수의 저해상 깊이 정보를 추출할 수 있다. 그리고, 영상 제어부(150)는 복수의 저해상 깊이 정보의 픽셀값을 재배치하여 고해상 깊이 정보를 추출할 수 있다. 여기서 복수의 저해상 깊이 정보에 대응하는 입사광 신호 또는 반사광 신호의 광경로는 서로 상이할 수 있다.
예를 들어, 영상 제어부(150)는 복수의 전기신호를 이용하여 1-1 내지 4-8의 저해상 서브프레임을 생성할 수 있다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 3-1 내지 3-8은 제3 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 4-1 내지 4-8은 제4 노출 주기에서 생성된 저해상 서브프레임이다. 그러면, 영상 제어부(150)는 각 노출 주기에서 생성된 복수의 저해상 서브프레임에 깊이 정보 추출 기법을 적용하여 저해상 깊이 정보 LRD-1 내지 LRD-4를 추출한다. 저해상 깊이 정보 LRD-1은 서브프레임 1-1 내지 1-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-2는 서브프레임 2-1 내지 2-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-3은 서브프레임 3-1 내지 3-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-4은 서브프레임 4-1 내지 4-8을 이용하여 추출된 저해상 깊이 정보이다. 그리고, 영상 제어부(150)는 저해상 깊이 정보 LRD-1 내지 LRD-4의 픽셀값을 재배치하여 고해상 깊이 정보 HRD을 추출한다.
또는, 전술한 바와 같이, 영상 제어부(150)는 동일한 참조 신호에 대응하는 복수의 서브프레임의 픽셀값을 재배치하여 고해상 서브프레임을 생성할 수 있다. 이때, 복수의 서브프레임은 대응하는 입사광 신호 또는 반사광 신호의 광경로가 상이하다. 그리고, 영상 제어부(150)는 복수의 고해상 서브프레임을 이용하여 고해상 깊이 정보를 추출할 수 있다.
예를 들어, 도 8에서, 영상 제어부(150)는 복수의 전기신호를 이용하여 1-1 내지 4-8의 저해상 서브프레임을 생성한다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 3-1 내지 3-8은 제3 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 4-1 내지 4-8은 제4 노출 주기에서 생성된 저해상 서브프레임이다. 여기서, 저해상 서브프레임 1-1, 2-1, 3-1, 4-1는 동일한 참조 신호 C1에 대응하되, 서로 다른 광경로에 대응한다. 그러면, 영상 제어부(150)는 저해상 서브프레임 1-1, 2-1, 3-1, 4-1의 픽셀값을 재배치하여 고해상 서브프레임 H-1을 생성할 수 있다. 픽셀값 재배치를 통해, 고해상 서브프레임 H-1 내지 H-8이 생성되면, 영상 제어부는 고해상 서브프레임 H-1 내지 H-8에 깊이 정보 추출 기법을 적용하여 고해상 깊이 정보 HRD를 추출할 수 있다.
도 9는 본 발명의 실시예에 따른 픽셀값 배치 과정을 설명하기 위한 도면이다.
여기서, 4개의 4x4 크기의 저해상 영상을 이용하여 1개의 8x8 크기의 고해상 영상을 생성하는 것을 가정한다. 이때, 고해상 픽셀 그리드는 8x8의 픽셀을 가지며, 이는 고해상 영상의 픽셀과 동일하다. 여기서 저해상 영상은 저해상 서브프레임 및 저해상 깊이 정보를 포함하는 의미일 수 있고, 고해상 영상은 고해상 서브프레임 및 고해상 깊이 정보를 포함하는 의미일 수 있다.
도 9에서 제1 내지 4 저해상 영상은 0.5 픽셀 크기의 서브 픽셀 단위로 광경로가 이동되어 촬영된 영상이다. 영상 제어부(150)는 광경로가 이동하지 않은 제1 저해상 영상을 기준으로 광경로가 이동한 방향에 따라 제2 내지 4 저해상 영상의 픽셀값을 고해상 영상에 맞게 배치한다.
구체적으로 제2 저해상 영상은 제1 저해상 영상으로부터 서브픽셀만큼 우측으로 이동한 영상이다. 그러므로, 제1 저해상 영상의 각 픽셀(A) 우측에 위치한 픽셀에는 제2 저해상 영상의 픽셀(B)이 배치된다.
제3 저해상 영상은 제2 저해상 영상으로부터 서브픽셀만큼 아래측으로 이동한 영상이다. 그러므로, 제2 저해상 영상의 각 픽셀(B) 아래에 위치한 픽셀에는 제3 저해상 영상의 픽셀(C)이 배치된다.
제4 저해상 영상은 제3 저해상 영으로부터 서브픽셀만큼 좌측으로 이동한 영상이다. 그러므로, 제3 저해상 영상의 픽셀(C) 좌측에 위치한 픽셀에는 제4 저해상 영상의 픽셀(D)이 배치된다.
고해상 픽셀 그리드에 제1 내지 제4 저해상 영상의 픽셀값이 모두 재배치되면, 저해상 영상보다 해상도가 4배 증가한 고해상 영상 프레임이 생성된다.
한편, 영상 제어부(150)는 배치되는 픽셀값에 가중치를 적용할 수 있다. 이때, 가중치는 서브픽셀의 크기나 광경로의 이동 방향에 따라 다르게 설정될 수 있으며, 각 저해상 영상 별로 다르게 설정될 수 있다.
이를 위하여, 틸팅부(140)는 소프트웨어적으로 또는 하드웨어적으로 광경로를 변경할 수 있다. 틸팅부(140)가 소프트웨어적으로 광경로를 변경하고자 할 경우, ToF 카메라 모듈(100)의 연산량이 늘어나는 문제가 있고, 하드웨어적으로 광경로를 변경하고자 하는 경우 ToF 카메라 모듈(100)의 구조가 복잡해지거나, 부피가 늘어나는 문제가 있다.
본 발명의 실시예에 따르면, 틸팅부(140)는 렌즈 어셈블리, 예를 들어 렌즈 어셈블리에 포함된 IR 필터(도 2의 318)의 기울기를 제어하는 방법으로 서브픽셀만큼 쉬프트된 데이터를 얻고자 한다.
도 10 내지 도 11은 IR 필터의 기울기 제어에 따라 이미지 센서 상에 입력되는 영상 프레임이 쉬프트되는 효과를 설명하기 위한 도면이다. 도 11은 IR 필터의 두께가 0.21mm이고, IR의 굴절율이 1.5인 조건에서 틸팅 각도에 대한 쉬프트 거리를 시뮬레이션한 결과이다.
도 10 및 하기 수학식 4를 참조하면, IR 필터(318)의 기울기(θ1)와 쉬프트 거리는 다음의 관계를 가질 수 있다.
Figure PCTKR2019004416-appb-M000004
여기서, θ2는 수학식 5와 같이 나타낼 수 있다.
Figure PCTKR2019004416-appb-M000005
그리고, θ1는 IR 필터(318)의 기울기, 즉 틸팅 각도이고, ng는 IR 필터(318)의 굴절율이며, d는 IR 필터(318)의 두께이다. 예를 들어, 수학식 4 내지 5를 참조하면, 이미지 센서 상에 입력되는 영상 프레임을 7㎛만큼 쉬프트시키기 위하여 약 5 내지 6°만큼 틸팅될 수 있다. 이때, IR 필터(318)의 수직 변위는 약 175 내지 210㎛가 될 수 있다.
이와 같이, IR 필터(318)의 기울기를 제어하면, 이미지 센서(320) 자체를 틸팅하지 않고도 쉬프트된 이미지 데이터를 얻는 것이 가능하다.
본 발명의 실시에에 따르면, IR 필터의 기울기를 제어하기 위한 틸팅부는 VCM(voice coil motor)을 포함할 수 있고, IR 필터(318)는 이미지 센서와 VCM 사이에 배치될 수 있다.
도 12는 본 발명의 한 실시예에 따른 VCM 및 IR 필터의 사시도이고, 도 13은 본 발명의 한 실시예에 따른 VCM 및 IR 필터를 포함하는 ToF 카메라 모듈의 단면도이며, 도 14는 본 발명의 한 실시예에 따른 VCM에 포함되는 마그넷 어셈블리와 IR 필터의 결합 과정을 나타내는 도면이고, 도 15는 본 발명의 한 실시예에 따른 VCM에 포함되는 코일 어셈블리의 결합 과정을 나타내는 도면이며, 도 16은 본 발명의 한 실시예에 따른 마그넷 어셈블리, IR 필터 및 코일 어셈블리의 결합 과정을 나타내는 도면이다.
도 12 내지 도 16을 참조하면, 틸팅부(140)는 VCM(1000)을 포함하며, VCM(1000)은 마그넷 어셈블리(1100) 및 코일 어셈블리(1200)를 포함하고, IR 필터(318)와 결합되거나, 접촉하거나, 연결될 수 있다.
도 13(a)에서, 설명의 편의를 위하여 VCM(1000)이 렌즈 배럴(314) 및 렌즈 홀더(318)에 의하여 둘러싸이는 것으로만 도시되어 있으며, 렌즈(312) 및 IR 필터(318)가 생략되어 있으나, 렌즈(312) 및 IR 필터(318)는 도 3에서 도시된 바와 같이 배치될 수 있다. 즉, 렌즈(312)는 렌즈 배럴(314)에 의하여 둘러싸이거나, VCM(1000) 내의 공간에 수용될 수 있다. 또는, 렌즈 배럴(314)은 VCM(1000)의 일부 구성일 수도 있다.
본 발명의 실시예에 따르면, 마그넷 어셈블리(1100)는 마그넷 홀더(1110) 및 복수의 마그넷(1120)을 포함하며, 복수의 마그넷(1120)은 마그넷 홀더(1110) 상에 소정 간격으로 이격되어 배치될 수 있다. 예를 들어, 마그넷 홀더(1110)는 중공의 원형 링 형상 또는 각형 링 형상일 수 있으며, 복수의 마그넷(1120)을 수용하기 위한 복수의 마그넷 가이드(1112)가 형성될 수 있다. 여기서, 마그넷 홀더(1110)는 자성 물질 또는 연자성 물질을 포함할 수 있으며, 예를 들어 Fe를 포함할 수 있다.
다음으로, 코일 어셈블리(1200)는 코일 홀더(1210), 복수의 코일(1220) 및 코일 터미널(1230)을 포함할 수 있으며, 복수의 코일(1220)은 코일 홀더(1210) 상에서 복수의 마그넷(1120)과 짝을 이루도록 소정 간격으로 이격되어 배치될 수 있다. 예를 들어, 코일 홀더(1210)는 중공의 원형 링 형상 또는 각형 링 형상일 수 있으며, 복수의 코일(1220)을 수용하기 위한 복수의 코일 가이드(1212)가 형성될 수 있다. 코일 홀더(1210)는 렌즈 배럴(314)일 수도 있다. 코일 터미널(1230)은 복수의 코일(1220)에 연결되며, 복수의 코일(1220)에 전원을 인가할 수 있다.
IR 필터(318)는 유리층 홀더(3182) 및 유리층 홀더(3182)에 의하여 지지되는 유리층(3184)을 포함한다. 유리층 홀더(3182)는 유리층(3184)의 하부에 배치되는 제1 유리층 홀더(3182-1) 및 유리층(3184)의 상부 가장자리에 배치되는 제2 유리층 홀더(3182-2)를 포함할 수 있다. 제2 유리층 홀더(3182-2)는 중공의 원형 링 형상 또는 각형 링 형상일 수 있으며, 마그넷 홀더(1110)에 의하여 둘러싸이도록 마그넷 홀더(1110)의 중공 내에 배치될 수 있다. 이때, 제2 유리층 홀더(3182-2)는 마그넷 홀더(1110)의 복수의 마그넷 가이드(1112)에 대응하도록 돌출된 복수의 돌출부(P1, P2, P3, P4)를 포함할 수 있다. 복수의 돌출부(P1, P2, P3, P4)는 복수의 마그넷 가이드(1112)와 접촉하거나 복수의 마그넷 가이드(1112)로부터 이격되도록 움직일 수 있다. 제2 유리층 홀더(3182-2)는 자성 물질 또는 연자성 물질을 포함할 수 있다.
코일 터미널(1230)을 통하여 복수의 코일(1220)에 전원이 인가되면, 복수의 코일(1220)을 통하여 전류가 흐르며, 이에 따라 복수의 코일(1220)과 복수의 마그넷(1120) 사이에 자기장이 발생할 수 있다.
이에 따라, 복수의 마그넷 가이드(1112)와 제2 유리층 홀더(3182-2)의 복수의 돌출부(P1, P2, P3, P4) 사이에는 전기 구동력이 발생할 수 있으며, 제2 유리층 홀더(3182-2)에 의하여 지지되는 유리층(3184)은 소정 각도로 틸팅될 수 있다.
예를 들어, 복수의 마그넷 가이드(1112)와 복수의 돌출부(P1, P2, P3, P4) 사이에 가해지는 힘에 따라 돌출부(P1)과 돌출부(P3) 사이에 형성되는 기울기 또는 돌출부(P2)과 돌출부(P4) 사이에 형성되는 기울기가 달라질 수 있다. 그리고, 돌출부(P1)과 돌출부(P3) 사이에 형성되는 기울기 또는 돌출부(P2)과 돌출부(P4) 사이에 형성되는 기울기에 따라 유리층(3184)의 기울기도 달라질 수 있다. 여기서, 제2 유리층 홀더(3182-2)의 복수의 돌출부(P1, P2, P3, P4)의 위치에 따라 IR 필터(318), 더욱 구체적으로는 유리층(3184)의 기울기가 달라지므로, 본 명세서에서 제2 유리층 홀더(3182-2)는 세이퍼(shaper)라 지칭될 수도 있다.
이때, 유리층(3184)의 틸팅의 자유도를 위하여 마그넷 홀더(1110)와 제1 유리층 홀더(3182-1) 사이에는 스페이서(1130)가 더 배치될 수도 있다.
여기서, 유리층(3184)는 IR 패스 유리층일 수 있다.
또는, 도 13(b)에서 도시된 바와 같이, 유리층(3184)은 일반 유리층일 수 있으며, IR 필터(318)는 이미지 센서(320) 상에서 유리층(3184)과 이격되어 배치되는 IR 패스 유리층(3186)을 더 포함할 수도 있다. IR 패스 유리층(3186)이 이미지 센서(320) 상에 배치되면, 이미지 센서(320) 상에 수분 또는 이물질이 직접 침투할 가능성을 줄일 수 있다.
한편, 본 발명의 실시예에 따르면, 마그넷 어셈블리(1110)는 마그넷 홀더(1140)를 더 포함할 수도 있다. 마그넷 홀더(1140)는 복수의 마그넷(1120)의 상부를 지지할 수 있으며, 이에 따라 복수의 마그넷(1120)은 더욱 안정적이고 신뢰성있게 움직일 수 있다.
이와 같이, 본 발명의 실시예에 따르면, IR 필터(318)의 기울기는 VCM(1000)의 구동에 따라 제어된다. 이를 위하여, IR 필터(318)는 VCM(1000)과 함께 배치되어야 하며, 이에 따라 IR 필터(318)는 이미지 센서(320)와 이격되어 배치될 필요가 있다.
한편, 본 발명의 실시예에 따르면, IR 필터(318)의 기울기가 수시로 바뀌어야 하므로, IR 필터(318)가 움직일 수 있는 여유 공간이 필요하다. 이때, IR 필터(318)의 움직임을 위한 여유 공간 내로 수분, 이물질 등이 침투할 가능성이 커지게 되며, 이에 따라 이미지 센서(320)가 수분, 이물질 등에 쉽게 노출될 수 있다.
본 발명의 실시예에서는, 이미지 센서(320)가 수분, 이물질 등에 노출되는 것을 방지하는 구조를 더 포함시키고자 한다.
도 17은 본 발명의 한 실시예에 따른 카메라 모듈의 일부의 단면도이다. 여기서, 설명의 편의를 위하여 카메라 모듈의 상단, 예를 들어 렌즈, 렌즈 배럴, VCM 등은 생략하여 도시하고 있으나, 도 3, 도 10 내지 도 14에서 설명한 내용은 동일하게 적용될 수 있다.
도 17을 참조하면, 인쇄회로기판(330) 상에 이미지 센서(320)가 탑재되며, 이미지 센서(320)는 하우징(340) 내에 수용될 수 있다. 여기서, 하우징은 제2 렌즈 홀더(316-2)일 수도 있다. IR 필터(318)의 기울기는 VCM(1000, 도 12 내지 16 참조)에 의하여 제어될 수 있다. 예를 들어, VCM(1000)의 구동에 의해 제1 유리층 홀더(3182-1)의 제1 돌출부(P1)가 위로 향하고, 제3 돌출부(P3)가 아래로 향하는 경우, IR 필터(318)의 유리층(3184)에는 기울기가 형성될 수 있다.
본 발명의 실시예에 따르면, IR 필터(318)와 이미지 센서(320) 사이에는 탄성막(1400)이 배치될 수 있다. 탄성막(1400)은 하우징(340)에 고정될 수 있다. 이때, 탄성막(1400)의 한면은 하우징(340)에 고정되고, 탄성막(1400)의 타면은 틸팅부(140)와 결합될 수 있다. 탄성막(1400)은, 예를 들어 RO(reverse osmosis) 멤브레인, NF(nano filtration) 멤브레인, UF(ultra-filtration) 멤브레인, MF(micro filtration) 멤브레인 등일 수 있다. 여기서, RO 멤브레인은 약 1 내지 15 옹스트롱의 포어 사이즈를 가지는 멤브레인이고, NF 멤브레인은 약 10 옹스트롱의 포어 사이즈를 가지는 멤브레인이며, UF 멤브레인은 약 15 내지 200 옹스트롱의 포어 사이즈를 가지는 멤브레인이고, MF 멤브레인은 약 200 내지 1000 옹스트롱의 포어 사이즈를 가지는 멤브레인이다. 이에 따라 IR 필터(318)와 하우징(340) 사이, 즉 IR 필터(318)의 움직임을 위하여 배치된 공간으로 수분, 이물질 등이 침투되는 현상을 방지할 수 있다.
이때, 탄성막(1400)은 25 내지 50㎛ 두께의 투명하고, 신축 가능한 막일 수 있으며, 탄성막(1400) 상에 IR 필터(318)의 적어도 일부가 직접 접촉하도록 배치될 수 있다. 즉, 탄성막(1400)의 형상은 틸팅부(1400)에 의하여 제어될 수 있다. 이에 따라, 탄성막(1400)은 IR 필터(318)가 기울어질 경우 IR 필터(318)와 함께 늘어나거나 수축될 수 있으며, IR 필터(318)가 제자리로 돌아오면 IR 필터(318)와 함께 바로 복원될 수 있어, IR 필터(318)의 움직임을 안정적으로 지지할 수 있다.
도 18 내지 도 23은 탄성막이 배치되는 다양한 예를 나타낸다.
도 18을 참조하면, 탄성막(1400)은 접착제(1410)를 통하여 이미지 센서(320)를 수용하는 하우징(340)에 접착될 수 있다.
도 19를 참조하면, 탄성막(1400)은 기구물(1420)를 통하여 이미지 센서(320)를 수용하는 하우징(340)에 고정될 수도 있다.
도 20을 참조하면, 탄성막(1400)은 이미지 센서(320)를 수용하는 하우징(340)의 외주면을 덮도록 배치될 수 있으며, 이와 함께 탄성막(1400)을 고정하기 위하여 하우징(340)의 외주면을 둘러싸도록 추가의 고정 부재(1430)가 배치될 수도 있다.
도 21을 참조하면, 탄성막(1400)은 이미지 센서(320) 상에 직접 배치될 수도 있다.
도 22를 참조하면, 탄성막(1400)은 제1 유리층 홀더(3182-1)와 하우징(340) 사이에 배치되며, 기구물(1440, 1442)에 의하여 고정될 수 있다.
도 23을 참조하면, 탄성막(1400)은 제1 유리층 홀더(3182-1)와 하우징(340)에 접착제(1450, 1452)를 통하여 접착될 수도 있다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
[부호의 설명]
100 : ToF 카메라 모듈 110 : 조명부
120 : 렌즈부 130 : 이미지 센서부
140 : 틸팅부 150 : 영상 제어부

Claims (10)

  1. 객체에 조사되는 입사광 신호를 출력하는 조명부;
    상기 객체로부터 반사된 반사광 신호를 집광하는 렌즈부;
    상기 렌즈부에 의하여 집광된 반사광 신호로부터 전기 신호를 생성하는 이미지 센서부;
    상기 반사광 신호의 광경로를 쉬프트시키는 틸팅부;및
    상기 틸팅부에 의하여 쉬프트된 프레임에 대하여 상기 입사광 신호 및 상기 이미지 센서부에 수신된 상기 반사광 신호 간 위상 차를 이용하여 상기 객체의 깊이 정보를 추출하는 영상 제어부를 포함하고,
    상기 렌즈부는 상기 이미지 센서부 상에 배치되며,
    상기 렌즈부는 상기 이미지 센서부 상에 배치되는 IR(InfraRed) 필터, 그리고 상기 IR 필터 상에 배치되는 적어도 1매의 렌즈를 포함하고,
    상기 틸팅부는 상기 IR 필터의 기울기를 제어하는 카메라 모듈.
  2. 제1항에 있어서,
    상기 틸팅부는 VCM(voice coil motor)를 포함하며,
    상기 IR 필터는 상기 이미지 센서부와 상기 VCM 사이에 배치되는 카메라 모듈.
  3. 제2항에 있어서,
    상기 VCM은
    마그넷 홀더;
    상기 마그넷 홀더 상에 소정 간격으로 이격되어 배치된 복수의 마그넷;
    코일 홀더; 및
    상기 코일 홀더 상에서 상기 복수의 마그넷과 짝을 이루도록 소정 간격으로 이격되어 배치된 복수의 코일을 포함하는 카메라 모듈.
  4. 제3항에 있어서,
    상기 IR 필터는 유리층, 그리고 상기 유리층을 지지하는 유리층 홀더를 포함하고,
    상기 유리층 홀더의 적어도 일부는 상기 마그넷 홀더에 의하여 둘러싸이는 카메라 모듈.
  5. 제4항에 있어서,
    상기 마그넷 홀더는 상기 복수의 마그넷을 수용하는 복수의 마그넷 가이드를 포함하고,
    상기 유리층 홀더는 상기 복수의 마그넷 가이드에 대응하도록 돌출된 복수의 돌출부를 포함하며,
    상기 복수의 돌출부는 상기 복수의 코일 및 상기 복수의 마그넷 사이에 발생하는 자기장에 따라 상기 복수의 마그넷 가이드에 접촉하거나 상기 복수의 마그넷 가이드로부터 이격되도록 움직이는 카메라 모듈.
  6. 제5항에 있어서,
    상기 복수의 돌출부의 움직임에 따라 상기 유리층이 소정 각도로 틸팅되는 카메라 모듈.
  7. 제4항에 있어서,
    상기 유리층은 IR 패스 유리층인 카메라 모듈.
  8. 제4항에 있어서,
    상기 IR 필터는 상기 이미지 센서부 상에서 상기 유리층과 이격되어 배치되는 IR 패스 유리층을 더 포함하는 카메라 모듈.
  9. 객체에 조사되는 입사광 신호를 출력하는 조명부;
    상기 객체로부터 반사된 반사광 신호를 집광하는 렌즈부;
    상기 렌즈부에 의하여 집광된 반사광 신호로부터 전기 신호를 생성하는 이미지 센서부;
    상기 이미지 센서부 상에 배치되는 탄성막;
    상기 반사광 신호의 광경로를 쉬프트시키는 틸팅부; 및
    상기 틸팅부에 의하여 쉬프트된 프레임에 대하여 상기 입사광 신호 및 상기 센서부에 수신된 상기 반사광 신호 간 위상 차를 이용하여 상기 객체의 깊이 정보를 추출하는 영상 제어부를 포함하고,
    상기 틸팅부는 상기 탄성막의 형상을 제어하는 카메라 모듈.
  10. 제9 항에 있어서,
    상기 이미지 센서를 수용하는 하우징을 포함하고,
    상기 탄성막의 일면은 상기 하우징에 결합되고 상기 탄성막의 타면은 상기 틸팅부와 결합되는 카메라 모듈.
PCT/KR2019/004416 2018-04-13 2019-04-12 카메라 모듈 및 그의 깊이 정보 추출 방법 WO2019199101A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020555858A JP7485610B2 (ja) 2018-04-13 2019-04-12 カメラモジュールおよびその深さ情報抽出方法
EP19784499.6A EP3780596A4 (en) 2018-04-13 2019-04-12 CAMERA MODULE AND DEPTH MAP EXTRACTION PROCEDURE FOR IT
US17/047,268 US11568553B2 (en) 2018-04-13 2019-04-12 Camera module and depth map extraction method thereof
CN201980025629.2A CN111971957B (zh) 2018-04-13 2019-04-12 相机模块及其深度图提取方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180043431A KR102473650B1 (ko) 2018-04-13 2018-04-13 카메라 모듈 및 그의 깊이 정보 추출 방법
KR10-2018-0043431 2018-04-13

Publications (1)

Publication Number Publication Date
WO2019199101A1 true WO2019199101A1 (ko) 2019-10-17

Family

ID=68164284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004416 WO2019199101A1 (ko) 2018-04-13 2019-04-12 카메라 모듈 및 그의 깊이 정보 추출 방법

Country Status (6)

Country Link
US (1) US11568553B2 (ko)
EP (1) EP3780596A4 (ko)
JP (1) JP7485610B2 (ko)
KR (1) KR102473650B1 (ko)
CN (1) CN111971957B (ko)
WO (1) WO2019199101A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102486425B1 (ko) 2018-02-23 2023-01-09 엘지이노텍 주식회사 카메라 모듈 및 그의 초해상도 영상 처리 방법
KR102513680B1 (ko) * 2018-06-08 2023-03-24 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
KR102618276B1 (ko) * 2019-01-07 2023-12-28 엘지이노텍 주식회사 카메라 모듈
KR20210072458A (ko) * 2019-12-09 2021-06-17 에스케이하이닉스 주식회사 비행시간거리측정 방식의 센싱 시스템 및 이미지 센서
CN115023939A (zh) * 2019-12-26 2022-09-06 Lg 伊诺特有限公司 相机模块
US11867562B2 (en) * 2022-01-25 2024-01-09 Visera Technologies Company Limited Optical devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0974524A (ja) * 1995-07-05 1997-03-18 Sharp Corp 画像入力装置
KR20140028536A (ko) * 2012-08-29 2014-03-10 엘지전자 주식회사 깊이 영상 생성 장치 및 방법
KR20160142156A (ko) * 2015-06-02 2016-12-12 주식회사 옵트론텍 오토 포커스 촬영 모듈을 이용한 광각 촬영 장치
KR20170130594A (ko) * 2015-07-20 2017-11-28 구글 엘엘씨 ToF 픽셀 어레이의 해상도를 증가시키기 위한 방법 및 장치
KR101804779B1 (ko) * 2016-08-26 2017-12-05 엘지이노텍 주식회사 카메라 모듈

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3038134B2 (ja) * 1994-06-20 2000-05-08 シャープ株式会社 撮像装置
JPH09186920A (ja) * 1995-12-27 1997-07-15 Canon Inc 画像入力装置
JPH11187309A (ja) * 1997-12-19 1999-07-09 Canon Inc 撮像装置及び撮像方法
JP2005266676A (ja) * 2004-03-22 2005-09-29 Nikon Corp 可変光学ローパスフィルタおよび撮像ユニット
WO2007035720A2 (en) * 2005-09-20 2007-03-29 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
US7566854B2 (en) * 2006-12-08 2009-07-28 Advanced Chip Engineering Technology Inc. Image sensor module
US8629976B2 (en) * 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
JP2010122183A (ja) * 2008-11-21 2010-06-03 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
CN103915454B (zh) * 2012-12-31 2017-02-08 意法半导体研发(深圳)有限公司 具有对齐的ir滤光片和电介质层的图像传感器设备和相关方法
JP6852416B2 (ja) * 2016-03-10 2021-03-31 株式会社リコー 距離測定装置、移動体、ロボット、装置及び３次元計測方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0974524A (ja) * 1995-07-05 1997-03-18 Sharp Corp 画像入力装置
KR20140028536A (ko) * 2012-08-29 2014-03-10 엘지전자 주식회사 깊이 영상 생성 장치 및 방법
KR20160142156A (ko) * 2015-06-02 2016-12-12 주식회사 옵트론텍 오토 포커스 촬영 모듈을 이용한 광각 촬영 장치
KR20170130594A (ko) * 2015-07-20 2017-11-28 구글 엘엘씨 ToF 픽셀 어레이의 해상도를 증가시키기 위한 방법 및 장치
KR101804779B1 (ko) * 2016-08-26 2017-12-05 엘지이노텍 주식회사 카메라 모듈

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3780596A4 *

Also Published As

Publication number Publication date
US11568553B2 (en) 2023-01-31
CN111971957A (zh) 2020-11-20
EP3780596A1 (en) 2021-02-17
JP7485610B2 (ja) 2024-05-16
KR102473650B1 (ko) 2022-12-02
KR20190119904A (ko) 2019-10-23
EP3780596A4 (en) 2021-09-01
JP2021521438A (ja) 2021-08-26
CN111971957B (zh) 2024-03-08
US20210166408A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
WO2019199101A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
WO2019235859A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
WO2016148512A1 (ko) 카메라 모듈에 사용되는 필터전환 장치 및 카메라 모듈을 포함하는 모바일 기기
US4827335A (en) Color image reading apparatus with two color separation filters each having two filter elements
WO2014142622A1 (ko) 렌즈 액츄에이터
WO2014003493A1 (en) Camera module
WO2019031817A1 (ko) 렌즈 구동 장치, 카메라 모듈 및 광학 기기
WO2014003492A1 (en) Camera module
WO2019164296A1 (ko) 카메라 모듈
AU1264999A (en) Optoelectronic camera and method for image formatting in the same
WO2017090928A1 (ko) 일반 촬영 및 적외선 촬영 겸용 카메라 모듈
WO2019151700A1 (ko) 카메라 모듈
WO2020067738A1 (ko) 카메라 장치 및 그의 깊이 정보 추출 방법
WO2020122594A1 (ko) 렌즈 어셈블리 및 이를 포함하는 카메라 모듈
WO2020218746A1 (ko) 카메라용 액추에이터 및 이를 포함하는 카메라 모듈
WO2018135851A1 (ko) 액체렌즈 및 이를 포함하는 카메라 모듈 및 광학기기
WO2019209064A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
WO2020141827A1 (ko) 광학계 및 이를 포함하는 카메라 모듈
WO2019164312A1 (ko) 카메라 모듈 및 그의 초해상도 영상 처리 방법
WO2021006694A1 (ko) 광학기기
WO2019143116A1 (ko) 렌즈 어셈블리 및 그를 포함하는 카메라 모듈
WO2020067745A1 (ko) 카메라 장치
WO2019235889A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
WO2020209562A1 (ko) 렌즈 구동 장치
WO2020231222A1 (ko) 카메라 모듈

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19784499

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020555858

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019784499

Country of ref document: EP