WO2020242177A1 - 카메라 모듈 - Google Patents

카메라 모듈 Download PDF

Info

Publication number
WO2020242177A1
WO2020242177A1 PCT/KR2020/006799 KR2020006799W WO2020242177A1 WO 2020242177 A1 WO2020242177 A1 WO 2020242177A1 KR 2020006799 W KR2020006799 W KR 2020006799W WO 2020242177 A1 WO2020242177 A1 WO 2020242177A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
sensor
camera module
signal
optical signal
Prior art date
Application number
PCT/KR2020/006799
Other languages
English (en)
French (fr)
Inventor
김석현
김윤성
박강열
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to US17/595,890 priority Critical patent/US11997383B2/en
Publication of WO2020242177A1 publication Critical patent/WO2020242177A1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • G01S7/4914Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates

Definitions

  • the present invention relates to a camera module for extracting distance information.
  • 3D content is applied in many fields such as education, manufacturing, and autonomous driving as well as games and culture, and distance information (Depth Map) is required to acquire 3D content.
  • the distance information is information representing a distance in space, and represents perspective information of another point with respect to one point of a 2D image.
  • a method of obtaining distance information a method of projecting IR (Infrared) structured light onto an object, a method of using a stereo camera, and a method of Time of Flight (TOF) are used.
  • the TOF method the distance to an object is calculated using information of light reflected by emitting light.
  • the biggest advantage of the ToF method is that it provides fast, real-time distance information for 3D space.
  • users can obtain accurate distance information without applying a separate algorithm or performing hardware correction.
  • accurate distance information can be obtained by measuring a very close subject or measuring a moving subject.
  • An object of the present invention is to provide a camera module for extracting distance information using a TOF method.
  • the camera module includes an optical output unit for outputting an optical signal to an object; A sensor that receives the optical signal reflected from the object; And a control unit that obtains distance information of an object by using the phase difference of the received optical signal; wherein the sensor includes a non-extraction region from which the phase difference is not extracted and an extraction region from which the phase difference is extracted, , The control unit stops timing control for the light signal received in the non-extraction region.
  • the sensor generates a plurality of electric signals by synthesizing the received optical signal with a plurality of reference signals having different phases, and the non-extraction region includes at least two of the plurality of electric signals corresponding to the plurality of reference signals May not be created.
  • the plurality of reference signals may be sequentially shifted by a predetermined phase.
  • the non-extraction region may have a different sum of electric signals corresponding to a reference signal having a different phase of 180 degrees among a plurality of electric signals.
  • a plurality of electric signals may have a predetermined size or less.
  • the sensor includes a plurality of pixels, the phase difference is a phase difference between the optical signal and the reflected optical signal, and the controller may block a switching control for controlling a light reception time of the plurality of pixels.
  • the sensor includes: a first sensing area receiving a first signal having a peak wavelength in a first wavelength band; And a second sensing region for receiving a second signal having a peak wavelength in a second wavelength band, wherein the second wavelength band may be different from the first wavelength band.
  • the second sensing region may include the extraction region and the non-extraction region.
  • a plurality of second sensing regions may be spaced apart from each other.
  • the adjacent second sensing regions may have the same distance in a row direction or a column direction.
  • Each of the second sensing regions may be formed of a plurality of pixels in which at least a portion of the second sensing region is in contact.
  • the optical output unit may include a condensing unit configured to output the optical signal in the form of a plurality of arrays.
  • FIG. 1 is a diagram showing a conceptual diagram of a camera module according to an embodiment
  • FIG. 2 is a view showing an optical output unit according to the embodiment
  • FIG. 3 is a diagram showing one surface of the object in FIG. 2,
  • FIG. 5 is a diagram for explaining a frequency of an optical signal according to an embodiment
  • FIG. 6 is a cross-sectional view of the camera module according to the embodiment.
  • FIG. 7A is a conceptual diagram of a filter and a sensor according to an embodiment
  • FIG. 7B is a conceptual diagram of a filter and a sensor according to another embodiment
  • FIG. 10 is a diagram showing a second sensing area of a sensor according to a distance to an object
  • FIG. 11 is a plan view of a sensor according to a modified example
  • FIG. 12 is a diagram for explaining a process of generating an electrical signal in a sensor according to an embodiment
  • FIG. 13 is a diagram for explaining a sensor according to an embodiment
  • FIG. 14 is a timing diagram for generating one frame by a sensor according to an embodiment
  • 15 is a timing diagram of one frame period in which a distance image is generated by a sensor according to another embodiment
  • 16 is a timing diagram for generating an electric signal for each exposure period within a frame period in FIG. 15,
  • 17 is a timing diagram in the exposure period P1 in FIG. 15,
  • 19 is a timing diagram in the exposure period P3 in FIG. 15,
  • 21 is a raw image of four phases obtained from the camera module according to the embodiment.
  • the singular form may include the plural form unless specifically stated in the phrase, and when described as "at least one (or more than one) of A and (and) B and C", it is combined with A, B, and C. It may contain one or more of all possible combinations.
  • first, second, A, B, (a), and (b) may be used.
  • ком ⁇ онент when a component is described as being'connected','coupled' or'connected' to another component, the component is not only directly connected, coupled or connected to the other component, but also the component and its It may also include the case of being'connected','coupled' or'connected' due to another component between different components.
  • top (top) or bottom (bottom) when it is described as being formed or disposed in the “top (top) or bottom (bottom)" of each component, the top (top) or bottom (bottom) is one as well as when the two components are in direct contact with each other. It also includes a case in which the above other component is formed or disposed between the two components.
  • upper (upper) or lower (lower) when expressed as "upper (upper) or lower (lower)", the meaning of not only an upward direction but also a downward direction based on one component may be included.
  • optical devices include mobile phones, mobile phones, smart phones, portable smart devices, digital cameras, laptop computers, digital broadcasting terminals, PDAs (Personal Digital Assistants), PMPs (Portable Multimedia Players), and navigation. It can contain either.
  • PDAs Personal Digital Assistants
  • PMPs Portable Multimedia Players
  • navigation can contain either.
  • the type of optical device is not limited thereto, and any device for photographing an image or photograph may be included in the optical device.
  • the optical device may include a body.
  • the body may have a bar shape.
  • the main body may have various structures such as a slide type, a folder type, a swing type, and a swivel type in which two or more sub-bodies are relatively movably coupled.
  • the body may include a case (casing, housing, and cover) forming the exterior.
  • the main body may include a front case and a rear case.
  • Various electronic components of an optical device may be embedded in a space formed between the front case and the rear case.
  • the optics may include a display.
  • the display may be disposed on one surface of the main body of the optical device.
  • the display can output an image.
  • the display may output an image captured by the camera.
  • the optics may include a camera.
  • the camera may include a Time of Flight (ToF) camera module.
  • the ToF camera module may be disposed in front of the body of the optical device.
  • the ToF camera module can be used for various types of biometric recognition such as face recognition, iris recognition, and vein recognition of a user for security authentication of optical devices.
  • FIG. 1 is a diagram illustrating a conceptual diagram of a camera module according to an embodiment.
  • a camera module 100 may include an optical output unit 110, an optical unit 120, a sensor 130, a control unit 140, and an operation unit 150.
  • the light output unit 110 may generate light and irradiate it toward the object O in the form of a desired signal. Specifically, it may be a light emitting module, a light emitting unit, a light emitting assembly, or a light emitting device.
  • the optical output unit 110 may irradiate an object after generating an optical signal.
  • the optical output unit 110 may generate and output an optical signal in the form of a pulse wave or a continuous wave.
  • the continuous wave may be in the form of a sinusoid wave or a square wave.
  • the optical output unit 110 generates the optical signal in the form of a pulse wave or a continuous wave, so that the camera module 100 is input to the camera module 100 after the optical signal output from the optical output unit 110 and the object are reflected.
  • the phase difference or time difference between the input optical signals can be used.
  • the output light LS1 refers to light that is output from the light output unit 110 and is incident on the object
  • the input light LS2 refers to the light output from the light output unit 110 when it reaches the object. It may mean light reflected from an object and then input to the camera module 100. From the perspective of the object, the output light LS1 may be incident light, and the input light LS2 may be reflected light.
  • the optical output unit 110 irradiates the generated optical signal to the object during a predetermined exposure period (integration time).
  • the exposure period means one frame period.
  • the set exposure period is repeated. For example, when the camera module 100 photographs an object at 20 FPS, the exposure period is 1/20 [sec].
  • the exposure cycle may be repeated 100 times.
  • the optical output unit 110 may generate not only an output optical signal having a predetermined frequency, but also a plurality of optical signals having different frequencies. In addition, the optical output unit 110 may sequentially repeatedly generate a plurality of optical signals having different frequencies. Alternatively, the optical output unit 110 may simultaneously generate a plurality of optical signals having different frequencies.
  • the light output unit 110 may include a light source 112, a light change unit 114, and a condensing unit 116.
  • the light source 112 may generate light.
  • Light generated by the light source 112 may be infrared rays having a wavelength of 770 nm to 3000 nm, or visible light having a wavelength of 380 nm to 770 nm.
  • the light source 112 may use a light emitting diode (LED), and may have a form in which a plurality of light emitting diodes are arranged according to a predetermined pattern.
  • the light source 112 may include an organic light emitting diode (OLED) or a laser diode (LD).
  • the light source 112 may be a VCSEL (Vertical Cavity Surface Emitting Laser).
  • the VCSEL is one of laser diodes that converts an electrical signal into an optical signal, and may use a wavelength of about 800 nm to 1000 nm, for example, about 850 nm or about 940 nm.
  • the light source 112 repeatedly blinks (on/off) at regular time intervals to generate a pulsed or continuous optical signal.
  • the predetermined time interval may be the frequency of the optical signal.
  • the blinking of the light source 112 may be controlled by the light change unit 114.
  • the light change unit 114 controls the blinking of the light source 112 so that the light source 112 generates an optical signal in the form of a continuous wave or a pulse wave.
  • the light change unit 114 may control the light source 112 to generate an optical signal in the form of a continuous wave or a pulse wave through frequency modulation or pulse modulation.
  • the light condensing unit 116 may change the light path so that the light generated from the light source 112 has an array spot.
  • the condensing unit 116 may include an imaging lens and a micro lens array or a Diffractive Optical Element (DOE).
  • DOE Diffractive Optical Element
  • light emitted from the camera module 100 toward the object O may have a plurality of array spots. Accordingly, even if the distance between the camera module 100 and the object O increases, the light emitted from the camera module 100 can easily reach the object O due to condensing. Accordingly, the camera module 100 according to the embodiment may perform optical transmission over a longer distance.
  • the number of array spots can be set in various ways, and a detailed description of the configuration and effects of the above-described light condensing unit 116 will be described later.
  • the optical unit 120 may include at least one lens.
  • the optical unit 120 may collect the input light signal reflected from the object through at least one lens and transmit it to the sensor 130.
  • at least one lens may include a solid lens.
  • at least one lens may include a variable lens.
  • Such a variable lens may be a focus variable lens.
  • the variable lens may be a lens whose focus is adjusted.
  • the variable lens may be at least one of a liquid lens, a polymer lens, a liquid crystal lens, a VCM type, and an SMA type.
  • the liquid lens may include a liquid lens including one liquid and a liquid lens including two liquids.
  • a liquid lens containing one liquid may change the focus by adjusting a membrane disposed at a position corresponding to the liquid.
  • the focus may be changed by pressing the membrane by an electromagnetic force of a magnet and a coil.
  • a liquid lens including two liquids may control an interface formed between the conductive liquid and the non-conductive liquid by using a voltage applied to the liquid lens including the conductive liquid and the non-conductive liquid.
  • the polymer lens can change the focus of the polymer material through a driving unit such as piezo.
  • the liquid crystal lens can change the focus by controlling the liquid crystal by electromagnetic force.
  • the VCM type can change the focus by adjusting the solid lens or the lens assembly including the solid lens through the electromagnetic force between the magnet and the coil.
  • the SMA type can change focus by controlling a solid lens or a lens assembly including a solid lens using a shape memory alloy.
  • the optical unit 120 may include an optical plate.
  • the optical plate may be a light transmissive plate.
  • the optical unit 120 may include a filter F that transmits a specific wavelength region.
  • the filter F of the optical unit 120 may transmit only light in a preset wavelength region and block light other than the preset wavelength region.
  • the filter F may partially pass light in the infrared (IR) region.
  • the filter F may include an IR band pass filter that partially passes light of 780 nm to 1000 nm. A detailed description of this will be described later.
  • the sensor 130 may generate an electric signal using an input light signal condensed through the optical unit 120.
  • the sensor 130 may absorb an input optical signal in synchronization with the blinking period of the optical output unit 110.
  • the sensor 130 may absorb an optical signal output from the optical output unit 110 and light in an in phase and an out phase, respectively.
  • the senor 130 may generate an electric signal corresponding to each reference signal by using a plurality of reference signals having different phase differences.
  • the electrical signal may be viewed as a signal mixed between each reference signal and the input light, and the mixing may include convolution, multiplication, and the like.
  • the frequency of the reference signal may be set to correspond to the frequency of the optical signal output from the optical output unit 110. In an embodiment, the frequency of the reference signal may be the same as the frequency of the optical signal of the optical output unit 110.
  • the sensor 130 may generate an electrical signal using a plurality of reference signals corresponding to each frequency.
  • the electric signal may include information on an amount of charge or voltage corresponding to each reference signal.
  • the electric signal may be calculated for each pixel.
  • the controller 140 may control the optical unit 120 to shift the optical path of the input optical signal.
  • the calculation unit 150 may calculate high-resolution distance information higher than the resolution of the image data by using the electric signal received from the sensor 130 and combining a plurality of image data extracted from the control unit 140.
  • the calculation unit 150 may be disposed in an optical device including a camera module or in the camera module 100 as shown to perform calculation. Hereinafter, the operation unit 150 will be described based on being disposed in the camera module 100.
  • the operation unit 150 may perform an operation by receiving information sensed by the sensor 130 from the camera module 100. That is, the calculation unit 150 may receive a plurality of low-resolution information using the electric signal received from the sensor 130 and generate high-resolution distance information using the plurality of low-resolution information. For example, a plurality of low-resolution information may be rearranged to generate high-resolution distance information.
  • the calculation unit 150 determines the distance between the object and the camera module 100 by using a time difference between the optical signal output from the optical output unit and the optical signal received by the sensor, or the effective area of the sensor at different phases. It can be calculated by using a plurality of pieces of information acquired during a plurality of exposure times of the sensor that exposes.
  • FIG. 2 is a view showing an optical output unit according to an embodiment
  • FIG. 3 is a view showing a surface of an object in FIG. 2
  • FIG. 4 illustrates the effect of light intensity according to the distance of the light output unit according to the embodiment. It is a drawing for.
  • light emitted from the light source 112 may pass through the condenser 116 and be irradiated to the object O.
  • the light irradiated to the object O may be in the form of an array spot, and corresponding to this form, the condensing unit 116 may also be formed of an imaging lens arranged in an array form.
  • the interval d1 of light irradiated from the condenser 116 to each single lens may be different from the interval d2 of light passing through each single lens.
  • the spacing of light may be measured in the front and rear end regions of the condensing unit 116 having the same spacing in the condensing unit 116.
  • an interval d1 of light irradiated to each single lens may be greater than an interval d2 of light passing through each single lens.
  • a single spot (K) may exist in various array forms according to the shape of the imaging lens of the condensing unit 160.
  • each single spot K may be spaced apart from adjacent spots to have a predetermined distance.
  • FIG. 4(a) shows the light intensity when the condenser does not exist
  • FIG. 4(b) shows the light intensity when the condenser is present.
  • the light intensity may be greatest at the center (0) of a single spot when the condensing unit is present and the condensing unit does not exist.
  • the light intensity at the center (0) of a single spot may be different depending on the presence or absence of the condenser.
  • the size of the electric signal converted by the sensor may also increase according to the light intensity.
  • the distance increases as the width of the electrical signal from the sensor increases. Accordingly, the accuracy of the distance information according to the distance may be further improved.
  • the light intensity at the center of the spot increases to the condenser, it is possible to compensate for the decrease in the light intensity according to the distance to the object.
  • FIG. 5 is a diagram for explaining a frequency of an optical signal according to an embodiment.
  • the optical output unit 110 controls the first half of the exposure period to generate an optical signal having a frequency f1, and the other half of the exposure period is an optical signal having a frequency f2. It can be controlled to be created.
  • the light output unit 110 may control some of the plurality of light emitting diodes to generate an optical signal having a frequency f1, and control the remaining light emitting diodes to generate an optical signal having a frequency f2. have. In this way, the optical output unit 110 may generate signals of outputs of different frequencies for each exposure period.
  • an optical signal having frequencies f1 and f2 is generated, and a plurality of reference signals may have a phase difference of 90 degrees.
  • a sensor to be described later may generate four electrical signals through an input optical signal having a frequency of f1 and four reference signals corresponding thereto.
  • the sensor may generate four electrical signals through an input optical signal having a frequency of f2 and four reference signals corresponding thereto.
  • the sensor can generate a total of 8 electrical signals.
  • the optical signal may be generated with one frequency (eg, f1).
  • FIG. 6 is a cross-sectional view of a camera module according to an embodiment.
  • the camera module may include a lens assembly 310, a sensor 320, and a printed circuit board 330.
  • the lens assembly 310 may correspond to the optical unit 120 of FIG. 1
  • the sensor 320 may correspond to the sensor 130 of FIG. 1.
  • the control unit 140 of FIG. 1 may be implemented on the printed circuit board 330 or the sensor 320.
  • the optical output unit 110 of FIG. 1 may be disposed on the printed circuit board 330 or may be disposed in a separate configuration. The light output unit 110 may be controlled by the control unit 140.
  • the lens assembly 310 may include a lens 312, a lens barrel 314, a lens holder 316 and an IR filter 318.
  • the lens 312 may be composed of a plurality of sheets, or may be composed of one sheet. When the lens 312 is formed of a plurality of elements, each of the lenses may be aligned with respect to a central axis to form an optical system. Here, the central axis may be the same as the optical axis of the optical system.
  • the lens 312 may include the variable lens described above.
  • the lens barrel 314 is coupled to the lens holder 316, and a space for accommodating a lens may be provided therein.
  • the lens barrel 314 may be rotationally coupled to one or a plurality of lenses, but this is exemplary, and may be coupled in other manners such as a method using an adhesive (eg, an adhesive resin such as epoxy). .
  • the lens holder 316 may be coupled to the lens barrel 314 to support the lens barrel 314 and may be disposed on the printed circuit board 330 on which the sensor 320 is mounted.
  • a space in which the IR filter 318 may be disposed may be formed in the lens barrel 314 by the lens holder 316.
  • a driving unit that is controlled by the control unit 140 and can tilt or shift the IR filter 318 may be disposed in the lens barrel 314.
  • a spiral pattern may be formed on the outer circumferential surface of the lens holder 316, and similarly, it may be rotationally coupled with the lens barrel 314 having a helical pattern formed on the outer circumferential surface.
  • the lens holder 316 may be divided into an upper holder 316-1 coupled to the lens barrel 314 and a lower holder 316-2 disposed on the printed circuit board 330 on which the sensor 320 is mounted.
  • the upper holder 316-1 and the lower holder 316-2 may be integrally formed, formed in a structure separated from each other, and then fastened or combined, or may have a structure separated from each other and spaced apart from each other. In this case, the diameter of the upper holder 316-1 may be formed smaller than the diameter of the lower holder 316-2.
  • optical unit 120 may be configured with another structure capable of condensing an input light signal incident to the ToF camera module 100 and transmitting it to the sensor 130.
  • FIG. 7A is a conceptual diagram of a filter and a sensor according to an embodiment
  • FIG. 7B is a conceptual diagram of a filter and a sensor according to another embodiment
  • FIG. 8 is an enlarged view of part K in FIG. 7A
  • FIG. 9 is an M part in FIG. 7A Is an enlarged view
  • FIG. 10 is a diagram illustrating a second sensing area of a sensor according to a distance to an object
  • FIG. 11 is a plan view of a sensor according to a modified example.
  • the reflected light LS2 passes through the filter F and may be finally received by the sensor 130.
  • the reflected light may be light of a predetermined wavelength band as described above, and some light may be blocked by the filter F.
  • the filter F includes a first filter region FA1 in which a first wavelength band is a pass band, and a second filter region FA2 in which a second wavelength band different from the first wavelength band is a pass band. I can.
  • the filter F may be divided into a first filter area FA1 and a second filter area FA2.
  • the second wavelength band may be the same as the wavelength band through which infrared light (IR) passes. Accordingly, since the second filter region F2 filters the wavelength region of infrared light, it can operate as a band pass filter for the infrared light IR.
  • the first wavelength band may include a second wavelength band or may be formed as a region excluding the second wavelength band. In the embodiment, the first wavelength band is a pass band excluding the second wavelength band, and will be described below based on this.
  • the first filter area FA1 may be disposed to surround the second filter area FA2. Specifically, there may be a plurality of second filter areas FA2, and may be spaced apart on the filter F. In this case, the second filter areas FA2 may be spaced apart from each other to have a predetermined distance.
  • the width W1 between adjacent second filter regions FA2 in the first direction (X-axis direction) may be the same as well as the second direction (Y-axis) between adjacent second filter regions FA2.
  • the height h1 may all be the same.
  • the first direction is one direction in which a plurality of pixels arranged in an array form in the sensor are arranged side by side
  • the second direction (Y-axis direction) is a direction perpendicular to the first direction. It is a direction that is arranged side by side
  • the third direction may be a direction perpendicular to both the first direction and the second direction.
  • the first direction (X-axis direction) is a row direction
  • the second direction (Y-axis direction) is a column direction.
  • the row direction may be mixed with the first direction
  • the column direction may be mixed with the second direction.
  • both distance information and color information can be detected from image data, as described later.
  • the reflected light may pass through the first filter area FA1 and the second filter area FA2 and may be received by the sensor 130 below.
  • an optical signal (reflected light) passing through the first filter area FA1 is described as a first signal
  • an optical signal (reflected light) passing through the second filter area is described as a second signal.
  • the senor 130 may include a first sensing region SA1 receiving a first signal and a second sensing region SA2 receiving a second signal.
  • the sensor 130 may be divided into a first sensing region SA1 and a second sensing region SA2 according to the wavelength band of the reflected light passing through the filter F.
  • the first sensing area SA1 may correspond to the above-described first filter area FA1.
  • the first detection area SA1 may be an area through which the optical signal passing through the first filter area FA1 reaches the sensor 130.
  • the second sensing area SA2 may correspond to the above-described second filter area FA2.
  • the second sensing area SA1 may be an area through which the optical signal passing through the second filter area FA2 reaches the sensor 130.
  • the first detection area SA1 and the second detection area SA2 respectively correspond to the first filter area FA1 and the second filter area FA2, the first detection area SA1 is a second detection area. It may be disposed to surround the area SA2.
  • the senor 130 includes a plurality of pixels as described above, and the plurality of pixels may be positioned side by side in a row direction and a column direction.
  • a plurality of second sensing areas SA2 may be disposed to be spaced apart from each other.
  • each of the second sensing regions SA2 spaced apart from each other may be located on at least one pixel.
  • each second sensing area SA2 may include at least a partial area of at least one pixel.
  • each of the second sensing areas SA2 may be formed of a plurality of pixels in which at least a portion of the second sensing area SA2 is in contact. In this case, even when the distance between the camera module and the object is various (for example, when photographing images of various objects with different distances), distance information is extracted from a plurality of pixels for each object and the distance to the object The accuracy of the distance information for can be improved.
  • all of the filters F are made of the second filter area FA2, and correspondingly, the sensor 130 may be made of the second sensing area SA2. (See FIG. 7B) And as will be described later, the second sensing region SA2 may be divided into an extraction region and a non-extraction region.
  • the filter F includes both the first filter area FA1 and the second filter area FA2, and the sensor 130 is divided into the first detection area SA1 and the second detection area SA2. Explain based on what is done.
  • a plurality of pixels PX1-1 to PX9-9 may be arranged in a row direction and a column direction.
  • a pixel in the sensor 130 may have 9 rows and 9 columns.
  • the 2-2th pixel, the 4-2th pixel, the 6-2th pixel, the 8-2th pixel, the 2-4th pixel, the 4-4th pixel, the 6-4th pixel, the 8-4th pixel , 2-6th pixels, 4-6th pixels, 6-6th pixels, 8-6th pixels, 2-8th pixels, 4-8th pixels, 6-8th pixels, 8th pixels 2 may be the sensing area SA2.
  • each pixel corresponding to the second sensing region SA2 may be surrounded by each pixel of the first sensing region SA1.
  • the 2-2 pixels may be arranged to be surrounded by the 1-1 pixels to the 1-3 pixels, the 2-1 pixels, the 2-3 pixels, and the 3-1 pixels to the 3-3 pixels. have. Accordingly, even if the distance to the object is changed, it is possible to prevent overlapping of the plurality of second sensing areas SA2 as much as possible, thereby improving the accuracy of the distance information.
  • the second sensing areas SA2 may be spaced apart from each other to have a predetermined distance.
  • the widths W2 in the first direction (X-axis direction) between adjacent second sensing regions SA2 may be the same.
  • the height h2 between the adjacent second sensing regions SA2 in the second direction (Y-axis direction) may be the same.
  • the area of the first filter area FA1 may be different from the area of the first detection area SA1.
  • the second filter area FA2 and the second sensing area SA2 may have different widths.
  • the area of the first filter area FA1 may be larger than the area of the first detection area SA1
  • the area of the second filter area FA2 may be larger than the area of the second detection area SA2. have.
  • width W1 in the first direction between adjacent second filter areas FA2 may be different from the width W2 in the first direction between adjacent second sensing areas SA2.
  • width W1 between adjacent second filter areas FA2 in the first direction may be greater than the width W2 in the first direction between adjacent second detection areas SA2.
  • the height h1 between adjacent second filter regions FA2 in the second direction may be different from the height h2 in the second direction between adjacent second sensing regions SA2.
  • the height h1 between the adjacent second filter regions FA2 in the second direction may be greater than the height h2 in the second direction between the adjacent second sensing regions SA2.
  • the second sensing region SA2 may include a plurality of pixels, and as described above, may include an extraction region and a non-extraction region.
  • the extraction area is an area from which the phase difference is extracted
  • the non-extraction area is an area from which the phase difference is not extracted.
  • This phase difference is a phase difference between the optical signal (incident light) output from the optical output unit and the optical signal (reflected light) reflected by the sensor.
  • the non-extraction region may be a region in which at least two electrical signals corresponding to a plurality of reference signals are not generated.
  • the extraction region may be a region in which three or more electrical signals corresponding to a plurality of reference signals are generated. A detailed description of this will be described later.
  • the non-extraction region is a region in which a sum of electric signals corresponding to a reference signal having a phase different by 180 degrees among a plurality of electric signals is different, and the extraction region is a reference signal having a phase different by 180 degrees among a plurality of electric signals.
  • the sum of electrical signals corresponding to may be the same area.
  • the controller does not transmit the switching control signal for controlling the light-receiving time to the pixels located in the non-extraction area of the sensor, so that the sensor may not perform light-receiving at the exposure time according to the reference signal. That is, the timing control of the pixels in the non-extraction area can be stopped.
  • a plurality of electric signals in the non-extraction region, may be less than or equal to a preset size.
  • the extraction area may be larger than a predetermined size of a plurality of electric signals and smaller than a size that can be measured at a maximum by the light receiving unit.
  • the pixel exceeds the storage capacity of the capacitor, and may belong to the non-extraction region in the same manner as in the above-described embodiment or other embodiments. A detailed description of the above-described embodiments will be described later.
  • the area of the second sensing area may change according to the distance to the object O.
  • the object O may include a first point PO1, a second point PO2, and a third point PO3 having different distances from the camera module.
  • the first point PO1 may have a greater distance from the camera module than the second point PO2 and the third point PO3.
  • the third point PO3 may have a smaller distance from the camera module than the first point PO1 and the second point PO2.
  • the reflected light may have a different phase delay depending on the distance to the object.
  • the reflected light is at the first reflected light LS2-1 and the second point PO2, which are optical signals reflected from the first point PO1.
  • first reflected light LS2-1 to the third reflected light LS2-3 may pass through the second filter area FA2 and receive light from the second sensing area SA2 of the sensor 130.
  • the second sensing region SA2 is a 2-1 sensing region SA2a receiving the first reflected light LS2-1, and a 2-2 sensing region receiving the second reflected light LS2-2 ( SA2b) and a 2-3th sensing region SA2c receiving the third reflected light Ls2-3 may be included.
  • the area of the 2-1th sensing area SA2a may be smaller than the area of the 2-2nd sensing area SA2b and the area of the 2-3rd sensing area SA2c.
  • the area of the 2-2nd sensing area SA2b may be larger than the area of the 2-1st sensing area SA2a and smaller than the area of the 2-3rd sensing area SA2c.
  • the area of the 2-3rd sensing area SA2c may be larger than the area of the 2-1st sensing area SA2a and the area of the 2-2nd sensing area SA2b. That is, the width of the second sensing area may be different according to the distance between the object O camera modules.
  • the 2-1st sensing area SA2a corresponds to one pixel
  • the 2-2nd sensing area SA2b and the 2-3rd sensing area SA2c may correspond to a plurality of pixels. Accordingly, a plurality of second filter regions FA2 are spaced apart from each other, so that the second sensing regions SA2 may be spaced apart from each other and may not overlap in a row direction or a column direction. Accordingly, the camera module according to the embodiment may calculate distance information reflecting all different distances between the camera module and the object.
  • a first filter region may surround a second filter region, and a first filter region may not overlap each other.
  • the filter may consist of a plurality of set filters consisting of a second filter area and a first filter area surrounding the second filter area, and the plurality of set filters may not overlap in the third direction (Z-axis direction). have.
  • the first sensing region SA1 may surround the second sensing region SA2 and the first sensing regions surrounding one second sensing region SA2 may not overlap each other.
  • the sensor may be formed of an aggregated pixel BDX including a second sensing region SA2 and a first sensing region SA1 surrounding the second sensing region SA2. In this case, there may be a plurality of set pixels BDX, and may not overlap each other in the third direction (Z-axis direction). With this configuration, even if the distance from the object is changed, accurate distance measurement may be possible.
  • FIG. 12 is a diagram illustrating a process of generating an electrical signal in a sensor according to an embodiment.
  • the phase of reflected light may be delayed by a distance from which incident light (output light, LS1) is incident on the object and then reflected back.
  • each of the reference signals C1 to C4 may have the same frequency as the optical signal, but may have a phase difference of 90 degrees from each other.
  • One of the four reference signals (eg, C1) may have the same phase as the optical signal.
  • these reference signals C1 to C4 are applied to the sensor, and the sensor may generate an electric signal from the reflected light LS2 according to the reference signal.
  • the sensor may include a charging element and a switching element for generating an electric signal, and the switching element may perform an On/Off operation according to a reference signal.
  • the senor exposes the effective area of the sensor in response to each reference signal, and may receive the light signal during the exposure time (exposure time). That is, when the reference signal is on (positive), the sensor may generate an electric signal by charging electric charges from the reflected light LS2. Accordingly, the sensor may generate an electric signal corresponding to the shaded portion of FIG. 12.
  • the charging element includes a capacitor, and the like
  • the switching element may include various switching elements such as a field effect transistor, but is not limited to the above types.
  • an optical signal may be generated at a plurality of frequencies during the exposure time.
  • the sensor absorbs input light signals according to a plurality of frequencies.
  • an optical signal is generated at frequencies f1 and f2, and a plurality of reference signals has a phase difference of 90 degrees to each other.
  • the incident optical signal also has frequencies f1 and f2
  • four electrical signals may be generated through an input optical signal having a frequency of f1 and four reference signals corresponding thereto.
  • four electrical signals may be generated through an input optical signal having a frequency of f2 and four reference signals corresponding thereto.
  • a total of eight electrical signals can be generated.
  • an optical signal is generated with one frequency is described, but as described above, the optical signal may be generated with a plurality of frequencies.
  • FIG. 13 is a diagram for explaining a sensor according to an embodiment
  • FIG. 14 is a timing diagram for generating one frame by the sensor according to the embodiment.
  • the sensor 130 may have an array structure with a plurality of pixels as described above.
  • the sensor 130 may be an active pixel sensor (APS) and may be a Complementary Metal Oxide Semiconductor (CMOS) sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • the sensor 130 may be a charge coupled device (CCD) sensor.
  • the sensor 130 may include a ToF sensor that receives infrared light reflected from a subject and measures a distance using time or phase difference.
  • a plurality of pixels may be arranged side by side in a first direction and a second direction.
  • the plurality of pixels may have a matrix form.
  • a first pixel and a second pixel may be included as an embodiment. These first and second pixels may be alternately disposed in the first direction and the second direction. That is, in one first pixel, a plurality of second pixels may be disposed adjacent to each other in the first direction and the second direction.
  • the first pixel and the second pixel may be arranged in a checkerboard pattern. That is, in the case of the sensor 130 having a resolution of 320x240 as shown in FIG. 13, 76,800 pixels may be arranged in a grid form.
  • the first pixel and the second pixel may be pixels that receive different wavelength bands at peak wavelengths.
  • the first pixel may receive light having an infrared band as a peak wavelength.
  • the second pixel may receive light having a wavelength other than the infrared band as a peak wavelength.
  • either of the first pixel and the second pixel may not receive light.
  • the plurality of pixels may include an effective area in which the light receiving element is disposed and an ineffective area other than the effective area.
  • the effective area may receive light to generate a predetermined electric signal
  • the non-effective area may be a light-receiving area that does not generate or does not receive light. That is, the ineffective region may mean that even if the light-receiving element is located therein, an electrical signal by light cannot be generated.
  • the first pixel may include an effective area, but the second pixel may be formed only as an ineffective area in which no effective area exists.
  • a light receiving element such as a photodiode may be positioned only in the first pixel and not in the second pixel.
  • the sensor 130 may include a plurality of row areas including an effective area and an ineffective area alternately arranged in the row direction.
  • the sensor 130 may include a plurality of column regions including effective regions and non-effective regions alternately arranged in the column direction.
  • the plurality of pixels may have various shapes such as a square, a triangle, a polygon, and a circle.
  • the effective area within the pixel may also have various shapes such as a square, a triangle, a polygon, and a circle.
  • a plurality of pixels may be spaced apart from each other at regular intervals. Such a spaced distance may be very small compared to the size of a pixel, and a wire or the like may be disposed. Hereinafter, in the present specification, such a separation distance will be ignored.
  • each pixel 132 (eg, a first pixel) includes a first light receiving unit 132-1 including a first photodiode and a first transistor, and a second photodiode including a second photodiode and a second transistor. It may include a light receiving unit (132-2).
  • the first light receiving unit 132-1 receives the input light signal at the same phase as the waveform of the output light. That is, when the light source is turned on, the first photodiode is turned on to absorb the input light signal. And at the time the light source is turned off, the first photodiode is turned off to stop absorbing the input light.
  • the first photodiode converts the absorbed input light signal into current and transmits it to the first transistor.
  • the first transistor converts the received current into an electric signal and outputs it.
  • the second light receiving unit 132-2 receives an input light signal in a phase opposite to the waveform of the output light. That is, when the light source is turned on, the second photodiode is turned off to absorb the input light signal. Then, when the light source is turned off, the second photodiode is turned on to stop absorbing the input light. The second photodiode converts the absorbed input light signal into current and transmits it to the second transistor. The second transistor converts the received current into an electric signal.
  • the first light receiving unit 132-1 may be referred to as an In Phase receiving unit
  • the second light receiving unit 132-2 may be referred to as an Out Phase receiving unit.
  • a difference occurs in the amount of received light according to the distance to the object.
  • the time taken to be reflected from the object after the light is output from the light output unit 110 is 0, The blinking period becomes the light reception period as it is. Accordingly, only the first light receiving unit 132-1 receives the light, and the second light receiving unit 132-2 does not receive the light.
  • the blinking period of the light source is different from the light reception period. Will come out. Accordingly, a difference occurs in the amount of light received by the first light receiving unit 132-1 and the second light receiving unit 132-2. That is, the distance of the object may be calculated using the difference between the amount of light input to the first light receiving unit 132-1 and the second light receiving unit 132-2. In other words, the controller 140 calculates a phase difference between the output light and the input light using the electric signal received from the sensor 130, and calculates the distance between the object and the camera module 100 using the phase difference. .
  • a first reference signal C1 is provided to the first light receiving unit 132-1, and a second reference signal C2 is provided to the second light receiving unit 132-2.
  • a third reference signal C3 may be provided to the first light receiving unit 132-1 and a fourth reference signal C4 may be provided to the second light receiving unit 132-2 during the second exposure period P2.
  • the first exposure period P1 and the second exposure period P2 may constitute one frame period, and a read out exists between the first exposure period P1 and the second exposure period P2. I can. In this case, read out is a section in which the amount of charge charged in each light receiving unit in the pixel is discharged.
  • the first reference signal C1 to the fourth reference signal C4 are signals for controlling charging of the charging element in the pixel, and may be a gate signal in the switching element, which can be applied in the same manner as described in FIG. 12. have.
  • the sensor 130 may each output an electric signal corresponding to a reference signal from each of a plurality of pixels.
  • the phase difference between the incident light and the reflected light may be calculated through the reference signal.
  • four electrical signals may be generated per one frame period for an optical signal. Accordingly, the controller 140 may calculate the phase difference t d between the optical signal and the input optical signal using Equation 1 below.
  • Q1 to Q4 are the charge amounts (hereinafter referred to as charges) of each of the four electric signals.
  • Q1 is the amount of electric charge in the electric signal corresponding to the reference signal of the same phase as the optical signal.
  • Q2 is the amount of charge in the electric signal corresponding to the reference signal 180 degrees slower in phase than the optical signal.
  • Q3 is the amount of charge in the electric signal corresponding to the reference signal whose phase is 90 degrees slower than that of the optical signal.
  • Q4 is the amount of charge in the electric signal corresponding to the reference signal whose phase is 270 degrees slower than that of the optical signal.
  • the exposure period required to calculate the phase difference (td) between the optical signal and the input optical signal in one frame period varies depending on the number of charging elements in the sensor 130, the number of switching elements, and the number of light receiving units.
  • two charging elements may be connected to each light receiving unit (ie, two light receiving units have four charging elements).
  • two reference signals may be provided for each light receiving unit in one exposure period.
  • a first reference signal and a second reference signal may be provided to the first light receiving unit
  • a third reference signal and a fourth reference signal may be provided to the second light receiving unit.
  • four exposure periods exist in one frame period, and four reference signals having a phase difference of 90 degrees for each exposure period may be provided to the light receiving unit.
  • the controller may calculate the phase difference td between the above-described optical signal and the input optical signal by using the amount of electric charge generated during each exposure period.
  • one frame period may sequentially include a first exposure period and a second exposure period.
  • the sensor 130 may provide the first reference signal C1 and the second reference signal C2 to the first light receiving unit 132-1 and the second light receiving unit 132-2, respectively, during the first exposure period.
  • the third reference signal C3 and the fourth reference signal C4 may be provided to the first light receiving unit 132-1 and the second light receiving unit 132-2, respectively.
  • Q1 and Q2 may be generated in the first exposure period
  • Q3 and Q4 may be generated in the second exposure period.
  • the controller may generate all of Q1 to Q4 in one frame, and may calculate a phase difference t d between the optical signal and the input optical signal by using the amount of charge of the four generated electrical signals.
  • the controller 140 may calculate a distance between the object and the camera module 100 by using the phase difference td between the optical signal and the input optical signal. In this case, the controller 140 may calculate a distance (d, see Equation 2) between the object and the camera module 100 using Equation 2 below.
  • a ToF IR image and a depth image may be obtained from the camera module 100.
  • a camera module according to an embodiment of the present invention may be referred to as a ToF camera module or a ToF camera module.
  • the camera module 100 may generate a raw image for four phases.
  • the four phases may be 0°, 90°, 180°, and 270°
  • the raw image for each phase may be an image composed of digitized pixel values or analog pixel values for each phase, and a phase image and a phase IR It can be mixed with video and the like.
  • a raw image for four phases may be obtained by an electrical signal generated from a plurality of pixels
  • FIGS. 21 to 23 are images obtained for each phase when the entire region of the sensor is an extraction region, It is an amplitude image or a distance image that can be obtained from the image.
  • the senor 130 may include a non-extraction region from which the phase difference is extracted and an extraction region from which the phase difference is extracted.
  • the phase difference means a phase difference td between the optical signal and the input optical signal.
  • the extraction region is a region formed by a pixel in which all of the electric signal charges corresponding to the reference signal are calculated.
  • the non-extraction region may be a region formed by a pixel in which at least two electrical signals corresponding to a reference signal are not generated.
  • the non-extraction region may be a region made of pixels in which no electrical signals corresponding to at least two of the first reference signal, the second reference signal, the third reference signal, and the fourth reference signal are generated.
  • the extraction region may include a pixel corresponding to an area having a very close distance to the object. That is, when the distance to the object is close, an electrical signal is not generated in one of the first reference signal, the second reference signal, the third reference signal, and the fourth reference signal (eg, the second reference signal).
  • the non-extracted area may include a pixel corresponding to an area in which the distance to the object is outside the measurable distance. That is, this is because electrical signals are not generated from at least two or more of the first reference signal, the second reference signal, the third reference signal, and the fourth reference signal when the distance to the object is outside the measurable distance. Accordingly, for the non-extracted region, the control unit can stop timing control for the received light signal. With this configuration, since it is difficult to measure a distance for a pixel corresponding to an area having a very far distance from the object, it is possible to block the switching control of the switching element of the light receiving unit from being performed according to the first to fourth reference signals. As a result, switching is not driven for pixels that do not require distance measurement to reduce power consumption, thereby improving power efficiency of the sensor.
  • the non-extraction region may be formed of pixels having different sums of electric signals (charge amounts of electric signals) corresponding to reference signals having a different phase of 180 degrees among a plurality of electric signals.
  • the total amount of light of the reflected light LS2 from the sensor 130 corresponds to an electric signal (a charge amount of the electric signal) corresponding to the first reference signal C1 and the second reference signal C2, and the third reference signal It may correspond to an electric signal (a charge amount of the electric signal) corresponding to the (C3) and the fourth reference signal (C4).
  • the sum of the electrical signals corresponding to the first and second reference signals C1 and C2 and the sum of the electrical signals corresponding to the third and fourth reference signals C3 and C4 should be the same.
  • the above-described sum may be different from each other.
  • the senor 130 may be applied to the first to fourth reference signals in a non-extraction region composed of pixels having different sums of electric signals corresponding to reference signals having a different phase of 180 degrees among a plurality of electric signals. Accordingly, it is possible to block the switching control of the switching element of the light receiving unit from being performed. As a result, switching is not driven for pixels that do not require distance measurement to reduce power consumption, thereby improving power efficiency of the sensor.
  • the non-extracted region may be formed of pixels in which a plurality of electrical signals are smaller than a preset size.
  • a different reference signal may be provided to the light receiving unit of each pixel in the same exposure period, and an electric signal may be generated therefrom.
  • the control unit may provide a reference signal to the light receiving unit of each pixel during a plurality of exposure periods. In this way, when the size of the electric signal generated by the light receiving unit during the frame period is less than or equal to a predetermined size, the pixel may be processed as a non-extraction region in consideration of the fact that the amount of reflected light is small and noise due to external light exists.
  • FIG. 15 is a timing diagram of one frame period for generating a distance image by a sensor according to another embodiment
  • FIG. 16 is a timing diagram for generating electric signals for each exposure period within the frame period in FIG. 15, and FIG.
  • a timing diagram in the exposure period P1 FIG. 18 is a timing diagram in the exposure period P2 in FIG. 15,
  • FIG. 19 is a timing diagram in the exposure period P3 in FIG. 15, and
  • FIG. 20 is an exposure period in FIG. It is a timing diagram in (P4).
  • four exposure periods and four readouts may exist during one frame period in which a distance image image can be extracted from a sensor according to another embodiment.
  • the number of exposure cycles and the number of readouts may be variously changed depending on the number of light receiving units, charging elements, and switching.
  • the duty ratio of the incident light LS1 is set to 25%.
  • the duty ratio of incident light is not limited thereto and may be variously changed.
  • One frame period may include a first exposure period P1, a second exposure period P2, a third exposure period P3, and a fourth exposure period P4 sequentially performed.
  • a readout may be performed between each exposure period. Description of this can be applied in the same manner as the above.
  • each exposure period may be the same as the period of the incident light LS1.
  • each pixel may generate an electric signal for a different phase in each exposure period. That is, different reference signals can be applied. Specifically, one pixel will be described below as consisting of a first light receiving unit 132-1 and a second light receiving unit 132-2.
  • the first light receiving unit 132-1 is applied with a first reference signal (corresponding to the above-described C1) having the same phase as the incident light LS1
  • the second light receiving unit 132-2 is The first reference signal and a second reference signal (corresponding to C2 described above) that are 180 degrees out of phase may be applied.
  • the first light receiving unit 132-1 is applied with a third reference signal (corresponding to C3 described above) that is 90 degrees late to the first reference signal C1, and the second light receiving unit 132- 2)
  • the second reference signal and the fourth reference signal (corresponding to the above-described C4) that are 180 degrees out of phase may be applied.
  • the first light receiving unit 132-1 may be applied with the second reference signal C2 and the second light receiving unit 132-2 may be applied with the first reference signal C1.
  • the fourth reference signal C4 may be applied to the first light receiving unit 132-1
  • the third reference signal C3 may be applied to the second light receiving unit 132-2.
  • the first light receiving unit 132-1 generates a charge amount Q 0° corresponding to the above-described charge amount Q1
  • the second light receiving unit 132-2 is An amount of charge Q 180° corresponding to the amount of charge Q2 may be generated.
  • the first light receiving unit 132-1 generates a charge amount Q 90° corresponding to the aforementioned charge amount Q3
  • the second light receiving unit 132-2 generates the above-described charge amount ( The amount of charge (Q 270° ) corresponding to Q4) can be generated.
  • the first light receiving unit 132-1 generates a charge amount Q 180°
  • the second light receiving unit 132-2 generates a charge amount Q 0°
  • the fourth In the exposure period P4 the first light receiving unit 132-1 may generate an amount of charge Q 270°
  • the second light receiving unit 132-2 may generate an amount of charge Q 90° .
  • the pixel may output a difference between an electric signal generated by the first light receiving unit and the second light receiving unit in each exposure period. That is, the pixel may output an amount of charge (Q 0° )-an amount of charge (Q 180° ) in the first exposure period, and output an amount of charge (Q 90° )-an amount of charge (Q 270° ) in the second exposure period.
  • the control unit may block a pixel from which switching control is performed on a corresponding pixel by processing a pixel whose output size of the exposure period in which the phase driving inverted by the sensor is not the same as the non-extraction region.
  • the output value of the first exposure period (P1) and the output value of the third exposure period (P3) are different pixels or the output value of the second exposure period (P2) and the output value of the fourth exposure period (P4) Pixels having different sizes may be non-extracted regions.
  • the controller may block the switching control from being performed on the corresponding pixel.
  • the non-extraction region may include pixels having different sums of electrical signals corresponding to reference signals having different phases of 180 degrees among the plurality of electrical signals, and the control unit performs switching control for pixels in the non-extraction region. It can be prevented from being performed.
  • control unit may not provide a control signal corresponding to the reference signal to the corresponding pixel. Accordingly, switching is not driven for pixels that do not require accurate distance measurement, thereby reducing power consumption, thereby improving power efficiency of the sensor. In addition, power consumption can be further improved by setting the duty ratio to 25% as described above.
  • the plurality of exposure periods P1 to P4 may be formed of a plurality of sub exposure periods.
  • a first exposure period (P 1 ) includes a plurality of sub exposure periods (P 11 to P 13 )
  • a second exposure period (P 2 ) includes a plurality of sub exposure periods (P 21 to P 23 )
  • the third exposure period (P 3 ) includes a plurality of sub exposure periods (P 31 to P 33 )
  • the fourth exposure period (P 4 ) includes a plurality of sub exposure periods (P 41 to P 43 ) can do.
  • each sub-exposure period may be the same as the period of the incident light LS1.
  • electrical signals generated by the first light receiving unit 132-1 and the second light receiving unit 132-2 in each exposure period are the same as those described above in FIG. 15.
  • control unit may process the average of the electrical signals obtained through the plurality of sub-exposure periods as an electrical signal of one exposure period. Accordingly, it is possible to further improve the accuracy of the electric signal with respect to the distance.
  • FIG. 21 is a raw image for four phases obtained from the camera module according to the embodiment
  • FIG. 22 is from the camera module according to the embodiment. This is an obtained amplitude image
  • FIG. 23 is a distance image obtained from the camera module according to the embodiment.
  • Equation 3 calculation as in Equation 3 using four phase images (Raw(x 0 ), Raw(x 90 ), Raw(x 180 ), Raw(x 270 ), and FIG. 21) Then, an amplitude image (FIG. 22) that is a ToF IR image can be obtained.
  • Raw(x 0 ) is the data value for each pixel received by the sensor at phase 0°
  • Raw(x 90 ) is the data value for each pixel received by the sensor at phase 90°
  • Raw(x 180 ) is the phase 180
  • Raw (x 270 ) may be the data value for each pixel received by the sensor at phase 270°.
  • Equation 4 another ToF IR image, an intensity image, may be obtained.
  • Raw(x 0 ) is the data value for each pixel received by the sensor at phase 0°
  • Raw(x 90 ) is the data value for each pixel received by the sensor at phase 90°
  • Raw(x 180 ) is the phase 180
  • Raw (x 270 ) may be the data value for each pixel received by the sensor at phase 270°.
  • the ToF IR image may be generated by subtracting two of the four phase images from each other. For example, in two phase images subtracted from each other, there may be a 180° difference between the phases. In addition, in the process of subtracting the two satellite images from each other, background light may be removed. Accordingly, only the signal in the wavelength band output from the light source remains in the ToF IR image, thereby increasing the IR sensitivity of the object and reducing noise significantly.
  • the ToF IR image may mean an amplitude image or an intensity image, and the intensity image may be mixed with a confidence image. As shown in FIG. 22, the ToF IR image may be a gray image.
  • Equations 5 and 6 may correspond to Equations 1 and 2, respectively.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명의 실시예에 따르면, 객체로 광 신호를 출력하는 광출력부; 상기 객체에서 반사된 광 신호를 수광하는 센서; 및 상기 수광된 광 신호의 위상 차이를 이용하여 객체의 거리 정보를 획득하는 제어부;를 포함하고, 상기 센서는 상기 위상 차이가 추출되지 않는 비추출영역 및 상기 위상 차이가 추출되는 추출영역을 포함하고, 상기 제어부는 상기 비추출영역에서 상기 수광된 광 신호에 대한 타이밍 제어를 정지하는 카메라 모듈을 개시한다.

Description

카메라 모듈
본 발명은 거리 정보를 추출하는 카메라 모듈에 관한 것이다.
3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 거리 정보(Depth Map)가 필요하다. 거리 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
거리 정보를 획득하는 방법으로, IR(Infrared) 구조광을 객체에 투사하는 방식, 스테레오 카메라를 이용하는 방식, TOF(Time of Flight) 방식 등이 이용되고 있다. TOF 방식에 따르면, 빛을 쏘아서 반사되어 오는 빛의 정보를 이용하여 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한, 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정을 하지 않고도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 피사체를 측정하거나 움직이는 피사체를 측정하여도 정확한 거리 정보를 획득할 수 있다.
다만, 거리 정보에 대한 처리 속도가 높고 전력 소모가 큰 한계 존재한다. 또한, 객체로부터의 거리가 멀어질 때 정확도가 저하되는 문제점이 존재한다.
본 발명이 이루고자 하는 기술적 과제는 TOF 방식을 이용하여 거리 정보를 추출하는 카메라 모듈을 제공하는데 있다.
또한, 이미지 센서로부터 얻은 일부 영역의 거리 정보를 통해서 3차원 컨텐츠를 높은 전력 효율로 생성하는 카메라 모듈을 제공할 수 있다.
또한, 거리가 멀어지더라도 용이하게 거리 맵을 생성할 수 있는 카메라 모듈을 제공할 수 있다.
실시예에 따른 카메라 모듈은 객체로 광 신호를 출력하는 광출력부; 상기 객체에서 반사된 광 신호를 수광하는 센서; 및 상기 수광된 광 신호의 위상 차이를 이용하여 객체의 거리 정보를 획득하는 제어부;를 포함하고, 상기 센서는 상기 위상 차이가 추출되지 않는 비추출영역 및 상기 위상 차이가 추출되는 추출영역을 포함하고, 상기 제어부는 상기 비추출영역에서 상기 수광된 광 신호에 대한 타이밍 제어를 정지한다.
상기 센서는 상기 수광된 광 신호를 위상이 상이한 복수 개의 참조 신호와 합성하여 복수 개의 전기 신호를 생성하고, 상기 비추출영역은 상기 복수 개의 참조 신호에 대응하는 상기 복수 개의 전기 신호가 적어도 두 개 이상 생성되지 않을 수 있다.
상기 복수 개의 참조 신호는 소정의 위상만큼 순차로 시프팅될 수 있다.
상기 비추출영역은 복수 개의 전기 신호 중 위상이 180도 상이한 참조 신호에 대응하는 전기 신호의 합이 상이할 수 있다.
상기 비추출영역은 복수 개의 전기 신호가 기 설정된 크기 이하일 수 있다.
상기 센서는 복수 개의 픽셀을 포함하고, 상기 위상 차이는 상기 광 신호와 상기 반사된 광 신호의 위상차이고, 상기 제어부는 상기 복수 개의 픽셀의 수광 시간을 제어하는 스위칭 제어를 차단할 수 있다.
상기 센서는 제1 파장대역에서 피크 파장을 갖는 제1 신호를 수신하는 제1 감지영역; 및 제2 파장대역에서 피크 파장을 갖는 제2 신호를 수신하는 제2 감지영역;을 포함하고, 상기 제2 파장대역은 상기 제1 파장대역과 상이할 수 있다.
상기 제2 감지영역은 상기 추출영역 및 상기 비추출영역을 포함할 수 있다.
상기 객체와 상기 센서 사이에 배치되는 필터;를 더 포함하고, 상기 필터는 상기 제1 파장대역이 통과 대역인 제1 필터영역 및 상기 제1 파장대역과 상이한 상기 제2 파장대역이 통과 대역인 제2 필터영역을 포함할 수 있다.
상기 제2 감지영역은 복수 개로 이격 배치될 수 있다.
인접한 제2 감지영역은 행 방향 또는 열 방향으로 동일 거리를 가질 수 있다.
상기 제2 감지영역 각각은 적어도 일부가 접하게 배치되는 복수 개의 픽셀로 이루어질 수 있다.
상기 광출력부는 상기 광 신호를 복수 개의 어레이 형태로 출력하는 집광부를 포함할 수 있다.
본 발명의 실시예에 따르면, 이미지 센서로부터 얻은 이미지의 일부 영역의 거리 정보를 통해 3차원 컨텐츠를 용이하게 출력할 수 있다.
또한, 거리가 멀어지더라도 거리 인식의 정확도를 개선할 수 있다.
또한, 거리 정보를 생성함에 있어서 소비 전력을 향상시킬 수 있다.
또한, 보다 정확도가 개선된 거리 정보가 반영된 3차원 컨텐츠를 제공할 수 있다.
도 1은 실시예에 따른 카메라 모듈의 개념도를 도시한 도면이고,
도 2는 실시예에 따른 광출력부를 도시한 도면이고,
도 3은 도 2에서 객체에 일면을 도시한 도면이고,
도 4는 실시예에 따른 광출력부의 거리에 따른 광세기의 효과를 설명하기 위한 도면이고,
도 5는 실시예에 따른 광 신호의 주파수를 설명하기 위한 도면이고,
도 6은 실시예에 따른 카메라 모듈의 단면도이고,
도 7a는 실시예에 따른 필터와 센서의 개념도이고,
도 7b는 다른 실시예에 따른 필터와 센서의 개념도이고,
도 8은 도 7a에서 K부분의 확대도이고,
도 9는 도 7a에서 M부분의 확대도이고,
도 10은 객체와의 거리에 따른 센서의 제2 감지영역을 도시한 도면이고,
도 11은 변형예에 따른 센서의 평면도이고,
도 12는 실시예에 따른 센서에서 전기 신호 생성 과정을 설명하기 위한 도면이고,
도 13은 실시예에 따른 센서를 설명하기 위한 도면이고,
도 14는 실시예에 따른 센서에서 1 프레임을 생성하는 타이밍도이고,
도 15는 다른 실시예에 따른 센서에서 거리 영상을 생성하는 1 프레임 주기의 타이밍도이고
도 16은 도 15에서 프레임 주기 내의 노출 주기 별 전기 신호를 생성하는 타이밍도이고,
도 17은 도 15에서 노출 주기(P1)에서 타이밍도이고,
도 18은 도 15에서 노출 주기(P2)에서 타이밍도이고,
도 19는 도 15에서 노출 주기(P3)에서 타이밍도이고,
도 20은 도 15에서 노출 주기(P4)에서 타이밍도이고,
도 21은 실시예에 따른 카메라 모듈로부터 얻은 4개의 위상에 대한 로우(raw) 영상이고,
도 22는 실시예에 따른 카메라 모듈로부터 얻은 앰플리튜드 영상(amplitude image)이고,
도 23은 실시예에 따른 카메라 모듈로부터 얻은 거리 영상이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
그리고 이하에서 설명하는 실시예에 따른 카메라 모듈은 광학기기 또는 광학기기의 일부 장치로서 이용될 수 있다. 먼저, 광학기기는 핸드폰, 휴대폰, 스마트폰(smart phone), 휴대용 스마트 기기, 디지털 카메라, 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 네비게이션 중 어느 하나를 포함할 수 있다. 다만, 광학기기의 종류가 이에 제한되는 것은 아니며 영상 또는 사진을 촬영하기 위한 어떠한 장치도 광학기기에 포함될 수 있다.
광학기기는 본체를 포함할 수 있다. 본체는 바(bar) 형태일 수 있다. 또는, 본체는 2개 이상의 서브 몸체(sub-body)들이 상대 이동 가능하게 결합하는 슬라이드 타입, 폴더 타입, 스윙(swing) 타입, 스위블(swirl) 타입 등 다양한 구조일 수 있다. 본체는 외관을 이루는 케이스(케이싱, 하우징, 커버)를 포함할 수 있다. 예컨대, 본체는 프론트(front) 케이스와 리어(rear) 케이스를 포함할 수 있다. 프론트 케이스와 리어 케이스의 사이에 형성된 공간에는 광학기기의 각종 전자 부품이 내장될 수 있다.
광학기기는 디스플레이를 포함할 수 있다. 디스플레이는 광학기기의 본체의 일면에 배치될 수 있다. 디스플레이는 영상을 출력할 수 있다. 디스플레이는 카메라에서 촬영된 영상을 출력할 수 있다.
광학기기는 카메라를 포함할 수 있다. 카메라는 ToF(Time of Flight) 카메라 모듈을 포함할 수 있다. ToF 카메라 모듈은 광학기기의 본체의 전면에 배치될 수 있다. 이 경우, ToF 카메라 모듈은 광학기기의 보안인증을 위한 사용자의 얼굴인식, 홍채인식, 정맥인식 등 다양한 방식의 생체인식에 사용될 수 있다.
도 1은 실시예에 따른 카메라 모듈의 개념도를 도시한 도면이다.
도 1을 참조하면, 실시예에 따른 카메라 모듈(100)은 광출력부(110), 광학부(120), 센서(130), 제어부(140) 및 연산부(150)를 포함할 수 있다.
광출력부(110)는 광을 생성하여 원하는 신호 형태로 객체(O)를 향해 조사할 수 있다. 구체적으로, 발광 모듈, 발광 유닛, 발광 어셈블리 또는 발광 장치일 수 있다. 광출력부(110)는 광 신호를 생성한 후 객체에 조사할 수 있다. 이때, 광출력부(110)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 광 신호를 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다.
그리고 광출력부(110)가 광 신호를 펄스파나 지속파 형태로 생성함으로써, 카메라 모듈(100)은 광출력부(110)로부터 출력된 광 신호와 객체로부터 반사된 후 카메라 모듈(100)로 입력된 입력광 신호 사이의 위상 차 또는 시간 차를 이용 할 수 있다. 본 명세서에서, 출력광(LS1)은 광출력부(110)로부터 출력되어 객체에 입사되는 광을 의미하고, 입력광(LS2)은 광출력부(110)로부터 출력된 출력광이 객체에 도달하여 객체로부터 반사된 후 카메라 모듈(100)로 입력되는 광을 의미할 수 있다. 객체의 입장에서 출력광(LS1)은 입사광이 될 수 있고, 입력광(LS2)은 반사광이 될 수 있다.
광출력부(110)는 생성된 광 신호를 소정의 노출 주기(integration time) 동안 객체에 조사한다. 여기서, 노출 주기란 1개의 프레임 주기를 의미한다. 복수의 프레임을 생성하는 경우, 설정된 노출 주기가 반복된다. 예를 들어, 카메라 모듈(100)이 20 FPS로 객체를 촬영하는 경우, 노출 주기는 1/20[sec]가 된다. 그리고 100개의 프레임을 생성하는 경우, 노출 주기는 100번 반복될 수 있다.
광출력부(110)는 소정의 주파수를 가지는 출력 광 신호뿐만 아니라, 서로 다른 주파수를 가지는 복수의 광 신호를 생성할 수도 있다. 또한, 광출력부(110)는 서로 다른 주파수를 가지는 복수의 광 신호를 순차적으로 반복하여 생성할 수 있다. 또는, 광출력부(110)는 서로 다른 주파수를 가지는 복수의 광 신호를 동시에 생성할 수도 있다.
이러한 동작을 위하여, 실시예로 광출력부(110)는 광원(112), 광변경부(114), 집광부(116)를 포함할 수 있다.
먼저, 광원(112)은 빛을 생성할 수 있다. 광원(112)이 생성하는 빛은 파장이 770nm 내지 3000nm인 적외선 일 수 있으며, 파장이 380nm 내지 770 nm인 가시광선 일 수도 있다. 광원(112)은 발광 다이오드(Light Emitting Diode, LED)를 이용할 수 있으며, 복수의 발광 다이오드가 일정한 패턴에 따라 배열된 형태를 가질 수 있다. 뿐만 아니라, 광원(112)은 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수도 있다. 또는, 광원(112)은 VCSEL(Vertical Cavity Surface Emitting Laser)일 수도 있다. VCSEL은 전기 신호를 광 신호로 바꾸어 주는 레이저 다이오드 중 하나이며, 약 800nm 내지 1000nm인 파장, 예를 들어 약 850nm 또는 약 940nm 파장을 사용할 수 있다.
광원(112)은 일정 시간 간격으로 점멸(on/off)을 반복하여 펄스파 형태나 지속파 형태의 광 신호를 생성한다. 일정 시간 간격은 광 신호의 주파수일 수 있다. 광원(112)의 점멸은 광변경부(114)에 의해 제어될 수 있다.
광변경부(114)는 광원(112)의 점멸을 제어하여 광원(112)이 지속파나 펄스파 형태의 광 신호를 생성하도록 제어한다. 광변경부(114)는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 광원(112)이 지속파나 펄스파 형태의 광 신호를 생성하도록 제어할 수 있다.
집광부(116)는 광원(112)으로부터 생성된 광을 어레이 스팟을 가지도록 광 경로를 변경할 수 있다. 예컨대, 집광부(116)는 결상 렌즈와 마이크로 렌즈 어레이 또는 회절광학소자(Diffractive Optical Element, DOE)를 포함 수 있다. 이러한 구성에 의하여, 카메라 모듈(100)에서 객체(O)를 향해 출사한 광이 복수 개의 어레이 스팟을 가질 수 있다. 이로써, 카메라 모듈(100)과 객체(O) 간의 거리가 멀어지더라도 집광으로 인하여 카메라 모듈(100)에서 출사한 광이 객체(O)에 용이하게 도달할 수 있다. 이에 따라, 실시예에 따른 카메라 모듈(100)은 보다 장거리의 광 전송이 가능해질 수 있다. 이 때, 어레이 스팟의 개수는 다양하게 설정할 수 있으며, 상술한 집광부(116)의 구성 및 효과에 대한 자세한 설명은 후술한다.
한편, 광학부(120)는 적어도 하나의 렌즈를 포함할 수 있다. 광학부(120)는 객체로부터 반사된 입력광 신호를 적어도 하나의 렌즈를 통해 집광하여 센서(130)에 전달할 수 있다. 그리고 광학부(120)는 적어도 하나의 렌즈는 고체 렌즈를 포함할 수 있다. 또한, 적어도 하나의 렌즈는 가변 렌즈를 포함할 수 있다. 이러한 가변 렌즈는 초점 가변 렌즈일 수 있다. 또한, 가변 렌즈는 초점이 조절되는 렌즈일 수 있다. 또한, 가변 렌즈는 액체 렌즈, 폴리머 렌즈, 액정 렌즈, VCM 타입, SMA 타입 중 적어도 하나일 수 있다. 액체 렌즈는 하나의 액체를 포함하는 액체 렌즈와 두 개의 액체를 포함하는 액체 렌즈를 포함할 수 있다. 하나의 액체를 포함하는 액체 렌즈는 액체와 대응되는 위치에 배치되는 멤브레인을 조절하여 초점을 가변시킬 수 있으며, 예를 들어, 마그넷과 코일의 전자기력에 의해 멤브레인을 가압하여 초점을 가변시킬 수 있다. 두 개의 액체를 포함하는 액체 렌즈는 전도성 액체와 비전도성 액체를 포함하여 액체 렌즈에 인가되는 전압을 이용하여 전도성 액체와 비전도성 액체가 형성하는 계면을 조절할 수 있다. 폴리머 렌즈는 고분자 물질을 피에조 등의 구동부를 통해 초점을 가변시킬 수 있다. 액정 렌즈는 전자기력에 의해 액정을 제어하여 초점을 가변시킬 수 있다. VCM 타입은 고체 렌즈 또는 고체 렌즈를 포함하는 렌즈 어셈블리를 마그넷과 코일간의 전자기력을 통해 조절하여 초점을 가변시킬 수 있다. SMA 타입은 형상기억합금을 이용하여 고체 렌즈 또는 고체 렌즈를 포함하는 렌즈 어셈블리를 제어하여 초점을 가변시킬 수 있다. 또한, 광학부(120)는 광학 플레이트를 포함할 수 있다. 광학 플레이트는 광 투과성 플레이트일 수 있다.
또한, 광학부(120)는 특정 파장 영역을 투과시키는 필터(F)를 포함할 수 있다. 실시예에서, 광학부(120)의 필터(F)는 기설정된 파장 영역의 광만을 투과하고, 상기 기설정된 파장 영역 이외의 광을 차단할 수 있다. 이 때, 필터(F)는 적외선(IR) 영역의 광을 부분적으로 통과할 수 있다. 예컨대, 필터(F)는 780nm 내지 1000nm 의 광을 부분적으로 통과시키는 적외선 통과 대역 필터(IR band pass filter)를 포함할 수 있다. 이에 대한 자세한 설명은 후술한다.
센서(130)는 광학부(120)를 통해 집광된 입력광 신호를 이용하여 전기 신호를 생성할 수 있다. 실시예로, 센서(130)는 광출력부(110)의 점멸 주기와 동기화되어 입력광 신호를 흡수할 수 있다. 구체적으로, 센서(130)는 광출력부(110)로부터 출력된 광 신호와 동상(in phase) 및 이상(out phase)에서 각각 빛을 흡수할 수 있다.
또한, 센서(130)는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 예컨대, 전기 신호는 각 참조 신호와 입력광 간의 믹싱(mixing)된 신호로 볼 수 있으며, 믹싱은 합성곱(convolution), 곱(multiplication) 등을 포함할 수 있다. 또한, 참조 신호의 주파수는 광출력부(110)로부터 출력된 광 신호의 주파수에 대응하게 설정될 수 있다. 실시예로, 참조 신호의 주파수는 광출력부(110)의 광 신호의 주파수와 동일할 수 있다.
이와 같이, 광출력부(110)가 복수의 주파수로 광 신호를 생성하는 경우, 센서(130)는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성할 수 있다. 그리고 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다. 또한, 전기 신호는 각 픽셀 별로 산출될 수 있다.
제어부(140)는 입력광 신호의 광경로를 시프팅 시키도록 광학부(120)를 제어할 수 있다. 이러한 구성에 의하여, 후술하는 바와 같이 고해상의 거리 이미지를 추출하기 위한 복수의 이미지 데이터를 출력할 수 있다. 이에 대한 자세한 설명은 후술한다.
또한, 연산부(150)는 센서(130)로부터 수신한 전기 신호를 이용하고 제어부(140)에서 추출된 복수의 이미지 데이터를 조합하여 이미지 데이터의 해상도보다 높은 고해상의 거리 정보를 연산할 수 있다. 또한, 연산부(150)는 카메라 모듈을 포함하는 광학 기기 내에 또는 도시된 바와 같이 카메라 모듈(100) 내에 배치되어 연산을 수행할 수도 있다. 이하에서는 연산부(150)가 카메라 모듈(100) 내에 배치되는 것을 기준으로 설명한다.
그리고 연산부(150)는 센서(130)에서 센싱된 정보를 카메라 모듈(100)로부터 전달 받아 연산을 수행할 수 있다. 즉, 연산부(150)는 센서(130)로부터 수신한 전기 신호를 이용하여 복수의 저해상 정보를 수신하고 복수의 저해상 정보를 이용하여 고해상 거리 정보를 생성할 수 있다. 예를 들어 복수의 저해상 정보를 재배열 하여 고해상 거리 정보를 생성할 수 있다.
이 때, 연산부(150)는 객체와 카메라 모듈(100) 사이의 거리를 광 출력부로부터 출력된 광 신호와 상기 센서에 수신된 광 신호 간의 시간 차를 이용하거나, 서로 다른 위상에 센서의 유효 영역을 노출시키는 센서의 복수의 노출 시간동안 획득한 복수의 정보를 이용하여 산출할 수 있다.
도 2는 실시예에 따른 광출력부를 도시한 도면이고, 도 3은 도 2에서 객체에 일면을 도시한 도면이고, 도 4는 실시예에 따른 광출력부의 거리에 따른 광세기의 효과를 설명하기 위한 도면이다.
도 2를 참조하면, 상술한 바와 같이 광원(112)으로부터 방출된 광은 집광부(116)를 통과하여 객체(O)로 조사될 수 있다. 그리고 객체(O)로 조사되는 광은 어레이 스팟(array spot) 형태일 수 있으며, 이러한 형태에 대응하여 집광부(116)도 어레이 형태 배열된 결상 렌즈로 이루어질 수 있다. 이 때, 집광부(116)에서 각 단일 렌즈로 조사되는 광의 간격(d1)은 각 단일 렌즈를 통과한 광의 간격(d2)과 상이할 수 있다. 여기서, 광의 간격은 집광부(116)에서 동일한 간격을 갖는 집광부(116)의 전단 및 후단 영역에서 측정될 수 있다.
그리고 각 단일 렌즈로 조사되는 광의 간격(d1)은 각 단일 렌즈를 통과한 광의 간격(d2)보다 클 수 있다. 이러한 구성에 의하여, 광원(112)에서 객체(O)까지의 거리가 증가하더라도 카메라 모듈이 입력광을 용이하게 수신할 수 있다. 다시 말해, 실시예에 따른 카메라 모듈은 객체와의 거리가 멀더라도 거리 측정을 용이하게 수행할 수 있다.
도 3을 참조하면, 객체(O)에는 집광부(160)를 통과한 광이 어레이 스팟(array spot) 형태로 집중될 수 있다. 실시예로, 단일 스팟(spot, K)은 집광부(160)의 결상 렌즈 등의 형태에 따라 다양한 어레이 형태로 존재할 수 있다. 실시예로, 각각의 단일 스팟(K)은 인접한 스팟과 소정의 간격을 가지도록 이격 배치될 수 있다. 이러한 구성에 의하여, 객체(O)와의 거리가 멀어지더라도 거리 정보를 거리 별 거리 정보를 용이하게 구분할 수 있다. 다시 말해, 거리 정보에 대한 정확도가 향상될 수 있다. 뿐만 아니라, 이러한 어레이 스팟에서 스팟의 개수는 다양하게 변경될 수 있다.
도 4(a) 및 도 4(b)를 참조하면, 도 4(a)는 집광부가 존재 하지 않는 경우에 광 세기를 나타내고, 도 4(b)는 집광부가 존재하는 경우 광 세기를 나타낸다. 이 때, 집광부가 존재하는 경우 및 집광부가 존재하지 않는 경우에 광 세기는 단일 스팟의 중심(0)에서 가장 클 수 있다. 그러나, 객체와의 거리가 동일하더라도 단일 스팟의 중심(0)에서 광 세기는 집광부의 존재 유무에 따라 상이할 수 있다.
보다 구체적으로, 집광부에 의해 단일 스팟의 중심에서 광 세기가 증가하므로, 광 세기에 따라 센서에서 변환되는 전기 신호의 크기도 증가할 수 있다. 그리고 센서에서 전기 신호의 폭이 커짐에 따라 거리도 증가함을 알 수 있다. 이에 따라, 거리에 따른 거리 정보에 대한 정확도가 보다 향상될 수 있다. 또한, 객체와의 거리가 증가하더라도 스팟의 중심에서의 광 세기가 집광부에 증가하므로 객체와의 거리에 따라 광 세기가 감소하는 것을 보상할 수 있다.
도 5는 실시예에 따른 광 신호의 주파수를 설명하기 위한 도면이다.
도 5를 참조하면, 실시예에서 광출력부(110)는 도 5에서와 같이 노출 주기의 첫 절반은 주파수 f1인 광 신호가 생성되도록 제어하고, 나머지 절반의 노출 주기는 주파수 f2인 광 신호가 생성되도록 제어할 수 있다.
다른 실시예에 따르면, 광출력부(110)는 복수의 발광 다이오드 중 일부 발광 다이오드는 주파수 f1를 갖는 광 신호가 생성되도록 제어하고, 나머지 발광 다이오드는 주파수 f2를 갖는 광 신호가 생성되도록 제어할 수도 있다. 이와 같이, 광출력부(110)는 노출 주기 별 상이한 주파수의 출력을 신호를 생성할 수 있다.
예를 들어, 주파수 f1과 f2를 갖는 광 신호가 생성되고, 복수의 참조 신호는 90도의 위상차를 가질 수 있다. 이 경우에, 입사광 신호 역시 주파수 f1과 f2를 가지므로, 후술하는 센서는 주파수가 f1의 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호를 생성할 수 있다. 그리고 센서는 주파수가 f2인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호를 생성할 수 있다. 따라서, 센서는 총 8개의 전기 신호를 생성할 수 있다. 다만, 상술한 바와 같이 광 신호는 하나의 주파수(예컨대, f1)를 가지고 생성될 수도 있다.
도 6은 실시예에 따른 카메라 모듈의 단면도이다.
도 6을 참조하면, 실시예에 따른 카메라 모듈은 렌즈 어셈블리(310), 센서(320) 및 인쇄회로기판(330)을 포함할 수 있다. 여기서, 렌즈 어셈블리(310)는 도 1의 광학부(120)에 대응하고, 센서(320)는 도 1의 센서(130)에 대응할 수 있다. 그리고 도 1의 제어부(140)는 인쇄회로기판(330) 또는 센서(320)에 구현될 수 있다. 그리고 도시되지 않았으나, 도 1의 광출력부(110)는 인쇄회로기판(330) 상에서 배치되거나, 별도의 구성으로 배치될 수 있다. 광출력부(110)는 제어부(140)에 의해 제어될 수 있다.
렌즈 어셈블리(310)는 렌즈(312), 렌즈 배럴(314), 렌즈 홀더(316) 및 IR 필터(318)를 포함할 수 있다.
렌즈(312)는 복수 매로 구성될 수 있으며, 1매로 구성될 수도 있다. 렌즈(312)가 복수 매로 구성될 경우 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 광학계의 광축(Optical axis)과 동일할 수 있다. 렌즈(312)는 상술한 가변 렌즈를 포함할 수 있다.
렌즈 배럴(314)은 렌즈 홀더(316)와 결합되며, 내부에 렌즈를 수용할 수 있는 공간이 마련될 수 있다. 렌즈 배럴(314)은 하나 또는 복수의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 이용한 방식 등 다른 방식으로 결합될 수 있다.
렌즈 홀더(316)는 렌즈 배럴(314)과 결합되어 렌즈 배럴(314)을 지지하고, 센서(320)가 탑재된 인쇄회로기판(330) 상에 배치될 수 있다. 렌즈 홀더(316)에 의하여 렌즈 배럴(314)에 IR 필터(318)가 배치될 수 있는 공간이 형성될 수 있다. 도시되지는 않았지만 렌즈 배럴(314)에는 제어부(140)에 의해 제어되어 IR 필터(318)를 틸트 시키거나 시프팅 시킬 수 있는 구동부가 배치될 수 있다. 렌즈 홀더(316)외 내주면에는 나선형 패턴이 형성될 수 있고, 이와 마찬가지로 외주면에 나선형 패턴이 형성된 렌즈 배럴(314)과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 렌즈 홀더(316)와 렌즈 배럴(314)은 접착제를 통해 결합되거나, 렌즈 홀더(316)와 렌즈 배럴(314)이 일체형으로 형성될 수도 있다.
렌즈 홀더(316)는 렌즈 배럴(314)과 결합되는 상부 홀더(316-1) 및 센서(320)가 탑재된 인쇄회로기판(330) 상에 배치되는 하부 홀더(316-2)로 구분될 수 있으며, 상부 홀더(316-1) 및 하부 홀더(316-2)는 일체형으로 형성되거나, 서로 분리된 구조로 형성된 후 체결 또는 결합되거나, 서로 분리되어 이격된 구조를 가질 수도 있다. 이때, 상부 홀더(316-1)의 직경은 하부 홀더(316-2)의 직경보다 작게 형성될 수 있다.
상기의 예시는 일 실시예에 불과하며, 광학부(120)는 ToF 카메라 모듈(100)로 입사되는 입력광 신호를 집광하여 센서(130)에 전달할 수 있는 다른 구조로 구성될 수도 있다.
도 7a은 실시예에 따른 필터와 센서의 개념도이고, 도 7b는 다른 실시예에 따른 필터와 센서의 개념도이고, 도 8은 도 7a에서 K부분의 확대도이고, 도 9는 도 7a에서 M부분의 확대도이고, 도 10은 객체와의 거리에 따른 센서의 제2 감지영역을 도시한 도면이고, 도 11은 변형예에 따른 센서의 평면도이다.
도 7a 내지 도 9를 참조하면, 반사광(LS2)은 필터(F)를 통과하고 최종적으로 센서(130)에서 수광될 수 있다. 이 때, 반사광은 상술한 바와 같이 소정의 파장대역의 광일 수 있으며, 필터(F)에서 일부 광이 차단될 수 있다.
구체적으로, 필터(F)는 제1 파장 대역이 통과 대역인 제1 필터영역(FA1) 및 제1 파장 대역과 상이한 대역인 제2 파장 대역이 통과 대역인 제2 필터영역(FA2)을 포함할 수 있다. 다시 말해, 필터(F)는 제1 필터영역(FA1)과 제2 필터영역(FA2)으로 구획될 수 있다.
또한, 실시예로 제2 파장 대역은 적외선 광(IR)을 통과하는 파장 대역과 동일할 수 있다. 이에 따라, 제2 필터영역(F2)은 적외선 광의 파장 영역을 필터링하므로, 적외선 광(IR)에 대한 통과 대역 필터(band pass filter)로 동작할 수 있다. 이와 달리, 제1 파장 대역은 제2 파장 대역을 포함하거나 제2 파장 대역을 제외한 영역으로 이루어질 수 있다. 실시예에서는 제1 파장 대역은 제2 파장 대역을 제외한 파장 대역이 통과 대역이며 이를 기준으로 이하 설명한다.
이 때, 제1 필터영역(FA1)은 제2 필터영역(FA2)을 둘러싸도록 배치될 수 있다. 구체적으로, 제2 필터영역(FA2)은 복수 개일 수 있으며, 필터(F) 상에서 이격 배치될 수 있다. 이 때, 제2 필터영역(FA2)은 서로 소정의 간격을 가지도록 이격 배치될 수 있다. 예를 들어, 인접한 제2 필터영역(FA2) 간의 제1 방향(X축 방향)으로 폭(W1)은 모두 동일할 수 있다 뿐만 아니라, 인접한 제2 필터영역(FA2) 간의 제2 방향(Y축 방향)으로 높이(h1)는 모두 동일할 수 있다. 여기서, 제1 방향(X축 방향)은 센서에서 어레이 형태로 배열된 복수의 픽셀이 나란히 배열되는 일 방향이며, 제2 방향(Y축 방향)은 제1 방향에 수직한 방향으로 복수의 픽셀이 나란히 배열되는 방향이다. 그리고 제3 방향(Z축 방향)은 제1 방향 및 제2 방향에 모두 수직한 방향일 수 있다. 또한, 제1 방향(X축 방향)은 행 방향이고, 제2 방향(Y축 방향)은 열 방향인 것을 기준으로 이하 설명한다. 본 명세서에서, 행 방향은 제1 방향과 혼용되고, 열 방향은 제2 방향과 혼용될 수 있다.
그리고 이러한 구성에 의하여, 후술하는 바와 같이 영상 데이터에서 거리 정보와 색상 정보가 모두 검출될 수 있다.
또한, 반사광은 제1 필터영역(FA1) 및 제2 필터영역(FA2)을 통과하여 하부의 센서(130)에서 수광될 수 있다. 이 때, 제1 필터영역(FA1)을 통과한 광 신호(반사광)를 제1 신호로, 제2 필터영역을 통과한 광 신호(반사광)를 제2 신호로 설명한다.
그리고 센서(130)는 제1 신호를 수신하는 제1 감지영역(SA1) 및 제2 신호를 수신하는 제2 감지영역(SA2)을 포함할 수 있다. 다시 말해, 센서(130)는 필터(F)를 통과한 반사광의 파장 대역에 따라 제1 감지영역(SA1) 및 제2 감지영역(SA2)으로 구획될 수 있다.
먼저, 제1 감지영역(SA1)은 상술한 제1 필터영역(FA1)에 대응할 수 있다. 다시 말해, 제1 감지영역(SA1)은 제1 필터영역(FA1)을 통과한 광 신호가 센서(130)로 도달하는 영역일 수 있다.
마찬가지로, 제2 감지영역(SA2)은 상술한 제2 필터영역(FA2)에 대응할 수 있다. 그리고 제2 감지영역(SA1)은 제2 필터영역(FA2)을 통과한 광 신호가 센서(130)로 도달하는 영역일 수 있다.
또한, 제1 감지영역(SA1) 및 제2 감지영역(SA2)은 각각이 제1 필터영역(FA1) 및 제2 필터영역(FA2)에 대응하므로, 제1 감지영역(SA1)이 제2 감지영역(SA2)을 둘러싸도록 배치될 수 있다.
보다 구체적으로, 센서(130)는 상술하는 바와 같이 복수 개의 픽셀로 이루어지며, 복수 개의 픽셀은 행 방향 및 열 방향으로 나란히 위치할 수 있다. 그리고 제2 감지영역(SA2)은 복수 개로, 상호 이격 배치될 수 있다.
또한, 이격 배치된 각 제2 감지영역(SA2)은 적어도 하나의 픽셀 상에 위치할 수 있다. 또는 각 제2 감지영역(SA2)은 적어도 하나의 픽셀의 적어도 일부 영역을 포함할 수 있다. 실시예로, 제2 감지영역(SA2) 각각은 적어도 일부가 접하게 배치되는 복수 개의 픽셀로 이루어질 수도 있다. 이 경우, 카메라 모듈과 객체와의 거리가 다양한 경우(예를 들어, 거리가 상이한 다양한 객체에 대한 이미지를 촬영하는 경우)에도 객체 각각에 대해 복수 개의 픽셀을 통해 거리 정보를 추출하여 객체와의 거리에 대한 거리 정보의 정확도가 개선될 수 있다.
또한, 다른 실시예에 따르면 필터(F)는 모두 제2 필터영역(FA2)으로 이루어지고, 이에 대응하여 센서(130)는 제2 감지영역(SA2)으로 이루어질 수 있다. (도 7b 참조) 그리고 후술하는 바와 같이 제2 감지영역(SA2)은 추출영역 및 비추출영역으로 구획될 수 있다. 다만, 이하에서는 필터(F)가 제1 필터영역(FA1) 및 제2 필터영역(FA2)을 모두 포함하고, 센서(130)가 제1 감지영역(SA1) 및 제2 감지영역(SA2)으로 이루어 지는 것을 기준으로 설명한다.
또한, 센서(130)에서 복수의 픽셀(PX1-1 내지 PX9-9)은 행 방향 및 열 방향으로 배열될 수 있다. 예컨대, 센서(130)에서 픽셀은 9개의 행 및 9개의 열을 가질 수 있다. 그리고 이는 제1-1 픽셀은 1행 및 1열에 위치하는 픽셀을 의미한다. 이 때, 제2-2 픽셀, 제4-2 픽셀, 제6-2 픽셀, 제8-2 픽셀, 제2-4 픽셀, 제4-4 픽셀, 제6-4 픽셀, 제8-4 픽셀, 제2-6 픽셀, 제4-6 픽셀, 제6-6 픽셀, 제8-6 픽셀, 제2-8 픽셀, 제4-8 픽셀, 제6-8 픽셀, 제8-8 픽셀이 제2 감지영역(SA2)일 수 있다.
이 때, 제2 감지영역(SA2)에 대응하는 각 픽셀은 제1 감지영역(SA1)의 각 픽셀에 의해 둘러싸일 수 있다. 예컨대, 제2-2 픽셀은 제1-1 픽셀 내지 제1-3 픽셀, 제2-1 픽셀, 제2-3 픽셀 및 제3-1 픽셀 내지 제3-3 픽셀에 의해 둘러싸이도록 배치될 수 있다. 이에 따라, 객체와의 거리가 변경되더라도 복수 개의 제2 감지영역(SA2)이 중첩되는 것을 최대한 방지하여 거리 정보에 대한 정확도를 향상할 수 있다.
또한, 제2 감지영역(SA2)은 서로 소정의 간격을 가지도록 이격 배치될 수 있다. 실시예로, 인접한 제2 감지영역(SA2) 간의 제1 방향(X축 방향) 폭(W2)이 모두 동일할 수 있다. 또한, 인접한 제2 감지영역(SA2) 간의 제2 방향(Y축 방향)으로 높이(h2)는 모두 동일할 수 있다.
또한, 제1 필터영역(FA1)의 넓이는 제1 감지영역(SA1)의 넓이와 상이할 수 있다. 마찬가지로, 제2 필터영역(FA2)과 제2 감지영역(SA2)은 넓이가 상이할 수 있다. 실시예로, 제1 필터영역(FA1)의 넓이는 제1 감지영역(SA1)의 넓이보다 클 수 있으며, 제2 필터영역(FA2)의 넓이는 제2 감지영역(SA2)의 넓이보다 클 수 있다.
나아가, 인접한 제2 필터영역(FA2) 간의 제1 방향으로 폭(W1)은 인접한 제2 감지영역(SA2) 간의 제1 방향으로 폭(W2)과 상이할 수 있다. 실시예로, 인접한 제2 필터영역(FA2) 간의 제1 방향으로 폭(W1)은 인접한 제2 감지영역(SA2) 간의 제1 방향으로 폭(W2)보다 클 수 있다.
그리고 인접한 제2 필터영역(FA2) 간의 제2 방향으로 높이(h1)눈 인접한 제2 감지영역(SA2) 간의 제2 방향으로 높이(h2)와 상이할 수 있다. 실시예로, 인접한 제2 필터영역(FA2) 간의 제2 방향으로 높이(h1)는 인접한 제2 감지영역(SA2) 간의 제2 방향으로 높이(h2)보다 클 수 있다. 이러한 구성에 의하여, 카메라 모듈은 센서의 복수의 픽셀을 통해 보다 넓은 시야각의 영상 데이터를 제공할 수 있다.
또한, 제2 감지영역(SA2)은 복수 개의 픽셀을 포함할 수 있으며, 상술한 바와 같이 추출영역 및 비추출영역을 포함할 수 있다. 추출영역은 위상 차이가 추출되는 영역이며, 비추출영역은 위상 차이가 추출되지 않는 영역이다. 이러한 위상 차이는 광출력부에서 출력된 광 신호(입사광)와 센서로 반사된 광 신호(반사광)의 위상차이다. 실시예에 따르면, 비추출영역은 복수 개의 참조 신호에 대응하는 전기 신호가 적어도 2개 이상 생성되지 않는 영역일 수 있다. 그리고 추출영역은 복수 개의 참조 신호에 대응하는 전기 신호가 3개 이상 생성되는 영역일 수 있다. 이에 대한 자세한 설명은 후술한다.
또한, 다른 실시예에 따르면 비추출영역은 복수 개의 전기 신호 중 위상이 180도 상이한 참조 신호에 대응하는 전기 신호의 합이 상이한 영역이고, 추출영역은 복수 개의 전기 신호 중 위상이 180도 상이한 참조 신호에 대응하는 전기 신호의 합이 동일한 영역일 수 있다. 제어부는 상술한 센서의 비추출영역에 위치하는 픽셀로 수광 시간을 제어하는 스위칭 제어 신호를 전송하지 않음으로써, 센서가 참조 신호에 따른 노출 시간으로 수광을 수행하지 않게 할 수 있다. 즉, 비추출영역에서 픽셀의 타이밍 제어를 정지할 수 있다.
또 다른 실시예에 따르면 비추출영역은 복수 개의 전기 신호가 기 설정된 크기 이하일 수 있다. 추출영역은 복수 개의 전기 신호가 기설정된 크기보다 크고 수광부에서 최대로 측정할 수 있는 크기보다 작을 수 있다. 이 때, 전기 신호가 수광부에서 최대로 측정할 수 있는 크기보다 큰 경우에, 픽셀은 커패시터의 축적 용량을 넘어서는 경우로 상술한 실시예 또는 다른 실시예와 동일하게 비추출영역에 속할 수 있다. 상술한 실시예들에 대한 자세한 설명은 후술한다.
도 10을 참조하면, 객체(O)와의 거리에 따라 제2 감지영역의 넓이가 변할 수 있다. 일 예로, 객체(O)는 카메라 모듈과의 거리가 상이한 제1 지점(PO1), 제2 지점(PO2) 및 제3 지점(PO3)을 포함할 수 있다. 제1 지점(PO1)은 제2 지점(PO2) 및 제3 지점(PO3)보다 카메라 모듈로부터 거리가 클 수 있다. 그리고 제3 지점(PO3)은 제1 지점(PO1) 및 제2 지점(PO2)보다 카메라 모듈로부터 거리가 작을 수 있다.
이 때, 반사광은 객체와의 거리에 따라 위상 지연이 상이할 수 있다 예컨대, 반사광은 제1 지점(PO1)에서 반사된 광신호인 제1 반사광(LS2-1), 제2 지점(PO2)에서 반사된 광신호인 제2 반사광(LS2-2), 제3 지점(PO3)에서 반사된 광신호인 제3 반사광(LS2-3)을 가질 수 있다.
그리고 제1 반사광(LS2-1) 내지 제3 반사광(LS2-3)은 제2 필터영역(FA2)을 통과하여 센서(130)의 제2 감지영역(SA2)에서 수광될 수 있다.
이 때, 제2 감지영역(SA2)은 제1 반사광(LS2-1)을 수광하는 제2-1 감지영역(SA2a), 제2 반사광(LS2-2)을 수광하는 제2-2 감지영역(SA2b), 제3 반사광(Ls2-3)을 수광하는 제2-3 감지영역(SA2c)을 포함할 수 있다.
그리고 제2-1 감지영역(SA2a)은 넓이가 제2-2 감지영역(SA2b)의 넓이 및 제2-3 감지영역(SA2c)의 넓이보다 작을 수 있다. 그리고 제2-2 감지영역(SA2b)의 넓이는 제2-1 감지영역(SA2a)의 넓이보다 크고 제2-3 감지영역(SA2c)의 넓이보다 작을 수 있다. 그리고 제2-3 감지영역(SA2c)의 넓이는 제2-1 감지영역(SA2a)의 넓이 및 제2-2 감지영역(SA2b)의 넓이보다 클 수 있다. 즉, 제2 감지 영역의 넓이는 객체(O) 카메라 모듈 간의 거리에 따라 상이할 수 있다.
또한, 제2-1 감지영역(SA2a)이 하나의 픽셀에 대응되는 경우에 제2-2 감지영역(SA2b) 및 제2-3 감지영역(SA2c)은 복수 개의 픽셀에 대응할 수 있다. 이에 따라, 제2 필터영역(FA2)이 복수 개로 이격 배치됨으로써 제2 감지영역(SA2)이 서로 이격 배치되며 행 방향 또는 열 방향으로 중첩되지 않을 수 있다. 이로써, 실시예에 따른 카메라 모듈은 카메라 모듈과 객체 간의 상이한 거리를 모두 반영한 거리 정보를 산출할 수 있다.
도 11을 참조하면, 필터는 제1 필터영역이 제2 필터영역을 둘러싸고, 하나의 제2 필터영역을 둘러싸는 제1 필터영역은 서로 중첩되지 않을 수 있다. 다시 말해, 필터는 제2 필터영역 및 제2 필터영역을 둘러싸는 제1 필터영역으로 이루어진 복수 개의 집합 필터로 이루어질 수 있으며, 복수 개의 집합필터는 제3 방향(Z축 방향)으로 중첩되지 않을 수 있다.
이러한 필터에 대응하여, 센서도 제1 감지영역(SA1)이 제2 감지영역(SA2)을 둘러싸고, 하나의 제2 감지영역(SA2)을 둘러싸는 제1 감지영역은 서로 중첩되지 않을 수 있다. 또한, 센서는 제2 감지영역(SA2) 및 제2 감지영역(SA2)을 둘러싸는 제1 감지영역(SA1)을 포함하는 집합픽셀(BDX)로 이루어질 수 있다. 이 때, 집합픽셀(BDX)은 복수 개일 수 있으며, 서로 제3 방향(Z축 방향)으로 중첩되지 않을 수 있다. 이러한 구성에 의하여, 객체로부터의 거리가 변경되더라도 정확한 거리 측정이 가능할 수 있다.
도 12는 실시예에 따른 센서에서 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 12를 참조하면, 상술한 바와 같이 반사광(입력광, LS2)은 입사광(출력광, LS1)이 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연될 수 있다.
또한, 참조 신호는 상술한 바와 같이 복수 개일 수 있으며, 실시예에서는 도 12에 나타난 바와 같이 참조 신호는 4개(C1 내지 C4)일 수 있다. 그리고 각 참조 신호(C1 내지 C4)는 광 신호와 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 참조 신호 중 하나(예컨대, C1)는 광 신호와 동일한 위상을 가질 수 있다. 그리고 이러한 참조 신호(C1 내지 C4)는 센서로 인가되어, 센서는 참조 신호에 따라 반사광(LS2)으로부터 전기 신호를 생성할 수 있다. 실시예로, 센서는 전기 신호를 발생하는 충전 소자와 스위칭 소자를 포함할 수 있으며, 스위칭 소자는 참조 신호에 따라 On/Off 동작을 수행할 수 있다. 다시 말해, 센서는 각 참조 신호에 대응하여 센서의 유효 영역을 노출시키며, 노출시키는 시간(노출 시간) 동안에 광 신호를 수광할 수 있다. 즉, 센서는 참조 신호가 on(양)인 경우에 반사광(LS2)으로부터 전하를 충전하여 전기 신호를 생성할 수 있다. 이에 따라, 센서는 도 12의 음영 부분에 대응하는 전기 신호를 생성할 수 있다.
또한, 이 때 충전 소자는 커패시터(capacitor) 등을 포함하며, 스위칭 소자는 전계 효과 트랜지스터 등 다양한 스위칭 소자를 포함할 수 있으며, 상술한 종류에 한정되지 않는다.
그리고 다른 실시예로 노출 시간 동안 복수의 주파수로 광 신호가 생성될 수 있다. 이 때, 센서는 복수의 주파수에 따른 입력광 신호를 흡수한다. 예를 들어, 주파수 f1과 f2로 광 신호가 생성되고, 복수의 참조 신호는 서로 90도의 위상차를 가진다고 가정한다. 그러면, 입사광 신호 역시 주파수 f1과 f2를 가지므로, 주파수가 f1인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 그리고 주파수가 f2인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 따라서, 전기 신호는 총 8개가 생성될 수 있다. 이하에서는 하나의 주파수로 광 신호가 생성된 경우로 설명하나, 상술한 바와 같이 광 신호는 복수 개의 주파수를 가지고 생성될 수 있다.
도 13은 실시예에 따른 센서를 설명하기 위한 도면이고, 도 14는 실시예에 따른 센서에서 1 프레임을 생성하는 타이밍도이다.
먼저, 도 13을 참조하면 센서(130)는 상술한 바와 같이 복수의 픽셀을 가지고 어레이 구조로 이루어질 수 있다. 이 때, 센서(130)는 능동 픽셀 센서(Active pixel sensor, APS)로 CMOS(Complementary Metal Oxide Semiconductor) 센서일 수 있다. 또한, 센서(130)는 CCD(Charge Coupled Device) 센서일 수도 있다. 이러한 센서(130)는 피사체에 반사되는 적외선 광을 받아들여 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다.
예컨대, 센서(130)에서 복수 개의 픽셀은 제1 방향 및 제2 방향으로 나란히 배치될 수 있다. 일예로, 복수 개의 픽셀은 매트릭스 형태일 수 있다. 또한, 실시예로 제1 픽셀 및 제2 픽셀을 포함할 수 있다. 이러한 제1 픽셀 및 제2 픽셀은 제1 방향 및 제2 방향으로 교번하여 배치될 수 있다. 즉, 하나의 제1 픽셀에서 복수의 제2 픽셀이 제1 방향 및 제2 방향으로 인접하게 배치될 수 있다. 예컨대, 센서(130)에서 제1 픽셀 및 제2 픽셀은 체커보드 패턴(checkerboard pattern)으로 배치될 수 있다. 즉, 도 13과 같이 320x240 해상도의 센서(130)의 경우 76,800개의 픽셀이 그리드(grid) 형태로 배열될 수 있다.
또한, 제1 픽셀과 제2 픽셀은 서로 다른 파장 대역을 피크 파장으로 수광하는 픽셀일 수 있다. 예컨대, 제1 픽셀은 적외선 대역을 피크 파장으로 갖는 광을 받을 수 있다. 그리고 제2 픽셀은 적외선 대역 이외의 파장을 피크 파장으로 갖는 광을 받을 수 있다. 뿐만 아니라, 제1 픽셀 및 제2 픽셀 중 어느 하나는 광을 받지 않을 수 있다.
그리고 실시예로, 복수의 픽셀은 수광 소자가 배치되는 유효 영역 및 유효 영역 이외의 영역인 비유효 영역을 포함할 수 있다. 유효 영역은 수광하여 소정의 전기 신호를 생성할 수 있고, 비유효 영역은 수광하여 전기신호를 생성하지 않거나 수광하지 않는 영역일 수 있다. 즉, 비유효 영역은 내부에 수광 소자가 위치하더라도, 광에 의한 전기적 신호를 생성하지 못하는 경우도 포함하는 의미일 수 있다.
또한, 제1 픽셀은 유효 영역을 포함할 수 있으나, 제2 픽셀은 유효 영역이 존재하지 않는 비유효 영역으로만 이루어질 수 있다. 예컨대, 포토 다이오드 등의 수광 소자가 제1 픽셀에만 위치하고, 제2 픽셀에 위치하지 않을 수 있다. 또한, 예를 들어 센서(130)는 행 방향으로 교번하여 배치되는 유효 영역과 비유효 영역을 포함하는 복수 개의 행 영역을 포함할 수 있다. 또한, 실시예에서 센서(130)는 열 방향으로 교번하여 배치되는 유효 영역과 비유효 영역을 포함하는 복수 개의 열 영역을 포함할 수 있다.
또한, 복수 개의 픽셀은 사각형, 삼각형, 다각형, 원형 등 다양한 형상으로 이루어질 수 있다. 나아가, 픽셀 내의 유효 영역도 사각형, 삼각형, 다각형, 원형 등 다양한 형상으로 이루어질 수 있다.
즉, 복수의 픽셀은 일정한 간격으로 서로 이격 배치될 수 있다. 이러한 이격된 거리는 픽셀의 크기 대비 매우 작을 수 있고, 와이어 등이 배치될 수 있다. 이하에서 본 명세서에는 이러한 이격 거리를 무시하여 설명한다.
또한, 실시예로, 각 픽셀(132, 예컨대 제1 픽셀)은 제1 포토 다이오드 및 제1 트랜지스터를 포함하는 제1 수광부(132-1)와 제2 포토 다이오드 및 제2 트랜지스터를 포함하는 제2 수광부(132-2)를 포함할 수 있다.
제1 수광부(132-1)는 출력광의 파형과 동일 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제1 포토 다이오드는 턴온(turn-on)되어 입력광 신호를 흡수한다. 그리고 광원이 꺼진 시간에, 제1 포토 다이오드는 턴오프(turn-off)되어 입력광 흡수를 중단한다. 제1 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제1 트랜지스터에 전달한다. 제1 트랜지스터는 전달받은 전류를 전기 신호로 변환하여 출력한다.
제2 수광부(132-2)는 출력광의 파형과 반대 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제2 포토 다이오드는 턴오프되어 입력광 신호를 흡수한다. 그리고 광원이 꺼진 시간에, 제2 포토 다이오드는 턴온되어 입력광 흡수를 중단한다. 제2 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제2 트랜지스터에 전달한다. 제2 트랜지스터는 전달받은 전류를 전기 신호로 변환한다.
이에 따라, 제1 수광부(132-1)는 In Phase 수신 유닛이라 할 수 있고, 제2 수광부(132-2)는 Out Phase 수신 유닛이라 할 수 있다. 이와 같이, 제1 수광부(132-1) 및 제2 수광부(132-2)가 시간 차를 두고 활성화되면, 객체와의 거리에 따라 수신되는 광량에 차이가 발생하게 된다. 예를 들어, 객체가 카메라 모듈(100) 바로 앞에 있는 경우(즉, 거리=0인 경우)에는 광출력부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 걸리는 시간이 0이므로, 광원의 점멸 주기는 그대로 광의 수신 주기가 된다. 이에 따라, 제1 수광부(132-1)만이 빛을 수신하게 되고, 제2 수광부(132-2)는 빛을 수신하지 못하게 된다. 다른 예로, 객체가 카메라 모듈(100)과 소정 거리 떨어져 위치하는 경우, 광출력부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 시간이 걸리므로, 광원의 점멸 주기는 광의 수신 주기와 차이가 나게 된다. 이에 따라, 제1 수광부(132-1)와 제2 수광부(132-2)가 수신하는 빛의 양에 차이가 발생하게 된다. 즉, 제1 수광부(132-1)와 제2 수광부(132-2)에 입력된 광량의 차를 이용하여 객체의 거리가 연산될 수 있다. 다시 말해, 제어부(140)는 이러한 센서(130)로부터 수신한 전기 신호를 이용하여 출력광과 입력광 사이의 위상차를 계산하고, 위상차를 이용하여 객체와 카메라 모듈(100) 사이의 거리를 계산한다.
보다 구체적으로, 제1 노출 주기(P1) 동안 제1 수광부(132-1)에 제1 참조 신호(C1)가 제공되고, 제2 수광부(132-2)에 제2 참조 신호(C2)가 제공될 수 있다. 그리고 제2 노출 주기(P2) 동안 제1 수광부(132-1)에 제3 참조 신호(C3)가 제공되고 제2 수광부(132-2)에 제4 참조 신호(C4)가 제공될 수 있다. 제1 노출 주기(P1)와 제2 노출 주기(P2)는 하나의 프레임 주기를 이룰 수 있으며, 제1 노출 주기(P1)와 제2 노출 주기(P2) 사이에는 리드아웃(read out)이 존재할 수 있다. 이 때, 리드아웃(read out)은 픽셀 내 각 수광부에 충전된 전하량을 방전하는 구간이다. 이 때, 제1 참조 신호(C1) 내지 제4 참조 신호(C4)는 픽셀 내에서 충전 소자의 충전을 조절하는 신호로 스위칭 소자에서 게이트 신호일 수 있으며, 이는 도 12에서 설명한 내용과 동일하게 적용될 수 있다. 이러한 방식을 통해, 센서(130)는 복수 개의 픽셀 각각에서 참조 신호에 대응하는 전기 신호를 각각 출력할 수 있다. 그리고 참조 신호를 통해 입사광과 반사광 차이의 위상차를 계산할 수 있다. 상기에서 설명한 바와 같이, 광 신호에 대해 하나의 프레임 주기 마다 전기 신호는 4개가 생성될 수 있다. 따라서, 제어부(140)는 아래의 수학식 1을 이용하여 광 신호와 입력광 신호 사이의 위상차(td)를 계산할 수 있다.
Figure PCTKR2020006799-appb-M000001
여기서, Q1 내지 Q4는 4개의 전기 신호 각각의 전하충전량(이하 전하량)이다. Q1은 광 신호와 동일한 위상의 참조 신호에 대응하는 전기 신호의 전하량이다. Q2는 광 신호보다 위상이 180도 느린 참조 신호에 대응하는 전기 신호의 전하량이다. Q3는 광 신호보다 위상이 90도 느린 참조 신호에 대응하는 전기 신호의 전하량이다. Q4는 광 신호보다 위상이 270도 느린 참조 신호에 대응하는 전기 신호의 전하량이다.
다만, 하나의 프레임 주기에서 광 신호와 입력광 신호 사이의 위상차(td)를 계산하기 위해 필요한 노출 주기는 센서(130) 내의 충전 소자의 개수, 스위칭 소자의 개수 및 수광부의 개수에 따라 다양하게 변경될 수 있다. 예컨대, 각 수광부에 2개의 충전 소자가 연결될 수도 있다(즉, 2개의 수광부는 4개의 충전 소자를 가짐). 이 때, 하나의 노출 주기에서 각 수광부마다 2개의 참조 신호가 제공될 수 있다. 예를 들어, 제1 노출 주기에서 제1 참조 신호 및 제2 참조 신호가 제1 수광부에 제공되고, 제3 참조 신호 및 제4 참조 신호가 제2 수광부에 제공될 수 있다. 이를 통해, 각 참조 신호에 대응하는 전기 신호가 생성되고, 제어부는 상술한 바와 같이 각 전기 신호의 전차 충전량을 이용하여 광 신호와 입력광 신호 사이의 위상차(td)를 계산할 수 있다.
또한, 다른 실시예로 하나의 프레임 주기에 4개의 노출 주기가 존재하고, 각 노출 주기마다 90도 위상차이를 갖는 4개의 참조 신호가 수광부로 제공될 수 있다. 그리고 제어부는 각 노출 주기 동안 생성된 전기 신호의 전하량을 이용하여 상술한 광 신호와 입력광 신호 사이의 위상차(td)를 계산할 수 있다.
또한, 도 14를 참조하면, 하나의 프레임 주기는 순차로 제1 노출 주기와 제2 노출 주기를 포함할 수 있다. 센서(130)는 제1 노출 주기 동안 제1 참조 신호(C1)와 제2 참조 신호(C2)를 각각 제1 수광부(132-1)와 제2 수광부(132-2)로 제공할 수 있다. 그리고 제2 노출 주기 동안 제3 참조 신호(C3)와 제4 참조 신호(C4)를 각각 제1 수광부(132-1)와 제2 수광부(132-2)로 제공할 수 있다. 이에 따라, 제1 노출 주기에서 Q1, Q2를 생성하고, 제2 노출 주기에서 Q3, Q4를 생성할 수 있다. 이에 따라, 제어부는 하나의 프레임에서 Q1 내지 Q4를 모두 생성할 수 있고, 생성된 4개의 전기 신호의 전하량을 이용하여 광 신호와 입력광 신호 사이의 위상차(td)를 계산할 수 있다.
또한, 제어부(140)는 광 신호와 입력광 신호의 위상차(td)를 이용하여 객체와 카메라 모듈(100) 사이의 거리를 계산할 수 있다. 이때, 제어부(140)는 아래의 수학식 2를 이용하여 객체와 카메라 모듈(100) 사이의 거리(d, 수학식 2 참조)를 계산할 수 있다.
Figure PCTKR2020006799-appb-M000002
여기서, c는 빛의 속도이고, f는 출력광의 주파수이다.
실시예에 따르면, 카메라 모듈(100)로부터 ToF IR 영상 및 거리(depth) 영상을 얻을 수 있다. 이에 따라, 본 발명의 실시예에 따른 카메라 모듈은 ToF 카메라 모듈 또는 ToF 카메라 모듈이라 지칭될 수도 있다.
이와 관련하여 더욱 구체적으로 설명하면, 도 21에 예시된 바와 같이 실시예에 따른 카메라 모듈(100)은 4개의 위상에 대한 로우(raw) 영상을 생성할 수 있다. 여기서, 4개의 위상은 0°, 90°, 180°, 270°일 수 있으며, 각 위상에 대한 로우 영상은 위상 별로 디지털화된 픽셀 값 또는 아날로그 픽셀 값으로 이루어진 영상일 수 있고, 위상 영상, 위상 IR 영상 등과 혼용될 수 있다. 이 때, 4개의 위상에 대한 로우(raw) 영상은 복수 개의 픽셀에서 생성된 전기 신호에 의해 얻어질 수 있으며, 도 21 내지 도 23은 센서의 전 영역이 추출영역인 경우 위상 별로 얻어진 영상이거나, 상기 영상으로부터 얻어질 수 있는 앰플리튜드 영상(amplitude image) 또는 거리 영상이다.
그리고 실시예에 따른 센서(130)는 위상 차이가 추출되는 비추출영역 및 위상 차이가 추출되는 추출영역을 포함할 수 있다. 여기서, 위상 차이는 광 신호와 입력광 신호의 위상차(td)를 의미한다.
보다 구체적으로 추출영역은 상술한 참조 신호에 대응하는 전기 신호의 전하량이 모두 산출된 픽셀이 이루는 영역이다. 이와 달리, 실시예에 따르면 비추출영역은 참조 신호에 대응하는 전기 신호가 적어도 두 개 이상 생성되지 않은 픽셀이 이루는 영역일 수 있다.
즉, 비추출영역은 제1 참조 신호, 제2 참조 신호, 제3 참조 신호 및 제4 참조 신호 중 적어도 두 개에 대응하는 전기 신호가 생성되지 않은 픽셀로 이루어진 영역일 수 있다.
이로써, 실시예에 따른 센서(130)에서 추출영역은 객체와의 거리가 매우 가까운 영역에 대응하는 픽셀을 포함할 수 있다. 즉, 객체와의 거리가 가까운 경우 제1 참조 신호, 제2 참조 신호, 제3 참조 신호 및 제4 참조 신호 중 하나(예컨대, 제2 참조 신호)에 전기 신호가 생성되지 않기 때문이다.
또한, 실시예에 따른 센서(130)에서 비추출영역은 객체와의 거리가 측정 가능한 거리를 벗어나는 영역에 대응하는 픽셀을 포함할 수 있다. 즉, 객체와의 거리가 측정 가능한 거리를 벗어나는 경우 제1 참조 신호, 제2 참조 신호, 제3 참조 신호 및 제4 참조 신호 중 적어도 2개 이상에서 전기 신호가 생성되지 않기 때문이다. 이로써, 비추출영역에 대하여 제어부는 수광된 광 신호에 대한 타이밍 제어를 정지할 수 있다. 이러한 구성에 의하여, 객체와의 거리가 매우 먼 영역에 대응하는 픽셀에 대해서는 거리 측정이 어려우므로 제1 참조 신호 내지 제4 참조 신호에 따라 수광부의 스위칭 소자의 스위칭 제어가 수행되는 것을 차단할 수 있다. 이로써, 거리 측정이 불요한 픽셀에 대해 스위칭을 비구동하여 전력 소모를 저감하여 센서의 전력 효율을 개선할 수 있다.
또한, 다른 실시예에 따른 센서(130)에서 비추출영역은 복수 개의 전기 신호 중 위상이 180도 상이한 참조 신호에 대응한 전기 신호(전기 신호의 전하량)의 합이 상이한 픽셀로 이루어질 수 있다.
구체적으로, 센서(130)에서 반사광(LS2)의 전체 광량은 제1 참조 신호(C1) 및 제2 참조 신호(C2)에 대응한 전기 신호(전기 신호의 전하량)에 대응하고, 제3 참조 신호(C3) 및 제4 참조 신호(C4)에 대응한 전기 신호(전기 신호의 전하량)에 대응할 수 있다. 이에, 제1 참조 신호(C1) 및 제2 참조 신호(C2)에 대응한 전기 신호의 합과 제3 참조 신호(C3) 및 제4 참조 신호(C4)에 대응한 전기 신호의 합은 동일해야 하나, 외부 광 또는 반사율이 높은 객체에 의해 픽셀의 수광부에서 충전 가능한 전하량을 초과하는 경우에 상술한 합이 서로 상이할 수 있다. 이 때, 해당 픽셀에서 광 신호와 입력광 신호 사이의 위상차 및 거리를 정확하게 측정하기 어려울 수 있다. 이로써, 다른 실시예에 따른 센서(130)는 복수 개의 전기 신호 중 위상이 180도 상이한 참조 신호에 대응하는 전기 신호의 합이 상이한 픽셀로 이루어진 비추출영역에서 제1 참조 신호 내지 제4 참조 신호에 따라 수광부의 스위칭 소자의 스위칭 제어가 수행되는 것을 차단할 수 있다. 이로써, 거리 측정이 불요한 픽셀에 대해 스위칭을 비구동하여 전력 소모를 저감하여 센서의 전력 효율을 개선할 수 있다.
또 다른 실시예 따른 센서(130)에서 비추출영역은 복수 개의 전기 신호가 기 설정된 크기 이하인 픽셀로 이루어질 수 있다.
구체적으로, 상술한 바와 같이 각 픽셀의 수광부에 상이한 참조 신호가 동일한 노출 주기에 제공될 수 있고, 이로부터 전기 신호가 생성될 수 있다. 또한, 제어부는 복수의 노출 주기 동안 참조 신호가 각각 픽셀의 수광부에 제공할 수도 있다. 이와 같이, 프레임 주기 동안에 수광부에서 생성된 전기 신호의 크기가 소정의 크기 이하인 경우에 반사광의 광량이 적고 외부광 등에 의한 노이즈가 존재하는 점을 고려하여 해당 픽셀을 비추출영역으로 처리할 수 있다. 이에 따라, 복수 개의 전기 신호가 기 설정된 크기 이하인 픽셀로 이루어진 비추출영역에서 제1 참조 신호 내지 제4 참조 신호에 따라 수광부의 스위칭 소자의 스위칭 제어가 수행되는 것을 차단할 수 있다. 이로써, 거리 측정이 정확하지 않은 픽셀에 대해 스위칭을 비구동하여 전력 소모를 저감하여 센서의 전력 효율을 개선할 수 있다.
도 15는 다른 실시예에 따른 센서에서 거리 영상을 생성하는 1 프레임 주기의 타이밍도이고, 도 16은 도 15에서 프레임 주기 내의 노출 주기 별 전기 신호를 생성하는 타이밍도이고, 도 17은 도 15에서 노출 주기(P1)에서 타이밍도이고, 도 18은 도 15에서 노출 주기(P2)에서 타이밍도이고, 도 19는 도 15에서 노출 주기(P3)에서 타이밍도이고, 도 20은 도 15에서 노출 주기(P4)에서 타이밍도이다.
도 15를 참조하면, 다른 실시예에 따른 센서에서 거리 영상 이미지를 추출할 수 있는 1 프레임 주기 동안 4개의 노출 주기(integration time) 및 4개의 리드아웃이 존재할 수 있다. 다만, 상술한 바와 같이, 노출 주기의 개수 및 리드아웃의 개수는 수광부의 개수, 충전 소자 및 스위칭의 개수에 따라 다양하게 변경될 수 있다. 또한, 도 15 내지 도 20에서는 입사광(LS1)의 듀티비(duty ratio)를 25%로 설정하여 설명한다. 다만, 본 발명에서 입사광의 듀티비는 이에 제한되지 않고 다양하게 변경될 수 있다.
1 프레임 주기는 순차로 수행되는 제1 노출 주기(P1), 제2 노출 주기(P2), 제3 노출 주기(P3) 및 제4 노출 주기(P4)를 포함할 수 있다. 그리고 각 노출 주기 사이에는 리드아웃이 수행될 수 있다. 이에 대한 설명은 상술한 내용과 동일하게 적용될 수 있다. 또한, 각 노출 주기는 입사광(LS1)의 주기와 동일할 수 있다.
도 16을 참조하면, 각 노출 주기마다 각 픽셀에서는 상이한 위상에 대한 전기 신호를 생성할 수 있다. 즉, 상이한 참조 신호가 인가될 수 있다. 구체적으로, 하나의 픽셀은 제1 수광부(132-1) 및 제2 수광부(132-2)으로 이루어지는 것으로 이하 설명한다. 제1 노출 주기(P1)에서 제1 수광부(132-1)는 입사광(LS1)과 동일한 위상을 갖는 제1 참조 신호(상술한 C1에 대응)가 인가되고, 제2 수광부(132-2)는 제1 참조 신호와 180도 위상이 늦은 제2 참조 신호(상술한 C2에 대응)가 인가될 수 있다. 그리고 제2 노출 주기(P2)에서 제1 수광부(132-1)는 제1 참조 신호(C1)에 90도 늦은 제3 참조 신호(상술한 C3에 대응)가 인가되고, 제2 수광부(132-2)는 제2 참조 신호와 180도 위상이 늦은 제4 참조 신호(상술한 C4에 대응)가 인가될 수 있다. 또한, 제3 노출 주기(P3)에서 제1 수광부(132-1)는 제2 참조 신호(C2)가 인가되고 제2 수광부(132-2)는 제1 참조 신호(C1)가 인가될 수 있다. 그리고 제4 노출 주기(P4)에서 제1 수광부(132-1)는 제4 참조 신호(C4)가 인가되고, 제2 수광부(132-2)는 제3 참조 신호(C3)가 인가될 수 있다.
이에 따라, 제1 노출 주기(P1)에서 제1 수광부(132-1)는 상술한 전하량(Q1)에 대응하는 전하량(Q)을 생성하고, 제2 수광부(132-2)는 상술한 전하량(Q2)에 대응하는 전하량(Q180°)을 생성할 수 있다. 그리고 제2 노출 주기(P2)에서 제1 수광부(132-1)는 상술한 전하량(Q3)에 대응하는 전하량(Q90°)을 생성하고, 제2 수광부(132-2)는 상술한 전하량(Q4)에 대응한 전하량(Q270°)을 생성할 수 있다. 또한, 제3 노출 주기(P3)에서 제1 수광부(132-1)는 전하량(Q180°)을 생성하고, 제2 수광부(132-2)는 전하량(Q)을 생성하며, 제4 노출 주기(P4)에서 제1 수광부(132-1)는 전하량(Q270°)을 생성하고, 제2 수광부(132-2)는 전하량(Q90°)을 생성할 수 있다.
그리고 실시예에 따르면 픽셀은 각 노출 주기에서 제1 수광부와 제2 수광부에서 생성한 전기 신호의 차를 출력할 수 있다. 즉, 픽셀은 제1 노출 주기에서 전하량(Q)- 전하량(Q180°)을 출력하고, 제2 노출 주기에서 전하량(Q90°)- 전하량(Q270°)을 출력할 수 있다.
이 때, 실시예에 따른 제어부는 센서에서 반전된 위상 구동이 일어난 노출 주기의 출력의 크기가 동일하지 않은 픽셀을 비추출영역으로 처리하여 해당 픽셀에 스위칭 제어가 수행되는 것을 차단할 수 있다. 예를 들어, 제1 노출 주기(P1)의 출력값과 제3 노출 주기(P3)에서 출력값이 서로 크기가 상이한 픽셀 또는 제2 노출 주기(P2)의 출력값과 제4 노출 주기(P4)의 출력값이 서로 크기가 상이한 픽셀이 비추출영역일 수 있다.
더 나아가, 제1 노출 주기(P1)에서 출력값과 제3 노출 주기(P3)의 합이 제2 노출 주기(P2)에서 출력값과 제4 노출 주기(P4)의 합이 상이한 픽셀에 대해서도 비추출영역으로 판단하여, 제어부는 해당 픽셀에 스위칭 제어가 수행되는 것을 차단할 수 있다.
또한, 상술한 바와 같이 비추출영역은 복수 개의 전기 신호 중 위상이 180도 상이한 참조 신호에 대응하는 전기 신호의 합이 상이한 픽셀을 포함할 수 있고, 제어부는 비추출영역의 픽셀에 대해 스위칭 제어가 수행되는 것을 방지할 수 있다.
이에, 제어부는 해당 픽셀에 참조 신호에 대응하는 제어 신호를 제공하지 않을 수 있다. 이로써, 정확한 거리 측정이 불요한 픽셀에 대해 스위칭을 비구동하여 전력 소모를 저감하여 센서의 전력 효율을 개선할 수 있다. 뿐만 아니라, 상술한 바와 같이 듀티비를 25%로 설정하여 소비전력을 더욱 개선할 수 있다.
도 16 내지 도 20을 참조하면, 복수 개의 노출 주기(P1 내지 P4)는 복수 개의 서브 노출 주기로 이루어질 수 있다. 예컨대, 제1 노출 주기(P1)는 복수 개의 서브 노출 주기(P11 내지 P13)을 포함하고, 제2 노출 주기(P2)는 복수 개의 서브 노출 주기(P21 내지 P23)을 포함하고, 제3 노출 주기(P3)는 복수 개의 서브 노출 주기(P31 내지 P33)을 포함하고, 제4 노출 주기(P4)는 복수 개의 서브 노출 주기(P41 내지 P43)을 포함할 수 있다. 이 경우, 각 서브 노출 주기가 입사광(LS1)의 주기와 동일할 수 있다. 그리고 각 노출주기에서 제1 수광부(132-1)와 제2 수광부(132-2)에서 생성되는 전기 신호는 도 15에서 상술한 내용과 동일하다.
이 때, 제어부는 복수 개의 서브 노출 주기를 통해 얻은 전기 신호의 평균을 1 노출 주기의 전기 신호로 처리할 수 있다. 이에 따라, 거리에 대한 전기 신호의 정확도를 더욱 개선할 수 있다.도 21은 실시예에 따른 카메라 모듈로부터 얻은 4개의 위상에 대한 로우(raw) 영상이고, 도 22는 실시예에 따른 카메라 모듈로부터 얻은 앰플리튜드 영상(amplitude image)이고, 도 23은 실시예에 따른 카메라 모듈로부터 얻은 거리 영상이다.
도 21 및 도 22를 참조하면, 4개의 위상 영상(Raw(x0), Raw(x90), Raw(x180), Raw(x270), 도 21)을 이용하여 수학식 3과 같이 연산하면, ToF IR 영상인 앰플리튜드 영상(amplitude image, 도 22)을 얻을 수 있다.
Figure PCTKR2020006799-appb-M000003
여기서, Raw(x0)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x90)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x180)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x270)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.
또는, 도 21의 4개의 위상 영상을 이용하여 수학식 4와 같이 연산하면, 다른 ToF IR 영상인 인텐시티 영상(intensity image)을 얻을 수도 있다.
Figure PCTKR2020006799-appb-M000004
여기서, Raw(x0)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x90)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x180)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x270)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.
이와 같이, ToF IR 영상은 4개의 위상 영상 중 2개씩 서로 빼주는 과정을 통하여 생성될 수 있다. 예컨대, 서로 빼주는 2개의 위상 영상은 phase가 상호간에 180°차이가 존재할 수 있다. 그리고 이러한 위성 영상 2개를 서로 빼주는 과정에서 외부 광(background light)이 제거될 수 있다. 이에 따라, ToF IR 영상에는 광원이 출력한 파장대의 신호만 남게 되어, 객체에 대한 IR 감도가 높아지고, 노이즈가 현저하게 줄어들 수 있다.
본 명세서에서, ToF IR 영상은 앰플리튜드(amplitude) 영상 또는 인텐시티(intensity) 영상을 의미할 수 있으며, 인텐시티 영상은 컨피던스(confidence) 영상과 혼용될 수 있다. 도 22에 도시된 바와 같이, ToF IR 영상은 그레이 영상일 수 있다.
한편, 도 21의 4 개의 위상 영상을 이용하여 수학식 5 및 수학식 6과 같이 연산하면, 도 23의 거리 영상도 얻을 수 있다. 그리고 수학식 5 및 수학식 6은 상술한 수학식 1 및 수학식 2에 각각 대응할 수 있다.
Figure PCTKR2020006799-appb-M000005
Figure PCTKR2020006799-appb-M000006
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 객체로 광 신호를 출력하는 광출력부;
    상기 객체에서 반사된 광 신호를 수광하는 센서; 및
    상기 수광된 광 신호의 위상 차이를 이용하여 객체의 거리 정보를 획득하는 제어부;를 포함하고,
    상기 센서는 상기 위상 차이가 추출되지 않는 비추출영역 및 상기 위상 차이가 추출되는 추출영역을 포함하고,
    상기 제어부는 상기 비추출영역의 제어를 정지시키는 카메라 모듈.
  2. 제1항에 있어서,
    상기 센서는 상기 수광된 광 신호를 위상이 상이한 복수 개의 참조 신호와 합성하여 복수 개의 전기 신호를 생성하고,
    상기 비추출영역은 상기 복수 개의 참조 신호에 대응하는 상기 복수 개의 전기 신호가 적어도 두 개 이상 생성되지 않는 카메라 모듈.
  3. 제2항에 있어서,
    상기 복수 개의 참조 신호는 소정의 위상만큼 순차로 시프팅된 카메라 모듈.
  4. 제1항에 있어서,
    상기 비추출영역은 복수 개의 전기 신호 중 위상이 180도 상이한 참조 신호에 대응하는 전기 신호의 합이 상이한 카메라 모듈.
  5. 제1항에 있어서,
    상기 비추출영역은 복수 개의 전기 신호가 기 설정된 크기 이하인 카메라 모듈.
  6. 제1항에 있어서,
    상기 센서는 복수 개의 픽셀을 포함하고,
    상기 위상 차이는 상기 광 신호와 상기 반사된 광 신호의 위상차이고,
    상기 제어부는 상기 비추출영역의 픽셀에 대해 수광 시간을 제어하는 스위칭 제어를 차단하는 카메라 모듈.
  7. 제1항에 있어서,
    상기 센서는 제1 파장대역에서 피크 파장을 갖는 제1 신호를 수신하는 제1 감지영역; 및 제2 파장대역에서 피크 파장을 갖는 제2 신호를 수신하는 제2 감지영역;을 포함하고,
    상기 제2 파장대역은 상기 제1 파장대역과 상이한 카메라 모듈.
  8. 제7항에 있어서,
    상기 제2 감지영역은 상기 추출영역 및 상기 비추출영역을 포함하는 카메라 모듈.
  9. 제7항에 있어서,
    상기 객체와 상기 센서 사이에 배치되는 필터;를 더 포함하고,
    상기 필터는 상기 제1 파장대역이 통과 대역인 제1 필터영역 및 상기 제1 파장대역과 상이한 상기 제2 파장대역이 통과 대역인 제2 필터영역을 포함하는 카메라 모듈
  10. 제7항에 있어서,
    상기 제2 감지영역은 복수 개이며, 행 방향 또는 열 방향으로 동일 거리를 갖도록 이격 배치되는 카메라 모듈.
PCT/KR2020/006799 2019-05-27 2020-05-26 카메라 모듈 WO2020242177A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/595,890 US11997383B2 (en) 2019-05-27 2020-05-26 Camera module extracting distance information based on a time-of-flight method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0061837 2019-05-27
KR1020190061837A KR20200136148A (ko) 2019-05-27 2019-05-27 카메라 모듈

Publications (1)

Publication Number Publication Date
WO2020242177A1 true WO2020242177A1 (ko) 2020-12-03

Family

ID=73554114

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/006799 WO2020242177A1 (ko) 2019-05-27 2020-05-26 카메라 모듈

Country Status (3)

Country Link
US (1) US11997383B2 (ko)
KR (1) KR20200136148A (ko)
WO (1) WO2020242177A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112731350A (zh) * 2021-01-27 2021-04-30 复旦大学 一种激光雷达的扫描驱动电路及控制方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4319138A1 (en) 2021-05-13 2024-02-07 Samsung Electronics Co., Ltd. Method for providing image, and electronic device supporting same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120069833A (ko) * 2010-12-21 2012-06-29 삼성전자주식회사 3차원 이미지 센서의 구동 방법
US20140139631A1 (en) * 2012-11-21 2014-05-22 Infineon Technologies Ag Dynamic conservation of imaging power
KR101861765B1 (ko) * 2011-03-03 2018-05-29 삼성전자주식회사 마이크로 렌즈를 포함하는 깊이 픽셀 및 상기 깊이 픽셀을 포함하는 깊이 센서
KR20180114147A (ko) * 2016-02-18 2018-10-17 에이아이, 아이엔씨. 적응적 레이더 수신기
KR101925028B1 (ko) * 2012-08-29 2018-12-04 엘지전자 주식회사 깊이 영상 생성 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10338221B2 (en) * 2014-01-29 2019-07-02 Lg Innotek Co., Ltd. Device for extracting depth information and method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120069833A (ko) * 2010-12-21 2012-06-29 삼성전자주식회사 3차원 이미지 센서의 구동 방법
KR101861765B1 (ko) * 2011-03-03 2018-05-29 삼성전자주식회사 마이크로 렌즈를 포함하는 깊이 픽셀 및 상기 깊이 픽셀을 포함하는 깊이 센서
KR101925028B1 (ko) * 2012-08-29 2018-12-04 엘지전자 주식회사 깊이 영상 생성 장치 및 방법
US20140139631A1 (en) * 2012-11-21 2014-05-22 Infineon Technologies Ag Dynamic conservation of imaging power
KR20180114147A (ko) * 2016-02-18 2018-10-17 에이아이, 아이엔씨. 적응적 레이더 수신기

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112731350A (zh) * 2021-01-27 2021-04-30 复旦大学 一种激光雷达的扫描驱动电路及控制方法

Also Published As

Publication number Publication date
US11997383B2 (en) 2024-05-28
KR20200136148A (ko) 2020-12-07
US20220321789A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
WO2020242177A1 (ko) 카메라 모듈
WO2017188781A1 (ko) 카메라 모듈 및 이를 포함하는 휴대용 디바이스
WO2020145587A1 (ko) 카메라 모듈
WO2019235859A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
WO2020141827A1 (ko) 광학계 및 이를 포함하는 카메라 모듈
WO2020153703A1 (ko) 카메라 장치 및 그의 오토포커싱 방법
WO2007132717A1 (ja) 撮像装置及び半導体回路素子
WO2019164312A1 (ko) 카메라 모듈 및 그의 초해상도 영상 처리 방법
WO2020067738A1 (ko) 카메라 장치 및 그의 깊이 정보 추출 방법
WO2020145588A1 (ko) 카메라 모듈
WO2020122660A1 (ko) 카메라 모듈
WO2020222477A1 (ko) 카메라 모듈
WO2022060126A1 (ko) 카메라 모듈을 포함하는 전자 장치
WO2021091090A1 (en) Lens assembly and electronic device including the same
WO2020251243A1 (ko) 쉐이퍼 유닛 및 흔들림 보정 장치
WO2020067745A1 (ko) 카메라 장치
WO2020209562A1 (ko) 렌즈 구동 장치
WO2018080103A1 (ko) 렌즈 광학계
WO2020231165A1 (ko) 카메라 모듈
WO2017022906A1 (en) Photographing apparatus module, user terminal including the same, and method of operating the user terminal
WO2020231222A1 (ko) 카메라 모듈
WO2021040476A1 (ko) Tof 카메라
WO2019177218A1 (ko) 광학 장치
WO2020226447A1 (ko) 카메라 모듈
WO2020060321A1 (ko) 카메라 모듈

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20813534

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20813534

Country of ref document: EP

Kind code of ref document: A1