WO2020071885A1 - 깊이 정보를 획득하는 방법 및 카메라 모듈 - Google Patents

깊이 정보를 획득하는 방법 및 카메라 모듈

Info

Publication number
WO2020071885A1
WO2020071885A1 PCT/KR2019/013135 KR2019013135W WO2020071885A1 WO 2020071885 A1 WO2020071885 A1 WO 2020071885A1 KR 2019013135 W KR2019013135 W KR 2019013135W WO 2020071885 A1 WO2020071885 A1 WO 2020071885A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
source array
output
light source
delay time
Prior art date
Application number
PCT/KR2019/013135
Other languages
English (en)
French (fr)
Inventor
김철
김형진
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to US17/279,257 priority Critical patent/US20220057508A1/en
Publication of WO2020071885A1 publication Critical patent/WO2020071885A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0087—Phased arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Definitions

  • the present disclosure relates to a method and camera module for obtaining depth information.
  • Apparatus for acquiring information by outputting light and reflecting it on an object has been used in various fields. For example, from 3D camera modules to distance measurement techniques, techniques for obtaining information by outputting light have been used in various ways.
  • TOF Time of Flight
  • TOF technology is simple to implement. Therefore, it is used in various fields such as aviation, shipbuilding, civil engineering, camera modules, and surveying. In addition, a specific method for controlling the light output is required.
  • the present disclosure may provide a method and camera module for obtaining depth information according to one or more embodiments. Specifically, a method and camera module for determining a direction of directing light output from an array of light sources are disclosed.
  • the technical problem to be solved is not limited to the technical problems as described above, and various technical problems may be further included within the scope apparent to those skilled in the art.
  • the camera module includes a light source array that outputs light to an object through light sources; A receiver that receives light reflected from the object; And a processor that obtains depth information about the object using a phase difference between light output from the light source array and light received by the receiver, and the processor controls a delay time of light output from each of the light sources.
  • a light source array that outputs light to an object through light sources
  • a receiver that receives light reflected from the object
  • a processor that obtains depth information about the object using a phase difference between light output from the light source array and light received by the receiver, and the processor controls a delay time of light output from each of the light sources.
  • the processor determines that the delay time of the light output from the light sources located in the middle of the light sources is smaller than the delay time of the light output from the light sources located at the edge of the light sources, so that the directing direction of the light can be determined in the intermediate direction. have.
  • the processor determines that the delay time of the light output from the light sources located in the second area of the light sources is smaller than the delay time of the light output from the light sources located in the first area among the light sources, so as to control the direction of the light. It can be determined in the direction in which the 1 area is located.
  • the processor may determine a distance from the light source array to the object, and when the distance is equal to or less than a preset value, determine a delay time of light output from each of the light sources to be the same.
  • the processor may determine a distance from the light source array to the object, and when the distance exceeds a preset value, the delay time of light output from each of the light sources may be different.
  • the camera module includes a light source array that outputs light to an object through light sources; A receiver that receives light reflected from the object; And a processor that acquires depth information about the object by using a difference between a time point when the light source array outputs light and a time point when the receiver receives light, wherein the processor includes the light output from each of the light sources.
  • the method of obtaining depth information according to the third aspect may include determining a direction in which light is output from the light source array; Determining a delay time of light output from each of the light sources included in the light source array according to the direction; Outputting light having different delay times to the object through the light sources according to the determined delay time; Receiving light reflected from the object through a receiver; And obtaining depth information about the object by using a phase difference between light output from the light source array and light received by the receiver.
  • the method of obtaining depth information according to the fourth aspect includes determining a direction of directing light output from the light source array; Determining a delay time of light output from each of the light sources included in the light source array according to the direction; Outputting light having different delay times to the object through the light sources according to the determined delay time; Receiving light reflected from the object through a receiver; And obtaining depth information about the object by using a difference between a time point when the light source array outputs light and a time point when the receiver receives light.
  • the fifth aspect can provide a computer-readable recording medium recording a program for executing a method according to the third or fourth aspect on a computer.
  • the present disclosure may provide a method and camera module for obtaining depth information according to one or more embodiments. Specifically, a method and camera module for determining a direction of directing light output from an array of light sources are disclosed.
  • FIG. 1 is a block diagram showing the configuration and operation of a camera module according to an embodiment.
  • FIG. 2 is a cross-sectional view of a camera module according to an embodiment.
  • FIG. 3 is a diagram illustrating an example in which a light source array according to an embodiment outputs light without a difference in delay time.
  • FIG. 4 is a diagram illustrating an example in which a processor outputs light so that energy is concentrated in the middle in a shape close to a circle by controlling a delay time according to an embodiment.
  • FIG. 5 is a diagram illustrating an example in which a processor outputs light so that energy is concentrated in the middle in a shape close to a curve by controlling a delay time according to an embodiment.
  • FIG. 6 is a diagram illustrating an example in which a processor outputs light by determining a direction in which light is directed to the left according to an embodiment.
  • FIG. 7 is a diagram illustrating an example in which a processor outputs light by determining a direction of light directing to the right according to an embodiment.
  • FIG. 8 is a diagram illustrating an example in which a light source array outputs light so that energy is concentrated in an intermediate region on a 2D of 4 * 4 pixels according to an embodiment.
  • FIG. 9 is a diagram illustrating an example in which a light source array outputs light so that energy is concentrated in an intermediate region on a 2D dimension of 5 * 5 pixels according to an embodiment.
  • FIG. 10 is a diagram illustrating an example in which a light source array outputs light so that energy is concentrated in a left region on a 2D of 4 * 4 pixels according to an embodiment.
  • FIG. 11 is a diagram illustrating an example in which a light source array outputs light so that energy is concentrated in a lower left area on a 2D of 4 * 4 pixels according to an embodiment.
  • FIG. 12 is a diagram illustrating an example in which a processor according to an embodiment controls a liquid lens to concentrate energy of light output in the middle.
  • FIG. 13 is a diagram illustrating an example in which a processor according to an embodiment controls a liquid lens to determine a direction of light output to the left.
  • FIG. 14 is a diagram illustrating an example in which a processor according to an embodiment controls a plurality of liquid lenses to determine a traveling direction of light output from a light source array.
  • 15 is a diagram illustrating an example in which a direction in which light is output is determined in consideration of a wire length according to an embodiment.
  • 16 is a flowchart illustrating a method for a camera module to acquire depth information about an object, according to an embodiment.
  • a singular form may also include a plural form unless specifically stated in the phrase, and is combined with A, B, C when described as “at least one (or more than one) of A and B, C”. It can contain one or more of all possible combinations.
  • first, second, A, B, (a), and (b) may be used. These terms are only for distinguishing the component from other components, and the term is not limited to the nature, order, or order of the component.
  • a component when a component is described as being 'connected', 'coupled', or 'connected' to another component, the component is directly 'connected', 'coupled', or 'connected' to the other component In addition to the case, it may also include a case of 'connected', 'coupled', or 'connected' due to another component between the component and the other components.
  • top (top) when described as being formed or disposed in the “top (top)” or “bottom (bottom)” of each component, the “top (top)” or “bottom (bottom)” means that the two components are directly in contact with each other. This includes not only the case of contact, but also the case where one or more other components are formed or disposed between two components.
  • up (up)” or “down (down)” when expressed as “up (up)” or “down (down)”, the meaning of the downward direction as well as the upward direction based on one component may be included.
  • FIG. 1 is a block diagram showing the configuration and operation of the camera module 100 according to an embodiment.
  • the camera module 100 may include a light source array 1100, a processor 1000, and a receiver 120.
  • the camera module 100 includes a diffuser through which light output from the light source array transmits, a light modulator (not shown) included in the light source array 1100, or a memory (not shown) connected to the processor 1000. It may further include.
  • the term "memory" can be broadly interpreted to include any electronic component capable of storing electronic information.
  • RAM random access memory
  • ROM read-only memory
  • NVRAM non-volatile random access memory
  • PROM programmable read-only memory
  • EPROM erase-programmable read-only memory
  • a memory is said to be in electronic communication with the processor if the processor 1000 is capable of reading information from and / or writing information to the memory.
  • the memory integrated in the processor 1000 is in electronic communication with the processor.
  • the memory is a flash memory type (flash memory type), hard disk type (hard disk type), multimedia card micro type (multimedia card micro type), card type memory (for example, SD or XD memory, etc.), RAM ( RAM, Random Access Memory (SRAM), Static Random Access Memory (ROM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), magnetic memory, magnetic disk, It may include at least one type of storage medium among optical discs.
  • flash memory type flash memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • card type memory for example, SD or XD memory, etc.
  • RAM RAM, Random Access Memory (SRAM), Static Random Access Memory (ROM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), magnetic memory, magnetic disk, It may include at least one type of storage medium among optical discs.
  • FIG. 1 it can be understood by those of ordinary skill in the relevant art that some of the components shown in FIG. 1 may be omitted.
  • the light source array 1100 may output light.
  • the light output from the light source array 1100 may be a wavelength within a predetermined range.
  • the light source array 1100 may emit light having an infrared wavelength, for example, a light emitting diode (LED) or laser diode capable of emitting light having a near infrared (NIR) wavelength of about 850 nm that is invisible to the human eye for safety. (LD), but the wavelength band and the type of the light source array are not limited.
  • the wavelength of light output from the light source array 1100 may be included in the visible light region or may be included in the ultraviolet region.
  • the light source array 1100 may output light by performing amplitude modulation or phase modulation, for example, according to a control signal received from the processor 1000.
  • the light output from the light source array 1100 to the object 130 according to the control signal of the processor 1000 may have a periodic continuous function having a predetermined period.
  • the light may have a specially defined waveform such as a sine wave, a ramp wave, a square wave, a pulse wave, or the like, but may also have a general undefined waveform.
  • the receiver 120 may receive light reflected from the object 130.
  • the camera module 100 may acquire various information through the received light received by the receiver 120.
  • the camera module 100 may acquire information about the object 130 through the received light.
  • the processor 1000 may acquire various information about the object, such as the shape, size, color, and depth of the object 130.
  • the receiver 120 may distinguish received light obtained by reflecting the light output from the light source array 1100 among various light entering the receiver 120 to the object 130. For example, when the light source array 1100 outputs light in the range of 750 nm to 950 nm, the receiver 120 may selectively acquire light in the range of 750 nm to 950 nm through filtering. In addition, the receiver 120 may obtain accurate information about the object 130 by selectively acquiring the received light corresponding to the light.
  • the camera module 100 may extract depth information using a ToF function, it may be understood to be mixed with a ToF camera module or a ToF module in the present disclosure.
  • the light source array 1100 may generate light to be output and irradiate the object 130. At this time, the light source array 1100 may generate and output light in the form of a pulse wave or a continuous wave.
  • the continuous wave may be in the form of a sinusoidal wave or a squared wave.
  • the camera module 100 may determine a phase difference between light output from the light source array 1100 and light received by the camera module 100 after being reflected from an object.
  • the light source array 1100 may irradiate the generated light to the object 130 during a preset exposure period.
  • the exposure period may mean one frame period.
  • the set exposure cycle may be repeated. For example, when the camera module 100 photographs an object at 20 FPS, the exposure cycle is 1/20 [sec]. In addition, when 100 frames are generated, the exposure cycle may be repeated 100 times.
  • the light source array 1100 may generate a plurality of lights having different frequencies.
  • the light source array 1100 may sequentially generate a plurality of lights having different frequencies.
  • the light source array 1100 may simultaneously generate a plurality of lights having different frequencies.
  • the light source array 1100 may output light to the object 1100 through light sources.
  • the light source array 1100 may include light sources, and each of the light sources may output light independently of each other.
  • light sources can output light of different intensities, can output light of different frequencies, can output light of different phases, and can output light with different delay times.
  • Each light source may include a light emitting diode.
  • the receiver 120 may receive light through receiving pixels.
  • the receiver 120 may receive reflected light obtained by reflecting light output from the light source array 1100 to the object 130.
  • the receiver 120 may include receiving pixels, and each of the receiving pixels may receive light independently of each other.
  • the receiving pixels can receive light at different timings, and can receive light with different filtering methods.
  • the receiver 120 may include a lens (not shown) and an image sensor.
  • the lens may collect light reflected from the object 130 and transmit it to an image sensor (not shown).
  • the image sensor may receive light and generate an electrical signal corresponding to the received light.
  • the light source array 1100 may output light of different frequencies according to the passage of time.
  • the light source array 1100 may output light having a frequency of f1 during the first half of the exposure period, and output light having a frequency of f2 during the other half of the exposure period.
  • some light emitting diodes among the plurality of light emitting diodes included in the light source array 1100 may output light having a frequency of f1, and the other light emitting diodes may output light having a frequency of f2.
  • the light source array 1100 may include a light modulator.
  • the light source array 1100 may generate light.
  • the light generated by the light source array 1100 may be infrared light having a wavelength of 770 to 3000 nm, or may be visible light having a wavelength of 380 to 770 nm.
  • the light source array 1100 may use a light emitting diode (LED), and may have a form in which a plurality of light emitting diodes are arranged according to a certain pattern.
  • the light source array 1100 may include an organic light emitting diode (OLED) or a laser diode (LD).
  • the light source array 1100 may be a Vertical Cavity Surface Emitting Laser (VCSEL).
  • VCSEL is one of laser diodes that converts electrical signals into light, and may use a wavelength of about 800 to 1000 nm, for example, a wavelength of about 850 nm or about 940 nm.
  • the light source array 1100 may generate light in the form of a pulsed wave or a continuous wave by repeating on / off at regular time intervals.
  • the constant time interval may be the frequency of light.
  • the blinking of the light source array can be controlled by a light modulator.
  • the optical modulator may control blinking of the light source array 1100 so that the light source array 1100 generates light in the form of a continuous wave or a pulse wave.
  • the optical modulator may control the light source array 1100 to generate light in the form of a continuous wave or a pulse wave through frequency modulation or pulse modulation.
  • the processor 1000 may acquire depth information about the object 130 by using a phase difference between light output from the light source array 1100 and light received by the receiver 120.
  • the receiver 120 may generate electrical signals corresponding to each reference signal using a plurality of reference signals having different phase differences.
  • the frequency of the reference signal may be determined to be the same as the frequency of light output from the light source array 1100. Therefore, when the light source array 1100 generates light at a plurality of frequencies, the receiver 120 may generate an electrical signal using a plurality of reference signals corresponding to each frequency.
  • the electrical signal may include information about the amount of charge or voltage corresponding to each reference signal.
  • Each of the reference signals C1 to C4 has the same frequency as the light output from the light source array 1100, but may have a phase difference of 90 degrees from each other.
  • One of the four reference signals C1 may have the same phase as the light output from the light source array 1100.
  • the light obtained by reflecting from the object 130 may be delayed in phase by a distance at which the light output from the light source array 1100 is reflected from the object 130 and returned.
  • the receiver 120 may mix the received light and each reference signal, and generate Q1 to Q4 signals for each reference signal.
  • the receiver 120 may include an image sensor having a structure in which a plurality of pixels are arranged in a grid form.
  • the image sensor may be a Complementary Metal Oxide Semiconductor (CMOS) image sensor, or may be a Charge Coupled Device (CCD) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the image sensor may include a ToF sensor that receives infrared light reflected from the object and measures a distance using a time or phase difference.
  • the image processing unit 150 may calculate the phase difference between the output light and the input light by using the charge amount information of the electrical signal.
  • the processor 1000 may determine the phase difference t d between the light output from the light source array 1100 and the light received by the receiver 120 using Equation 1 below.
  • Q 1 to Q 4 may be charge amounts of each of the four electrical signals.
  • Q 1 is the amount of charge of the electrical signal corresponding to the reference signal of the same phase as the light output from the light source array 1100
  • Q 2 is a phase corresponding to the reference signal is 180 degrees slower than the light output from the light source array 1100
  • the amount of charge of the electrical signal Q 3 is the amount of charge of the electrical signal corresponding to a reference signal 90 degrees out of phase with the light output from the light source array 1100
  • Q 4 is out of phase with the light output from the light source array 1100
  • the electrical signal corresponding to the slow reference signal may be 270 degrees.
  • the processor 1000 may determine a distance between the object 130 and the camera module 100 by using a phase difference between light output from the light source array 1100 and light received by the receiver 120.
  • the processor 1000 may determine a distance d between the object 130 and the camera module 100 using Equation (2).
  • c may be a speed of light and f may be a frequency of output light.
  • a ToF IR image and a depth image may be obtained from the camera module 100.
  • the processor 1000 may obtain depth information about the object 130 by using a difference between a time point when the light source array 1100 outputs light and a time point when the receiver 120 receives light. have.
  • the light source array 1100 may obtain depth information by outputting light such as a laser or infrared light to the object 130 and calculating the time difference by receiving reflected light.
  • FIG. 2 is a sectional view showing a camera module 100 according to an embodiment.
  • the camera module 100 includes a lens assembly 200, an image sensor 250, and a printed circuit board 260.
  • the processor 1000 of FIG. 1 may be implemented in the printed circuit board 260.
  • the light source array 1100 of FIG. 1 is disposed on the side of the image sensor 250 on the printed circuit board 260, or outside the camera module 100, for example, on the side of the camera module 100. It can be deployed, but is not limited thereto.
  • the lens assembly 200 may include a lens 230, a lens barrel 210, lens holders 221, 222 and an IR filter 240.
  • the lens 230 may be composed of a plurality of sheets, or may be composed of one sheet.
  • each lens may be aligned with respect to the central axis to form an optical system.
  • the central axis may be the same as the optical axis of the optical system.
  • the lens barrel 210 is coupled to the lens holders 221 and 222, and a space for accommodating the lens may be provided therein.
  • the lens barrel 210 may be rotationally combined with one or a plurality of lenses, but this is exemplary, and may be combined in other ways, such as a method using an adhesive (for example, an adhesive resin such as epoxy). .
  • the lens holders 221 and 222 may be coupled to the lens barrel 210 to support the lens barrel 210 and be coupled to the printed circuit board 260 on which the image sensor 250 is mounted.
  • a space in which the IR filter 240 can be attached may be formed under the lens barrel 210 by the lens holders 221 and 222.
  • a spiral pattern may be formed on the inner circumferential surface of the lens holders 221 and 222, and likewise, the lens barrel 210 may be rotationally coupled with a spiral pattern on the outer circumferential surface.
  • the lens holders 221 and 222 may be divided into an upper holder 221 coupled with the lens barrel 210 and a lower holder 222 coupled with the printed circuit board 260 on which the image sensor 250 is mounted,
  • the upper holder 221 and the lower holder 222 may be integrally formed, formed in a structure separated from each other, and then fastened or combined, or separated from each other.
  • the diameter of the upper holder 221 may be formed smaller than the diameter of the lower holder 222, but is not limited thereto.
  • the lens 230 may be configured with another structure capable of collecting light incident on the camera module 100 and transmitting it to the image sensor 250.
  • the image sensor 250 may generate an electrical signal using light condensed through the lens 230.
  • the image sensor 250 may detect input light in synchronization with a flashing period of the light source array 1100. Specifically, the image sensor 250 may detect light output from the light source array 1100 and light in an in phase and an out phase, respectively. That is, the image sensor 250 may repeatedly perform the step of absorbing light at a time when the light source array 1100 is turned on and the step of absorbing light at a time when the light source array 1100 is turned off.
  • the image sensor 250 may generate electrical signals corresponding to each reference signal by using a plurality of reference signals having different phase differences.
  • the frequency of the reference signal may be determined to be the same as the frequency of light output from the light source array 1100. Accordingly, when the light source array 1100 generates light at a plurality of frequencies, the image sensor 250 may generate an electrical signal using a plurality of reference signals corresponding to each frequency.
  • the electrical signal may include information about the amount of charge or voltage corresponding to each reference signal.
  • the processor 1000 may control a delay time of light output from each of the light sources to determine a direction of light output through the light sources.
  • the processor 1000 specifically determines the direction of the light by controlling the delay time is illustrated.
  • 3 is a diagram illustrating an example in which the light source array 1100 outputs light without a difference in delay time according to an embodiment.
  • the light source array 1100 may include a plurality of light emitting diodes 1121 to 1128.
  • the number or arrangement method is not limited.
  • the plurality of light emitting diodes 1121 to 1128 may be arranged in the form of an array. Referring to FIG. 3, a plurality of light emitting diodes 1121 to 1128 are arranged in a line, but are not limited thereto. For example, the plurality of light emitting diodes 1121 to 1128 may be disposed on a plane.
  • time delays of ⁇ are equally generated in the plurality of light emitting diodes 1121 to 1128. Since time delays of ⁇ are generated in the plurality of light emitting diodes 1121 to 1128 in the same manner, the plurality of light emitting diodes 1121 to 1128 can output light at the same time.
  • the light output from the light source array 1100 is directed toward the front, in this case, special energy is applied to the light output from the light source array 1100 Concentration may not appear.
  • the processor 1000 may determine a distance from the light source array 1100 to the object 130 and, if the determined distance is equal to or less than a preset value, determine a delay time of light output from each of the light sources to be the same. have. When the delay time of light output from each of the light sources is the same, light may be output as shown in FIG. 5. When the distance from the light source array 1100 to the object 130 is sufficiently close, since there is no need to specifically concentrate the energy of the light, the light source array 1100 can operate as shown in FIG. 3 under the control of the processor 1000. have.
  • the processor 1000 determines a distance from the light source array 1100 to the object 130 and, when the determined distance exceeds a preset value, determines that the delay time of light output from each of the light sources is different You can.
  • An embodiment in which the delay time of light output from each of the light sources is different is disclosed in FIGS. 4 to 11.
  • FIG. 4 is a diagram illustrating an example in which the processor 1000 according to an embodiment outputs light so that energy is concentrated in the middle in a shape close to a circle by controlling a delay time.
  • time delays of 4 °, 3 °, 2 °, 1 °, 1 °, 2 °, 3 °, and 4 ° may occur in the plurality of light emitting diodes 1121 to 1128, respectively.
  • the light output from the light source array 1100 is directed toward the front, and in this case, the medium energy from the light output from the light source array 1100 Concentration may appear.
  • the processor 1000 applies a control signal to the plurality of light emitting diodes 1121 to 1128 such that time delays of 4 °, 3 °, 2 °, 1 °, 1 °, 2 °, 3 °, and 4 ° are generated, respectively.
  • the light can be output so that energy is concentrated in the middle in a shape close to a circle.
  • FIG 5 is a diagram illustrating an example in which the processor 1000 according to an embodiment outputs light so that energy is concentrated in the middle in a shape close to a curve by controlling a delay time.
  • the processor may determine that the delay time of the light output from the light sources located in the middle of the light sources is smaller than the delay time of the light output from the light sources located at the edge of the light sources, so as to determine the direction of the direction of light.
  • Each of the light sources may include a light emitting diode.
  • the light sources may be implemented with a plurality of light emitting diodes 1121 to 1128.
  • time delays of 9 °, 6 °, 3 °, 1 °, 1 °, 3 °, 6 °, and 9 ° may occur in the plurality of light emitting diodes 1121 to 1128, respectively.
  • the light output from the light source array 1100 is directed toward the front, and in this case, the medium energy from the light output from the light source array 1100 Concentration may appear.
  • the processor 1000 applies control signals to a plurality of light emitting diodes 1121 to 1128 such that time delays of 9 °, 6 °, 3 °, 1 °, 1 °, 3 °, 6 °, and 9 ° are generated, respectively.
  • the light can be output so that energy is concentrated in the middle in a shape close to a curve.
  • the camera module 100 may output the modulated light from the LED (VCSEL) of the light source array 1100 and output the reflected light to an object to determine a distance corresponding to the travel time. As the distance between the camera module 100 and the object increases, the light reflected and received from the object becomes weaker, and the influence of disturbance increases, so that accuracy may be lowered. However, when light is output so that energy is concentrated in the middle as shown in FIG. 4 or 5, although the camera module 100 is implemented with the same hardware, more accurate depth information can be obtained for a long distance.
  • VCSEL LED
  • the light output of the light source array 1100 (eg, LED) is lowered over a long distance
  • the light source array 1100 includes a plurality of light emitting diodes 1121 to 1128 arranged in an array format
  • the light source array 1100 is controlled by controlling a delay time for light output from the several light emitting diodes 1121 to 1128
  • the energy of the output light can be concentrated in a specific direction or a specific location. Therefore, the light source array 1100 can acquire depth information for a long distance more accurately with low power under the same hardware condition.
  • the camera module 100 may be used in various devices that require depth information, such as a rear camera of a mobile phone, a forward camera of a vehicle, and a rear camera of a vehicle.
  • FIG. 6 is a diagram illustrating an example in which the processor 1000 according to an embodiment outputs light by determining a direction in which light is directed to the left.
  • the processor 1000 determines that the delay time of light output by the light sources located in the second area of the light sources is smaller than the delay time of light output from the light sources located in the first area among the light sources, so that the direction of the light is directed It may be determined in the direction in which the first region is located.
  • the processor 1000 is based on the output direction of light rather than the delay time of the light output by the light emitting diode located on the right (upward in the drawing) based on the output direction of light among the plurality of light emitting diodes 1121 to 1128.
  • the direction of light directing may be determined to the left based on the light output direction.
  • FIG. 7 is a diagram illustrating an example in which the processor 1000 according to an embodiment outputs light by determining a direction of light to the right.
  • the processor 1000 determines that the delay time of light output by the light sources located in the second area of the light sources is smaller than the delay time of light output from the light sources located in the first area among the light sources, so that the direction of the light is directed It may be determined in the direction in which the first region is located.
  • the processor 1000 is based on the output direction of light rather than the delay time of the light output by the light emitting diode located on the right (upward on the drawing) based on the output direction of light among the plurality of light emitting diodes 1121 to 1128.
  • the direction of the light may be determined to the right based on the light output direction.
  • FIG. 8 is a diagram illustrating an example in which the light source array 1100 outputs light so that energy is concentrated in an intermediate region on a two-dimensional 4 * 4 pixel.
  • the processor 1000 outputs the light emitting diodes 1131 located at the edge rather than the delay time of light output from the light emitting diodes 1132 located in the middle region among the plurality of light emitting diodes 1131 and 1132.
  • the delay time of the light is determined to be large, and the direction of the light may be determined as the middle (center) direction.
  • FIG. 9 is a diagram illustrating an example in which the light source array 1100 outputs light so that energy is concentrated in an intermediate region on a two-dimensional 5 * 5 pixel.
  • the processor 1000 has a time delay of light output from the light emitting diode 1143 located in the middle of the plurality of light emitting diodes 1141, 1142, and 1143, ⁇ , and the light emitting diodes located in the second middle (
  • the time delay of light output from 1142) is 3 °
  • the time delay of light output from the light emitting diodes 1141 located at the edge is determined to be 5 °, so that the direction of light directing can be determined as the middle (center) direction.
  • 8 and 9 illustrate the case of 4 * 4 pixels and 5 * 5 pixels, respectively, but are not limited thereto.
  • FIG. 10 is a diagram illustrating an example in which the light source array 1100 outputs light so that energy is concentrated in a left region on a two-dimensional 4 * 4 pixel.
  • the processor 1000 has a time delay of light output from the rightmost light emitting diodes 1151 among a plurality of light emitting diodes 1151, 1152, 1153, and 1154, ⁇ , and the second right light emission.
  • the time delay of the light output by the diodes 1152 is 2 °
  • the time delay of the light output by the third right light emitting diodes 1153 is 3 °
  • the time delay of the light output by the leftmost light emitting diodes 1154 Is determined to be 4 °, and the direction of light directing can be determined to the left.
  • FIG 11 is a diagram illustrating an example in which the light source array 1100 outputs light so that energy is concentrated in a lower left area on a 2D of 4 * 4 pixels according to an embodiment.
  • the processor 1000 has a time delay of light output from the light emitting diode 1161 located at the top right of the plurality of light emitting diodes 1161, 1162, 1163, and 1164, located at ⁇ , and the second right top
  • the time delay of the light output from the light emitting diodes 1162 is 2 °
  • the time delay of the light output from the light emitting diodes 1163 located at the third upper right is 3 °
  • the time delay of the light is determined to be 4 °, and the direction of the light can be determined in the lower left direction.
  • FIGS. 12 to 14 are views showing an example of determining a direction of directing of light output using a liquid lens.
  • the processor 1000 may control the liquid lens to concentrate the energy of the output light in the middle.
  • the processor 1000 may control the liquid lens to determine the direction of the output light to the left.
  • the processor 1000 may control a plurality of liquid lenses to determine a traveling direction of light output from the light source array 1100.
  • 15 is a diagram illustrating an example in which a direction in which light is output is determined in consideration of a wire length according to an embodiment.
  • the time it takes for the signal to pass can vary depending on the length of the wire. If the length of the wiring is long, it takes a long time for the signal to be transmitted, and if the length of the wiring is short, the time for transmitting the signal may be short. Accordingly, when determining the delay time of light output from each light source, the processor 1000 may determine the wiring length for each light source. For example, when a signal is transmitted with the same delay time, when the length of the wiring is predetermined so that light is output by focusing energy in the middle, the processor 1000 takes into account the initial state of the length of the wiring. , Delay time of light output from each light source may be determined.
  • 16 is a flowchart illustrating a method of acquiring depth information about an object by the camera module 100 according to an embodiment.
  • the camera module 100 determines a direction of light output from the light source array 1100.
  • the camera module 100 may determine the direction of light output from the light source array 1100.
  • the camera module 100 may direct the light output from the light source array 1100 according to a distance between the object 130 and the light source array 1100, a direction in which the object 130 is positioned relative to the light source array 1100, and the like.
  • an energy concentration region of light output from the light source array 1100 may be determined.
  • step S1620 the camera module 100 according to an embodiment determines a delay time of light output from each of the light sources included in the light source array 1100 according to the direction of orientation determined in step S1610, and in step S1630 to an embodiment Accordingly, the camera module 100 outputs light having different delay times through the light sources toward the object 130 according to the delay time determined in step S1620.
  • the camera module 100 receives the light reflected from the object 130 through the receiver 120
  • the camera module 100 receives the object 130 Acquire depth information about.
  • the camera module 100 may obtain depth information about the object 120 using a phase difference between light output from the light source array 1100 and light received by the receiver 120.
  • the camera module 100 may obtain depth information about the object 130 by using a difference between a time point when the light source array 1100 outputs light and a time point when the receiver 120 receives light.
  • the above-described method may be implemented as a program executable on a computer, and may be implemented on a general-purpose digital computer that operates the program using a computer-readable recording medium.
  • the structure of data used in the above-described method may be recorded on a computer-readable recording medium through various means.
  • the computer-readable recording medium includes a storage medium such as a magnetic storage medium (eg, ROM, RAM, USB, floppy disk, hard disk, etc.), optical read media (eg, CD-ROM, DVD, etc.). do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

일 실시 예에 따라, 깊이 정보를 획득할 수 있는 카메라 모듈에 있어서 출력되는 광을 제어하는 방법이 개시된다. 보다 구체적으로, 광원들 각각에서 출력하는 광의 딜레이 타임을 제어하여, 광원들을 통해 출력되는 광의 지향 방향을 결정하는 카메라 모듈이 개시된다. 일 실시예에 따른 카메라 모듈은, 광원들 각각에서 출력하는 광의 딜레이 타임을 제어함으로써, 장거리에서도 카메라 모듈이 보다 높은 성능으로 동작할 수 있다.

Description

깊이 정보를 획득하는 방법 및 카메라 모듈
본 개시는 깊이 정보를 획득하는 방법 및 카메라 모듈에 대한 것이다.
광을 출력하여 객체에 반사시킴으로서 정보를 획득하는 장치가 여러 분야에서 이용되고 있다. 예를 들면, 3D 카메라 모듈에서부터 거리 측정 기법에 이르기 까지, 광을 출력하여 정보를 획득하는 기술은 여러 방식으로 이용되고 있다.
일 예로, TOF(Time of Flight)는 광이 출력된 시점과 객체에서 반사되어 되돌아온 수신광의 수신시점 사이의 시간차를 측정하여 거리를 측정하는 원리를 나타내는 용어로서, TOF 기술은 구현 방법이 간단하기 때문에 항공, 조선, 토목, 카메라 모듈, 측량 등 다양 한 분야에서 이용되고 있다.또한 이와 관련하여 출력하는 광을 제어하는 구체적인 방법이 요구된다.
본 개시는 하나 이상의 실시 예에 따라 깊이 정보를 획득하는 방법 및 카메라 모듈을 제공할 수 있다. 구체적으로, 광원 어레이에서 출력되는 광의 지향 방향을 결정하는 방법 및 카메라 모듈이 개시된다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제들이 더 포함될 수 있다.
제 1 측면에 따른 카메라 모듈은 광원들을 통해 광을 객체로 출력하는 광원 어레이; 상기 객체로부터 반사된 광을 수신하는 리시버; 및 상기 광원 어레이가 출력한 광과 상기 리시버가 수신한 광의 위상 차를 이용해서 상기 객체에 대한 깊이 정보를 획득하는 프로세서;를 포함하고, 상기 프로세서는 상기 광원들 각각에서 출력하는 광의 딜레이 타임을 제어하여, 상기 광원들을 통해 출력되는 광의 지향 방향을 결정할 수 있다.
또한, 상기 프로세서는 상기 광원들 중 가장자리에 위치한 광원들이 출력하는 광의 딜레이 타임보다 상기 광원들 중 중간에 위치한 광원들이 출력하는 광의 딜레이 타임이 작도록 결정하여, 상기 광의 지향 방향을 중간 방향으로 결정할 수 있다.
또한, 상기 프로세서는 상기 광원들 중 제 1 영역에 위치한 광원들이 출력하는 광의 딜레이 타임보다 상기 광원들 중 제 2 영역에 위치한 광원들이 출력하는 광의 딜레이 타임이 작도록 결정하여, 상기 광의 지향 방향을 제 1 영역이 위치한 방향으로 결정할 수 있다.
또한, 상기 프로세서는 상기 광원 어레이로부터 상기 객체까지의 거리를 결정하고, 상기 거리가 기설정값 이하인 경우, 상기 광원들 각각에서 출력하는 광의 딜레이 타임을 동일하도록 결정할 수 있다.
또한, 상기 프로세서는 상기 광원 어레이로부터 상기 객체까지의 거리를 결정하고, 상기 거리가 기설정값 초과인 경우, 상기 광원들 각각에서 출력하는 광의 딜레이 타임이 상이하도록 결정할 수 있다.
제 1 측면에 따른 카메라 모듈은 광원들을 통해 광을 객체로 출력하는 광원 어레이; 상기 객체로부터 반사된 광을 수신하는 리시버; 및 상기 광원 어레이가 광을 출력한 시점과 상기 리시버가 광을 수신한 시점의 차이를 이용해서 상기 객체에 대한 깊이 정보를 획득하는 프로세서;를 포함하고, 상기 프로세서는 상기 광원들 각각에서 출력하는 광의 딜레이 타임을 제어하여, 상기 광원들을 통해 출력되는 광의 지향 방향을 결정할 수 있다.
제 3 측면에 따른 깊이 정보 획득 방법은 광원 어레이에서 출력되는 광의 지향 방향을 결정하는 단계; 상기 지향 방향에 따라 상기 광원 어레이에 포함된 광원들 각각에서 출력되는 광의 딜레이 타임을 결정하는 단계; 상기 결정된 딜레이 타임에 따라 상기 광원들을 통해서 서로 다른 딜레이 타임을 갖는 광을 객체를 향해 출력하는 단계; 상기 객체로부터 반사된 광을 리시버를 통해 수신하는 단계; 상기 광원 어레이가 출력한 광과 상기 리시버가 수신한 광의 위상 차를 이용해서 상기 객체에 대한 깊이 정보를 획득하는 단계;를 포함할 수 있다.
제 4 측면에 따른 깊이 정보 획득 방법은 광원 어레이에서 출력되는 광의 지향 방향을 결정하는 단계; 상기 지향 방향에 따라 상기 광원 어레이에 포함된 광원들 각각에서 출력되는 광의 딜레이 타임을 결정하는 단계; 상기 결정된 딜레이 타임에 따라 상기 광원들을 통해서 서로 다른 딜레이 타임을 갖는 광을 객체를 향해 출력하는 단계; 상기 객체로부터 반사된 광을 리시버를 통해 수신하는 단계; 상기 광원 어레이가 광을 출력한 시점과 상기 리시버가 광을 수신한 시점의 차이를 이용해서 상기 객체에 대한 깊이 정보를 획득하는 단계;를 포함할 수 있다.
제 5 측면은 제 3 측면 또는 제 4 측면에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 개시는 하나 이상의 실시 예에 따라 깊이 정보를 획득하는 방법 및 카메라 모듈을 제공할 수 있다. 구체적으로, 광원 어레이에서 출력되는 광의 지향 방향을 결정하는 방법 및 카메라 모듈이 개시된다.
도 1은 일 실시 예에 따른 카메라 모듈의 구성 및 동작을 나타내는 블록도이다.
도 2는 일 실시 예에 따른 카메라 모듈의 단면도를 도시한다.
도 3은 일 실시 예에 따른 광원 어레이가 딜레이 타임의 차이 없이 광을 출력하는 일 예를 나타내는 도면이다.
도 4는 일 실시 예에 따른 프로세서가 딜레이 타임을 제어하여 원에 가까운 형상으로 중간에 에너지가 집중되도록 광을 출력하는 일 예를 나타내는 도면이다.
도 5는 일 실시 예에 따른 프로세서가 딜레이 타임을 제어하여 커브에 가까운 형상으로 중간에 에너지가 집중되도록 광을 출력하는 일 예를 나타내는 도면이다.
도 6은 일 실시 예에 따른 프로세서가 광의 지향 방향을 좌측으로 결정하여 광을 출력하는 일 예를 나타내는 도면이다.
도 7은 일 실시 예에 따른 프로세서가 광의 지향 방향을 우측으로 결정하여 광을 출력하는 일 예를 나타내는 도면이다.
도 8은 일 실시 예에 따른 광원 어레이가 4*4 픽셀의 2차원 상에서 중간 영역에 에너지가 집중되도록 광을 출력하는 일 예를 나타내는 도면이다.
도 9는 일 실시 예에 따른 광원 어레이가 5*5 픽셀의 2차원 상에서 중간 영역에 에너지가 집중되도록 광을 출력하는 일 예를 나타내는 도면이다.
도 10은 일 실시 예에 따른 광원 어레이가 4*4 픽셀의 2차원 상에서 좌측 영역에 에너지가 집중되도록 광을 출력하는 일 예를 나타내는 도면이다.
도 11은 일 실시 예에 따른 광원 어레이가 4*4 픽셀의 2차원 상에서 좌측 하단영역에 에너지가 집중되도록 광을 출력하는 일 예를 나타내는 도면이다.
도 12는 일 실시 예에 따른 프로세서가 액체 렌즈를 제어하여 출력되는 광의 에너지를 중간으로 집중시키는 일 예를 나타내는 도면이다.
도 13은 일 실시 예에 따른 프로세서가 액체 렌즈를 제어하여 출력되는 광의 지향 방향을 좌측으로 결정하는 일 예를 나타내는 도면이다.
도 14는 일 실시 예에 따른 프로세서가 복수개의 액체 렌즈를 제어하여 광원 어레이에서 출력되는 광의 진행 방향을 결정하는 일 예를 나타내는 도면이다.
도 15는 일 실시 예에 따라 출력되는 광의 진행 방향이 배선 길이를 고려하여 결정되는 일 예를 나타내는 도면이다.
도 16은 일 실시 예에 따라, 카메라 모듈이 객체에 대한 깊이 정보를 획득하는 방법을 나타내는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합 또는 치환하여 사용할 수 있다.
또한, 본 발명의 실시 예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시 예에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, “A 및(와) B, C 중 적어도 하나(또는 한 개 이상)”로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성 요소에 ‘연결’, ‘결합’, 또는 ‘접속’된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 ‘연결’, ‘결합’, 또는 ‘접속’되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 ‘연결’, ‘결합’, 또는 ‘접속’되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 “상(위)” 또는 “하(아래)”에 형성 또는 배치되는 것으로 기재되는 경우, “상(위)” 또는 “하(아래)”는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라, 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, “상(위)” 또는 “하(아래)”로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함될 수 있다.
또한, 이하에서 기재되는 수치는 오차에 따른 합리적인 범위 내의 수치로 해석될 수 있다. 예를 들면, “1”이라고 기재된 수치가 “1.01”로 해석될 수 있다.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 일 실시 예에 따른 카메라 모듈(100)의 구성 및 동작을 나타내는 블록도이다.
도 1에 도시된 바와 같이, 카메라 모듈(100)는 광원 어레이(1100), 프로세서(1000) 및 리시버(120)를 포함할 수 있다.
그러나, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 카메라 모듈(100)에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 카메라 모듈(100)는 광원 어레이에 서 출력된 광이 투과하는 디퓨저, 광원 어레이(1100)에 포함되는 광변조기(미도시) 또는 프로세서(1000)와 연결되는 메모리(미도시) 등을 더 포함할 수 있다. 용어 "메모리" 는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석될 수 있다. 용어 메모리는 임의 액세스 메모리 (RAM), 판독-전용 메모리 (ROM), 비-휘발성 임의 액세스 메모리 (NVRAM), 프로그램가능 판독-전용 메모리 (PROM), 소거-프로그램가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능 PROM (EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들, 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서(1000)가 메모리에 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서(1000)에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.
또한, 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
또는 다른 실시 예에 따를 경우, 도 1에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
일 실시 예에 따른 광원 어레이(1100)은 광을 출력할 수 있다. 광원 어레이(1100)에서 출력되는 광은 기설정된 범위 내의 파장일 수 있다.
광원 어레이(1100)은, 예를 들어, 적외선 파장을 갖는 광, 안전을 위해 인간의 눈에는 보이지 않는 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출시킬 수 있는 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있지만, 파장의 대역과 광원 어레이의 종류는 제한을 받지 않는다. 예를 들면, 광원 어레이(1100)에서 출력하는 광의 파장은 가시광선 영역에 포함될 수도 있으며, 자외선 영역에 포함될 수도 있다.
프로세서(1000)로부터 수신된 제어 신호에 따라 광원 어레이(1100)은 예를 들어 크기(amplitude) 변조 또는 위상(phase) 변조를 수행하여 광을 출력할 수 있다. 프로세서(1000)의 제어 신호에 따라 광원 어레이(1100)으로부터 객체(130)로 출력되는 광은 기설정 주기를 갖는 주기적인 연속 함수의 형태를 가질 수 있다. 예를 들어, 광은 사인파, 램프파, 사각파, 펄스파 등과 같이 특수하게 정의된 파형을 가질 수도 있지만, 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다.
리시버(120)는 객체(130)에서 반사된 광을 수신할 수 있다. 리시버(120)가 수신하는 수신 광을 통해 카메라 모듈(100)는 여러 정보를 획득할 수 있다.
일 실시 예에 따른 카메라 모듈(100)는 수신 광을 통해, 객체(130)에 대한 정보를 획득할 수 있다. 예를 들면, 프로세서(1000)는 객체(130)의 형상, 크기, 색상, 깊이 등 객체에 대한 여러 정보를 획득할 수 있다.
리시버(120)는 리시버(120)로 유입되는 여러 광 중 광원 어레이(1100)에서 출력된 광이 객체(130)에 반사되어 획득되는 수신 광을 구별할 수 있다. 예를 들면, 광원 어레이(1100)이 750nm~950nm 범위의 광을 출력하는 경우, 리시버(120)는 필터링을 통해 750nm~950nm 범위의 광을 선별적으로 획득할 수 있다. 또한, 리시버(120)는 광에 대응되는 수신 광을 선별적으로 획득함으로써, 객체(130)에 대한 정확한 정보를 획득할 수 있다.
일 실시 예에 따른 카메라 모듈(100)는 ToF 기능을 이용하여 깊이 정보를 추출할 수 있기 때문에, 본 개시에서 ToF 카메라 모듈 또는 ToF 모듈과 혼용되어 이해될 수 있다.
광원 어레이(1100)은 출력할 광을 생성하여 객체(130)에 조사할 수 있다. 이때, 광원 어레이(1100)은 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 광을 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 광을 펄스파나 지속파 형태로 생성함으로써, 카메라 모듈(100)는 광원 어레이(1100)로부터 출력된 광과 객체로부터 반사된 후 카메라 모듈(100)가 수신한 광 사이의 위상 차를 결정할 수 있다.
광원 어레이(1100)은 생성된 광을 기설정 노출주기 동안 객체(130)에 조사할 수 있다. 노출주기란 1개의 프레임 주기를 의미할 수 있다. 복수의 프레임을 생성하는 경우, 설정된 노출주기가 반복될 수 있다. 예를 들어, 카메라 모듈(100)가 20 FPS로 객체를 촬영하는 경우, 노출주기는 1/20[sec]가 된다. 그리고 100개의 프레임을 생성하는 경우, 노출주기는 100번 반복될 수 있다.
광원 어레이(1100)은 서로 다른 주파수를 가지는 복수의 광을 생성할 수 있다. 광원 어레이(1100)은 서로 다른 주파수를 가지는 복수의 광을 순차적으로 반복하여 생성할 수 있다. 또는, 광원 어레이(1100)은 서로 다른 주파수를 가지는 복수의 광을 동시에 생성할 수도 있다.
일 실시 예에 따른 광원 어레이(1100)은 광원들을 통해 광을 객체(1100)로 출력할 수 있다. 광원 어레이(1100)은 광원들을 포함할 수 있으며 광원들 각각은 서로 독립적으로 광을 출력할 수 있다. 예를 들면, 광원들은 서로 상이한 세기의 광을 출력할 수 있고, 서로 상이한 주파수의 광을 출력할 수 있고, 서로 상이한 위상의 광을 출력할 수 있고, 서로 상이한 딜레이 타임을 갖는 광을 출력할 수 있다. 각각의 광원들은 발광 다이오드를 포함할 수 있다.
일 실시 예에 따른 리시버(120)는 수신 픽셀들을 통해 광을 수신할 수 있다. 리시버(120)는 광원 어레이(1100)에서 출력된 광이 객체(130)에 반사되어 획득되는 반사광을 수신할 수 있다. 리시버(120)는 수신 픽셀들을 포함할 수 있으며 수신 픽셀들 각각은 서로 독립적으로 광을 수신할 수 있다. 예를 들면, 수신 픽셀들은 서로 상이한 타이밍에 광을 수신할 수 있고, 서로 상이한 필터링 방식으로 광을 수신할 수 있다.
일 실시 예에 따른 리시버(120)는 렌즈(미도시) 및 이미지 센서를 포함할 수 있다. 렌즈는 객체(130)로부터 반사된 광을 집광하여 이미지 센서(미도시)에 전달할 수 있다. 이미지 센서는 광을 수신하고, 수신한 광에 대응되는 전기 신호를 생성할 수 있다.
일 실시 예에 따를 때, 광원 어레이(1100)은 시간의 흐름에 따라 상이한 주파수의 광을 출력할 수 있다. 예를 들면, 광원 어레이(1100)은 노출주기의 첫 절반 동안은 주파수 f1인 광을 출력하고, 나머지 절반의 노출주기 동안은 주파수 f2인 광을 출력할 수 있다.
일 실시 예에 따를 때, 광원 어레이(1100)에 포함된 복수의 발광 다이오드 중 일부 발광 다이오드는 주파수 f1인 광을 출력하고, 나머지 발광 다이오드는 주파수 f2인 광을 출력할 수 있다.
광원 어레이(1100)에 포함된 복수의 발광 다이오드를 제어하기 위해서, 광원 어레이(1100)은 광변조기를 포함할 수 있다.
광원 어레이(1100)은 광을 생성할 수 있다. 광원 어레이(1100)이 생성하는 광은 파장이 770 내지 3000nm인 적외선 일 수 있으며, 파장이 380 내지 770 nm인 가시광선 일 수도 있다. 광원 어레이(1100)은 발광 다이오드(Light Emitting Diode, LED)를 이용할 수 있으며, 복수의 발광 다이오드가 일정한 패턴에 따라 배열된 형태를 가질 수 있다. 광원 어레이(1100)은 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수도 있다. 또는, 광원 어레이(1100)은 VCSEL(Vertical Cavity Surface Emitting Laser)일 수도 있다. VCSEL은 전기 신호를 광으로 바꾸어 주는 레이저 다이오드 중 하나이며, 약 800 내지 1000nm인 파장, 예를 들어 약 850nm 또는 약 940nm 파장을 사용할 수 있다.
광원 어레이(1100)은 일정 시간 간격으로 점멸(on/off)을 반복하여 펄스파 형태나 지속파 형태의 광을 생성할 수 있다. 일정 시간 간격은 광의 주파수일 수 있다. 광원 어레이의 점멸은 광변조기에 의해 제어될 수 있다.
광변조기는 광원 어레이(1100)의 점멸을 제어하여 광원 어레이(1100)이 지속파나 펄스파 형태의 광을 생성하도록 제어할 수 있다. 광변조기는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 광원 어레이(1100)이 지속파나 펄스파 형태의 광을 생성하도록 제어할 수 있다.
일 실시 예에 따른 프로세서(1000)는 광원 어레이(1100)이 출력한 광과 리시버(120)가 수신한 광의 위상 차를 이용해서 객체(130)에 대한 깊이 정보를 획득할 수 있다. 리시버(120)는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 참조 신호의 주파수는 광원 어레이(1100)으로부터 출력된 광의 주파수와 동일하게 결정될 수 있다. 따라서, 광원 어레이(1100)이 복수의 주파수로 광을 생성하는 경우, 리시버(120)는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성할 수 있다. 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다.
일 실시 예에 따른 참조 신호는 4개(C1 내지 C4)일 수 있다. 각 참조 신호(C1 내지 C4)는 광원 어레이(1100)이 출력한 광과 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 참조 신호 중 하나(C1)는 광원 어레이(1100)이 출력한 광과 동일한 위상을 가질 수 있다. 객체(130)로부터 반사되어 획득된 광은 광원 어레이(1100)이 출력한 광이 객체(130)로부터 반사되어 돌아오는 거리만큼 위상이 지연될 수 있다. 리시버(120)는 수신된 광과 각 참조 신호를 각각 믹싱(mixing)하여 Q1 내지 Q4 신호를 각 참조 신호별로 생성할 수 있다.
리시버(120)는 복수의 픽셀이 그리드 형태로 배열된 구조로 구성된 이미지 센서를 포함할 수 있다. 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있으며, CCD(Charge Coupled Device) 이미지 센서일 수도 있다. 또한, 이미지 센서는 객체로부터 반사되는 적외선 광을 수신하여 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다.
구체적으로, 영상 처리부(150)는 전기신호의 전하량 정보를 이용하여 출력광과 입력광 사이의 위상차를 계산할 수 있다.
상술된 바와 같이, 광원 어레이(1100)에서 출력되는 광의 주파수마다 4개의 전기 신호가 생성될 수 있다. 따라서, 프로세서(1000)는 아래의 수학식 1을 이용하여 광원 어레이(1100)에서 출력되는 광과 리시버(120)가 수신하는 광 사이의 위상차(t d)를 결정할 수 있다.
Figure PCTKR2019013135-appb-img-000001
여기서, Q 1 내지 Q 4는 4개의 전기 신호 각각의 전하 충전량일 수 있다. Q 1은 광원 어레이(1100)에서 출력되는 광과 동일한 위상의 기준신호에 대응하는 전기 신호의 전하량이고, Q 2는 광원 어레이(1100)에서 출력되는 광보다 위상이 180도 느린 기준신호에 대응하는 전기 신호의 전하량이고, Q 3는 광원 어레이(1100)에서 출력되는 광보다 위상이 90도 느린 기준신호에 대응하는 전기 신호의 전하량이고, Q 4는 광원 어레이(1100)에서 출력되는 광보다 위상이 270도 느린 기준신호에 대응하는 전기 신호의 전하량일 수 있다.
그러면, 프로세서(1000)는 광원 어레이(1100)에서 출력되는 광과 리시버(120)가 수신하는 광의 위상차를 이용하여 객체(130)와 카메라 모듈 (100) 사이의 거리를 결정할 수 있다. 이때, 일 실시 예에 따른 프로세서(1000)는 수학식 2를 이용하여 객체(130)와 카메라 모듈(100) 사이의 거리(d)를 결정할 수 있다.
Figure PCTKR2019013135-appb-img-000002
여기서, c는 빛의 속도이고, f는 출력광의 주파수일 수 있다.
일 실시 예에 따를 때, 카메라 모듈 (100)로부터 ToF IR 영상 및 깊이(depth) 영상을 획득할 수 있다.
*일 실시 예에 따른 프로세서(1000)는 광원 어레이(1100)이 광을 출력한 시점과 리시버(120)가 광을 수신한 시점의 차이를 이용해서 객체(130)에 대한 깊이 정보를 획득할 수 있다. 광원 어레이(1100)은 레이저나 적외선 등의 광을 객체(130)에 출력하고, 반사되어 되돌아오는 광을 수신하여 시간 차이를 계산함으로써 깊이 정보를 획득할 수 있다.
도 2는 일 실시 예에 따른 카메라 모듈(100)의 단면도를 도시한다.
도 2를 참조하면, 카메라 모듈(100)는 렌즈 어셈블리(200), 이미지 센서(250) 및 인쇄회로기판(260)을 포함한다. 도 1의 프로세서(1000) 등은 인쇄회로기판(260) 내에서 구현될 수 있다. 도시되지 않았으나, 도 1의 광원 어레이(1100)은 인쇄회로기판(260) 상에서 이미지 센서(250)의 측면에 배치되거나, 카메라 모듈(100)의 외부, 예를 들어 카메라 모듈(100)의 측면에 배치될 수 있으나, 이에 제한되지 않는다.
렌즈 어셈블리(200)는 렌즈(230), 렌즈 배럴(210), 렌즈 홀더(221, 222) 및 IR 필터(240)를 포함할 수 있다.
렌즈(230)는 복수 매로 구성될 수 있으며, 1매로 구성될 수도 있다. 렌즈(230)가 복수 매로 구성될 경우 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 광학계의 광축(Optical axis)과 동일할 수 있다.
렌즈 배럴(210)은 렌즈 홀더(221, 222)와 결합되며, 내부에 렌즈를 수용할 수 있는 공간이 마련될 수 있다. 렌즈 배럴(210)은 하나 또는 복수의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 이용한 방식 등 다른 방식으로 결합될 수 있다.
렌즈 홀더(221, 222)는 렌즈 배럴(210)과 결합되어 렌즈 배럴(210)을 지지하고, 이미지 센서(250)가 탑재된 인쇄회로기판(260)에 결합될 수 있다. 렌즈 홀더(221, 222)에 의하여 렌즈 배럴(210) 하부에 IR 필터(240)가 부착될 수 있는 공간이 형성될 수 있다. 렌즈 홀더(221, 222)의 내주면에는 나선형 패턴이 형성될 수 있고, 이와 마찬가지로 외주면에 나선형 패턴이 형성된 렌즈 배럴(210)과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 렌즈 홀더(221, 222)와 렌즈 배럴(210)은 접착제를 통해 결합되거나, 렌즈 홀더(221, 222)와 렌즈 배럴(210)이 일체형으로 형성될 수도 있다.
렌즈 홀더(221, 222)는 렌즈 배럴(210)과 결합되는 상부 홀더(221) 및 이미지 센서(250)가 탑재된 인쇄회로기판(260)과 결합되는 하부 홀더(222)로 구분될 수 있으며, 상부 홀더(221) 및 하부 홀더(222)는 일체형으로 형성되거나, 서로 분리된 구조로 형성된 후 체결 또는 결합되거나, 서로 분리되어 이격된 구조를 가질 수도 있다. 이때, 상부 홀더(221)의 직경은 하부 홀더(222)의 직경보다 작게 형성될 수 있으나, 이에 제한되지 않는다..
상기의 예시는 일 실시 예에 불과하며, 렌즈(230)는 카메라 모듈(100)로 입사되는 광을 집광하여 이미지 센서(250)로 전달할 수 있는 다른 구조로 구성될 수도 있다.
이미지 센서(250)는 렌즈(230)를 통해 집광된 광을 이용하여 전기 신호를 생성할 수 있다.
이미지 센서(250)는 광원 어레이(1100)의 점멸 주기와 동기화되어 입력되는 광을 검출할 수 있다. 구체적으로 이미지 센서(250)는 광원 어레이(1100)으로부터 출력된 광과 동상(in phase) 및 이상(out phase)에서 각각 광을 검출할 수 있다. 즉, 이미지 센서(250)는 광원 어레이(1100)이 켜져 있는 시간에 광을 흡수하는 단계와 광원 어레이(1100)이 꺼져 있는 시간에 광을 흡수하는 단계를 반복적으로 수행할 수 있다.
이미지 센서(250)는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 참조 신호의 주파수는 광원 어레이(1100)으로부터 출력된 광의 주파수와 동일하게 결정될 수 있다. 따라서, 광원 어레이(1100)이 복수의 주파수로 광을 생성하는 경우, 이미지 센서(250)는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성할 수 있다. 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다.
일 실시 예에 따른 프로세서(1000)는 광원들 각각에서 출력하는 광의 딜레이 타임을 제어하여, 광원들을 통해 출력되는 광의 지향 방향을 결정할 수 있다. 이하에서는 구체적으로 프로세서(1000)가 딜레이 타임을 제어하여 광의 지향 방향을 결정하는 실시 예가 도시된다.
도 3은 일 실시 예에 따른 광원 어레이(1100)이 딜레이 타임의 차이 없이 광을 출력하는 일 예를 나타내는 도면이다.
도 3을 참조하면, 일 실시 예에 따른 광원 어레이(1100)은 복수개의 발광 다이오드(1121 내지 1128)를 포함할 수 있다. 도 3에서는 기재의 편의상 8개의 발광 다이오드(1121 내지 1128)가 개시되어 있으나, 그 개수나 배열 방식은 제한되지 않는다.
복수개의 발광 다이오드(1121 내지 1128)는 어레이의 형태로 배치될 수 있다. 도 3을 참조하면, 복수개의 발광 다이오드(1121 내지 1128)가 일렬로 배치되어 있으나, 이에 제한되지 않는다. 예를 들면, 복수개의 발광 다이오드(1121 내지 1128)는 평면상에서 배치될 수 있다.
복수개의 발광 다이오드(1121 내지 1128) 각각에 제어 신호가 인가될 때, 각각의 블록(1111 내지 1118)에 표시된 값만큼의 타임 딜레이가 발생할 수 있다. 도 3을 참조하면, 복수개의 발광 다이오드(1121 내지 1128)에는 모두 동일하게 ø만큼의 타임 딜레이가 발생한다. 복수개의 발광 다이오드(1121 내지 1128)에는 모두 동일하게 ø만큼의 타임 딜레이가 발생하기 때문에, 복수개의 발광 다이오드(1121 내지 1128)는 모두 같은 시점에 광을 출력할 수 있다. 복수개의 발광 다이오드(1121 내지 1128)가 모두 같은 시점에 광을 출력하는 경우, 광원 어레이(1100)에서 출력되는 광은 정면을 지향하고, 이 경우, 광원 어레이(1100)에서 출력되는 광에서는 특별한 에너지 집중이 나타나지 않을 수 있다.
일 실시 예에 따른 프로세서(1000)는 광원 어레이(1100)으로부터 객체(130)까지의 거리를 결정하고, 결정된 거리가 기설정값 이하인 경우, 광원들 각각에서 출력하는 광의 딜레이 타임을 동일하도록 결정할 수 있다. 광원들 각각에서 출력하는 광의 딜레이 타임이 동일한 경우 도 5와 같이 광이 출력될 수 있다. 광원 어레이(1100)으로부터 객체(130)까지의 거리가 충분히 가까운 경우, 특별히 광의 에너지를 집중시킬 필요가 없기 때문에, 광원 어레이(1100)는 프로세서(1000)의 제어에 따라 도 3과 같이 동작할 수 있다.
다른 실시 예에 따른 프로세서(1000)는 광원 어레이(1100)으로부터 객체(130)까지의 거리를 결정하고, 결정된 거리가 기설정값 초과인 경우, 광원들 각각에서 출력하는 광의 딜레이 타임이 상이하도록 결정할 수 있다. 광원들 각각에서 출력하는 광의 딜레이 타임이 상이한 실시 예는 도 4 내지 도 11에서 개시된다.
도 4는 일 실시 예에 따른 프로세서(1000)가 딜레이 타임을 제어하여 원에 가까운 형상으로 중간에 에너지가 집중되도록 광을 출력하는 일 예를 나타내는 도면이다.
복수개의 발광 다이오드(1121 내지 1128) 각각에 제어 신호가 인가될 때, 각각의 블록(1111 내지 1118)에 표시된 값만큼의 타임 딜레이가 발생할 수 있다. 도 4를 참조하면, 복수개의 발광 다이오드(1121 내지 1128)에는 각각 4ø, 3ø, 2ø, 1ø, 1ø, 2ø, 3ø, 4ø 만큼의 타임 딜레이가 발생할 수 있다.
복수개의 발광 다이오드(1121 내지 1128)에 적용되는 타임 딜레이에 따를 때, 광원 어레이(1100)에서 출력되는 광은 정면을 지향하고, 이 경우, 광원 어레이(1100)에서 출력되는 광에서는 중간으로의 에너지 집중이 나타날 수 있다.
도 4를 참조하면, 프로세서(1000)는 복수개의 발광 다이오드(1121 내지 1128)에 각각 4ø, 3ø, 2ø, 1ø, 1ø, 2ø, 3ø, 4ø 만큼의 타임 딜레이가 발생하도록 제어 신호를 인가함으로써, 원에 가까운 형상으로 중간에 에너지가 집중되도록 광을 출력할 수 있다.
도 5는 일 실시 예에 따른 프로세서(1000)가 딜레이 타임을 제어하여 커브에 가까운 형상으로 중간에 에너지가 집중되도록 광을 출력하는 일 예를 나타내는 도면이다.
*프로세서는 광원들 중 가장자리에 위치한 광원들이 출력하는 광의 딜레이 타임보다 광원들 중 중간에 위치한 광원들이 출력하는 광의 딜레이 타임이 작도록 결정하여, 광의 지향 방향을 중간 방향으로 결정할 수 있다. 광원들 각각은 발광 다이오드를 포함할 수 있다. 구체적으로 광원들은 복수개의 발광 다이오드(1121 내지 1128)로 구현될 수 있다.
복수개의 발광 다이오드(1121 내지 1128) 각각에 제어 신호가 인가될 때, 각각의 블록(1111 내지 1118)에 표시된 값만큼의 타임 딜레이가 발생할 수 있다. 도 5를 참조하면, 복수개의 발광 다이오드(1121 내지 1128)에는 각각 9ø, 6ø, 3ø, 1ø, 1ø, 3ø, 6ø, 9ø 만큼의 타임 딜레이가 발생할 수 있다.
복수개의 발광 다이오드(1121 내지 1128)에 적용되는 타임 딜레이에 따를 때, 광원 어레이(1100)에서 출력되는 광은 정면을 지향하고, 이 경우, 광원 어레이(1100)에서 출력되는 광에서는 중간으로의 에너지 집중이 나타날 수 있다.
도 5를 참조하면, 프로세서(1000)는 복수개의 발광 다이오드(1121 내지 1128)에 각각 9ø, 6ø, 3ø, 1ø, 1ø, 3ø, 6ø, 9ø 만큼의 타임 딜레이가 발생하도록 제어 신호를 인가함으로써, 커브에 가까운 형상으로 중간에 에너지가 집중되도록 광을 출력할 수 있다.
카메라 모듈(100)는 광원 어레이(1100)의 LED(VCSEL)에서 변조된 광이 출력되고 출력된 광은 객체에 반사되어 수신되어 이동시간만큼의 거리를 결정할 수 있다. 카메라 모듈(100)와 객체간의 거리가 커질수록 객체로부터 반사되어 수신된 광은 약해지고, 외란의 영향도 커져서 정확도가 낮아질 수 있다. 그러나, 도 4 또는 도 5에서와 같이 중간에 에너지가 집중되도록 광이 출력될 경우, 카메라 모듈(100)는 동일한 하드웨어로 구현됨에 불구하고, 장거리에 대해서 보다 정확한 깊이 정보를 획득할 수 있다.
따라서, 광원 어레이(1100)(예: LED)의 광 출력이 장거리에서 낮아지는 문제점이 해결될 수 있다. 광원 어레이(1100)이 어레이 형식으로 배치된 복수개의 발광 다이오드(1121 내지 1128)를 포함할 때, 수개의 발광 다이오드(1121 내지 1128)에서 출력되는 광에 대한 딜레이 타임을 제어하여 광원 어레이(1100)에서 출력되는 광을 빔포밍시켜 출력되는 광의 에너지를 특정 방향 또는 특정 위치로 집중시킬 수 있다. 따라서, 광원 어레이(1100)은 동일한 하드웨어 조건에서 저전력으로 장거리에 대한 깊이 정보를 보다 정확하게 획득할 수 있다.
또한, 카메라 모듈(100)는 휴대폰의 후면 카메라, 차량의 정방향 카메라, 차량의 후방 카메라 등 깊이 정보가 요구되는 각종 장치에서 이용될 수 있다.
도 6은 일 실시 예에 따른 프로세서(1000)가 광의 지향 방향을 좌측으로 결정하여 광을 출력하는 일 예를 나타내는 도면이다.
일 실시 예에 따른 프로세서(1000)는 광원들 중 제 1 영역에 위치한 광원들이 출력하는 광의 딜레이 타임보다 광원들 중 제 2 영역에 위치한 광원들이 출력하는 광의 딜레이 타임이 작도록 결정하여, 광의 지향 방향을 제 1 영역이 위치한 방향으로 결정할 수 있다.
도 6을 참조하면, 프로세서(1000)는 복수개의 발광 다이오드(1121 내지 1128) 중 광의 출력 방향을 기준으로 오른쪽(도면 상에서 위쪽)에 위치한 발광 다이오드가 출력하는 광의 딜레이 타임보다 광의 출력 방향을 기준으로 왼쪽에 위치한 발광 다이오드가 출력하는 광의 딜레이 타임이 크도록 결정하여, 광의 지향 방향을 광의 출력 방향을 기준으로 왼쪽으로 결정할 수 있다.
도 7은 일 실시 예에 따른 프로세서(1000)가 광의 지향 방향을 우측으로 결정하여 광을 출력하는 일 예를 나타내는 도면이다.
일 실시 예에 따른 프로세서(1000)는 광원들 중 제 1 영역에 위치한 광원들이 출력하는 광의 딜레이 타임보다 광원들 중 제 2 영역에 위치한 광원들이 출력하는 광의 딜레이 타임이 작도록 결정하여, 광의 지향 방향을 제 1 영역이 위치한 방향으로 결정할 수 있다.
도 7을 참조하면, 프로세서(1000)는 복수개의 발광 다이오드(1121 내지 1128) 중 광의 출력 방향을 기준으로 오른쪽(도면 상에서 위쪽)에 위치한 발광 다이오드가 출력하는 광의 딜레이 타임보다 광의 출력 방향을 기준으로 왼쪽에 위치한 발광 다이오드가 출력하는 광의 딜레이 타임이 작도록 결정하여, 광의 지향 방향을 광의 출력 방향을 기준으로 오른쪽으로 결정할 수 있다.
도 8은 일 실시 예에 따른 광원 어레이(1100)이 4*4 픽셀의 2차원 상에서 중간 영역에 에너지가 집중되도록 광을 출력하는 일 예를 나타내는 도면이다.
도 8을 참조하면, 프로세서(1000)는 복수개의 발광 다이오드(1131, 1132) 중 중간 영역에 위치한 발광 다이오드들(1132)이 출력하는 광의 딜레이 타임보다 가장자리에 위치한 발광 다이오드들(1131)이 출력하는 광의 딜레이 타임이 크도록 결정하여, 광의 지향 방향을 중간(정 가운데) 방향으로 결정할 수 있다.
도 9는 일 실시 예에 따른 광원 어레이(1100)이 5*5 픽셀의 2차원 상에서 중간 영역에 에너지가 집중되도록 광을 출력하는 일 예를 나타내는 도면이다.
도 9를 참조하면, 프로세서(1000)는 복수개의 발광 다이오드(1141, 1142, 1143) 중 가장 중간에 위치한 발광 다이오드(1143)가 출력하는 광의 타임 딜레이는 ø, 두 번째 중간에 위치한 발광 다이오드들(1142)이 출력하는 광의 타임 딜레이는 3ø, 가장 가장자리에 위치한 발광 다이오드들(1141)이 출력하는 광의 타임 딜레이는 5ø로 결정하여, 광의 지향 방향을 중간(정 가운데) 방향으로 결정할 수 있다.
도 8 및 도 9에서는 각각 4*4 픽셀과 5*5 픽셀의 경우에 대해 개시하고 있으나, 이에 제한되지 않는다.
도 10은 일 실시 예에 따른 광원 어레이(1100)이 4*4 픽셀의 2차원 상에서 좌측 영역에 에너지가 집중되도록 광을 출력하는 일 예를 나타내는 도면이다.
도 10을 참조하면, 프로세서(1000)는 복수개의 발광 다이오드(1151, 1152, 1153, 1154) 중 가장 우측에 위치한 발광 다이오드들(1151)가 출력하는 광의 타임 딜레이는 ø, 두 번째 우측에 위치한 발광 다이오드들(1152)이 출력하는 광의 타임 딜레이는 2ø, 세 번째 우측에 위치한 발광 다이오드들(1153)이 출력하는 광의 타임 딜레이는 3ø, 가장 좌측에 위치한 발광 다이오드들(1154)이 출력하는 광의 타임 딜레이는 4ø로 결정하여, 광의 지향 방향을 좌측으로 결정할 수 있다.
도 11은 일 실시 예에 따른 광원 어레이(1100)이 4*4 픽셀의 2차원 상에서 좌측 하단영역에 에너지가 집중되도록 광을 출력하는 일 예를 나타내는 도면이다.
도 11을 참조하면, 프로세서(1000)는 복수개의 발광 다이오드(1161, 1162, 1163, 1164) 중 가장 우측 상단에 위치한 발광 다이오드(1161)가 출력하는 광의 타임 딜레이는 ø, 두 번째 우측 상단에 위치한 발광 다이오드들(1162)이 출력하는 광의 타임 딜레이는 2ø, 세 번째 우측 상단에 위치한 발광 다이오드들(1163)이 출력하는 광의 타임 딜레이는 3ø, 그 외 위치에 위치한 발광 다이오드들(1164)이 출력하는 광의 타임 딜레이는 4ø로 결정하여, 광의 지향 방향을 좌측 하단 방향으로 결정할 수 있다.
도 4 내지 도 11에서 확인할 수 있는 바와 같이, 중간 방향으로 광이 출력되는 경우, 출력되는 광은 딜레이 타임이 작은 영역을 향하지만, 광이 오른쪽 또는 왼쪽등으로 편향되는 경우, 출력되는 광은 딜레이 타임이 큰 영역을 향할 수 있다.
도 12 내지 도 14는 액체 렌즈를 이용하여 출력되는 광의 지향 방향을 결정하는 일 예를 나타내는 도면이다.
구체적으로, 도 12를 참조하면, 일 실시 예에 따른 프로세서(1000)는 액체 렌즈를 제어하여 출력되는 광의 에너지를 중간으로 집중시킬 수 있다. 또한, 도 13을 참조하면, 일 실시 예에 따른 프로세서(1000)는 액체 렌즈를 제어하여 출력되는 광의 지향 방향을 좌측으로 결정할 수 있다. 또한, 도 14를 참조하면, 일 실시 예에 따른 프로세서(1000)는 복수개의 액체 렌즈를 제어하여 광원 어레이(1100)에서 출력되는 광의 진행 방향을 결정할 수 있다.
도 15는 일 실시 예에 따라 출력되는 광의 진행 방향이 배선 길이를 고려하여 결정되는 일 예를 나타내는 도면이다.
신호가 전달되는데 걸리는 시간은 배선의 길이에 따라 달라질 수 있다. 배선의 길이가 길면 신호가 전달되는데 걸리는 시간이 길고, 배선의 길이가 짧으면 신호가 전달되는데 걸리는 시간이 짧을 수 있다. 따라서, 프로세서(1000)는 각 광원에서 출력하는 광의 딜레이 타임을 결정할 때, 각 광원에 대한 배선 길이를 고려하여 결정할 수 있다. 예를 들면, 동일한 딜레이 타임으로 신호가 전송될 때, 중간으로 에너지가 집중되어 광이 출력되도록 배선의 길이가 미리 결정되어 있는 경우, 프로세서(1000)는 이와 같은 배선의 길이의 초기 상태를 고려하여, 각 광원이 출력하는 광의 딜레이 타임을 결정할 수 있다.
도 16은 일 실시 예에 따라, 카메라 모듈(100)가 객체에 대한 깊이 정보를 획득하는 방법을 나타내는 흐름도이다.
단계 S1610에서 일 실시 예에 따른 카메라 모듈(100)는 광원 어레이(1100)에서 출력되는 광의 지향 방향을 결정한다. 이 때, 사용자 입력에 따라 카메라 모듈(100)는 광원 어레이(1100)에서 출력되는 광의 지향 방향을 결정할 수 있다. 또는 카메라 모듈(100)는 객체(130)와 광원 어레이(1100) 사이의 거리, 객체(130)가 광원 어레이(1100)을 기준으로 위치한 방향 등에 따라, 광원 어레이(1100)에서 출력되는 광의 지향 방향 또는 광원 어레이(1100)에서 출력되는 광의 에너지 집중 영역 등을 결정할 수 있다.
단계 S1620에서 일 실시 예에 따른 카메라 모듈(100)는 단계 S1610에서 결정된 지향 방향에 따라 광원 어레이(1100)에 포함된 광원들 각각에서 출력되는 광의 딜레이 타임을 결정하고, 단계 S1630에서 일 실시 예에 따른 카메라 모듈(100)는 단계 S1620에서 결정된 딜레이 타임에 따라 광원들을 통해서 서로 다른 딜레이 타임을 갖는 광을 객체(130)를 향해 출력한다.
단계 S1640에서 일 실시 예에 따른 카메라 모듈(100)는 객체(130)로부터 반사된 광을 리시버(120)를 통해 수신하고, 단계 S1650에서 일 실시 예에 따른 카메라 모듈(100)는 객체(130)에 대한 깊이 정보를 획득한다. 예를 들면, 카메라 모듈(100)는 광원 어레이(1100)이 출력한 광과 리시버(120)가 수신한 광의 위상 차를 이용해서 객체(120)에 대한 깊이 정보를 획득할 수 있다. 다른 예로, 카메라 모듈(100)는 광원 어레이(1100)이 광을 출력한 시점과 리시버(120)가 광을 수신한 시점의 차이를 이용해서 객체(130)에 대한 깊이 정보를 획득할 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (9)

  1. 광원들을 통해 광을 객체로 출력하는 광원 어레이;
    상기 객체로부터 반사된 광을 수신하는 리시버; 및
    상기 광원 어레이가 출력한 광과 상기 리시버가 수신한 광의 위상 차를 이용해서 상기 객체에 대한 깊이 정보를 획득하는 프로세서;를 포함하고,
    상기 프로세서는 상기 광원들 각각에서 출력하는 광의 딜레이 타임을 제어하여, 상기 광원들을 통해 출력되는 광의 지향 방향을 결정하는, 카메라 모듈.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 광원들 중 가장자리에 위치한 광원들이 출력하는 광의 딜레이 타임보다 상기 광원들 중 중간에 위치한 광원들이 출력하는 광의 딜레이 타임이 작도록 결정하여, 상기 광의 지향 방향을 중간 방향으로 결정하는, 카메라 모듈.
  3. 제 1 항에 있어서,
    상기 프로세서는 상기 광원들 중 제 1 영역에 위치한 광원들이 출력하는 광의 딜레이 타임보다 상기 광원들 중 제 2 영역에 위치한 광원들이 출력하는 광의 딜레이 타임이 작도록 결정하여, 상기 광의 지향 방향을 제 1 영역이 위치한 방향으로 결정하는, 카메라 모듈.
  4. 제 1 항에 있어서,
    상기 프로세서는 상기 광원 어레이로부터 상기 객체까지의 거리를 결정하고,
    상기 거리가 기설정값 이하인 경우, 상기 광원들 각각에서 출력하는 광의 딜레이 타임을 동일하도록 결정하는, 카메라 모듈.
  5. 제 1 항에 있어서,
    상기 프로세서는 상기 광원 어레이로부터 상기 객체까지의 거리를 결정하고,
    상기 거리가 기설정값 초과인 경우, 상기 광원들 각각에서 출력하는 광의 딜레이 타임이 상이하도록 결정하는, 카메라 모듈.
  6. 광원들을 통해 광을 객체로 출력하는 광원 어레이;
    상기 객체로부터 반사된 광을 수신하는 리시버; 및
    상기 광원 어레이가 광을 출력한 시점과 상기 리시버가 광을 수신한 시점의 차이를 이용해서 상기 객체에 대한 깊이 정보를 획득하는 프로세서;를 포함하고,
    상기 프로세서는 상기 광원들 각각에서 출력하는 광의 딜레이 타임을 제어하여, 상기 광원들을 통해 출력되는 광의 지향 방향을 결정하는, 카메라 모듈.
  7. 광원 어레이에서 출력되는 광의 지향 방향을 결정하는 단계;
    상기 지향 방향에 따라 상기 광원 어레이에 포함된 광원들 각각에서 출력되는 광의 딜레이 타임을 결정하는 단계;
    상기 결정된 딜레이 타임에 따라 상기 광원들을 통해서 서로 다른 딜레이 타임을 갖는 광을 객체를 향해 출력하는 단계;
    상기 객체로부터 반사된 광을 리시버를 통해 수신하는 단계;
    상기 광원 어레이가 출력한 광과 상기 리시버가 수신한 광의 위상 차를 이용해서 상기 객체에 대한 깊이 정보를 획득하는 단계;를 포함하는, 깊이 정보 획득 방법.
  8. 광원 어레이에서 출력되는 광의 지향 방향을 결정하는 단계;
    상기 지향 방향에 따라 상기 광원 어레이에 포함된 광원들 각각에서 출력되는 광의 딜레이 타임을 결정하는 단계;
    상기 결정된 딜레이 타임에 따라 상기 광원들을 통해서 서로 다른 딜레이 타임을 갖는 광을 객체를 향해 출력하는 단계;
    상기 객체로부터 반사된 광을 리시버를 통해 수신하는 단계;
    상기 광원 어레이가 광을 출력한 시점과 상기 리시버가 광을 수신한 시점의 차이를 이용해서 상기 객체에 대한 깊이 정보를 획득하는 단계;를 포함하는, 깊이 정보 획득 방법.
  9. 제 7 항 또는 제 8 항의 방법을 구현하기 위하여 기록매체에 저장된 컴퓨터 프로그램.
PCT/KR2019/013135 2018-10-05 2019-10-07 깊이 정보를 획득하는 방법 및 카메라 모듈 WO2020071885A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/279,257 US20220057508A1 (en) 2018-10-05 2019-10-07 Method and camera module for acquiring depth information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180119342A KR102630250B1 (ko) 2018-10-05 2018-10-05 깊이 정보를 획득하는 방법 및 카메라 모듈
KR10-2018-0119342 2018-10-05

Publications (1)

Publication Number Publication Date
WO2020071885A1 true WO2020071885A1 (ko) 2020-04-09

Family

ID=70054499

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/013135 WO2020071885A1 (ko) 2018-10-05 2019-10-07 깊이 정보를 획득하는 방법 및 카메라 모듈

Country Status (3)

Country Link
US (1) US20220057508A1 (ko)
KR (1) KR102630250B1 (ko)
WO (1) WO2020071885A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4113160A1 (en) * 2021-06-29 2023-01-04 Beijing Xiaomi Mobile Software Co., Ltd. Laser emission module, depth camera and electronic device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4150905A4 (en) * 2020-05-15 2024-07-10 Lumileds Llc IMAGING ARRANGEMENT AND CORRESPONDING METHODS AND SYSTEMS FOR DEPTH MAP GENERATION

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993007530A1 (en) * 1991-10-09 1993-04-15 Hughes Aircraft Company Optical phased arrays
KR20150139831A (ko) * 2013-03-25 2015-12-14 엘지전자 주식회사 깊이 영상 획득 장치 및 그를 이용한 디스플레이 장치
US20170090031A1 (en) * 2015-09-28 2017-03-30 Federico Collarte Bondy Spatial profiling system and method
KR20180013598A (ko) * 2016-07-29 2018-02-07 삼성전자주식회사 빔 스티어링 소자 및 이를 포함하는 광학 장치
US20180189977A1 (en) * 2016-12-30 2018-07-05 Analog Devices Global Light detector calibrating a time-of-flight optical system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101807692B1 (ko) * 2011-06-01 2017-12-12 삼성전자주식회사 다시점 3차원 영상 디스플레이 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993007530A1 (en) * 1991-10-09 1993-04-15 Hughes Aircraft Company Optical phased arrays
KR20150139831A (ko) * 2013-03-25 2015-12-14 엘지전자 주식회사 깊이 영상 획득 장치 및 그를 이용한 디스플레이 장치
US20170090031A1 (en) * 2015-09-28 2017-03-30 Federico Collarte Bondy Spatial profiling system and method
KR20180013598A (ko) * 2016-07-29 2018-02-07 삼성전자주식회사 빔 스티어링 소자 및 이를 포함하는 광학 장치
US20180189977A1 (en) * 2016-12-30 2018-07-05 Analog Devices Global Light detector calibrating a time-of-flight optical system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4113160A1 (en) * 2021-06-29 2023-01-04 Beijing Xiaomi Mobile Software Co., Ltd. Laser emission module, depth camera and electronic device

Also Published As

Publication number Publication date
KR20200039419A (ko) 2020-04-16
US20220057508A1 (en) 2022-02-24
KR102630250B1 (ko) 2024-01-29

Similar Documents

Publication Publication Date Title
US7924411B2 (en) 3-D imaging system
WO2020071885A1 (ko) 깊이 정보를 획득하는 방법 및 카메라 모듈
US4341953A (en) Focus detecting system
WO2016175395A2 (ko) 미러 회전 방식의 다채널 라이더 스캐너 광학계
WO2020067738A1 (ko) 카메라 장치 및 그의 깊이 정보 추출 방법
WO2020040390A1 (ko) 3차원 영상 생성 장치 및 방법
KR930013685A (ko) 3차원 형상 스캔을 위한 고해상도 컴팩트 광학센서
DE60019399D1 (de) Optische messeinrichtung zur messung von objekten auf maschinen
WO2020071886A1 (ko) 깊이 정보를 획득하는 방법 및 카메라 모듈
WO2020032485A1 (ko) 카메라
WO2020067745A1 (ko) 카메라 장치
WO2020071883A1 (ko) 깊이 정보를 획득하는 방법 및 카메라 모듈
DE50108728D1 (de) Parallelverarbeitender optischer Entfernungsmesser
WO2022231349A1 (ko) 카메라 장치
CN109863604A (zh) 具有相位敏感像素的图像传感器
JPS5589819A (en) Focus detector of camera
WO2022154160A1 (ko) 카메라 모듈
WO2019240517A1 (ko) 센싱 방법 및 장치
WO2020218898A1 (ko) 카메라 모듈
WO2020067737A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
WO2024043732A1 (ko) 센서 장치, 라이다 장치 및 차량
WO2024035156A1 (ko) 광 출력 장치 및 이를 포함하는 정보 생성 장치
JPH06317656A (ja) ２次元受光回路素子及び光情報入力処理装置
US20210225925A1 (en) Sensors for simultaneous passive imaging and range finding
US20230058408A1 (en) Imaging element, distance measuring device, and electronic device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19868721

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19868721

Country of ref document: EP

Kind code of ref document: A1