WO2026014635A1 - Tof 센서 및 그 거리 연산 방법 - Google Patents

Tof 센서 및 그 거리 연산 방법

Info

Publication number
WO2026014635A1
WO2026014635A1 PCT/KR2024/095909 KR2024095909W WO2026014635A1 WO 2026014635 A1 WO2026014635 A1 WO 2026014635A1 KR 2024095909 W KR2024095909 W KR 2024095909W WO 2026014635 A1 WO2026014635 A1 WO 2026014635A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
saturated
distance
light
tof sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2024/095909
Other languages
English (en)
French (fr)
Inventor
안병길
정은석
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LX Semicon Co Ltd
Original Assignee
LX Semicon Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LX Semicon Co Ltd filed Critical LX Semicon Co Ltd
Priority to PCT/KR2024/095909 priority Critical patent/WO2026014635A1/ko
Publication of WO2026014635A1 publication Critical patent/WO2026014635A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Definitions

  • the present disclosure relates to a ToF sensor, and more particularly, to a distance calculation (or measurement) method and a ToF sensor when at least one pixel is saturated.
  • a Time of Flight (ToF) sensor is a technology used to measure the distance between objects. These ToF sensors use optical methods to measure the time it takes for light to reflect from an object and return, thereby calculating the distance to that object.
  • One embodiment of the present disclosure is to provide a method and device for detecting saturated pixel(s) in a sensor.
  • An embodiment of the present disclosure provides a method and device for obtaining a distance operation value in a saturated pixel.
  • One embodiment of the present disclosure provides a method and device for correcting and outputting at least one of a phase and a depth from a sensor when at least one pixel is saturated.
  • a Time of Flight (ToF) sensor comprises: a light emitting unit that irradiates light toward an object; a light receiving unit that receives reflected light having a delayed phase from the object; and a processor that calculates a distance to the object based on the reflected light; wherein the processor can estimate a delayed phase value in a second pixel based on a first pixel among a plurality of pixels included in the light receiving unit.
  • the processor can calculate a distance value for the object at the second pixel based on the estimated delay phase value at the second pixel.
  • the processor can detect a saturated pixel area when it is determined that at least one pixel included in the light receiving unit is saturated from the reflected light.
  • the processor may obtain phase image data from the reflected light, and calculate intensity image data, and if the intensity is greater than a threshold, determine that the at least one pixel is saturated.
  • the processor selects a first pixel among a plurality of pixels included in the light-receiving unit, wherein the first pixel may be a pixel that was not used for distance calculation in the detected saturated pixel area.
  • the processor selects a first pixel among a plurality of pixels included in the light-receiving unit, wherein the first pixel may be selected based on predefined ratio information of the second pixel.
  • the second pixel may be a center pixel in the detected saturated pixel area.
  • the processor can correct and output a phase image of the reflected light based on the estimated delay phase value at the second pixel.
  • the processor may output a depth image from the reflected light, and correct the derived depth image based on a delay phase value at the estimated second pixel.
  • the light irradiated from the light emitting unit toward the object may include a point light source or a line light source.
  • a distance calculation method in a ToF sensor includes the steps of: irradiating light toward an object; receiving reflected light having a delay phase from the object; and calculating a distance to the object based on the reflected light; wherein the distance calculation step may include estimating a delay phase value in a second pixel based on a first pixel among a plurality of pixels receiving the reflected light.
  • the distance calculation step may further include a step of calculating a distance value for the object at the second pixel based on the estimated delay phase value at the second pixel.
  • the distance calculation step may further include a step of detecting a saturated pixel area when the at least one pixel is determined to be saturated by the reflected light.
  • the distance calculation step may obtain phase image data from the reflected light, and calculate intensity image data, and if the intensity is greater than a threshold, determine that at least one pixel is saturated.
  • the distance calculation step may include, when the saturated pixel area is detected, selecting a first pixel among a plurality of pixels included in the light-receiving unit, wherein the first pixel may be a pixel that was not used for distance calculation in the detected saturated pixel area.
  • the distance calculation step may, when the saturated pixel area is detected, select a first pixel among a plurality of pixels included in the light-receiving unit, wherein the first pixel may be selected based on predefined ratio information of the second pixel.
  • the second pixel may be a center pixel in the detected saturated pixel area.
  • the distance calculation step may further include a step of correcting and outputting a phase image of the reflected light based on the delay phase value at the estimated second pixel.
  • the distance calculation step may further include a step of calculating a depth image from the reflected light, and correcting and outputting the calculated depth image based on a delay phase value at the estimated second pixel.
  • the light irradiated from the light emitting unit toward the object may include a point light source or a line light source.
  • the senor can more accurately correct and output phase, depth, etc. even when at least one pixel is saturated.
  • Figure 1 is a simplified diagram illustrating a sensor system and an object.
  • Figure 2 is a detailed configuration diagram of the sensor system of Figure 1.
  • FIG. 3 is a waveform diagram illustrating signal processing in the sensor system of FIGS. 1 and 2.
  • Figure 4 is a diagram illustrating the input of an appropriate level of light and the input of reflected light of a saturation level.
  • Figure 5 is a diagram illustrating a distance calculation method for saturated pixels.
  • Figure 6 is a diagram illustrating weight calculation.
  • Figure 7 is a block diagram of the configuration of a ToF sensor.
  • Figure 8 is a flowchart illustrating a distance calculation method in saturated pixels.
  • FIG. 9 is a flowchart illustrating a method for correcting phase information in a sensor when at least one pixel is saturated.
  • FIG. 10 is a flowchart illustrating a method for compensating depth information in a sensor when at least one pixel is saturated.
  • module and “part” used in the following description are given solely for the convenience of writing this specification and do not impart any particularly significant meaning or role to the components themselves. Therefore, the terms “module” and “part” may be used interchangeably.
  • the senor according to the present disclosure is exemplified by a ToF (Time of Flight) sensor, but is not necessarily limited thereto.
  • ToF Time of Flight
  • Figure 1 is a simplified diagram illustrating a sensor system (1) and an object (30).
  • the sensor system (1) may be configured to include a light emitting unit (10) and a light receiving unit (20). At this time, the sensor system (1) may also be referred to as a ToF sensor system.
  • the light emitting unit (10) can be configured to include a light emitting sensor unit (11) and a light emitting lens (12).
  • the light-emitting sensor unit (11) may include multiple light-emitting sources.
  • Each light-emitting source according to the present disclosure may be in the form of a point light source or a line light source.
  • the present invention is not limited thereto.
  • the light emitting unit (10) can irradiate light from at least one light source included in the light emitting sensor unit (11) to an object (30) through a light emitting lens (12).
  • the light receiving unit (20) may be configured to include a light receiving sensor unit (21) and a light receiving lens (22). At this time, the light receiving unit (20) may be described as a ToF sensor.
  • the light receiving unit (20) can receive the light that is reflected from the object (30) by the light emitting unit (10) and delayed by the object (30) through the light receiving lens (22) at the light receiving sensor unit (21).
  • the light receiving sensor unit (21) may include a plurality of pixels that receive delayed light.
  • Fig. 2 is a detailed configuration diagram of the sensor system (1) of Fig. 1.
  • the sensor system (or ToF sensor system) (1) is composed of a light emitting unit (10) and a light receiving unit (20), and light irradiated from the light emitting unit (10) to an object (30) and reflected can be delayed through an environment such as air, i.e., a medium, and then received by the light receiving unit (20).
  • the light emitting unit (10) may be composed of a light emitting sensor unit (11) and a light emitting lens (12).
  • the light-emitting sensor unit (11) is configured to generate light to be irradiated to the object (30).
  • the light emitting sensor part (11) may represent, for example, the remaining part of the light emitting part (10) shown in Fig. 2, excluding the light emitting lens (12).
  • the light emitting sensor unit (11) may include a phase signal generator (210), a light driver (220), and a light source (230).
  • the phase signal generator (210) can generate a signal with a predetermined phase and period and transmit it to the optical driver (220).
  • the phase signal generator (210) can generate signals corresponding to four phases, for example, 0 degrees, 90 degrees, 180 degrees, and 270 degrees. Accordingly, the phase signal generator (210) can generate signals corresponding to the four phases as signals corresponding to the phases of 0 degrees, 180 degrees, 90 degrees, and 270 degrees and sequentially transmit them to the optical driver (220).
  • the phase signal generator (210) may include a configuration such as a multiplexer (MUX) (not shown) or a switch (not shown).
  • MUX multiplexer
  • the multiplexer may be placed between the phase signal generator (210) and the optical driver (220).
  • the optical driver (220) can process (e.g., modulate) a phase signal sequentially generated and received by the phase signal generator (210) and transmit it to the light source (230).
  • the light driver (220) may be a driver configured according to the light source (230). That is, if the light source (230) is a laser light source, it may be a laser driver, and if the light source (230) is an LED light source, it may be an LED driver.
  • the present invention is not limited thereto.
  • the light source (230) can irradiate light to the object (30) according to a signal processed by the light driver (220).
  • the light irradiated to the object (30) through the light emitting unit (10) is reflected through a medium such as air as shown in FIG. 2, and the reflected and delayed light can be received by the light receiving unit (20).
  • the distance (d) between the ToF sensor (1) and the object (30) may be proportional to the phase (i.e., delayed phase).
  • the delayed phase signal can be transmitted to the light receiving sensor (21) through the light receiving lens (22).
  • the light receiving sensor (21) can be configured to include a demodulation unit (240) and a pixel unit (250).
  • the demodulator (240) can demodulate a phase-delayed signal input through the light-receiving lens (22) based on a signal generated from the phase signal generator (210) of the light-emitting unit.
  • the pixel unit (250) can receive, convert, filter, and output a phase delay signal demodulated by the demodulator unit (240).
  • FIG. 3 is a waveform diagram illustrating signal processing in the sensor system (1) of FIGS. 1 and 2.
  • Figure 3 (b) shows the configuration of a depth frame.
  • one depth frame may include signals of different phases generated from a phase signal generator (210).
  • one depth frame may be composed of, for example, four sub-frames. However, this is not limited to this.
  • one depth frame may be composed of two or eight sub-frames.
  • the first subframe may represent data with a phase of 0 degrees, i.e., raw phase
  • the second subframe may represent data with a phase of 180 degrees
  • the third subframe may represent data with a phase of 90 degrees
  • the fourth subframe may represent data with a phase of 270 degrees.
  • the phase of each subframe may be based on the raw phase.
  • each subframe may include a header part and a body part
  • the header part may include an identifier of each subframe
  • the body part may include actual readable data of the corresponding subframe.
  • a depth frame may sequentially have first to fourth sub-frames containing data for each phase, but this is not limited thereto.
  • Figure 3 (c) shows the illumination waveform and the reflection waveform.
  • the delayed phase ( ⁇ ) can be a value between the high portion of the investigated signal waveform and the high portion of the reflected signal waveform.
  • This delayed phase can be calculated using the following mathematical expression 1.
  • Q1 to Q4 can be calculated through measurements of C1 to C4 corresponding to the phase of each subframe in (c) of Fig. 3.
  • C1 to C4 can represent waveforms whose phases are shifted based on the waveform of the investigated signal.
  • Q1 can be derived from the C1 waveform, which is low phase, i.e., has a phase of 0 degrees.
  • Q1 can represent the overlapping portion of the reflected signal and the C1 waveform.
  • Q1 may represent the portion of the C1 waveform excluding the portion corresponding to the phase ( ⁇ ).
  • Q2 can be derived from the C2 waveform with a phase shift of 180 degrees.
  • Q2 can represent the overlapping portion of the reflected signal and the C2 waveform.
  • Q3 can be derived from the C3 waveform, which is 90 degrees out of phase. Q3 can likewise represent the overlapping portion of the reflected signal and the C3 waveform.
  • Q4 can be derived from the C4 waveform, which has a phase shift of 270 degrees. Q4 can likewise represent the overlapping portion of the reflected signal and the C4 waveform.
  • Q1 to Q4 may have different values. However, the values of Q1 to Q4 may be at least less than half of one period of the investigated or reflected signal. In addition, the values of each of Q1 to Q4 may be less than or equal to the delay phase ( ⁇ ) value between the investigated signal and the reflected signal.
  • the intensity (or amplitude) of the reflected signal can be calculated using the following mathematical expression 2.
  • the intensity of the reflected signal can be calculated using the following mathematical expression 3.
  • the distance (d: distance) from the reflected signal to the object (30) can be calculated using the following mathematical expression 4.
  • saturated pixels are described.
  • Stray light is one cause of pixel saturation within a ToF sensor. This stray light can be caused by interference in distance calculations due to multiple paths within the ToF sensor.
  • FIG. 4 is a diagram illustrating the input of an appropriate level and the input of reflected light of a saturation level.
  • Figure 4 (a) shows a case where an appropriate level of reflected light is input to pixels, and a graph according to the intensity of reflected light in a normal state is shown below.
  • the graph of Fig. 4 (a) shows that the intensity of the reflected light at the center pixel is less than the maximum value (max_limit), so it can be called a non-saturated pixel (or normal pixel). Meanwhile, the intensity of the reflected light at the surrounding pixels on the left and right with respect to the center pixel may be symmetrical.
  • the maximum value may be, for example, a reference value for determining saturation.
  • the present invention is not limited thereto and may vary depending on the sensor system.
  • Fig. 4 (b) shows a case where reflected light at a level other than the appropriate level, that is, a saturated level, is input to the pixels, and a graph according to the intensity of the saturated reflected light is shown below.
  • the first surrounding pixels also have values greater than the maximum based on the center pixel and are saturated pixels.
  • the second surrounding pixels based on the center pixel may be a boundary portion (410, 420) even if they are not the maximum.
  • the boundary portion (410, 420) may refer to a pixel corresponding to the boundary with pixels that receive reflected light but do not receive reflected light above a threshold value.
  • This boundary portion (or boundary pixel) (410, 420) may, for example, receive only reflected light of the level of background brightness.
  • the reflected light input corresponding to the background brightness may act as noise.
  • the reflected light input may not be sufficient to be used for distance calculation.
  • the center pixel and the first surrounding pixels are saturated pixels, and the second surrounding pixels are non-saturated pixels.
  • the first surrounding pixels above may represent pixels positioned closer to the center pixel than the second surrounding pixels.
  • Figure 5 is a diagram illustrating a distance calculation method for saturated pixels.
  • S SL represents the center pixel among the saturated pixels
  • S 1 , S 5 , S 6 , S 7 , S 10 , S 11 , etc. represent the first surrounding pixels
  • S x , S 2 , S 3 , S 4 , S 8 , S 9 , etc. represent the second surrounding pixels.
  • S x may not receive the desired level of reflected light. S x may only receive a value (S b ) at the level of background brightness (noise).
  • S SL can affect S x at a certain level of ratio.
  • the affected value is named, for example, S a
  • the present disclosure can estimate the saturated position, i.e., the original signal S SL of the pixel, by using S a in the above mathematical expressions 5 and 6.
  • ⁇ SL can be determined based on information about how S SL affects S x .
  • the information can include, for example, information about a predefined ratio at which a pixel affects surrounding pixels.
  • Such predefined ratios can include, for example, a Point Spread Function (PSF), a Look-Up Table (LUT), etc.
  • S SL signal Based on the information affected by S SL at the S x location (e.g. PSF), we can have S SL signal with a ratio of ⁇ SL .
  • S b may be a negligible value. Therefore, the value obtained by subtracting S b from S x can be approximated as S a .
  • S x may represent an area where no valid light enters from an existing pixel.
  • S 2 , S 3 , S 4 , S 8 , S 9 , etc. may also represent areas where no valid light enters from an existing pixel, similar to the aforementioned S x .
  • S x must have a brightness greater than or equal to S b (the minimum level of value that is not recognized as noise), and it is desirable that it is not saturated.
  • S b can also be inferred based on intensity and exposure time.
  • S b may be ignored when it is below a certain level.
  • S b be a sufficiently small value. Therefore, when S SL does not saturate, it is desirable that S b be a pixel location that hardly receives reflected light.
  • Figure 6 is a diagram illustrating weight calculation.
  • the weights (W) can be calculated based on the selection of pixels of interest, the intensity and noise tendency of the selected pixels of interest, and the distance of the pixels of interest.
  • the weights calculated in this way can be used by averaging.
  • a center pixel may be selected as a pixel of interest. Meanwhile, first pixels surrounding the center pixel may also be selected as pixels of interest.
  • the weight-based averaging method described above can be referenced in acquisition of 4-phase sample data, acquisition of distance data, etc. according to the present disclosure.
  • ⁇ ' SL can be obtained by performing normalization by dividing by the sum of the weights of all target pixels (or pixels of interest) (W sum ).
  • the pixel distance W d of S x (the distance from the saturation center pixel to the S x pixel) may be weighted to perform normalization.
  • S' SL can be defined as in mathematical expression 9 below.
  • M may be a value indicating a pixel location that is ignored in the distance calculation from the general intensity to the noise level intensity.
  • the noise level intensity may represent, for example, the background level.
  • ⁇ SL may be a value representing a weight obtained from a stray light model.
  • ⁇ d can be a value representing a weight for the distance from S SL .
  • Re and Im signals can be generated based on S' SL calculated by mathematical expression 9. Then, a delay phase value ( ⁇ ) can be calculated according to mathematical expression 10, and the calculated delay phase value ( ⁇ ) can be converted into a measured distance D' SL as in mathematical expression 11.
  • a distance operation is performed at a location S x where the brightness is above a certain level, and the D' SL value can be estimated from the distance value Dx.
  • the distance value can be obtained from pixels corresponding to S x , S 2 , S 3 , S 4 , S 8 , S 9 , etc. in Fig. 5, i.e., non-saturated pixels, according to the weight sum method.
  • the number of pixels is a threshold, it can represent, for example, 2 or less.
  • the distance value obtained from the saturated pixel may be a distorted value, so when calculating the measured distance to the object (30) including the distance value of the saturated pixel, an accurate distance value cannot be obtained.
  • the location of a saturated pixel is detected by referring to a pixel at that location in a situation where saturation occurs, and a distance value from the saturated pixel can be calculated from a delay phase value.
  • the amplitude may be below a certain level. Furthermore, even when the signal level of the received signal is low, the amplitude may be below a certain level.
  • Fig. 7 is a block diagram of the configuration of a ToF sensor (20).
  • the ToF sensor (20) may include a data input unit (710), a saturation detection unit (720), a first operation unit (730), a weight generation unit (740), a data generation unit (750), a second operation unit (760), a multiplexer (MUX) (770), a conversion unit (780), etc.
  • the data input unit (710) can receive reflected light having a delayed phase, i.e., a reflected signal, irradiated to an object (30) through the light emitting unit (10).
  • the reflected signal received in this manner can be input to at least one of the saturation detection unit (720), the first operation unit (730), the weight generation unit (740), and the data generation unit (750).
  • the input can be input in frame units.
  • the frame unit can be any one of a phase unit frame, a depth frame, etc.
  • the phase unit frame can refer to a sub-frame unit corresponding to each phase unit described above, i.e., 0 degrees, 180 degrees, 90 degrees, and 270 degrees.
  • the saturation detection unit (720) can detect whether a pixel is saturated. At this time, if a brightness higher than a threshold is detected, it can be estimated that at least one pixel is saturated.
  • the saturation detection unit (720) can detect a saturated pixel when at least one pixel is estimated to be saturated.
  • the first operation unit (730) can calculate the amplitude and phase value of a signal reflected from a signal input from the data input unit (710).
  • the weight generation unit (740) can generate a weight for at least one selected pixel of interest.
  • the data generation unit (750) can obtain sampling data.
  • the data generation unit (750) can obtain sampling data from non-saturated pixels.
  • the second operation unit (760) can calculate the amplitude and phase value of a signal based on the sampling data obtained from the data generation unit (750) from the signal input from the data input unit (710).
  • Information about whether a saturated pixel is detected in the saturation detection unit (720), information about the detected saturated pixel, etc. can be transmitted to the multiplexer (MUX) (770).
  • the amplitude value and delay phase value calculated based on the sampling data received from the first operation unit (730) can be transmitted to a multiplexer (MUX) (770).
  • MUX multiplexer
  • the amplitude value and delay phase value calculated based on the sampling data received from the data generation unit (750) in the second operation unit (760) can be transmitted to a multiplexer (MUX) (770).
  • MUX multiplexer
  • the multiplexer (MUX) (770) can receive a value calculated in the first operation unit (730) and a value calculated in the second operation unit (760) and output a specific value to the conversion unit (480). At this time, the multiplexer (MUX) (770) can output either the value calculated in the first operation unit (730) or the value calculated in the second operation unit (760) as a specific value. At this time, the output can be an output value in pixel units.
  • the multiplexer (MUX) (770) can receive the output of the saturation detection unit (720) as input.
  • the multiplexer (MUX) (770) can refer to the output value of the saturation detection unit (720) that is input.
  • a pixel-by-pixel operation value is output from a multiplexer (MUX) (770) to a conversion unit (780)
  • MUX multiplexer
  • a value indicating that the pixel is a saturated pixel is input from a saturation detection unit (720)
  • a value calculated from a second operation unit (760) rather than a value calculated from a first operation unit (730)
  • This operation can be performed on a pixel-by-pixel basis or a pixel area basis.
  • the pixel area unit may refer to an area of a group unit including pixels with a saturation probability greater than a threshold value located around a pixel where saturation has occurred.
  • the PSF ratio may be referred to, for example.
  • the conversion unit (780) can convert the output value of the multiplexer (MUX) (770) into a distance value with respect to the object (30).
  • the configurations of the ToF sensor (20) of FIG. 7 described above can be implemented in the form of a single chip. Depending on the embodiment, the configurations of the ToF sensor (20) of FIG. 7 can be implemented as multiple chips.
  • the configurations excluding the data input unit (410), multiplexer (MUX) (770), and conversion unit (480) can be implemented in the form of a single chip, and for convenience, can be described by being named a processor.
  • all of the configurations of the ToF sensor (20) shown in FIG. 7 except for the data input unit (410) may be implemented in the form of a single chip, and may be the processor described above.
  • the processor may further include one or more configurations in addition to the configuration of FIG. 7 described above.
  • These processors can perform a controller function for the overall operation of the ToF sensor system (1).
  • the processor may exist separately as a controller that controls the operation of the components of the ToF sensor (20) of FIG. 7.
  • the operation control of the components of the ToF sensor (20) of FIG. 7 may be performed by a component (e.g., a timing controller (Tcon)) that performs a controller function of the device.
  • a component e.g., a timing controller (Tcon)
  • Tcon timing controller
  • the present disclosure discloses a distance calculation method in a pixel where saturation occurs in a ToF sensor (20), i.e., a saturated pixel.
  • the light-receiving unit (20) in particular may have a function of performing a demodulation method for the amplitude modulation method of the light-emitting unit (10).
  • the light receiving unit (20) can determine the amplitude, delayed phase, and intensity according to the input N (where N is a natural number) samplings. Meanwhile, N may be 3 or more.
  • the light receiving unit (20) can convert the delayed phase into a distance value.
  • the light receiving unit (20) can determine whether the target pixel is saturated based on the pre-calculated amplitude and brightness information. That is, the light receiving unit (20) can detect a saturated pixel.
  • the light receiving unit (20) can have information about the PSF ratio described above, for example, it can recollect N sampling information by referring to the PSF ratio from the surrounding non-saturated pixel(s) and estimate the phase delay value for the non-operational pixel, i.e., the saturated pixel.
  • the light receiving unit (20) can convert the estimated phase delay value into a distance value.
  • Figure 8 is a flowchart illustrating a distance calculation method in saturated pixels.
  • Fig. 8 is described from the perspective of a processor within the ToF sensor system (1).
  • the processor may be a controller that controls the overall operation of the ToF sensor system (1).
  • the processor can irradiate modulated light to an object (30) through a light emitting unit (10).
  • the processor can receive the investigated modulated light reflected from the object (30) and the delayed light at the light receiving unit (20).
  • the processor can select the first pixel.
  • the first pixel may include a pixel that was not used in the distance calculation.
  • a pixel that was not used for distance calculation refers to a pixel that was not used for distance calculation in a normal situation, i.e., when the pixel was not saturated. That is, when a certain pixel is a saturated pixel (or a central saturated pixel), when saturation did not occur in the pixel, the pixel that was not used for distance calculation in the pixel may be the first pixel.
  • the processor may select the first pixel, for example, based on PSF ratio information, when a second pixel, i.e., a saturated pixel, is detected.
  • the processor can estimate a delay phase value of a second pixel based on the selected first pixel.
  • the second pixel may be one of the pixels in the pixel area where saturation is estimated to have occurred due to the received delayed reflected light signal.
  • the second pixel may represent the pixel where saturation occurred or the center pixel where saturation occurred.
  • the processor can calculate a distance value at the second pixel using a delay phase value of the second pixel estimated based on the first pixel.
  • At least one of the first pixel and the second pixel described above may be plural.
  • the first pixel and the second pixel may be automatically selected by the processor or may refer to the detection result of the saturation detection unit (720).
  • the processor may compute the distance value at the same saturated pixel multiple times.
  • the calculated distance value can be judged to have low reliability.
  • the processor can be controlled to re-execute the entire process or part of the process.
  • the calculated distance value can be judged to have high reliability.
  • the processor may select one of the maximum, median, or minimum values among the calculated distance values and use it as the distance value of the corresponding saturated pixel.
  • the processor may use the average value.
  • the processor may compute distance values from a central saturated pixel and at least one of the surrounding first saturated pixels, rather than computing distance values from the same saturated pixel multiple times.
  • the processor may be controlled to re-perform the entire process or part of the process.
  • the processor can determine that the calculated distance value from the central saturated pixel has high reliability.
  • the processor can use the calculated distance value of the central saturated pixel as the distance value of the corresponding saturated pixel.
  • the processor may use the average value of the operation distance values of the central saturated pixel and the surrounding first saturated pixels.
  • the processor may re-perform the entire process or part of the process repeatedly as described above.
  • the processor may re-perform the aforementioned operations after newly selecting at least one of the first or second pixels in the above case.
  • the processor may include an artificial intelligence learning engine, and may learn using the aforementioned saturated pixel and distance operation values as input or training datasets.
  • the results learned in this way can be used as a reference for judging the reliability of distance operation values in saturated pixels.
  • the artificial intelligence learning engine (or model).
  • the artificial intelligence learning engine can be used to select the first pixel and the second pixel in the present disclosure.
  • the artificial intelligence learning engine can be used to detect a specific amplitude abnormality after the century image is produced in FIGS. 9 and 10 described below, i.e., to determine whether pixel saturation has occurred.
  • the processor can measure or calculate the distance to the object (30) using or including the distance calculation value from the second pixel.
  • FIG. 9 is a flowchart illustrating a method for correcting phase information in a sensor when at least one pixel is saturated.
  • the processor can acquire a delayed phase image.
  • the processor can derive the intensity from the acquired delayed phase image.
  • the processor can determine whether an image above a certain brightness level is detected.
  • the processor can determine whether an image above a certain brightness is detected from the brightness image data generated based on the acquired phase image data.
  • the certain brightness may refer to, for example, the intensity of the received light at which a saturated pixel can be detected.
  • the processor has training data through an artificial intelligence learning model, when an image above a certain brightness is produced, it can be detected that the above-mentioned brightness has occurred, i.e., saturation has occurred.
  • the processor can detect a saturated pixel area if an image having a brightness higher than a specific level is detected as a result of the judgment in operation S230 (i.e., if at least one pixel is estimated to be saturated).
  • the processor can estimate and calculate the value of a saturated pixel within a detected saturated pixel area.
  • the processor can compensate and output a delayed phase image.
  • FIG. 10 is a flowchart illustrating a method for compensating depth information in a sensor when at least one pixel is saturated.
  • the S310 operation is identical to the S210 operation of FIG. 9 described above.
  • the processor can produce amplitude, depth and brightness images based on the acquired delayed phase images.
  • the processor can determine if a certain brightness abnormality is detected.
  • the processor can detect a saturated pixel area if an image having a brightness higher than a specific level is detected as a result of the S330 operation judgment (i.e., if at least one pixel is estimated to be saturated).
  • the processor can estimate and calculate the value of a saturated pixel within a detected saturated pixel area.
  • the processor can correct and output depth images.
  • the distance calculation method according to the present disclosure described above is applicable not only to ToF sensors but also to various fields.
  • the present disclosure is applicable when pixel saturation occurs in sensors or ToF sensors used in various fields such as automobiles, robots, industrial automation, eXtended Reality, and environmental monitoring.
  • the present disclosure relates to a ToF sensor and a distance calculation method thereof, which can measure or calculate the distance to an object more accurately than in the past even in pixels where saturation has occurred, and thus can be applied to various systems including a ToF sensor, and thus has industrial applicability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

ToF 센서 및 그 거리 연산 방법이 개시된다. 본 개시의 다양한 실시예들 중 적어도 하나에 따른 ToF(Time of Flight) 센서는, 오브젝트를 향해 광을 조사하는 발광부; 상기 오브젝트로부터 지연 위상을 가진 반사광을 수광하는 수광부; 및 상기 반사광에 기초하여 상기 오브젝트까지의 거리를 연산하는 프로세서;를 포함하되, 상기 프로세서는, 상기 수광부에 포함된 복수의 픽셀들 중 제1 픽셀에 기초하여 제2 픽셀에서의 지연 위상 값을 추정할 수 있으며, 상기 추정된 제2 픽셀에서의 지연 위상 값에 기초하여, 상기 제2 픽셀에서의 상기 오브젝트에 대한 거리값을 산출할 수 있다.

Description

TOF 센서 및 그 거리 연산 방법
본 개시는 ToF 센서에 관한 것으로, 더욱 상세하게는 적어도 하나의 픽셀이 포화된 경우에 그 거리 연산(또는 측정) 방법 및 ToF 센서에 관한 것이다.
ToF(Time of Flight) 센서는 물체, 즉 오브젝트(object)와의 사이에 거리를 측정하는데 사용되는 기술이다. 이러한 ToF 센서는 광학적인 방법을 이용하여 오브젝트로부터 반사되어 돌아오는 광이 도달하는데 걸리는 시간을 측정함으로써, 해당 오브젝트와의 거리를 산출할 수 있다.
이와 같이, ToF 센서에서 광학적인 방법으로 오브젝트와의 거리를 측정함에 있어서, 대상 오브젝트가 근거리에 있거나, 거리가 다소 멀지라도 반사율이 높은 물체에게 반사되는 등의 경우에는, 수광되는 광에 의해 픽셀들이 포화가 되는 경우가 있다.
픽셀들에 포화가 발생한 경우에는, 해당 픽셀들에서 연산된 거리 값에 왜곡이 발생하게 된다. 따라서, 포화 픽셀들의 거리 연산 값을 포함하여 ToF 센서에서 대상 오브젝트와의 사이의 거리 측정 값은 정확성이 떨어져 문제가 있다.
이와 같이, ToF 센서의 픽셀들에 포화가 발생하는 경우에도 보다 정확하게 대상 오브젝트와의 거리를 연산 내지 측정하는 방법이 요구된다.
본 개시의 일실시예는 센서(sensor)에서 포화 픽셀(들)(saturated pixel(s))을 검출하는 방법 및 장치를 제공하고자 한다.
본 개시의 일실시예는 포화된 픽셀에서의 거리(distance) 연산 값 획득 방법 및 장치를 제공하고자 한다.
본 개시의 일실시예는 적어도 하나 이상의 픽셀이 포화된 경우, 센서에서 위상(phase) 및 깊이(depth) 중 적어도 하나를 보정하여 출력하는 방법 및 장치를 제공하고자 한다.
실시예의 기술적과제는 본 항목에 기재된 것에 한정되지 않으며 발명의 설명을 통해 파악될 수 있는 것을 포함한다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 ToF(Time of Flight) 센서는, 오브젝트를 향해 광을 조사하는 발광부; 상기 오브젝트로부터 지연 위상을 가진 반사광을 수광하는 수광부; 및 상기 반사광에 기초하여 상기 오브젝트까지의 거리를 연산하는 프로세서;를 포함하되, 상기 프로세서는, 상기 수광부에 포함된 복수의 픽셀들 중 제1 픽셀에 기초하여 제2 픽셀에서의 지연 위상 값을 추정할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 프로세서는, 상기 추정된 제2 픽셀에서의 지연 위상 값에 기초하여, 상기 제2 픽셀에서의 상기 오브젝트에 대한 거리값을 산출할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 프로세서는, 상기 반사광으로부터 상기 수광부에 포함된 적어도 하나의 픽셀의 포화된 것으로 판단되는 경우, 포화 픽셀 영역을 감지할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 프로세서는, 상기 반사광으로부터 위상 영상 데이터를 획득하고, 밝기(Intensity) 영상 데이터를 산출하여 밝기가 임계치 이상이면, 상기 적어도 하나의 픽셀이 포화된 것으로 판단할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 프로세서는, 상기 포화 픽셀 영역이 감지되면, 상기 수광부에 포함된 복수의 픽셀들 중 제1 픽셀을 선정하되, 상기 제1 픽셀은 상기 감지된 포화 픽셀 영역에서의 거리 연산에 이용되지 않았던 픽셀일 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 프로세서는, 상기 포화 픽셀 영역이 감지되면, 상기 수광부에 포함된 복수의 픽셀들 중 제1 픽셀을 선정하되, 상기 제1 픽셀은 상기 제2 픽셀의 미리 정의된 비율 정보에 기초하여 선정될 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 제2 픽셀은, 상기 감지된 포화 픽셀 영역에서 중심 픽셀일 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 프로세서는, 상기 추정된 제2 픽셀에서의 지연 위상 값에 기초하여 상기 반사광의 위상 영상을 보정하여 출력할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 프로세서는, 상기 반사광으로부터 깊이 영상을 산출하되, 상기 추정된 제2 픽셀에서의 지연 위상 값에 기초하여 상기 산출된 깊이 영상을 보정하여 출력할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 발광부에서 오브젝트를 향해 조사되는 광에는, 점 광원 또는 줄 광원이 포함될 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따른 ToF 센서에서 거리 연산 방법은, 오브젝트를 향해 광을 조사하는 단계; 상기 오브젝트로부터 지연 위상을 가진 반사광을 수광하는 단계; 및 상기 반사광에 기초하여 상기 오브젝트까지의 거리를 연산하는 단계;를 포함하되, 상기 거리 연산 단계는, 상기 반사광을 수광하는 복수의 픽셀들 중 제1 픽셀에 기초하여 제2 픽셀에서의 지연 위상 값을 추정하는 단계를 포함할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 거리 연산 단계는, 상기 추정된 제2 픽셀에서의 지연 위상 값에 기초하여, 상기 제2 픽셀에서의 상기 오브젝트에 대한 거리값을 산출하는 단계를 더 포함할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 거리 연산 단계는, 상기 반사광에 의해 상기 적어도 하나의 픽셀의 포화된 것으로 판단되는 경우, 포화 픽셀 영역을 감지하는 단계를 더 포함할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 거리 연산 단계는, 상기 반사광으로부터 위상 영상 데이터를 획득하고, 밝기(Intensity) 영상 데이터를 산출하여 밝기가 임계치 이상이면, 상기 적어도 하나의 픽셀이 포화된 것으로 판단할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 거리 연산 단계는, 상기 포화 픽셀 영역이 감지되면, 상기 수광부에 포함된 복수의 픽셀들 중 제1 픽셀을 선정하되, 상기 제1 픽셀은 상기 감지된 포화 픽셀 영역에서의 거리 연산에 이용되지 않았던 픽셀일 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 거리 연산 단계는, 상기 포화 픽셀 영역이 감지되면, 상기 수광부에 포함된 복수의 픽셀들 중 제1 픽셀을 선정하되, 상기 제1 픽셀은 상기 제2 픽셀의 미리 정의된 비율 정보에 기초하여 선정될 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 제2 픽셀은, 상기 감지된 포화 픽셀 영역에서 중심 픽셀일 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 거리 연산 단계는, 상기 추정된 제2 픽셀에서의 지연 위상 값에 기초하여 상기 반사광의 위상 영상을 보정하여 출력하는 단계를 더 포함할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 거리 연산 단계는, 상기 반사광으로부터 깊이 영상을 산출하되, 상기 추정된 제2 픽셀에서의 지연 위상 값에 기초하여 상기 산출된 깊이 영상을 보정하여 출력하는 단계를 더 포함할 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 상기 발광부에서 오브젝트를 향해 조사되는 광에는, 점 광원 또는 줄 광원이 포함될 수 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 이미지 센서에서 포화 픽셀(들)을 검출할 수 있는 효과가 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 포화된 픽셀에서도 보다 정확하게 거리(distance) 값을 연산할 수 있는 효과가 있다.
본 개시의 다양한 실시예들 중 적어도 하나에 따르면, 적어도 하나 이상의 픽셀이 포화된 경우에도, 센서에서 보다 정확하게 위상, 깊이 등을 보정하여 출력할 수 있는 효과가 있다.
실시예의 기술적 효과는 본 항목에 기재된 것에 한정되지 않으며 발명의 설명을 통해 파악될 수 있는 것을 포함한다.
도 1은 센서 시스템과 오브젝트를 설명하기 위해 도시한 간략도이다.
도 2는 도 1의 센서 시스템의 상세 구성도이다.
도 3은 도 1 및 2의 센서 시스템에서 신호 처리를 설명하기 위해 도시한 파형도이다.
도 4는 적정 레벨의 입력과 포화 레벨의 반사광의 입력을 설명하기 위해 도시한 도면이다.
도 5는 포화 픽셀의 거리 연산 방법을 설명하기 위해 도시한 도면이다.
도 6은 가중치 산출을 설명하기 위해 도시한 도면이다.
도 7은 ToF 센서의 구성 블록도이다.
도 8은 포화 픽셀에서의 거리 연산 방법을 설명하기 위해 도시한 순서도이다.
도 9는 적어도 하나 이상의 픽셀이 포화된 경우, 센서에서 위상 정보를 보정하는 방법을 설명하기 위해 도시한 순서도이다.
도 10은 적어도 하나 이상의 픽셀이 포화된 경우, 센서에서 깊이 정보를 보정하는 방법을 설명하기 위해 도시한 순서도이다.
이하에서는 도면을 참조하여 상기 과제를 해결하기 위한 실시예에 따른 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다", "가지다" 또는 “구비한다” 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서는, 센서(sensor)에서 포화 픽셀(들)(saturated pixel(s)) 검출 방법 및 장치 제공, 센서에서 포화 픽셀의 거리(distance) 연산 방법 및 장치 제공, 및 센서에서 포화 픽셀을 포함하여 위상(phase) 및 깊이(depth) 중 적어도 하나를 보정하여 출력하는 방법 및 장치를 제공하고자 한다.
여기서, 본 개시에 따른 센서는 ToF(Time of Flight) 센서를 예로 하나, 반드시 이에 한정되는 것은 아니다.
이하 본 개시에 따른 센서 및 센서에서 거리 연산 방법에 대해 설명한다.
도 1은 센서 시스템(1)과 오브젝트(30)를 설명하기 위해 도시한 간략도이다.
도 1을 참조하면, 센서 시스템(1)은 발광부(10)와 수광부(20)를 포함하여 구성될 수 있다. 이 때, 센서 시스템(1)은 ToF 센서 시스템으로 명명할 수도 있다.
발광부(10)는 발광센서부(11)와 발광렌즈(12)를 포함하여 구성될 수 있다.
이 때, 발광센서부(11)는 복수 개의 발광원을 포함할 수 있다. 본 개시에 따른 각 발광원은 점 광원 또는 줄 광원의 형태일 수 있다. 다만, 이에 한정되는 것은 아니다.
발광부(10)는 발광센서부(11)에 포함된 적어도 하나의 발광원에서 발광 렌즈(12)를 거쳐 오브젝트(30)로 광을 조사할 수 있다.
수광부(20)는 수광센서부(21)와 수광렌즈(22)를 포함하여 구성될 수 있다. 이 때, 수광부(20)를 ToF 센서로 명명하여 설명할 수 있다.
수광부(20)는 발광부(10)에서 오브젝트(30)로 조사한 광이 상기 오브젝트(30)에서 반사되어 지연된 광을 수광렌즈(22)를 거쳐 수광센서부(21)에서 수광할 수 있다.
이 때, 수광센서부(21)는 지연 광을 수신하는 복수 개의 픽셀들(pixels)을 포함할 수 있다.
이러한 ToF 센서 시스템(1)의 구성을 더욱 상세하게 설명하면, 다음과 같다.
도 2는 도 1의 센서 시스템(1)의 상세 구성도이다.
도 2를 참조하면, 전술한 바와 같이 센서 시스템(또는 ToF 센서 시스템)(1)은 발광부(10)와 수광부(20)로 구성되고, 발광부(10)에서 오브젝트(30)로 조사되어 반사되는 광은 공기와 같은 환경(Environment), 즉 매질을 거쳐 지연되어 수광부(20)에서 수광될 수 있다.
발광부(10)는 전술한 바와 같이, 발광센서부(11)와 발광렌즈(12)로 구성될 수 있다.
이 때, 발광 센서부(11)는 오브젝트(30)로 조사할 광을 생성하는 구성이다.
발광 센서부(11)는 예를 들어, 도 2에 도시된 발광부(10)에서 발광렌즈(12)를 제외한 나머지 부분을 나타낼 수 있다.
도 2를 참조하면, 발광 센서부(11)는 위상 신호 발생기(phase signal generator)(210), 광 드라이버(light driver)(220) 및 광원(light source)(230)을 포함할 수 있다.
위상 신호 발생기(210)는 소정 위상 및 주기를 가진 신호를 생성하여 광 드라이버(220)로 전송할 수 있다.
이 때, 위상 신호 발생기(210)는 예를 들어, 0도, 90도, 180도 및 270도의 4개의 위상에 상응하는 신호를 발생시킬 수 있다. 따라서, 위상 신호 발생기(210)는 4개의 위상에 상응 신호를 0도, 180도, 90도 및 270도 위상에 상응하는 신호로 발생시켜 순차로 광 드라이버(220)로 전송할 수 있다.
4개 위상의 신호를 광 드라이버(220)로 전송하기 위하여, 위상 신호 발생기(210)는 멀티플렉서(MUX: multiplexer)(미도시)나 스위치(미도시) 등의 구성을 포함할 수 있다. 멀티플렉서는 위상 신호 발생기(210)와 광 드라이버(220) 사이에 배치될 수도 있다.
광 드라이버(220)는 위상 신호 발생기(210)에 의해 순차 발생되어 수신되는 위상 신호를 처리(예를 들어, 변조(modulation))하여 광원(230)으로 전송할 수 있다.
이 때, 광 드라이버(220)는 광원(230)에 따라 구성된 드라이버일 수 있다. 즉, 광원(230)이 레이저 광원(laser light source)이면 레이저 드라이버가 되고, 광원(230)이 LED 광원이면 LED 드라이버가 될 수 있다. 다만, 이에 한정되는 것은 아니다.
광원(230)은 광 드라이버(220)에 의해 처리된 신호에 따라 오브젝트(30)로 광을 조사할 수 있다.
발광부(10)를 통해 오브젝트(30)로 조사된 광은 도 2에 도시된 바와 같이 공기와 같은 매질을 거쳐 반사되고, 반사되어 지연된 광은 수광부(20)에 수광될 수 있다.
따라서, ToF 센서(1)와 오브젝트(30) 사이의 거리(d)는 위상(즉, 지연된 위상)에 비례할 수 있다.
지연된 위상의 신호는 수광부 렌즈(22)를 거쳐 수광부 센서(21)로 전달될 수 있다.
도 2를 참조하면, 수광부 센서(21)는 복조부(240)와 픽셀부(250)를 포함하여 구성될 수 있다.
복조부(240)는 수광부 렌즈(22)를 통해 입력되는 위상 지연된 신호를 발광부의 위상 신호 발생기(210)에서 발생된 신호에 기초하여 복조할 수 있다.
픽셀부(250)는 복조부(240)에서 복조된 위상 지연 신호를 수신하여 변환하고 필터링하여 출력할 수 있다.
도 3은 도 1 및 2의 센서 시스템(1)에서 신호 처리를 설명하기 위해 도시한 파형도이다.
도 3의 (a)에서는 발광부(10)에서 조사된 신호(Emitted signal: g(t))와 위상이 지연되어(phase shift) 수광되는 반사 신호(Reflected signal: s(t))를 나타내었다.
도 3의 (a)를 참조하면, 반사 신호(s(t))는 조사된 신호(g(t))에 비하여 위상이 지연될 뿐만 아니라 파워도 낮아진 것을 알 수 있다.
도 3의 (b)에서는 뎁쓰 프레임(depth frame)의 구성을 나타내었다.
도 3의 (b)를 참조하면, 하나의 뎁쓰 프레임은 위상 신호 발생기(210)에서 생성된 서로 다른 위상의 신호가 포함될 수 있다.
이 때, 가로축의 픽셀 타이밍(pixel timing)을 기준으로 하나의 뎁쓰 프레임은 예를 들어, 4개의 서브 프레임(sub-frame)으로 구성될 수 있다. 다만, 이에 한정되는 것은 아니다. 예컨대, 하나의 뎁쓰 프레임이 2개 또는 8개의 서브 프레임 등으로 구성될 수도 있다.
도 3의 (b)를 참조하면, 제1 서브 프레임은 위상이 0도, 즉 로우 위상(raw phase)의 데이터, 제2 서브 프레임은 위상이 180도에 대한 데이터, 제3 서브 프레임은 위상이 90도에 대한 데이터, 그리고 제4 서브 프레임은 위상이 270도에 대한 데이터를 나타낼 수 있다. 이 때, 각 서브 프레임의 위상은 로우 위상을 기준으로 할 수 있다.
도 3의 (b)에서, 각 서브 프레임은 헤더(header) 파트와 바디(body) 파트를 포함할 수 있으며, 헤더 파트에는 각 서브 프레임의 식별자가 포함될 수 있고, 바디 파트에는 해당 서브 프레임의 읽을 수 있는 실제 데이터가 포함될 수 있다.
한편, 하나의 뎁쓰 프레임은 각 위상의 데이터를 가진 제1 내지 제4 서브 프레임이 순차로 배치될 수 있다. 다만, 이에 한정되는 것은 아니다.
도 3의 (c)에서는 조사(illumination) 파형과 반사(reflection) 파형을 나타내었다.
도 3의 (c)를 참조하면, 지연된 위상(φ)는 조사된 신호 파형의 하이 부분과 반사된 신호 파형의 하이 부분 사이의 값이 될 수 있다. 이러한 지연된 위상은 다음 수학식 1을 통해 계산될 수 있다.
Q1 내지 Q4는 도 3의 (c)에서 각 서브 프레임의 위상에 해당하는 C1 내지 C4 측정(measurement)을 통해 산출될 수 있다. 이 때, C1 내지 C4는 조사된 신호의 파형을 기준으로 각각 위상이 천이된 파형을 나타낼 수 있다.
Q1은 로우 위상, 즉 위상이 0도인 C1 파형으로부터 산출될 수 있다. Q1은 반사 신호와 C1 파형의 오버랩되는 부분을 나타낼 수 있다.
또는, 정의 관점에 따라서, Q1은 C1 파형에서 위상(Φ)에 해당하는 부분을 제외한 부분을 나타낼 수 있다.
Q2는 위상이 180도 C2 파형으로부터 산출될 수 있다. Q2는 반사 신호와 C2 파형의 오버랩되는 부분을 나타낼 수 있다.
Q3는 위상이 90도인 C3 파형으로부터 산출될 수 있다. Q3는 마찬가지로 반사 신호와 C3 파형의 오버랩되는 부분을 나타낼 수 있다.
Q4는 위상이 270도인 C4 파형으로부터 산출될 수 있다. Q4는 마찬가지로 반사 신호와 C4 파형의 오버랩되는 부분을 나타낼 수 있다.
도 3의 (c)에 도시된 바와 같이, Q1 내지 Q4는 서로 상이한 값을 가질 수 있다. 다만, Q1 내지 Q4의 값은 적어도 조사 또는 반사 신호의 한 주기의 반보다 작을 수 있다. 또한, 각 Q1 내지 Q4의 값은 조사 신호와 반사 신호 사이의 지연 위상(φ)값 이하일 수 있다.
한편, 반사된 신호의 세기(또는 진폭)(Amplitude)는 다음 수학식 2를 통해 계산될 수 있다.
또한, 반사 신호의 밝기(Intensity)는 다음 수학식 3을 통해 계산될 수 있다.
한편, 반사 신호로부터 오브젝트(30)까지의 거리(d: distance)는 다음 수학식 4를 통해 계산될 수 있다.
본 개시의 일실시예에 따른 센서에서 포화 픽셀(들) 검출 방법 및 장치와 관련하여, 포화 픽셀에 대해 설명한다.
ToF 센서 내 픽셀의 포화의 원인 중 하나로 스트레이 라이트(stray light)가 있다. 이러한 스트레이 라이트는 ToF 센서 내부의 다중 경로에 의한 거리 연산 간섭에 기인할 수 있다.
관련하여, 도 4는 적정 레벨의 입력과 포화 레벨의 반사광의 입력을 설명하기 위해 도시한 도면이다.
도 4의 (a)는 픽셀들에 적정 레벨의 반사광이 입력되는 경우를 나타내며, 아래에 정상 상태의 반사광의 강도에 따른 그래프가 도시되었다.
도 4의 (a)에서 1번 픽셀을 편의상 중심 픽셀이라 하면, 중심점을 기준으로 주변 픽셀들(2 내지 5)로 갈수록 픽셀들에서 입력받는 반사광의 강도가 점차 약해지는 것을 알 수 있다.
또한, 도 4의 (a)의 그래프는 중심 픽셀에서의 반사광의 강도는 최대치(max_limit) 미만이어서 포화되지 않은 비포화 픽셀(non-saturated pixel or normal pixel)이라고 할 수 있다. 한편, 중심 픽셀을 기준으로 좌우 주변 픽셀들의 반사광의 강도는 대칭일 수 있다. 상기 최대치는 예컨대, 포화 여부를 판단하기 위한 기준값일 수 있다. 다만, 이에 한정되지 않으며, 센서 시스템에 따라 달라질 수 있다.
한편, 도 4의 (b)는 픽셀들에 적정 레벨이 아닌, 즉 포화 레벨의 반사광이 입력되는 경우를 나타내며, 아래에는 포화 상태의 반사광의 강도에 따른 그래프가 도시되었다.
도 4의 (b)에서도 중심 픽셀을 기준으로 제1 주변 픽셀들에서도 최대치 이상을 값을 가지며 포화 픽셀인 것을 알 수 있다.
도 4의 (b)를 참조하면, 중심 픽셀을 기준으로 제2 주변 픽셀들에는 비록 최대치이 아니라고 하더라도 경계 부분(410,420)일 수 있다. 여기서, 경계 부분(410,420)이라 함은, 반사광이 입력은 되나 임계치 이상의 반사광을 입력받지 못하는 픽셀들과의 경계에 해당하는 픽셀을 나타낼 수 있다. 이러한 경계 부분(또는 경계 픽셀)(410,420)은 예를 들어, 단지 배경 밝기 정도의 반사광만을 입력받을 수 있다.
상기에서, 배경 밝기 정도의 반사광 입력은 노이즈(noise)로 작용할 수 있다. 이러한 경계 부분(또는 경계 픽셀)(410,420)에서는 충분한 정도의 반사광을 입력받지 못해 거리 연산에 이용되기에는 충분하지 않을 수 있다.
다시 말해, 도 4의 (b)를 참조하면, 중심 픽셀과 제1 주변 픽셀들이 포화 픽셀이고, 제2 주변 픽셀들은 포화 픽셀이 아닌 비포화 픽셀이다.
한편, 상기에서 제1 주변 픽셀들은 제2 주변 픽셀들에 비하여 중심 픽셀에 더 가까이 배치된 픽셀을 나타낼 수 있다.
도 5는 포화 픽셀의 거리 연산 방법을 설명하기 위해 도시한 도면이다.
SSL은 포화된 픽셀들 중 중심 픽셀을 나타내며, S1, S5, S6, S7, S10, S11 등은 제1 주변 픽셀들을 나타내며, Sx, S2, S3, S4, S8, S9 등은 제2 주변 픽셀들을 나타낼 수 있다.
일반적인 스트레이 라이트 상황은 포화되지 않은 상태의 SSL에서 영향을 받은 부분(Sa)을 제거하여 Sx의 정확한 거리값을 산출하고자 한다.
전술한 바와 같이, SSL이 포화되지 않은 상황인 경우, Sx는 원하는 수준의 반사광을 수광하지 못할 수 있다. Sx는 단지 배경 밝기 정도(노이즈) 수준의 값(Sb)을 입력 받을 수 있다.
반면, SSL이 포화되는 상황, 즉 해당 픽셀이 포화가 발생하는 수준의 광이 수광이 된다면, 내부 반사로 인해 SSL이 인접하는 픽셀들에 주는 영향을 고려하여야 한다.
다시 말해, SSL은 일정 수준의 비율로 Sx에 영향을 줄 수 있다. 이 때, 영향을 준 값을 예를 들어, Sa라고 명명하면, ToF 거리 연산 신호 처리에서는 이 값을 Sx에서 Sa 성분을 제거하는 것이 바람직하다.
이와 같은 상황에서, 본 개시에서는 상기 수학식 5와 6에서의 Sa를 이용하여 포화된 위치, 즉 픽셀의 원 신호 SSL을 추정할 수 있다.
ωSL는 SSL이 Sx에 영향을 준 정보에 따라 결정될 수 있다. 이 때, 상기 정보는 예를 들어, 사전에 해당 픽셀에서 주변 픽셀 영향을 주는 미리 정의된 비율에 대한 정보를 포함할 수 있다. 이러한 미리 정의된 비율에는 예를 들어, PSF(Point Spread Function), LUT(Look-Up Table) 등이 포함될 수 있다.
Sx 위치에서 SSL에 영향을 받은 정보(예를 들어, PSF)에 기초하여, ωSL의 비율로 SSL 신호를 가질 수 있다.
한편, Sx 위치에서는 Sb 수준의 광을 가지고 있으므로 수학식 7과 같이 정의될 수 있다.
상기 수학식 7에 나타난 바와 같이, Sb는 무시할 수 있을 정도의 값일 수 있다. 따라서, Sx에서 Sb를 차감한 값은 Sa로 근사화 될 수 있다.
한편, 도 5 및 상기에서, Sx는 기존 픽셀에서 유효광이 들어오지 않는 영역을 나타낼 수 있다. S2, S3, S4, S8, S9 등도 전술한 Sx와 동일하게 기존 픽셀에서 유효광이 들어오지 않는 영역을 나타낼 수 있다.
다시 말해, Sx는 Sb 수준 이상의 밝기(Noise로 인식되지 않는 최소 수준의 값)를 갖어야 하고, 포화되지 않는 것이 바람직하다.
또한, Sb는 밝기(Intensity)와 노출 시간(Expose Time)에 근거하여 추론될 수도 있다.
한편, 아래 수학식 8과 같이 Sb는 일정 수준 이하인 경우에는 무시될 수도 있다.
수학식 8 및 상기에서와 같이, Sb가 충분히 작은 값인 것이 바람직하다. 따라서, SSL가 포화가 발생하지 않는 경우, Sb는 반사광을 거의 수광하지 못하는 픽셀 위치인 것이 바람직하다.
도 6은 가중치(weight) 산출을 설명하기 위해 도시한 도면이다.
가중치(W)는 관심 픽셀을 선택하고, 선택된 관심 픽셀의 세기 및 노이즈 경향, 그리고 관심 픽셀의 거리에 기초하여 산출될 수 있다.
이렇게 산출된 가중치는 평균화(averaging)하여 이용할 수 있다.
도 6을 참조하면, 중심 픽셀이 관심 픽셀로 선택될 수 있다. 한편, 중심 픽셀 주변의 제1 픽셀들도 관심 픽셀로 선택될 수 있다.
전술한 가중치 기반 평균화 방식은, 본 개시에 따른 4 위상 샘플 데이터 획득, 거리 데이터 획득 등에 참조될 수 있다.
예를 들어, ω'SL는 대상이 되는 모든 픽셀(또는 관심 픽셀)의 가중치를 더한 값(Wsum)으로 나누어 규준화(normalization)을 실시하여 획득할 수 있다.
실시예에 따라서, Sx의 픽셀 거리 Wd(포화 중심 픽셀에서 Sx 픽셀까지의 거리)가 가중되어 규준화를 실시할 수도 있다.
따라서, S'SL은 아래 수학식 9와 같이 정의될 수 있다.
상기 수학식 9에서, M은, 일반적인 밝기(Intensity)에서 노이즈 수준의 밝기로 거리 연산에서 무시되는 픽셀 위치를 나타내는 값일 수 있다. 상기에서, 노이즈 수준의 밝기는 예를 들어, 배경 수준(background level)을 나타낼 수 있다.
ωSL은, 스트레이 라이트 모델로부터 얻어지는 가중치를 나타내는 값일 수 있다.
ωd는, SSL로부터 떨어진 거리에 대한 가중치를 나타내는 값일 수 있다.
본 개시에서는 수학식 9에 의해 산출된 S'SL에 기초하여, Re 및 Im 신호를 생성할 수 있다. 그리고 수학식 10에 따라 지연 위상 값(φ)를 산출하고, 산출된 지연 위상 값(φ)에 기초하여 수학식 11과 같이 측정 거리 D'SL로 변환할 수 있다.
수학식 9 내지 11을 참조하면, 밝기가 일정 레벨 이상을 갖는 Sx 위치에서 거리 연산이 실시되어 거리값 Dx로부터 D'SL 값을 추정될 수 있다.
한편, 밝기가 일정 레벨 이상을 갖는 Sx 위치에서 대상 픽셀 수가 임계치 이하이면, 도 5에서 Sx, S2, S3, S4, S8, S9 등에 해당하는 픽셀, 즉 포화되지 않은 픽셀들로부터 가중치 합(weight sum) 방식에 따라 거리 값을 구할 수도 있다. 상기에서, 픽셀 수가 임계치라 하면 예를 들어, 2개 이하를 나타낼 수 있다.
다시 말해, 포화된 픽셀에서 구한 거리 값은 왜곡된 값일 수 있어, 상기 포화 픽셀의 거리 값을 포함하여 오브젝트(30)까지의 측정 거리를 산출하면, 정확한 거리 값을 구할 수 없게 된다.
이에 본 개시에서는 포화가 발생하지 않는 상황에서 거리 연산에 사용하지 않았던 픽셀의 위치에서의 값에 기초하여, 포화가 발생하는 상황에서 해당 위치에서의 픽셀을 참조하여 포화 픽셀의 위치를 검출하고, 지연 위상 값으로부터 포화 픽셀에서의 거리 값을 연산할 수 있다.
이렇게 연산된 포화 픽셀의 거리 값은 전술한 상황에서의 왜곡된 값이 아니므로, 오브젝트(30)까지의 측정 거리 값 산출 시 보다 정확한 거리 값을 제공할 수 있게 된다.
한편, 포화 상태에서도 진폭이 일정 레벨보다 낮을 수도 있다. 또한, 수광 신호의 신호 레벨이 낮아도 진폭이 일정 레벨보다 낮을 수 있다.
도 7은 ToF 센서(20)의 구성 블록도이다.
도 7을 참조하면, ToF 센서(20)는 데이터 입력부(710), 포화검출부(720), 제1 연산부(730), 가중치생성부(740), 데이터생성부(750), 제2 연산부(760), 멀티플렉서(MUX)(770), 변환부(780) 등이 포함될 수 있다.
데이터 입력부(710)는, 발광부(10)를 통해 오브젝트(30)로 조사되어 지연 위상을 가진 반사광, 즉 반사 신호을 입력받을 수 있다.
이렇게 입력받은 반사 신호는 포화검출부(720), 제1 연산부(730), 가중치생성부(740), 및 데이터생성부(750) 중 적어도 하나로 입력될 수 있다.
이 때, 입력은 프레임 단위로 입력될 수 있다. 상기에서, 프레임 단위는 위상 단위 프레임, 뎁쓰 프레임 등 중 어느 하나일 수 있다. 전자에서 위상 단위 프레임이라 함은, 전술한 각 위상 단위, 즉 0도, 180도, 90도 및 270도에 해당하는 서브 프레임 단위를 나타낼 수 있다.
포화검출부(720)는, 픽셀의 포화 여부를 검출할 수 있다. 이 때, 픽셀의 포화 여부는 임계치 이상의 밝기가 감지되는 경우, 적어도 하나의 픽셀이 포화된 것으로 추정할 수 있다.
포화검출부(720)는 적어도 하나의 픽셀이 포화된 것으로 추정되는 경우, 포화된 픽셀을 검출할 수 있다.
제1 연산부(730)는, 데이터입력부(710)로부터 입력되는 신호로부터 반사된 신호의 진폭(Amplitude)와 위상값을 연산할 수 있다.
가중치생성부(740)는, 선택된 적어도 하나의 관심 픽셀에 대한 가중치를 생성할 수 있다.
데이터생성부(750)는, 샘플링 데이터를 획득할 수 있다. 데이터생성부(750)는 특히, 비포화 픽셀에서의 샘플링 데이터를 획득할 수 있다.
제2 연산부(760)는, 데이터입력부(710)로부터 입력되는 신호로부터 데이터생성부(750)에서 획득한 샘플링 데이터에 기초하여 신호의 진폭(Amplitude)과 위상값을 연산할 수 있다.
포화검출부(720)에서 포화 픽셀 검출 여부, 검출된 포화 픽셀에 대한 정보 등은 멀티플렉서(MUX)(770)로 전송될 수 있다.
제1 연산부(730)에서 입력받은 샘플링 데이터 기반으로 연산된 진폭값과 지연 위상 값은 멀티플렉서(MUX)(770)로 전송될 수 있다.
제2 연산부(760)에서 데이터생성부(750)로부터 입력받은 샘플링 데이터 기반으로 연산된 진폭값과 지연 위상값은 멀티플렉서(MUX)(770)로 전송될 수 있다.
멀티플렉서(MUX)(770)는, 제1 연산부(730)에서 연산된 값과 제2 연산부(760)에서 연산된 값을 입력받아 특정 값을 변환부(480)로 출력할 수 있다. 이 때, 멀티플렉서(MUX)(770)는 입력받는 제1 연산부(730)에서 연산된 값과 제2 연산부(760)에서 연산된 값 중 어느 하나를 특정 값으로 출력할 수 있다. 이 때, 출력은 픽셀 단위의 출력 값일 수 있다.
한편, 멀티플렉서(MUX)(770)는 포화검출부(720)의 출력을 입력으로 수신할 수 있다. 멀티플렉서(MUX)(770)는 전술한 특정 값을 출력함에 있어서, 입력되는 포화검출부(720)의 출력값을 참조할 수 있다.
예를 들어, 멀티플렉서(MUX)(770)에서 픽셀 단위의 연산값이 변환부(780)롤 출력되는 경우에, 만약 포화검출부(720)에서 해당 픽셀이 포화 픽셀이라는 것을 나타내는 값이 입력되면, 해당 픽셀에 대해서는 제1 연산부(730)에서 산출된 값이 아닌 제2 연산부(760)에서 산출된 값을 변환부(780)로 출력할 수 있다. 이러한 동작은 픽셀 단위 또는 픽셀 영역 단위로 이루어질 수 있다.
상기에서, 픽셀 영역 단위라 함은, 포화가 발생된 픽셀 주변에 위치한 포화 가능성이 임계치 이상인 픽셀을 포함하는 그룹 단위의 영역을 나타낼 수 있다. 이 때, 픽셀 영역 단위를 정의함에 있어서, 예를 들어 PSF 비율이 참고될 수 있다.
변환부(780)는, 멀티플렉서(MUX)(770)의 출력값을 오브젝트(30)와의 거리값으로 변환할 수 있다.
이상 상술한 도 7의 ToF 센서(20)의 구성들은 하나의 칩(chip) 형태로 구현될 수 있다. 실시 예에 따라, 도 7의 ToF 센서(20)의 구성들은 복수의 칩들로 구현될 수 있다.
한편, 도 7에 도시된 ToF 센서(20)의 구성들 중 데이터 입력부(410)와 멀티플렉서(MUX)(770), 및 변환부(480)를 제외한 구성들은 하나의 칩 형태로 구현될 수 있으며, 편의상 프로세서(processor)로 명명되어 설명될 수 있다.
실시 예에 따라서는, 도 7에 도시된 ToF 센서(20)의 구성들 중 데이터 입력부(410)를 제외한 모든 구성들이 하나의 칩 형태로 구현될 수 있으며, 전술한 프로세서일 수 있다.
한편, 프로세서는 전술한 도 7의 구성 외에 하나 또는 그 이상의 구성을 더 포함할 수도 있다.
이러한 프로세서는 ToF 센서 시스템(1)의 전반적인 동작에 대한 컨트롤러(controller) 기능을 수행할 수 있다.
한편, 프로세서는 비록 도시되진 않았지만, 도 7의 ToF 센서(20)의 구성들의 동작을 제어하는 컨트롤러로서 별도 존재할 수도 있다.
실시예에 따라, ToF 센서 시스템이 디스플레이 장치와 같은 다른 장치에 부착 또는 실장되는 경우에는, 도 7의 ToF 센서(20)의 구성들의 동작 제어는 해당 장치의 컨트롤러 기능을 수행하는 구성(예를 들어, 타이밍 컨트롤러(Tcon: Timing controller))에 의해 이루어질 수도 있다.
전술한 바와 같이, 본 개시에서는 ToF 센서(20)에서 포화가 발생된 픽셀, 즉 포화 픽셀에서의 거리 연산 방법에 대해 개시한다.
특히, 본 개시에서는 점광원 또는 줄광원 형태의 발광부(10)와 수광부(20)에서, 특히 수광부(20)는 발광부(10)의 진폭 변조 방식에 대한 복조 방식을 수행할 수 있는 기능을 가질 수 있다.
수광부(20)는 입력된 N(여기서, N은 자연수)개 샘플링(sampling)에 따른 진폭(amplitude)과 지연된 위상과 밝기(intensity)를 결정할 수 있다. 한편, N은 3개 이상일 수 있다.
수광부(20)는 상기 지연된 위상을 거리 값으로 변환할 수 있다.
이 때, 수광부(20)는 미리 연산된 진폭과 밝기 정보에 기초하여, 대상 픽셀의 포화 여부를 판단할 수 있다. 즉, 수광부(20)는 포화 픽셀을 검출할 수 있다.
수광부(20)는 예를 들어, 전술한 PSF 비율에 대한 정보를 가질 수 있으므로, 주변에 포화되지 않은 픽셀(들)로부터 상기 PSF 비율을 참고하여, N개의 샘플링 정보를 재수집하고, 연산할 수 없는 픽셀, 즉 포화 픽셀에 대한 위상 지연 값을 추정할 수 있다.
그리고 수광부(20)는 추정한 위상 지연값을 이용하여 거리 값으로 변환할 수 있다.
도 8은 포화 픽셀에서의 거리 연산 방법을 설명하기 위해 도시한 순서도이다.
도 8은 편의상 ToF 센서 시스템(1) 내 프로세서 관점에서 기술한다. 이 때, 프로세서는 ToF 센서 시스템(1)의 전반적인 동작을 제어하는 컨트롤러일 수 있다.
S110 동작에서, 프로세서는 발광부(10)를 통해 오브젝트(30)로 변조된 광을 조사할 수 있다.
S120 동작에서, 프로세서는 조사된 변조 광이 오브젝트(30)에서 반사되고 지연된 광을 수광부(20)에서 수광할 수 있다.
S130 동작에서, 프로세서는 제1 픽셀을 선정할 수 있다.
여기서, 제1 픽셀은, 거리 연산에 이용되지 않았던 픽셀을 포함할 수 있다.
이 때, 거리 연산에 이용되지 않았던 픽셀이라 함은, 노멀 상황, 즉 픽셀이 포화되지 않았던 경우에, 거리 연산에 이용되지 않았던 픽셀을 말한다. 즉, 어떤 픽셀이 포화 픽셀(또는 중심 포화 픽셀)인 경우, 해당 픽셀에 포화가 발생되지 않았던 경우에, 해당 픽셀에서의 거리 연산에 이용되지 않았던 픽셀이 상기 제1 픽셀일 수 있다.
한편, 프로세서는, 제2 픽셀, 즉 포화 픽셀이 감지되는 경우, 예컨대 PSF 비율 정보에 기초하여 제1 픽셀을 선정할 수 있다.
S140 동작에서, 프로세서는 선정된 제1 픽셀에 기초하여 제2 픽셀의 지연 위상 값을 추정할 수 있다.
한편, 상기 제2 픽셀은, 수광되는 지연 반사광 신호에 의해 포화가 발생한 것으로 추정되는 픽셀 영역의 픽셀들 중 하나일 수 있다.
또한, 제2 픽셀은 포화가 발생한 픽셀 또는 포화가 발생한 중심 픽셀을 나타낼 수 있다.
S150 동작에서, 프로세서는 제1 픽셀에 기초하여 추정한 제2 픽셀의 지연 위상 값을 이용하여, 제2 픽셀에서의 거리 값을 연산할 수 있다.
전술한 제1 픽셀과 제2 픽셀 중 적어도 하나는 복수 개일 수 있다.
한편, 제1 픽셀 및 제2 픽셀은 프로세서에 의해 자동 선정될 수 있거나 포화 검출부(720)의 검출 결과를 참고할 수 있다.
실시예에 따라서, 프로세서는 동일 포화 픽셀에서의 거리 값을 복수 회 연산할 수 있다.
이 경우, 만약 복수 회 연산한 포화 픽셀에서의 거리 값의 차이가 미리 설정한 임계값 이상 차이가 있는 경우에는 연산된 거리 값은 신뢰도가 낮은 것으로 판단할 수 있다.
이 경우, 프로세서는 전체 과정 또는 일부 과정을 재수행하도록 제어할 수 있다.
한편, 상기에서, 프로세서는 복수 회 연산한 포화 픽셀에서의 거리 값의 차이가 미리 설정한 임계값 미만인 경우에는, 연산된 거리 값은 신뢰도가 높은 것으로 판단할 수 있다.
이 경우 프로세서는 연산된 복수의 거리 값 중 최대값, 중간값, 또는 최소값 중 어느 하나를 선정하여 해당 포화 픽셀의 거리 값으로 사용할 수 있다. 또는, 상기 경우 프로세서는 평균값을 이용할 수도 있다.
실시예에 따라서, 프로세서는 동일 포화 픽셀에서의 거리 값을 복수 회 연산하는 것이 아니라 중심 포화 픽셀과 주변의 제1 포화 픽셀들 중 적어도 하나 이상에서의 거리 값을 연산할 수 있다.
이 경우, 만약 중심 포화 픽셀과 제1 포화 픽셀에서 연산한 거리 값의 차이가 미리 설정한 임계값 이상 차이가 있는 경우에는, 중심 포화 픽셀에서의 연산 거리 값은 신뢰도가 낮은 것으로 판단할 수 있다. 따라서, 프로세서는 전체 과정 또는 일부 과정을 재수행하도록 제어할 수 있다.
한편, 상기에서, 프로세서는 중심 포화 픽셀과 제1 포화 픽셀에서 연산한 거리 값의 차이가 미리 설정한 임계값 미만인 경우에는, 중심 포화 픽셀에서의 연산 거리 값은 신뢰도가 높은 것으로 판단할 수 있다.
그리고 이 경우 프로세서는 중심 포화 픽셀의 연산 거리 값을 이용하여 해당 포화 픽셀의 거리 값으로 사용할 수 있다.
또는, 상기 경우 프로세서는 중심 포화 픽셀 및 주변 제1 포화 픽셀의 연산 거리 값의 평균값을 이용할 수도 있다.
상기에서, 신뢰도가 낮은 결과 값이 도출된 경우, 프로세서는 전술한 바와 같이 전 과정 또는 일부 과정을 반복 재수행할 수도 있다.
또는, 프로세서는 상기 경우에, 제1 또는 제2 픽셀 중 적어도 하나를 새로 선정 후에 전술한 동작들을 재수행할 수도 있다.
프로세서는 인공지능 학습 엔진을 포함할 수 있으며, 전술한 포화 픽셀 및 거리 연산 값을 입력 또는 훈련 데이터셋으로 하여 학습을 할 수 있다.
이렇게 학습한 결과는 포화 픽셀에서의 거리 연산 값에 대한 신뢰도 판단에 참고할 수 있다.
또한, 포화 픽셀에서의 거리 연산 값에 대한 피드백이 있는 경우, 인공지능 학습 엔진(또는 모델)의 업데이트에 이용될 수도 있다.
인공지능 학습 엔진은 본 개시에서 제1 픽셀 및 제2 픽셀의 선정에 이용될 수 있다.
또한, 인공지능 학습 엔진은 후술하는 도 9 내지 10에서 세기 영상 산출 후에 특정 진폭(Amplitude) 이상 감지, 즉 픽셀 포화 여부 판단 시에 이용될 수 있다.
프로세서는 제2 픽셀에서의 거리 연산값을 이용하여 또는 포함하여, 오브젝트(30)까지의 거리를 측정 내지 연산할 수 있다.
이하 도 9와 10은 모두 ToF 센서 시스템(1)이 동작하는 경우를 가정한다.
도 9는 적어도 하나 이상의 픽셀이 포화된 경우, 센서에서 위상 정보를 보정하는 방법을 설명하기 위해 도시한 순서도이다.
S210 동작에서, 프로세서는 지연 위상 영상을 획득할 수 있다.
S220 동작에서, 프로세서는 획득한 지연 위상 영상으로부터 세기를 산출할 수 있다.
S230 동작에서, 프로세서는 특정 밝기 이상 영상이 감지되는지 판단할 수 있다.
이 때, 프로세서는, 획득한 위상 영상 데이터에 기초하여 산출된 밝기 영상 데이터로부터 특정 밝기 이상의 영상이 감지되는지 판단할 수 있다. 여기서, 특정 밝기라 함은 예를 들어, 포화 픽셀이 감지될 만한 수신광의 세기를 나타낼 수 있다.
프로세서가 인공지능 학습 모델을 통해 훈련 데이터를 을 보유한 경우, 특정 밝기 이상의 영상이 산출되면 특정 밝기 이상이 감지, 즉 포화가 발생한 것으로 판단할 수 있다.
S240 동작에서, 프로세서는 S230 동작 판단 결과 특정 밝기 이상의 영상이 감지된 경우(즉, 적어도 하나의 픽셀이 포화로 추정되는 경우)에는 포화된 픽셀 영역을 감지할 수 있다.
S250 동작에서, 프로세서는 감지된 포화 픽셀 영역 내 포화 픽셀의 값을 추정 및 연산할 수 있다.
S260 동작에서, 프로세서는 지연 위상 영상을 보정하고 출력할 수 있다.
도 10은 적어도 하나 이상의 픽셀이 포화된 경우, 센서에서 깊이 정보를 보정하는 방법을 설명하기 위해 도시한 순서도이다.
S310 동작은 전술한 도 9의 S210 동작과 동일하다.
S320 동작에서, 프로세서는 획득된 지연 위상 영상에 기초하여 진폭, 깊이 및 밝기 영상을 산출할 수 있다.
S330 동작에서, 프로세서는 특정 밝기 이상이 감지되는지 판단할 수 있다.
S340 동작에서, 프로세서는 S330 동작 판단 결과 특정 밝기 이상의 영상이 감지된 경우(즉, 적어도 하나의 픽셀이 포화로 추정되는 경우)에는 포화된 픽셀 영역을 감지할 수 있다.
S350 동작에서, 프로세서는 감지된 포화 픽셀 영역 내 포화 픽셀의 값을 추정 및 연산할 수 있다.
S360 동작에서, 프로세서는 깊이 영상을 보정하고 출력할 수 있다.
이상 상술한 본 개시에 따른 거리 연산 방법은 ToF 센서뿐만 아니라 다양한 분야에 적용 가능하다. 예컨대, 자동차(Automobile), 로봇(Robot), 산업 자동화(Industrial Automation), 확장 현실(eXtended Reality), 환경 모니터링(Environmental monitoring) 등 다양한 분야에서 이용되는 센서 또는 ToF 센서에서 픽셀 포화가 발생하는 경우에, 본 개시가 적용 가능하다.
이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.
본 개시는 ToF 센서 및 그 거리 연산 방법에 관한 것으로, 포화가 발생한 픽셀에서도 종래에 비해 더욱 정확하게 오브젝트까지의 거리를 측정 내지 연산할 수 있어, ToF 센서가 포함되는 다양한 시스템에 적용 가능한바, 산업상 이용 가능성이 있다.

Claims (20)

  1. 오브젝트를 향해 광을 조사하는 발광부;
    상기 오브젝트로부터 지연 위상을 가진 반사광을 수광하는 수광부; 및
    상기 반사광에 기초하여 상기 오브젝트까지의 거리를 연산하는 프로세서;를 포함하되,
    상기 프로세서는,
    상기 수광부에 포함된 복수의 픽셀들 중 제1 픽셀에 기초하여 제2 픽셀에서의 지연 위상 값을 추정하는,
    ToF(Time of Flight) 센서.
  2. 청구항 1에 있어서,
    상기 프로세서는,
    상기 추정된 제2 픽셀에서의 지연 위상 값에 기초하여, 상기 제2 픽셀에서의 상기 오브젝트에 대한 거리값을 산출하는,
    ToF 센서.
  3. 청구항 2에 있어서,
    상기 프로세서는,
    상기 반사광으로부터 상기 수광부에 포함된 적어도 하나의 픽셀의 포화된 것으로 판단되는 경우, 포화 픽셀 영역을 감지하는,
    ToF 센서.
  4. 청구항 3에 있어서,
    상기 프로세서는,
    상기 반사광으로부터 위상 영상 데이터를 획득하고, 세기 영상 데이터를 산출하여 밝기가 임계치 이상이면, 상기 적어도 하나의 픽셀이 포화된 것으로 판단하는,
    ToF 센서.
  5. 청구항 4에 있어서,
    상기 프로세서는,
    상기 포화 픽셀 영역이 감지되면, 상기 수광부에 포함된 복수의 픽셀들 중 제1 픽셀을 선정하되,
    상기 제1 픽셀은 상기 감지된 포화 픽셀 영역에서의 거리 연산에 이용되지 않았던 픽셀인,
    ToF 센서.
  6. 청구항 4에 있어서,
    상기 프로세서는,
    상기 포화 픽셀 영역이 감지되면, 상기 수광부에 포함된 복수의 픽셀들 중 제1 픽셀을 선정하되,
    상기 제1 픽셀은 상기 제2 픽셀의 미리 정의된 비율 정보에 기초하여 선정되는,
    ToF 센서.
  7. 청구항 4에 있어서,
    상기 제2 픽셀은,
    상기 감지된 포화 픽셀 영역에서 중심 픽셀인,
    ToF 센서.
  8. 청구항 7에 있어서,
    상기 프로세서는,
    상기 추정된 제2 픽셀에서의 지연 위상 값에 기초하여 상기 반사광의 위상 영상을 보정하여 출력하는,
    ToF 센서.
  9. 청구항 7에 있어서,
    상기 프로세서는,
    상기 반사광으로부터 깊이 영상을 산출하되, 상기 추정된 제2 픽셀에서의 지연 위상 값에 기초하여 상기 산출된 깊이 영상을 보정하여 출력하는,
    ToF 센서.
  10. 청구항 1에 있어서,
    상기 발광부에서 오브젝트를 향해 조사되는 광에는,
    점 광원 또는 줄 광원이 포함되는,
    ToF 센서.
  11. 오브젝트를 향해 광을 조사하는 단계;
    상기 오브젝트로부터 지연 위상을 가진 반사광을 수광하는 단계; 및
    상기 반사광에 기초하여 상기 오브젝트까지의 거리를 연산하는 단계;를 포함하되,
    상기 거리 연산 단계는,
    상기 반사광을 수광하는 복수의 픽셀들 중 제1 픽셀에 기초하여 제2 픽셀에서의 지연 위상 값을 추정하는 단계를 포함하는,
    ToF 센서에서 거리 연산 방법.
  12. 청구항 11에 있어서,
    상기 거리 연산 단계는,
    상기 추정된 제2 픽셀에서의 지연 위상 값에 기초하여, 상기 제2 픽셀에서의 상기 오브젝트에 대한 거리값을 산출하는 단계를 더 포함하는,
    ToF 센서에서 거리 연산 방법.
  13. 청구항 12에 있어서,
    상기 거리 연산 단계는,
    상기 반사광에 의해 상기 적어도 하나의 픽셀의 포화된 것으로 판단되는 경우, 포화 픽셀 영역을 감지하는 단계를 더 포함하는,
    ToF 센서에서 거리 연산 방법.
  14. 청구항 13에 있어서,
    상기 거리 연산 단계는,
    상기 반사광으로부터 위상 영상 데이터를 획득하고, 세기 영상 데이터를 산출하여 밝기가 임계치 이상이면, 상기 적어도 하나의 픽셀이 포화된 것으로 판단하는,
    ToF 센서에서 거리 연산 방법.
  15. 청구항 14에 있어서,
    상기 거리 연산 단계는,
    상기 포화 픽셀 영역이 감지되면, 상기 수광부에 포함된 복수의 픽셀들 중 제1 픽셀을 선정하되,
    상기 제1 픽셀은 상기 감지된 포화 픽셀 영역에서의 거리 연산에 이용되지 않았던 픽셀인,
    ToF 센서에서 거리 연산 방법.
  16. 청구항 14에 있어서,
    상기 거리 연산 단계는,
    상기 포화 픽셀 영역이 감지되면, 상기 수광부에 포함된 복수의 픽셀들 중 제1 픽셀을 선정하되,
    상기 제1 픽셀은 상기 제2 픽셀의 미리 정의된 비율 정보에 기초하여 선정되는,
    ToF 센서에서 거리 연산 방법.
  17. 청구항 14에 있어서,
    상기 제2 픽셀은,
    상기 감지된 포화 픽셀 영역에서 중심 픽셀인,
    ToF 센서에서 거리 연산 방법.
  18. 청구항 17에 있어서,
    상기 거리 연산 단계는,
    상기 추정된 제2 픽셀에서의 지연 위상 값에 기초하여 상기 반사광의 위상 영상을 보정하여 출력하는 단계를 더 포함하는,
    ToF 센서에서 거리 연산 방법.
  19. 청구항 17에 있어서,
    상기 거리 연산 단계는,
    상기 반사광으로부터 깊이 영상을 산출하되, 상기 추정된 제2 픽셀에서의 지연 위상 값에 기초하여 상기 산출된 깊이 영상을 보정하여 출력하는 단계를 더 포함하는,
    ToF 센서에서 거리 연산 방법.
  20. 청구항 11에 있어서,
    상기 발광부에서 오브젝트를 향해 조사되는 광에는,
    점 광원 또는 줄 광원이 포함되는,
    ToF 센서에서 거리 연산 방법.
PCT/KR2024/095909 2024-07-10 2024-07-10 Tof 센서 및 그 거리 연산 방법 Pending WO2026014635A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2024/095909 WO2026014635A1 (ko) 2024-07-10 2024-07-10 Tof 센서 및 그 거리 연산 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2024/095909 WO2026014635A1 (ko) 2024-07-10 2024-07-10 Tof 센서 및 그 거리 연산 방법

Publications (1)

Publication Number Publication Date
WO2026014635A1 true WO2026014635A1 (ko) 2026-01-15

Family

ID=98386797

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2024/095909 Pending WO2026014635A1 (ko) 2024-07-10 2024-07-10 Tof 센서 및 그 거리 연산 방법

Country Status (1)

Country Link
WO (1) WO2026014635A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160090464A (ko) * 2015-01-21 2016-08-01 주식회사 히타치엘지 데이터 스토리지 코리아 티오에프 카메라에서 깊이 지도 생성 방법
KR20180049934A (ko) * 2016-11-04 2018-05-14 한국광기술원 동적 제어를 이용한 적응형 수광 신호의 감도 제어장치
JP2019191119A (ja) * 2018-04-27 2019-10-31 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム
KR20220069944A (ko) * 2019-09-27 2022-05-27 소니 세미컨덕터 솔루션즈 가부시키가이샤 정보 처리 장치, 보정 방법 및 프로그램
JP2022091104A (ja) * 2020-12-08 2022-06-20 エスケーハイニックス株式会社 イメージセンシング装置、その動作方法、及びイメージセンシング方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160090464A (ko) * 2015-01-21 2016-08-01 주식회사 히타치엘지 데이터 스토리지 코리아 티오에프 카메라에서 깊이 지도 생성 방법
KR20180049934A (ko) * 2016-11-04 2018-05-14 한국광기술원 동적 제어를 이용한 적응형 수광 신호의 감도 제어장치
JP2019191119A (ja) * 2018-04-27 2019-10-31 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム
KR20220069944A (ko) * 2019-09-27 2022-05-27 소니 세미컨덕터 솔루션즈 가부시키가이샤 정보 처리 장치, 보정 방법 및 프로그램
JP2022091104A (ja) * 2020-12-08 2022-06-20 エスケーハイニックス株式会社 イメージセンシング装置、その動作方法、及びイメージセンシング方法

Similar Documents

Publication Publication Date Title
WO2018074900A1 (en) Electronic apparatus and method of detecting information about target object by using ultrasound waves
WO2019172725A1 (en) Method and apparatus for performing depth estimation of object
WO2020175786A1 (en) Methods and apparatuses for object presence detection and range estimation
WO2015122677A1 (ko) 자동차의 트렁크 개방 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
WO2020116680A1 (ko) 차량 번호판 검출 및 인식 시스템 및 방법
WO2020004837A1 (ko) 자동 편광 조절 장치 및 방법
WO2017014336A1 (ko) 비선형 성분이 보상된 온도 센서 회로 및 온도 센서 회로의 보상 방법
WO2019135475A1 (en) Electronic apparatus and control method thereof
WO2015068909A1 (en) People counting method and apparatus
WO2020251299A1 (ko) 라인 검출 방법
WO2016159518A1 (ko) 비선형 데이터의 평균 계산 장치
WO2021210875A1 (ko) 다중 포토다이오드 센서에 의해 획득된 서브 이미지들의 차이에 기반하여 이미지의 결함을 검출하는 전자 장치 및 이의 동작 방법
WO2023008983A1 (ko) 이미지 신호 프로세서의 제어 방법 및 이를 수행하는 제어 장치
WO2019177258A1 (ko) 차단기 개폐 보조 장치
WO2020111756A1 (ko) 기판에 대한 검사 결과를 표시하는 전자 장치 및 방법
WO2022075792A1 (ko) 전자 장치 및 그 제어 방법
WO2024101858A1 (ko) 로봇 연동 도포 농도 비전 검사 시스템 및 그 방법
WO2025135845A1 (ko) 이미지의 색 재현 방법 및 장치
WO2024172305A1 (ko) 제품 검사 시스템의 제어 방법
WO2020222454A1 (ko) 두께 측정 장치
EP3478183A1 (en) Electronic apparatus and method of detecting information about target object by using ultrasound waves
WO2023219451A1 (en) Method and apparatus for recognition of a motion in a video
WO2010076952A2 (ko) 디지털 영상 장치의 영상 왜곡 판단 테스트 자동화 시스템
WO2023153723A1 (ko) 개용 표시 장치 및 이의 구동 방법
WO2020005001A1 (ko) 기판에 실장된 부품의 실장 불량 원인을 결정하는 전자 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24947376

Country of ref document: EP

Kind code of ref document: A1