WO2013009099A2 - 블러 처리 장치 및 방법 - Google Patents

블러 처리 장치 및 방법 Download PDF

Info

Publication number
WO2013009099A2
WO2013009099A2 PCT/KR2012/005512 KR2012005512W WO2013009099A2 WO 2013009099 A2 WO2013009099 A2 WO 2013009099A2 KR 2012005512 W KR2012005512 W KR 2012005512W WO 2013009099 A2 WO2013009099 A2 WO 2013009099A2
Authority
WO
WIPO (PCT)
Prior art keywords
blur
image
light signal
reflected light
occurs
Prior art date
Application number
PCT/KR2012/005512
Other languages
English (en)
French (fr)
Other versions
WO2013009099A3 (ko
Inventor
이승규
강병민
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US13/823,557 priority Critical patent/US9456152B2/en
Priority to CN201280003376.7A priority patent/CN103181156B/zh
Priority to JP2014520126A priority patent/JP6193227B2/ja
Priority to EP12811416.2A priority patent/EP2733928B1/en
Priority claimed from KR1020120075386A external-priority patent/KR101929557B1/ko
Publication of WO2013009099A2 publication Critical patent/WO2013009099A2/ko
Publication of WO2013009099A3 publication Critical patent/WO2013009099A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • the present invention relates to a technique for removing blur generated in an image.
  • An image generated by using a time-of-flight camera includes a phase difference between an irradiated light signal (for example, an infrared signal) and a reflected light signal reflected back to a subject during an integration time every frame. Obtained by calculation. When motion occurs in the camera or the subject for a time shorter than the exposure time, a change may occur in the phase of the reflected light signal.
  • an irradiated light signal for example, an infrared signal
  • the depth information obtained through the reflected light signal has an incorrect value, which is shown in the form of a blur in the image.
  • This phenomenon may occur for a similar reason to blur occurring in color cameras.
  • the ToF camera and the color camera are different from each other in the method of obtaining an image, and the blur phenomenon occurring in the ToF camera is different from the blur phenomenon of the color image.
  • the blur processing apparatus includes a control unit for generating a control signal, a sensor unit for integrating electrons generated by a reflected light signal from which an irradiation light signal is reflected from an object, according to the control signal, and an electron integrated for each control signal. It may include a blur determining unit for determining whether the blur using the relationship between the two.
  • the blur determining unit of the blur processing apparatus may determine whether the blur is compared by comparing the relationship between the reference charge quantity relationship information indicating the case where there is no blur and the amount of the accumulated electrons.
  • the blur determination unit of the blur processing apparatus uses the phase difference of the reflected light signal to determine whether blur occurs in an image acquired by the ToF camera. It can be determined.
  • the blur determination unit may calculate depth information by calculating a phase difference between a plurality of control signals having different phase differences and the reflected light signal.
  • the sensor unit may acquire an amount of charge received by each of a plurality of control signals having a phase difference different from that of the reflected light signal, and the blur determiner may be defined due to a different phase difference between the obtained amount of charge and the control signal. It may be determined whether a blur occurs in the image depending on whether the relationship between the respective charge amounts is out of the normal range.
  • the sensor unit may obtain n (n is a natural number) reflected light signals, and the blur determiner may calculate n depth information by calculating a phase difference between a plurality of control signals having different phase differences and the n reflected light signals, An average value of the calculated n depth informations may be calculated.
  • the blur determining unit may determine that blur has occurred in the image when at least one of the calculated n depth information is not flat.
  • the blur processing apparatus replaces the generated blur by replacing a pixel value in which the blur occurs with a normal pixel value around which no blur occurs in an image obtained through a ToF type camera. Can be removed.
  • the image processor may replace the depth information of the blur area in which the blur occurs with a normal pixel value of the peripheral area in which the blur does not occur, based on a neighboring frame having a different time than the frame in which the blur occurs in the image. .
  • the blur processing apparatus may include a model identification unit identifying a blur model corresponding to a structure of a ToF camera, a search unit searching for a pattern associated with the blur model in an image acquired through the ToF camera; And an image processor configured to remove blur from the image by filtering a blur region within the searched pattern.
  • the image processor of the blur processing apparatus may filter the blur area on an r-theta space.
  • the blur processing method includes generating a plurality of control signals having different phases, integrating electrons generated by the reflected light signal from which an irradiation light signal is reflected from an object according to the control signal, and the control signal. It may include determining whether the blur using the relationship between the amount of electrons for each star.
  • the determining of the blur in the blur processing method may include comparing the relationship between the reference charge amount relationship information indicating the absence of blur and the relationship between the integrated electrons and determining whether the blur occurs.
  • determining whether the blur occurs in the blur processing method may include blurring an image obtained through the ToF camera using the phase difference of the reflected light signal. It may include determining whether it has occurred.
  • the determining of whether the blur occurs in the blur processing method may include calculating depth information by calculating a phase difference between a plurality of control signals having different phase differences and the reflected light signal.
  • the determining of whether or not the blur occurs in the blur processing method may include calculating a phase difference between the acquired n (n is natural numbers) reflected light signals and a plurality of control signals having different phase differences, and calculating The method may include calculating n depth information using the calculated result and calculating an average value of the calculated n depth information.
  • the blur processing method when a blur occurs as a result of the determination, in the image acquired through a ToF type camera, the blur value is replaced with a normal pixel value around the blur where no blur occurs. It may further comprise the step of removing.
  • the removing of the generated blur may include depth information of the blur area in which the blur occurs, based on a neighboring frame having a different time from the frame in which the blur occurs in the image, and thus the normal pixels around the blur that do not occur. Substituting the value may include removing the generated blur.
  • the blur processing method may further include identifying a blur model corresponding to a structure of a ToF camera, retrieving a pattern associated with the blur model from an image obtained through the ToF camera, and the retrieved image.
  • the method may include removing the blur from the image by filtering a blur area generated in the pattern.
  • the filtering of the blur region generated in the detected pattern in the blur processing method may include filtering the blur region on an r-theta space.
  • the relationship between the plurality of reflected light signals reflected from the object may be used to efficiently determine whether or not a blur occurs in the image acquired by the ToF type camera.
  • the generated blur can be easily removed by replacing the blur generated in the image with the normal pixel value of the surroundings where no blur has occurred.
  • FIG. 1 is a block diagram showing an embodiment of a blur processing apparatus.
  • FIG. 2 is a diagram illustrating an embodiment of a pixel constituting a sensor unit
  • FIG. 3 is an example of a timing diagram between a reflected light signal and a control signal.
  • 4 to 6 are diagrams illustrating an example of obtaining a reflected light signal for determining whether blur occurs in an image.
  • FIG. 7 and 8 are diagrams illustrating a relationship between a reflected light signal and a control signal, respectively, when there is no movement of a subject and when there is a movement of a subject, according to an exemplary embodiment.
  • FIG. 9 is a graph illustrating depth information of a blur area in which blur occurs in an image, according to an exemplary embodiment.
  • FIG. 10 is a diagram illustrating an association between a blur image and depth information, according to an exemplary embodiment.
  • FIG. 11 illustrates an association between depth information and a blur model, according to an exemplary embodiment.
  • FIG. 12 illustrates an example of removing blur in an image, according to an exemplary embodiment.
  • FIG. 13 is a flowchart illustrating a procedure of a blur processing method according to an exemplary embodiment.
  • FIG. 14 is a block diagram showing a configuration of a blur processing apparatus according to another embodiment.
  • 15 is a diagram illustrating an example of filtering a blur area using a blur model.
  • 16 is a flowchart illustrating a procedure of a blur processing method according to another embodiment.
  • FIG. 1 is a block diagram showing an embodiment of a blur processing apparatus.
  • the blur processing apparatus 100 may include a controller 110, a sensor 120, a blur determiner 130, and an image processor 140.
  • the blur processing apparatus 100 illustrated in FIG. 1 may be implemented as a ToF camera.
  • the light irradiator 102 is included in the ToF camera may be possible.
  • the ToF type camera measures the distance from the camera to the object by using a phase difference between the irradiated light signal (for example, an infrared signal) irradiated to the object 104 and the reflected light signal reflected by the object 104 and returned. Depth image that represents can be generated.
  • the light irradiator 102 may irradiate the irradiated light signal to the object 104.
  • the sensor unit 120 may sense the reflected light signal from which the irradiation light signal irradiated from the light irradiator 102 is reflected by the object 104.
  • the sensor unit 110 may include an optical sensing device such as a pinned photo diode (PPD), a photogate, a charge coupled device (CCD), or the like.
  • PPD pinned photo diode
  • CCD charge coupled device
  • the object 104 refers to a subject and is a subject to take a picture.
  • the controller 110 generates a plurality of control signals having different phases.
  • the control signal is a signal capable of controlling the timing at which the sensor unit 120 accumulates the electrons generated by sensing the reflected light signal.
  • FIG. 2 is a diagram illustrating an embodiment of a pixel constituting a sensor unit.
  • the pixel 200 may include a detector 210 and a photogate, a gate (gate-A 221 and gate-B 222), and an integrated unit 231 and 232.
  • the detector 210 generates the electrons by receiving the reflected light signal.
  • the gate-A 221 and the gate-B 222 may transfer electrons generated by the detector 210 to the integrated units 231 and 232, respectively.
  • a plurality of gates for example, a gate-A 221 and a gate-B 222, are provided to selectively transfer electrons to a plurality of different integrated units 231 and 232 according to a control signal. .
  • the accumulators 231 and 232 may accumulate the transferred electrons.
  • the integration time or period of the electrons can be predefined.
  • the accumulators 231 and 232 may be defined to accumulate electrons for a certain time, to emit electrons when counting the amount of accumulated electrons, and then to accumulate electrons again at the next electron integration timing. have.
  • the on / off of the gate may be controlled by the control signal described above.
  • 3 is an embodiment of a timing diagram between a reflected light signal and a control signal.
  • the first control signal and the second control signal may control the gate-A 221 and the gate-B 222 of FIG. 2, respectively, and exhibit phase differences of 180 degrees.
  • the half period of the first and second control signals may be, for example, 25 ns.
  • electrons may be generated in the detector 210 while t ON where the reflected light signal is high.
  • some of the generated electrons are integrated in the integration unit 231 via the gate-A 221 during the first control signal related to the gate-A 221, which is a high value t ON -t ⁇ OF .
  • the remaining part of the generated electrons is the gate-B 222, while the first control signal is converted to a low value and the second control signal related to the gate-B 222 is a high value t? OF .
  • the integrated unit 232 is integrated.
  • the electrons generated during the t ON in which the reflected light signal is a high value are the integrator 231 associated with the gate-A 221 because the gate-A 221 is turned on during t ON -t ⁇ OF. ), And the gate-B 222 may be turned on during t ⁇ OF to be transferred to the integrated unit 232 associated with the gate-B 222.
  • the blur determination unit 130 determines whether the blur is blur using a relationship between the amount of electrons (hereinafter, referred to as charge amount) accumulated for each control signal.
  • the blur determination unit 130 may obtain a phase difference between the reflected light signal and the irradiated light signal using control signals having different phases. For example, since the sensor unit 120 repeatedly acquires the reflected light signal reflected and returned during the integration time of the ToF type camera, the blur determiner 130 may obtain depth information based on the reflected light signal.
  • C 1 to C 4 refer to a control signal
  • Q 1 to Q 4 refer to a charge amount
  • t d is depth information.
  • the ToF type camera may generate control signals having L (L is a natural number) phases different from each other.
  • the ToF camera may be configured in an L-Phase / M-tap method having M (M is a natural number) charge storage spaces.
  • M is a natural number
  • the ToF type camera has four control signals' C 1 ',' C 2 ',' C 3 ',' C 4 having a phase difference of 90 degrees from each other. 'Can be created.
  • the sensor unit 120 acquires the charge amount 'Q 1 ' by the reflected light signal and the control signal 'C 1 ', obtains the charge amount 'Q 2 ' by the reflected light signal and the control signal 'C 2 ', and reflects the reflected light. obtaining a charge amount 'Q 3' by the signal and the control signal 'C 3' and, it is possible to obtain in sequence the charge amount 'Q 4' by the reflected light signal and the control signal 'C 4'.
  • the 4-phase / 1-tap method of FIG. 4, the 4-phase / 2-tap method of FIG. 5, and the 4-phase / 4-tap method of FIG. 6 may indicate that the structure of the ToF camera is different.
  • the sensor unit 120 may have a different method of acquiring a phase difference between the reflected light signal and the control signals during the exposure time according to the structure of the ToF camera.
  • control signals 4 to 6 illustrate four examples of generating four control signals and acquiring four charges
  • the number of control signals may be smaller or larger than four according to an embodiment.
  • the blur determination unit 130 generates a blur in an image acquired by a ToF camera using the relationship between the obtained charge amounts 'Q 1 ', 'Q 2 ', 'Q 3 ', and 'Q 4 '. Determine whether or not. For example, the blur determination unit 130 may calculate a first difference value Q 1 -Q 2 , which is a difference between the amounts of charges obtained while the control signals C 1 and C 2 are high. In addition, the blur determination unit 130 may calculate a second difference value Q 3 -Q 4 , which is a difference between the amounts of charges obtained while the control signals C 3 and C 4 are high.
  • the blur determination unit 130 divides the second difference value Q 3 -Q 4 by the first difference value Q 1 -Q 2 to divide the value Q 3 -Q 4 / Q 1 -Q 2.
  • the depth information t d may be calculated by applying an arctangent function.
  • the timing diagram of the control signals C 1 to C 4 in the embodiment of the 4-phase / 2-tap method shown in FIG. 5 represents one cycle for acquiring the charges Q 1 to Q 4 , this is shown.
  • Q 1 to Q 4 can be obtained n times each.
  • the first difference value described above may be nQ 1 -nQ 2
  • the second difference value may be nQ 3 -nQ 4 .
  • the depth information t d in one pixel may be represented by Equation 1 below.
  • a change may occur in a phase of a reflected light signal sensed by at least one of the pixels included in the sensor unit 120.
  • FIGS. 7 and 8 are diagrams illustrating a relationship between a reflected light signal and a control signal, respectively, when there is no movement of a subject and when there is a movement of a subject, according to an exemplary embodiment. 7 and 8 are only conceptual views for better understanding, other embodiments are not limitedly interpreted by FIGS. 7 and 8.
  • the reflected light signal is reflected at the circle point R, and the control signal controls the pixel of the sensor unit 120 that senses the reflected light signal at the corresponding point.
  • the amount of charges generated at the first high value and the second high value of the control signal is equal to Qa, respectively.
  • the reflected light signal when the object to which the irradiated light signal is reflected changes from the chair as an image to the background (refer to the circle point R at the time points t0 and t1) as shown in FIG. 8, the reflected light signal reaches the pixel.
  • the time may be delayed from t1 to t1 '.
  • a phase change may occur in the reflected light signal sensed by the pixel.
  • the amount of charge generated during the first high value and the amount of charge generated during the second high value are different from each other by Qa and Qa '.
  • the depth value is determined using charges generated during two high values of the control signal, in the embodiment of FIG. 8, one pixel value (corresponding to the circle point R) in the depth image using Qa and Qa '. Will cause to blur.
  • Blur determination unit 130 the control signals of the n cycles (C 1, C 2) of, to the phase change of the reflected light signal generation cell, m cycles C 1 and the charge amount difference between the C 2 value of the first difference value ( Q 1 -Q 2 ), and the first difference value (the difference in the amount of charges between C 1 and C 2 in the remaining nm periods in which a phase difference change occurs and has a new phase) ) Is calculated.
  • the blur determination unit 130 of the n period of the control signals (C 3 , C 4 ), the second difference value (Q 3) that is the difference in the amount of charge between C 3 and C 4 of the m period before the phase difference change occurs Q 4 ), and a second difference value (a difference value of charge amount between C 3 and C 4 of the remaining nm period having a new phase with a phase difference change) ) Can be calculated.
  • the depth information t d may be represented by Equation 2 below.
  • Equation 3 The function t d using m as a variable is first derivative and can be represented by t d 'in Equation 3 below.
  • Equation 3 the same value as Equation 4 can be obtained.
  • the change in depth information t d caused by the phase difference change can have one local maximum or local minimum in m obtained.
  • the position of the m period changes depending on the depth information before and after the movement.
  • the blurring in the image generated by the ToF camera does not occur in the form of taking the median value of both ends or increasing / decreasing monotonically. Since the image is acquired in a manner different from that of the color camera due to the characteristics of the ToF camera, the method of removing the blur from the image generated by the ToF camera may be completely different from the method of removing the blur of the color camera.
  • the blur determiner 130 may determine the first difference between the charge amounts 'Q 1 ' and 'Q 2 ' obtained through the control signals C 1 and C 2 and the amount of charges obtained through the control signals C 3 and C 4 .
  • the second difference between Q 3 ′ and Q 4 ′ may be calculated n times, and depth information may be calculated n times using the calculated result.
  • the blur determination unit 130 calculates the depth information using the amount of charges obtained for each cycle of the control signal, and a frame of the depth image is generated using the average value of the n depth information calculated in this way. May be
  • the blur determining unit 130 may determine that blur has occurred in the depth image when at least one of the calculated n depth information is not flat. For example, when the phase of the reflected light signal has a constant value, the calculated n depth informations have a constant value. On the other hand, when the phase of the reflected light signal does not have a constant value, the calculated n depth information does not have a constant value but is calculated as the non- constant value, so that the blur determination unit 130 has the above value in the image. It can be determined that blur has occurred in the area.
  • FIG. 9 is a graph illustrating depth information of a blur area in which blur occurs in an image, according to an exemplary embodiment.
  • the blur determiner 130 may determine whether blur occurs by referring to depth information of the moving object. According to an example, the blur determiner 130 may determine that blur occurs in an area where the depth information associated with each pixel coordinate (pixel value) does not have a uniform value.
  • the blur determination unit 130 determines the region having a different value from the other depth information as the blur region 910 in which the blur is generated. can do. For example, as a result of enumerating depth information between pixel coordinates, when the depth information graph shows a point shape as shown in FIG. 9, the blur determination unit 130 may determine that blur has occurred in the pixel region 910 forming the point. have.
  • FIG. 10 is a diagram illustrating an association between a blur image and depth information, according to an exemplary embodiment.
  • the blur determining unit 130 calculates depth information of a predetermined region in the images (a, d, and g of FIG. 10), and uses the calculated depth information to calculate the images (FIG. It is possible to determine whether a blur occurs in a), (d), and (g)).
  • FIGS. 10B and 10C are graphs for calculating and displaying depth information of an i region and an ii region in a first image (FIG. 10 (a)).
  • Depth information calculated in both i region and ii region of the first image (FIG. 10A) does not have a perfectly constant value, but has even depth information in all pixel coordinates.
  • the blur determination unit 130 may determine that no blur occurs in the first image (FIG. 10A).
  • FIG. 10E and 10F are graphs for calculating and displaying depth information of an i region and an ii region in a moving second image (FIG. 10 (d)).
  • Depth information calculated in both the i region and the ii region of the second image having motion (FIG. 10D) is different from that of FIG. 10B of the first image having no motion (FIG. 10A). It has a unique depth information value (such as the shape of a peak or a sudden change in slope) that was not seen in (c).
  • the blur determination unit 130 may determine that blur occurs in the second image (FIG. 10 (d)).
  • 10H and 10I are graphs for calculating and displaying depth information of an i region and an ii region in a third image (FIG. 10G).
  • Depth information calculated in both the i region and the ii region of the third image (g) of FIG. 10 does not have a perfectly constant value similar to the depth information of the first image (a) of FIG. It has even depth information in pixel coordinates.
  • the blur determination unit 130 may determine that no blur occurs in the third image (FIG. 10G).
  • FIG. 11 illustrates an association between depth information and a blur model, according to an exemplary embodiment.
  • the relationship between Q 1 -Q 2 and Q 3 -Q 4 may have a rhombus shape as shown in FIG. 11B.
  • the relationship between the charge amounts Q 1 -Q 2 and Q 3 -Q 4 may exist on the rhombus 710 as shown in FIG. 11B.
  • n (Q 1 -Q 2 ) and n (Q 3 -Q 4 ), which is a difference in the amount of charges obtained during the n periods of each control signal, may have a similar form.
  • the size or shape of the rhombus may vary depending on the embodiment. In FIG. 11A, there is no blur due to movement, and the relationship between the amount of charge used to calculate depth information for each pixel may correspond to the two coordinates 720 and 730 of FIG. 11B. have.
  • Figure 11 (c) includes a non-uniform value 740 due to blur, in which case the relationship between Q 1 , Q 2 , Q 3 , Q 4 is as shown in (d) of FIG. It may be displayed in the area 750 out of the rhombus.
  • FIG. 11 (d) obtained from the blur image it can be seen that a value is plotted in an area other than the position of the rhombus, compared with FIG. 11 (b) obtained from the image without blur. .
  • the blur processing apparatus 100 has a reference charge amount relationship indicating a relationship between the amount of charges integrated by the reflected light signal and the control signal in a situation where there is no movement of a subject, a camera, a background, or the like (eg, a blur does not occur due to movement). You can save the information in advance.
  • the blur determination unit 130 may compare the relationship between the amount of charges integrated by the reflected light signal and the control signal when the subject is photographed with reference charge amount relationship information stored in advance. In this way, the blur determination unit 130 may determine whether blur occurs. For example, if the relationship between the amount of charges obtained based on the control signal in a specific pixel at the time of imaging is out of the reference charge amount relationship information, the blur determination unit 130 may determine that the blur has occurred in the corresponding pixel.
  • the blur determining unit 130 has a relationship (Q 1 -Q 2 , Q 3 -Q 4 ) of the control signal charge amount as described above for each pixel. By determining whether or not the normal range (dot on the rhombus) is outside, it is possible to determine whether blur has occurred.
  • the blur determining unit 130 is out of the normal range between the respective charge amounts Q 1 to Q N defined by the predetermined phase difference between the respective control signals. By determining whether or not, the blur can be immediately determined in the process of calculating the depth information of each pixel of the ToF type camera.
  • the image processor 140 may remove the generated blur by referring to a normal pixel value around the blur area where the blur has occurred in the image.
  • the image processor 140 may remove the generated blur by replacing a pixel value in which the blur occurs in the image with a normal pixel value in the vicinity where the blur does not occur.
  • the image processor 140 may replace the depth information of the blur area in which the blur occurs with the depth value of the pixel located at the shortest distance among the normal pixels in the vicinity where the blur does not occur.
  • the image processor 140 replaces the depth information of the blur area in which the blur occurs with a normal pixel value of the peripheral area in which the blur does not occur, based on a neighboring frame at a time different from the frame in which the blur occurs in the image. can do.
  • the image processor 140 may replace a pixel value in which a blur occurs in a specific frame with a pixel value having the same coordinate in a previous frame or a subsequent frame.
  • the blur determination unit 130 may generate a blur model for each tap structure of the ToF type camera.
  • the ToF type camera may be configured in a 4-phase / 1-tap, 4-phase / 2-tap, 4-phase / 4-tap, or the like structure.
  • Equation 5 a blur model of a ToF camera having a 4-phase / 1-tap structure is illustrated.
  • Equation 6 a blur model of the ToF camera having a 4-phase / 2-tap structure is illustrated.
  • Equation 7 a blur model of a ToF camera having a 4-phase / 4-tap structure is illustrated.
  • FIG. 12 illustrates an example of removing blur in an image, according to an exemplary embodiment.
  • the image processor 140 may remove the generated blur by replacing a pixel value in which the blur occurs in the image with a normal pixel value in the vicinity where the blur does not occur.
  • a blurring pixel value is a value displayed inside a graph of a rhombus shape
  • a surrounding normal pixel value is a value displayed on a graph of a rhombus shape.
  • the image processor 140 may remove the generated blur by replacing the value displayed inside the rhombus graph with the value displayed on the rhombus graph.
  • the image processor 140 may remove the generated blur by replacing the pixel value where the blur occurs with depth information of a pixel located at the shortest distance among the surrounding normal pixels.
  • the image processor 140 may replace the depth information of the blurred pixel with a normal pixel value without the blur based on a neighboring frame having a different time from the blurred frame.
  • FIG. 13 is a flowchart illustrating a procedure of a blur processing method according to an exemplary embodiment.
  • the blur processing method may be performed by the blur processing apparatus 100 shown in FIG. 1.
  • step 1310 the blur processing apparatus 100 emits an irradiation light signal to the object 104 through the light irradiation unit 102, and the emitted irradiation light signal is the object 104. Acquire a reflected light signal reflected from.
  • the blur processing apparatus 100 may calculate depth information using the phase difference of the acquired reflected light signal.
  • the blur processing apparatus 100 may determine whether blur occurs in an image acquired by the ToF camera using the depth information.
  • the blur processing apparatus 100 may calculate depth information by calculating a phase difference between control signals having different phase differences and the reflected light signal. For example, the blur processing apparatus 100 may obtain charges received by each of the control signals having a phase difference different from that of the reflected light signal. The blur processing apparatus 100 may determine whether or not a blur occurs in the image according to whether the relationship between the acquired charge amounts and the respective charge amounts defined due to different phase differences of the control signals is out of a normal range. have.
  • the blur processing apparatus 100 removes the generated blur using a normal pixel value around the blur area where the blur has occurred in the image.
  • the blur processing apparatus 100 may remove the generated blur by replacing a pixel value in which the blur occurs in the image with a normal pixel value around the area in which the blur does not occur.
  • the blur processing apparatus 100 may determine the depth information of the blur area in which the blur occurs, based on a neighboring frame having a different time than the frame in which the blur occurs in the image.
  • the generated blur can be removed by substituting a value.
  • FIG. 14 is a block diagram showing a configuration of a blur processing apparatus according to another embodiment.
  • the blur processing apparatus 1400 may include a model identifier 1410, a searcher 1420, and an image processor 1430.
  • the blur processing apparatus 1400 may be used in a manner of removing blur in the image when the charge amounts Q 1 , Q 2 , Q 3 , and Q 4 of the reflected light signal and the control signals are not provided.
  • the model identification unit 1410 may identify a blur model corresponding to the structure of the ToF type camera.
  • the ToF type camera has control signals having different phases of L (L is a natural number) generated in various ways, and is configured in an L-phase / M-tap method having M (M is a natural number) charge storage space. Can be. Therefore, the blur model may have different models according to the structure of the ToF camera, such as 4-phase / 1-tap, 4-phase / 2-tap, 4-phase / 4-tap, and the like.
  • the searcher 1420 searches for a pattern associated with the blur model in the image acquired by the ToF type camera.
  • the searcher 1420 may search for a pattern associated with the blur model using various pattern search methods.
  • the searcher 1420 may use a pyramid-type stepwise search method in orientation and space to improve the search speed.
  • the searcher 1420 may search for the pattern in the pattern search and the r-theta space by using a hough transformation.
  • the image processor 1430 removes the blur from the image by filtering the blur area within the searched pattern.
  • the image processor 1430 may perform filtering on an r-theta space to remove noise in the blur area. In this case, in order to make the Euclidean distance effective in the r-theta space, different weighting parameters between r and theta may be applied.
  • 15 is a diagram illustrating an example of filtering a blur area using a blur model.
  • the image processor 1430 filters the blur region (FIG. 15A) in which the blur is generated by the blur model (FIG. 15B), thereby removing the blur image (FIG. 15). (c)) can be obtained.
  • FIG. 16 is a flowchart illustrating a procedure of a blur processing method according to another embodiment.
  • the blur processing method may be performed by the blur processing apparatus 1400 shown in FIG. 14.
  • the blur processing apparatus 1400 identifies a blur model corresponding to the structure of a ToF camera.
  • the ToF camera has control signals having L (L is a natural number) phases different from each other, and may be configured in an L-phase / M-tap method having M (M is a natural number) charge storage spaces.
  • the blur model may have different models according to the structure of a ToF camera such as 4-phase / 1-tap, 4-phase / 2-tap, 4-phase / 4-tap, and the like.
  • the blur processing apparatus 1400 searches for a pattern associated with the blur model in the image acquired by the ToF camera.
  • the blur processing apparatus 1400 may search for a pattern associated with the blur model using various pattern search methods.
  • the blur processing apparatus 1400 may improve the search speed by using a pyramid-type stepwise search method in orientation and space.
  • the blur processing apparatus 1400 removes the blur from the image by filtering a blur area in which the blur occurs in the searched pattern.
  • the blur processing apparatus 1400 may perform filtering on an r-theta space to remove noise in the blur area.
  • Methods according to the embodiment may be implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the described embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

ToF 방식 카메라에서 생성된 영상에 블러가 발생하였는지 여부를 판단하고, 블러가 발생한 경우 블러가 발생하지 않은 주변의 정상 픽셀값을 이용하여 블러를 제거하는 블러 처리 방법 및 장치에 관한 것이다.

Description

블러 처리 장치 및 방법
영상 내에서 발생된 블러를 제거하는 기술에 관한 것이다.
ToF(Time of Flight) 방식의 카메라를 이용하여 생성되는 영상은, 매 프레임마다 노출 시간(Integration Time) 동안, 조사광 신호(예를 들어 적외선 신호)와 피사체에 반사되어 돌아오는 반사광 신호의 위상차를 계산함으로써 얻어진다. 노출 시간 보다 짧은 시간 동안 카메라 또는 피사체에 움직임이 발생하는 경우에는, 반사광 신호의 위상에 변화가 발생할 수 있다.
이러한 경우, 해당 반사광 신호를 통해 얻은 깊이(depth) 정보는 부정확한 값을 가지게 되며, 이는 영상에서 블러(Blur)의 형태로 보여지게 된다. 이러한 현상은 컬러 카메라에서 발생하는 블러 현상과 비슷한 이유로 발생할 수 있다. 그러나, ToF 방식의 카메라와 컬러 카메라는 영상을 얻는 방식에서 차이가 있고, ToF 방식의 카메라에서 발생하는 블러 현상은 컬러 영상의 블러 현상과 다른 블러 형태를 보이게 된다.
블러 처리 장치는, 제어 신호를 생성하는 제어부와, 조사광 신호가 객체로부터 반사되어 돌아오는 반사광 신호에 의해 생성되는 전자를 상기 제어 신호에 따라 집적하는 센서부, 및 상기 제어 신호 별로 집적된 전자의 양 간 관계를 이용하여 블러 여부를 판단하는 블러 판단부를 포함할 수 있다.
블러 처리 장치의 블러 판단부는, 블러가 없는 경우를 나타내는 기준 전하량 관계 정보와 상기 집적된 전자의 양 간 관계를 비교하여 블러여부를 판단할 수 있다.
상기 조사광 신호가, ToF(Time of Flight) 방식 카메라를 통해 방출되는 경우, 블러 처리 장치의 블러 판단부는, 상기 반사광 신호의 위상차를 이용하여 상기 ToF 방식 카메라를 통해 획득된 영상에 블러가 발생하였는지 여부를 판단할 수 있다.
또한, 상기 블러 판단부는, 서로 다른 위상차를 갖는 복수의 제어 신호와 상기 반사광 신호 간의 위상차를 계산하여 깊이 정보를 산출할 수 있다.
또한, 상기 센서부는, 상기 반사광 신호와 서로 다른 위상차를 갖는 복수의 제어 신호 각각에 의해 수광된 전하량을 획득하고, 상기 블러 판단부는, 상기 획득된 전하량과 상기 제어 신호의 서로 다른 위상차로 인하여 규정되는 각 전하량 간의 관계가 정상 범위로부터 벗어나는지 여부에 따라 상기 영상에 블러가 발생하였는지 여부를 판단할 수 있다.
상기 센서부는, n(n은 자연수)개의 반사광 신호를 획득하고, 상기 블러 판단부는, 서로 다른 위상차를 갖는 복수의 제어 신호와 상기 n개의 반사광 신호 간의 위상차를 계산하여 n개의 깊이 정보를 산출하고, 산출된 n개의 깊이 정보의 평균값을 산출할 수 있다.
상기 블러 판단부는, 상기 산출된 n개의 깊이 정보 중에서 적어도 하나가 플랏(flat)하지 않는 경우, 상기 영상에 블러가 발생한 것으로 판단할 수 있다.
상기 판단 결과 블러가 발생한 경우, 블러 처리 장치는, ToF 방식 카메라를 통해 획득된 영상 내에서, 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거할 수 있다.
상기 영상 처리부는, 상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체할 수 있다.
다른 실시예로서, 블러 처리 장치는, ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별하는 모델 식별부와, 상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색하는 검색부, 및 상기 검색된 패턴 내에 블러 영역을 필터링하여 상기 영상에서 블러를 제거하는 영상 처리부를 포함하여 구성할 수 있다.
블러 처리 장치의 영상 처리부는, r-세타(theta) 공간 상에서 상기 블러 영역을 필터링 할 수 있다.
블러 처리 방법은, 위상이 서로 다른 복수의 제어 신호를 생성하는 단계와, 조사광 신호가 객체로부터 반사되어 돌아오는 반사광 신호에 의해 생성되는 전자를 상기 제어 신호에 따라 집적하는 단계, 및 상기 제어 신호 별로 집적된 전자의 양 간 관계를 이용하여 블러 여부를 판단하는 단계를 포함할 수 있다.
상기 블러 처리 방법에서의 상기 블러 여부를 판단하는 단계는, 블러가 없는 경우를 나타내는 기준 전하량 관계 정보와 상기 집적된 전자의 양 간 관계를 비교하여 블러여부를 판단하는 단계를 포함할 수 있다.
상기 조사광 신호가, ToF 방식 카메라를 통해 방출되는 경우, 상기 블러 처리 방법에서의 상기 블러 여부를 판단하는 단계는, 상기 반사광 신호의 위상차를 이용하여 상기 ToF 방식 카메라를 통해 획득된 영상에 블러가 발생하였는지 여부를 판단하는 단계를 포함할 수 있다.
상기 블러 처리 방법에서의 상기 블러가 발생하였는지 여부를 판단하는 단계는, 서로 다른 위상차를 갖는 복수의 제어 신호와 상기 반사광 신호 간의 위상차를 계산하여 깊이 정보를 산출하는 단계를 포함할 수 있다.
상기 블러 처리 방법에서의 상기 블러가 발생하였는지 여부를 판단하는 단계는, 획득한 n(n은 자연수)개의 반사광 신호와, 서로 다른 위상차를 갖는 복수의 제어 신호 간의 위상차를 계산하는 단계와, 상기 계산된 결과를 이용하여 n개의 깊이 정보를 산출하는 단계 및 상기 산출된 n개의 깊이 정보의 평균값을 산출하는 단계를 포함할 수 있다.
상기 블러 처리 방법에서는, 상기 판단 결과 블러가 발생한 경우, ToF 방식 카메라를 통해 획득한 영상 내에서, 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거하는 단계를 더 포함할 수 있다.
상기 발생된 블러를 제거하는 단계는, 상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여, 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거하는 단계를 포함할 수 있다.
다른 실시예로서, 블러 처리 방법은, ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별하는 단계와, 상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색하는 단계, 및 상기 검색된 패턴 내에 블러 발생한 블러 영역을 필터링하여 상기 영상에서 상기 블러를 제거하는 단계를 포함할 수 있다.
상기 블러 처리 방법에서의 상기 검색된 패턴 내에 블러 발생한 블러 영역을 필터링하는 단계는, r-세타(theta) 공간 상에서 상기 블러 영역을 필터링하는 단계를 포함할 수 있다.
객체로부터 반사된 복수 반사광 신호의 관계를 이용하여 ToF 방식 카메라를 통해 획득한 영상 내에서 블러가 발생하였는지 여부를 효율적으로 판단할 수 있다.
영상 내에서 발생된 블러를, 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체함으로써, 발생된 블러를 용이하게 제거할 수 있다.
도 1은 블러 처리 장치의 일 실시예를 도시한 블록도이다.
도 2는 센서부를 구성하는 픽셀의 일 실시예를 나타낸 도면이고, 도 3은 반사광 신호와 제어 신호 간 타이밍도의 일 실시예이다.
도 4 내지 도 6은 영상 내에서 블러 발생 여부를 판단하기 위한 반사광 신호를 획득하는 일례를 도시한 도면이다.
도 7과 도 8은 일실시예에 따른, 피사체의 이동이 없는 경우와, 피사체의 이동이 있는 경우 각각에 대해, 반사광 신호와 제어신호 간의 관계를 도시하는 도면이다.
도 9는 일실시예에 따른, 영상 내에서 블러가 발생된 블러 영역의 깊이 정보를 그래프로 도시한 도면이다.
도 10은 일실시예에 따른, 블러가 발생한 영상과 깊이 정보 간의 연관성을 도시한 도면이다.
도 11은 일실시예에 따른, 깊이 정보와 블러 모델 간의 연관성을 도시한 도면이다.
도 12은 일실시예에 따른, 영상 내에서 블러를 제거하는 일례를 도시한 도면이다.
도 13는 일실시예에 따른 블러 처리 방법의 순서를 도시한 흐름도이다.
도 14은 다른 실시예에 따른 블러 처리 장치의 구성을 도시한 블록도이다.
도 15은 블러 모델을 이용하여 블러 영역을 필터링하는 일례를 도시한 도면이다.
도 16는 다른 실시예에 따른 블러 처리 방법의 순서를 도시한 흐름도이다.
이하, 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여 다양한 실시예를 상세하게 설명한다.
도 1은 블러 처리 장치의 일 실시예를 도시한 블록도이다.
블러 처리 장치(100)는 제어부(110), 센서부(120), 블러 판단부(130), 및 영상 처리부(140)를 포함하여 구성할 수 있다.
도 1에 예시된 블러 처리 장치(100)는 ToF 방식 카메라로 구현될 수 있다. 일실시예에서는 광 조사부(102)가 ToF 방식 카메라에 포함되는 실시예도 가능할 수 있다. ToF 방식 카메라는 객체(104)로 조사하는 조사광 신호(예를 들어 적외선 신호)와 조사광 신호가 객체(104)에 의해 반사되어 되돌아오는 반사광 신호 간의 위상차를 이용하여 카메라로부터 객체까지의 거리를 나타내는 깊이 영상을 생성할 수 있다.
광 조사부(102)는 조사광 신호를 객체(104)로 조사할 수 있다. 센서부(120)는 광 조사부(102)로부터 조사된 조사광 신호가 상기 객체(104)에 의해 반사되어 돌아오는 반사광 신호를 센싱할 수 있다. 예를 들어, 센서부(110)는 PPD(Pinned Photo Diode), Photogate, CCD(Charge Coupled Device) 등과 같은 광 센싱 소자를 포함할 수 있다. 여기서, 객체(104)는 피사체(subject)를 의미하며, 사진을 찍는 대상이 되는 것이다.
제어부(110)는 위상이 서로 다른 복수의 제어 신호를 생성한다. 제어 신호는 센서부(120)가 반사광 신호를 센싱하여 생성되는 전자를 집적하는 타이밍을 제어할 수 있는 신호이다.
센서부(120)와 제어 신호 간의 관계에 대한 일례를, 도 2 및 도 3를 통해 설명하도록 한다.
도 2는 센서부를 구성하는 픽셀의 일 실시예를 나타낸 도면이다.
픽셀(200)은 검출부(210, photogate), 게이트(게이트-A(221), 게이트-B(222)), 및 집적부(231, 232)를 포함하여 구성될 수 있다. 검출부(210)는 반사광 신호를 수신하여 전자를 생성하는 역할을 한다. 게이트-A(221)와 게이트-B(222)는 검출부(210)에서 생성된 전자를 집적부(231, 232)로 각각 전달할 수 있다. 도 2에서는 복수의 게이트, 예컨대 게이트-A(221)와 게이트-B(222)가 구비되어, 제어 신호에 따라 선택적으로 전자를 복수 개의 상이한 집적부(231, 232)로 전달하는 것을 예시하고 있다.
집적부(231, 232)는 전달된 전자를 집적할 수 있다. 전자의 집적 시간이나 주기는 사전에 정의될 수 있다. 예를 들어, 집적부(231, 232)는 일정 시간 동안 전자를 집적하고, 집적된 전자의 양을 집계할 때 전자를 방출한 후, 다음 번 전자 집적 타이밍에 또 다시 전자를 집적하도록 정의될 수 있다.
게이트의 온(on)/오프(off)는 앞서 설명한 제어 신호에 의해 제어될 수 있다.
도 3는 반사광 신호와 제어 신호 간 타이밍도의 일 실시예이다.
본 실시예에서 제1 제어신호와 제2 제어신호는 각각 도 2의 게이트-A(221) 및 게이트-B(222)를 제어할 수 있으며, 서로 180도의 위상차를 나타내고 있다. 상기 제1, 2 제어신호의 1/2 주기는 예컨대, 25ns 일 수 있다.
도 3에 도시한 바와 같이, 반사광 신호가 하이(high) 값인 tON 동안 검출부(210)에서 전자가 발생할 수 있다.
이때, 발생된 전자의 일부는, 게이트-A(221)에 관련된 제1 제어신호가 하이 값인 tON-tΤOF 동안, 게이트-A(221)를 경유하여 집적부(231)에 집적하게 된다.
반면, 발생된 전자의 나머지 일부는, 상기 제1 제어신호가 로우(low) 값으로 전환되고, 게이트-B(222)에 관련된 제2 제어신호가 하이 값인 tΤOF 동안, 게이트-B(222)를 경유하여 집적부(232)에 집적하게 된다.
예컨대, 반사광 신호가 하이(high) 값인 tON 동안 발생된 전자는, tON-tΤOF 동안에는 게이트-A(221)가 온(on) 상태가 되어 게이트-A(221)와 연관된 집적부(231)로 전달되고, tΤOF 동안에는 게이트-B(222)가 온(on) 상태가 되어 게이트-B(222)와 연관된 집적부(232)로 전달될 수 있다.
도 2 및 도 3에서는 센서의 게이트와 집적부가 각각 2개인 경우를 설명하였으나, 게이트와 집적부의 개수는 실시예에 따라서 달라질 수 있다.
다시 도 1을 설명하면, 블러 판단부(130)는 상기 제어 신호 별로 집적된 전자의 양(이하, 전하량이라 한다) 간 관계를 이용하여 블러(Blur) 여부를 판단한다.
또한, 블러 판단부(130)는 서로 다른 위상을 가지는 제어 신호들을 이용하여 상기 반사광 신호와 상기 조사광 신호의 위상차를 얻을 수 있다. 예컨대, 센서부(120)가 ToF 방식 카메라의 노출 시간(Integration Time) 동안 반사되어 돌아오는 반사광 신호를 반복적으로 획득함으로써, 블러 판단부(130)는 반사광 신호에 기반한 깊이 정보를 얻을 수 있다.
도 4 내지 도 6는 영상 내에서 블러 발생 여부를 판단하기 위한 반사광 신호를 획득하는 일례를 도시한 도면이다. 도 4 내지 도 6에서, C1 내지 C4는 제어 신호를 지칭하고, Q1 내지 Q4는 전하량을 의미하며, td는 깊이 정보이다.
ToF 방식 카메라는 서로 상이한 L(L은 자연수)개의 위상을 갖는 제어 신호들을 생성할 수 있다. ToF 방식 카메라는 M(M은 자연수)개의 전하량 저장 공간을 가지는 L-Phase/M-tap 방식으로 구성될 수 있다. 예를 들어, 도 4의 4-phase/1-tap의 예시에서, ToF 방식 카메라는 상호 90도의 위상차를 가지는 4개의 제어 신호 'C1','C2','C3','C4'를 생성할 수 있다.
센서부(120)는 상기 반사광 신호와 제어 신호 'C1'에 의해 전하량 'Q1'을 획득하고, 상기 반사광 신호와 제어 신호 'C2'에 의해 전하량 'Q2'를 획득하고, 상기 반사광 신호와 제어 신호 'C3'에 의해 전하량 'Q3'을 획득하며, 상기 반사광 신호와 제어 신호 'C4'에 의해 전하량 'Q4'를 순차적으로 획득할 수 있다.
도 4의 4-phase/1-tap 방식과, 도 5의 4-phase/2-tap 방식과, 도 6의 4-phase/4-tap 방식은 ToF 방식 카메라의 구조가 상이함을 나타낼 수 있다. 예컨대, 센서부(120)는 ToF 방식 카메라의 구조에 따라 노출 시간 동안 반사광 신호와 제어 신호들 간의 위상차를 획득하는 방법을 서로 달리할 수 있다.
도 4 내지 도 6에서는 4개의 제어 신호들을 생성하고, 4개의 전하량을 획득하는 일례를 도시하고 있지만, 실시예에 따라, 제어 신호의 개수가 4 보다 작거나 클 수도 있다.
블러 판단부(130)는 상기 획득한 전하량 'Q1', 'Q2', 'Q3', 'Q4' 간의 관계를 이용하여 ToF 방식 카메라를 통해 획득된 영상에 블러(Blur)가 발생하였는지 여부를 판단한다. 예컨대, 블러 판단부(130)는 제어 신호들 C1 과 C2가 하이(high) 값인 동안 얻어진 전하량 간의 차이인 제1 차이값(Q1 - Q2)을 계산할 수 있다. 또한, 블러 판단부(130)는 제어 신호들 C3 과 C4가 하이 값인 동안 얻어진 전하량 간의 차이인 제2 차이값(Q3 - Q4)을 계산할 수 있다. 이후, 블러 판단부(130)는 상기 제2 차이값(Q3 - Q4)을 상기 제1 차이값(Q1 - Q2)으로 나눈 나눗셈값(Q3 - Q4/Q1 - Q2)에 아크탄젠트(arctangent) 함수를 적용하여 상기 깊이 정보(td)를 산출할 수 있다.
일례로서, 도 5에 도시된 4-phase/2-tap 방식의 실시예에서 제어신호 C1 내지 C4의 타이밍도가 전하 Q1 내지 Q4를 획득하기 위한 주기 1회를 나타낸다고 할 때, 이러한 주기를 n(n은 자연수)회 반복할 경우, Q1 내지 Q4는, 각각 n번 얻어질 수 있다. n회의 주기 동안 얻어진 전하량을 이용하여 한 장의 깊이 영상을 생성한다면, 앞서 설명한 제1 차이값은 nQ1 - nQ2일 수 있고, 제2 차이값은 nQ3 - nQ4일 수 있다. 또한, 한 픽셀에서의 깊이 정보(td)는 아래와 같은 수학식 1로 나타낼 수 있다.
Figure PCTKR2012005512-appb-I000001
만약, 카메라, 피사체 또는 배경에 움직임이 발생한다면, 센서부(120)에 포함된 픽셀 중 적어도 하나가 센싱하는 반사광 신호의 위상에는, 변화가 생길 수 있다.
도 7와 도 8는 일실시예에 따른, 피사체의 이동이 없는 경우와, 피사체의 이동이 있는 경우 각각에 대해, 반사광 신호와 제어신호 간의 관계를 도시하는 도면이다. 도 7 및 도 8는 이해를 돕기 위한 개념도일 뿐이므로, 도 7 및 도 8에 의해 다른 실시예가 한정적으로 해석되지는 않는다.
도 7 및 도 8에서 반사광 신호는 동그라미 지점(R)에서 반사된 것이며, 제어신호는 해당 지점의 반사광 신호를 센싱하는 센서부(120)의 픽셀을 제어한다.
도 7에서와 같이 피사체의 이동이 없는 경우, 제어신호의 첫 번째 하이값과 두 번째 하이값에서 생성되는 전하량은, 각각 Qa로 동일하다.
반면, 도 8에서와 같이 피사체의 이동으로 인하여, 조사광 신호가 반사되는 객체가 영상인 의자에서 배경으로 바뀔 경우(t0과 t1 시점의 동그라미 지점(R) 참조), 반사광 신호가 픽셀에 도달하는 시간은, t1에서 t1'으로 지연될 수 있다. 예컨대, 픽셀이 센싱하는 반사광 신호에는 위상 변화를 발생할 수 있다. 이 경우, 제어신호의 첫 번째 하이값 동안 생성되는 전하량과 두 번째 하이값 동안 생성되는 전하량은, 각각 Qa와 Qa'로 서로 다르다. 만약, 제어신호가 두 번의 하이값일 동안 생성된 전하를 이용하여 깊이값이 결정된다면, 도 8의 실시예에서는 Qa와 Qa'을 이용하여 깊이 영상 내의 한 픽셀값(동그라미 지점(R)에 대응)을 나타내게 될 것이므로, 해당 픽셀에 블러가 발생하게 된다.
이하에서는 앞서 설명한 도 5의 4-phase/2-tap의 실시예일 경우, 움직임이 발생한 지점에 대응되는 픽셀로부터 얻을 수 있는 깊이값에 대해 설명하도록 한다.
블러 판단부(130)는 n 주기의 제어 신호들(C1, C2) 중, 반사광 신호의 위상 변화가 발생하기 전, m 주기의 C1과 C2 간의 전하량 차이값인 제1 차이값(Q1 - Q2)를 계산하고, 위상차 변화가 발생하여 새로운 위상을 갖는 나머지 n-m 주기의 C1 과 C2 간의 전하량 차이값인 제1 차이값(
Figure PCTKR2012005512-appb-I000002
)를 계산하게 된다. 또한, 블러 판단부(130)는 n 주기의 제어 신호들(C3, C4) 중, 위상차 변화가 발생하기 전 m 주기의 C3 과 C4 간의 전하량 차이값인 제2 차이값(Q3 - Q4)를 계산하고, 위상차 변화가 발생하여 새로운 위상을 갖는 나머지 n-m 주기의 C3 과 C4 간의 전하량 차이값인 제2 차이값(
Figure PCTKR2012005512-appb-I000003
)를 계산할 수 있다.
이 경우, 상기 깊이 정보(td)는 아래와 같은 수학식 2으로 나타낼 수 있다.
Figure PCTKR2012005512-appb-I000004
m을 변수로 하는 함수 td는 1차 미분되어, 아래와 같은 수학식 3의 td' 로 나타낼 수 있다.
Figure PCTKR2012005512-appb-I000005
수학식 3을 풀면, 수학식 4와 같은 값을 얻을 수 있다.
Figure PCTKR2012005512-appb-I000006
예컨대, 위상차 변화에 의해 발생하는 깊이 정보(td)의 변화는 얻어진 m에서 1개의 로컬 최대값 또는 로컬 최소값을 가질 수 있음을 알 수 있다. 이때, m 주기의 위치는 움직임 전후의 깊이 정보에 따라 변함을 알 수 있다.
이상의 내용에서 ToF 방식 카메라에서 생성된 영상 내의 블러 현상은 양단 값의 중간값을 취하거나, 단조 증가/감소하는 형태로 발생하는 것이 아님을 알 수 있다. ToF 방식 카메라의 특성상 컬러 카메라와 다른 방식으로 영상을 획득하기 때문에, ToF 방식 카메라에서 생성된 영상에서 블러를 제거하는 방식은 컬러 카메라의 블러를 제거하는 방식과는 전혀 상이할 수 있다.
일 실시예로, 블러 판단부(130)는 제어 신호 C1 과 C2를 통해 얻은 전하량 'Q1', 'Q2' 간의 제1 차이값과 제어 신호 C3 과 C4를 통해 얻은 전하량 'Q3', 'Q4' 간의 제2 차이값을 n번 계산하고, 상기 계산된 결과를 이용하여 깊이 정보를 n번 산출할 수 있다. 예컨대, 블러 판단부(130)는 제어신호의 1회 주기마다 얻어진 전하량을 이용하여 깊이 정보를 산출하고, 이런 식으로 산출된 n개의 깊이 정보의 평균값을 이용하여 깊이 영상 한 프레임(frame)이 생성될 수도 있다.
이 경우, 블러 판단부(130)는 상기 산출된 n개의 깊이 정보 중에서 적어도 하나가 플랏(flat)하지 않는 경우, 상기 깊이 영상에 블러가 발생한 것으로 판단할 수 있다. 예컨대, 반사광 신호의 위상이 일정한 값을 가지는 경우, 산출된 n개의 깊이 정보는 일정한 값을 가지게 된다. 반면, 반사광 신호의 위상이 일정한 값을 가지지 않는 경우, 산출된 n개의 깊이 정보도 일정한 값을 가지지 못하고 상기 일정하지 않는 값으로 산출됨으로써, 블러 판단부(130)는 영상 내에서 상기의 값을 가지는 영역에 블러가 발생한 것임을 판단할 수 있다.
도 9는 일실시예에 따른, 영상 내에서 블러가 발생된 블러 영역의 깊이 정보를 그래프로 도시한 도면이다.
블러 판단부(130)는 움직이는 객체에 대한 깊이 정보를 참조하여 블러의 발생 여부를 판단할 수 있다. 일례에 따르면, 블러 판단부(130)는 각 픽셀 좌표(픽셀값)와 연관된 깊이 정보가 균일한 값을 가지지 않는 영역에 블러가 발생한 것으로 판단할 수 있다.
도 9에서, 블러 판단부(130)는 깊이 정보가 어느 특정 영역에서 다른 깊이 정보와 다르게 큰 값을 갖는 경우, 다른 깊이 정보와 다른 값을 가지는 영역을 블러가 발생된 블러 영역(910)으로 판단할 수 있다. 예를 들어, 픽셀 좌표간 깊이 정보를 나열한 결과, 깊이 정보 그래프가 도 9와 같이 첨점 형태를 나타낼 경우, 블러 판단부(130)는 첨점을 이루는 픽셀 영역(910)에서 블러가 발생한 것으로 판단할 수 있다.
도 10는 일실시예에 따른, 블러가 발생한 영상과 깊이 정보 간의 연관성을 도시한 도면이다.
블러 판단부(130)는 영상들(도 10의 (a), (d), (g)) 내에서 일정 영역의 깊이 정보를 산출하고, 산출된 깊이 정보를 이용하여 영상들(도 10의 (a), (d), (g)) 내에서 블러가 발생하였는지 여부를 판단할 수 있다.
예를 들어, 도 10의 (b)와 (c)는 제1 영상(도 10의 (a))에서 i 영역과 ii 영역의 깊이 정보를 산출하여 표시하는 그래프이다. 제1 영상(도 10의 (a))의 i 영역과 ii 영역 모두에서 산출된 깊이 정보는 완벽하게 일정한 값을 가지지는 않지만, 전체 픽셀 좌표에서 고른 깊이 정보를 가진다. 이 경우, 블러 판단부(130)는 제1 영상(도 10의 (a)) 내에서 블러가 발생하지 않은 것으로 판단할 수 있다.
도 10의 (e)와 (f)는 움직임이 있는 제2 영상(도 10의 (d))에서 i 영역과 ii 영역의 깊이 정보를 산출하여 표시하는 그래프이다. 움직임이 있는 제2 영상(도 10의 (d))의 i 영역과 ii 영역 모두에서 산출된 깊이 정보는, 움직임이 없는 제1 영상(도 10의 (a))의 도 10의 (b)와 (c)에서 볼 수 없었던 특이한(첨점 형태나, 기울기의 급격한 변화 등) 깊이 정보 값을 가진다. 이 경우, 블러 판단부(130)는 제2 영상(도 10의 (d)) 내에서 블러가 발생한 것으로 판단할 수 있다.
도 10의 (h)와 (i)는 제3 영상(도 10의 (g))에서 i 영역과 ii 영역의 깊이 정보를 산출하여 표시하는 그래프이다. 제3 영상(도 10의 (g))의 i 영역과 ii 영역 모두에서 산출된 깊이 정보는 제1 영상(도 10의 (a))의 깊이 정보와 유사하게 완벽하게 일정한 값을 가지지는 않지만, 전체 픽셀 좌표에서 고른 깊이 정보를 가진다. 이 경우, 블러 판단부(130)는 제3 영상(도 10의 (g)) 내에서 블러가 발생하지 않은 것으로 판단할 수 있다.
도 11은 일실시예에 따른, 깊이 정보와 블러 모델 간의 연관성을 도시한 도면이다.
4-phase/2-tap의 구조를 가진 ToF 방식 카메라의 경우, 반사광 신호와 제어 신호들(C1, C2, C3, C4)을 통해 얻은 전하량(Q1, Q2, Q3, Q4) 중, Q1 - Q2와 Q3 - Q4의 관계는 도 11의 (b)와 같이 마름모 형태를 나타낼 수 있다. 예컨대, 피사체, 카메라, 배경 등에 움직임이 없는 경우, 전하량 Q1 - Q2와 Q3 - Q4의 관계는, 도 11의 (b)에 나타낸 바와 같은 마름모(710) 상에 존재할 수 있다. 물론, 각 제어 신호의 n 주기 동안 얻은 전하량의 차이인 n(Q1 - Q2)과 n(Q3 - Q4)간의 차이도 이와 유사한 형태를 나타낼 수 있다. 또한, 마름모의 크기나 형태는 실시예에 따라 달라질 수 있다. 도 11의 (a)에는 움직임에 의한 블러가 없는 상태를 나타내며, 각 픽셀별 깊이 정보를 산출하는데 사용된 전하량 간의 관계는 도 11의 (b)의 두 개 좌표(720, 730)에 대응될 수 있다.
반면, 도 11의 (c)는 블러로 인해 균일하지 않는 값(740)을 포함하고 있으며, 이 경우 Q1, Q2, Q3, Q4 간 관계는 도 11의 (d)에 나타난 바와 같이 마름모를 벗어난 영역(750)에 표시될 수 있다. 예컨대, 블러가 발생한 영상에서 얻어진 도 11의 (d)는 블러가 발생하지 않은 영상에서 얻어진 도 11의 (b)과 비교하여, 마름모의 위치 이외의 영역에 도식되는 값이 발생함을 알 수 있다.
블러 처리 장치(100)는 피사체, 카메라, 배경 등의 움직임이 없는 상황(예컨대, 움직임에 의한 블러가 발생하지 않는 상황)에서 반사광 신호와 제어신호에 의해 집적되는 전하량들 간의 관계를 나타내는 기준 전하량 관계 정보를 사전에 저장해 둘 수 있다.
기준 전하량 관계 정보의 일례는 도 11의 (b)에 도시된 마름모 그래프일 수 있으며, 실시예에 따라서 다른 모양의 그래프로 표현될 수 있다. 물론, 기준 전하량 관계 정보는 그래프 뿐만 아니라 테이블, 수식 등 다양한 형태로 표현될 수 있다. 블러 판단부(130)는 피사체 촬영 시 반사광 신호와 제어신호에 의해 집적되는 전하량들 간의 관계를 사전에 저장해 둔 기준 전하량 관계 정보와 비교할 수 있다. 이를 통해, 블러 판단부(130)는 블러가 발생 여부를 판단할 수 있다. 예를 들어, 만약, 촬영시 특정 픽셀에서 제어신호에 기반하여 얻어진 전하량 간의 관계가 기준 전하량 관계 정보를 벗어난다면, 블러 판단부(130)는 해당 픽셀에 블러가 발생한 것으로 판단할 수 있다.
예컨대, 블러 판단부(130)는 4-phase/2-tap의 구조를 가진 ToF 방식 카메라의 경우, 매 픽셀마다 위와 같이 제어 신호 전하량의 관계(Q1 - Q2, Q3 - Q4)가 정상 범위(마름모 모양 위의 점)를 벗어나는지의 여부를 판단함으로써, 블러 발생 여부를 판단할 수 있다.
L-phase/M-tap의 구조를 가진 ToF 방식 카메라의 각 경우에서도, 블러 판단부(130)는 각 제어 신호간 미리 정해진 위상차로 인하여 규정되는 각 전하량 Q1 ~ QN 간 정상 범위로부터 벗어나는지의 여부를 판단함으로써, ToF 방식 카메라의 각 픽셀의 깊이 정보를 계산하는 과정에서 바로 블러 발생 여부를 판단할 수 있다.
이렇게, 상기 판단 결과 블러가 발생한 경우, 영상 처리부(140)는 상기 영상 내에서 상기 블러가 발생된 블러 영역 주변의 정상 픽셀값을 참조하여 상기 발생된 블러를 제거할 수 있다.
예를 들어, 영상 처리부(140)는 상기 영상 내에서 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거할 수 있다. 실시예로, 영상 처리부(140)는 상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 블러가 발생하지 않은 주변의 정상 픽셀 중 가장 근거리에 위치한 픽셀의 깊이 값으로 대체할 수 있다. 또는, 영상 처리부(140)는 상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체할 수 있다. 예를 들어, 영상 처리부(140)는 특정 프레임에서 블러가 발생한 픽셀값을 이전 프레임 또는 이후 프레임에서 동일한 좌표의 픽셀값으로 대체할 수 있다.
블러 판단부(130)는 ToF 방식 카메라의 각 탭 구조별 블러 모델을 생성할 수 있다. 상기에서 설명한 바와 같이, ToF 방식 카메라는 4-phase/1-tap, 4-phase/2-tap, 4-phase/4-tap 등의 구조로 구성될 수 있다.
Figure PCTKR2012005512-appb-I000007
수학식 5에서는, 4-phase/1-tap 구조로 구성된 ToF 방식 카메라의 블러 모델을 예시한다.
Figure PCTKR2012005512-appb-I000008
수학식 6에서는, 4-phase/2-tap 구조로 구성된 ToF 방식 카메라의 블러 모델을 예시한다. 수학식 6에서, 블러 판단부(130)는 반사광 신호들의 관계가, m 주기의 C1과 C2 간의 전하량 합산값(Q1 + Q2)과, m 주기의 C3과 C4 간의 전하량 합산값(Q3 + Q4)이 동일한지, 예컨대 (Q1 + Q2) = (Q3 + Q4)를 만족하는지 여부를 판단함으로써, 영상 내에 블러가 발생하였는지 여부를 판단할 수 있다.
예컨대, 블러 판단부(130)는 획득된 반사광 신호들의 관계가 Q1 + Q2 = Q3 + Q4의 조건을 만족하는 경우, 영상 내에 블러가 발생하지 않은 것으로 판단하고, 획득된 반사광 신호들의 관계가 Q1 + Q2 = Q3 + Q4의 조건을 만족하지 않는 경우, 영상 내에 블러가 발생한 것으로 판단할 수 있다.
Figure PCTKR2012005512-appb-I000009
수학식 7에서는, 4-phase/4-tap 구조로 구성된 ToF 방식 카메라의 블러 모델을 예시한다.
도 12은 일실시예에 따른, 영상 내에서 블러를 제거하는 일례를 도시한 도면이다.
영상에 블러가 발생한 경우, 영상 처리부(140)는 상기 영상 내에서 상기 블러가 발생한 픽셀값을, 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거할 수 있다.
도 12에서, 블러가 발생한 픽셀값은 마름모 형태의 그래프 안쪽에 표시된 값이고, 주변의 정상 픽셀값은 마름모 형태의 그래프 상에 표시된 값이다. 예컨대, 영상 처리부(140)는 마름모 형태의 그래프 안쪽에 표시된 값을, 마름모 형태의 그래프 상에 표시된 값으로 대체함으로써, 발생된 블러를 제거할 수 있다.
실시예로, 영상 처리부(140)는 주변의 정상 픽셀 중 가장 근거리에 위치한 픽셀의 깊이 정보로 상기 블러가 발생한 픽셀값을 대체함으로써, 발생된 블러를 제거할 수 있다. 또는, 영상 처리부(140)는 블러가 발생한 픽셀의 깊이 정보를, 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여 상기 블러가 발생하지 않은 정상 픽셀값으로 대체할 수 있다.
도 13은 일실시예에 따른 블러 처리 방법의 순서를 도시한 흐름도이다. 여기서, 블러 처리 방법은 도 1에 도시한 블러 처리 장치(100)에 의해 수행될 수 있다.
도 13을 참고하면, 단계(1310)에서, 블러 처리 장치(100)는 광조사부(102)를 통해 조사광 신호를 객체(104)로 방출하고, 상기 방출된 조사광 신호가 상기 객체(104)로부터 반사되는 반사광 신호를 획득한다.
단계(1320)에서, 상기 블러 처리 장치(100)는 상기 획득한 반사광 신호의 위상차를 이용하여 깊이 정보를 산출할 수 있다.
단계(1330)에서, 상기 블러 처리 장치(100)는 상기 깊이 정보를 이용하여 상기 ToF 방식 카메라를 통해 획득된 영상에 블러가 발생하였는지 여부를 판단할 수 있다.
상기 블러 처리 장치(100)는 서로 다른 위상차를 갖는 제어 신호들과 상기 반사광 신호 간의 위상차를 계산하여 깊이 정보를 산출할 수 있다. 예컨대, 상기 블러 처리 장치(100)는 상기 반사광 신호와 서로 다른 위상차를 갖는 제어 신호들 각각에 의해 수광된 전하량들을 획득할 수 있다. 상기 블러 처리 장치(100)는 상기 획득된 전하량들과 상기 제어 신호들의 서로 다른 위상차로 인하여 규정되는 각 전하량 간의 관계가 정상 범위로부터 벗어나는지 여부에 따라 상기 영상에 블러가 발생하였는지 여부를 판단할 수 있다.
단계(1340)에서, 상기 블러 처리 장치(100)는 상기 판단 결과 블러가 발생한 경우, 상기 영상 내에서 상기 블러가 발생된 블러 영역 주변의 정상 픽셀값을 이용하여 상기 발생된 블러를 제거한다.
상기 블러 처리 장치(100)는 상기 영상 내에서 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거할 수 있다.
또는, 상기 블러 처리 장치(100)는 상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여, 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거할 수 있다.
도 14는 다른 실시예에 따른 블러 처리 장치의 구성을 도시한 블록도이다.
도 14를 참고하면, 블러 처리 장치(1400)는 모델 식별부(1410), 검색부(1420), 및 영상 처리부(1430)를 포함할 수 있다. 예컨대, 블러 처리 장치(1400)는 반사광 신호와 제어 신호들의 전하량(Q1, Q2, Q3, Q4)이 제공되지 않는 경우에 영상 내에서 블러를 제거하는 방식으로 이용될 수 있다.
모델 식별부(1410)는 ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별할 수 있다. 상기 ToF 방식 카메라는 다양한 방식으로 생성한 서로 상이한 L(L은 자연수)개의 위상을 갖는 제어 신호들을 가지고, M(M은 자연수)개의 전하량 저장 공간을 가지는 L-phase/M-tap 방식으로 구성될 수 있다. 따라서, 상기 블러 모델은 4-phase/1-tap, 4-phase/2-tap, 4-phase/4-tap 등, ToF 방식 카메라의 구조에 따라 서로 상이한 모델을 가질 수 있다.
검색부(1420)는 상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색한다. 검색부(1420)는 다양한 패턴 검색 방식들을 이용하여 상기 블러 모델과 연관된 패턴을 검색할 수 있다. 검색부(1420)는 검색 속도를 향상시키기 위하여, 오리엔테이션(orientation) 및 공간에서 피라미드(pyramid) 형태의 단계적 검색 방식을 사용할 수 있다.
실시예로, 검색부(1420)는 허프 변환(hough transformation)을 이용하여 패턴 검색 및 r-세타(theta) 공간에서 상기 패턴을 검색할 수 있다.
영상 처리부(1430)는 상기 검색된 패턴 내에 블러 영역을 필터링하여 상기 영상에서 블러를 제거한다. 영상 처리부(1430)는 상기 블러 영역에 노이즈 제거를 위하여 r-세타(theta) 공간 상에서 필터링을 수행할 수 있다. 이때, r-세타(theta) 공간에서 유클리드 거리(Euclidean distance)를 유효하게 하기 위하여, r과 세타(theta)간 서로 다른 가중치 파라미터를 적용할 수 있다.
도 15은 블러 모델을 이용하여 블러 영역을 필터링하는 일례를 도시한 도면이다.
도 15을 참고하면, 영상 처리부(1430)는 블러가 발생된 블러 영역(도 15의 (a))을 블러 모델(도 15의 (b))로 필터링하여, 블러가 제거된 영상(도 15의 (c))을 얻을 수 있다.
도 16은 다른 실시예에 따른 블러 처리 방법의 순서를 도시한 흐름도이다. 여기서, 블러 처리 방법은 도 14에 도시한 블러 처리 장치(1400)에 의해 수행될 수 있다.
도 16을 참고하면, 단계 1610에서, 블러 처리 장치(1400)는 ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별한다. 상기 ToF 방식 카메라는 서로 상이한 L(L은 자연수)개의 위상을 갖는 제어 신호들을 가지고, M(M은 자연수)개의 전하량 저장 공간을 가지는 L-phase/M-tap 방식으로 구성될 수 있다. 상기 블러 모델은 4-phase/1-tap, 4-phase/2-tap, 4-phase/4-tap 등, ToF 방식 카메라의 구조에 따라 서로 상이한 모델을 가질 수 있다.
단계 1620에서, 상기 블러 처리 장치(1400)는 상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색한다. 상기 블러 처리 장치(1400)는 다양한 패턴 검색 방식들을 이용하여 상기 블러 모델과 연관된 패턴을 검색할 수 있다. 상기 블러 처리 장치(1400)는 오리엔테이션 및 공간에서 피라미드 형태의 단계적 검색 방식을 사용함으로써, 검색 속도를 향상시킬 수 있다.
단계 1630에서, 상기 블러 처리 장치(1400)는 상기 검색된 패턴 내에 블러 발생한 블러 영역을 필터링하여 상기 영상에서 상기 블러를 제거한다. 상기 블러 처리 장치(1400)는 상기 블러 영역에 노이즈 제거를 위하여 r-세타(theta) 공간 상에서 필터링을 수행할 수 있다.
실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 서술된 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 비록 한정된 실시예와 도면에 의해 설명되었으나, 실시예들은 상기의 실시예에 한정되는 것은 아니며, 당해 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 권리 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 제어 신호를 생성하는 제어부;
    조사광 신호가 객체로부터 반사되어 돌아오는 반사광 신호에 의해 생성되는 전자를 상기 제어 신호에 따라 집적하는 센서부; 및
    상기 제어 신호 별로 집적된 전자의 양 간 관계를 이용하여 블러(Blur) 여부를 판단하는 블러 판단부
    를 포함하는, 블러 처리 장치.
  2. 제1항에 있어서,
    상기 블러 판단부는,
    블러가 없는 경우를 나타내는 기준 전하량 관계 정보와 상기 집적된 전자의 양 간 관계를 비교하여 블러여부를 판단하는, 블러 처리 장치.
  3. 제1항에 있어서,
    상기 조사광 신호가, ToF(Time of Flight) 방식 카메라를 통해 방출되는 경우,
    상기 블러 판단부는,
    상기 반사광 신호의 위상차를 이용하여 상기 ToF 방식 카메라를 통해 획득된 영상에 블러가 발생하였는지 여부를 판단하는, 블러 처리 장치.
  4. 제3항에 있어서,
    상기 블러 판단부는,
    서로 다른 위상차를 갖는 복수의 제어 신호와 상기 반사광 신호 간의 위상차를 계산하여 깊이 정보를 산출하는, 블러 처리 장치.
  5. 제3항에 있어서,
    상기 센서부는,
    상기 반사광 신호와 서로 다른 위상차를 갖는 복수의 제어 신호 각각에 의해 수광된 전하량을 획득하고,
    상기 블러 판단부는,
    상기 획득된 전하량과 상기 제어 신호의 서로 다른 위상차로 인하여 규정되는 각 전하량 간의 관계가 정상 범위로부터 벗어나는지 여부에 따라 상기 영상에 블러가 발생하였는지 여부를 판단하는, 블러 처리 장치.
  6. 제3항에 있어서,
    상기 센서부는,
    n(n은 자연수)개의 반사광 신호를 획득하고,
    상기 블러 판단부는,
    서로 다른 위상차를 갖는 복수의 제어 신호와 상기 n개의 반사광 신호 간의 위상차를 계산하여 n개의 깊이 정보를 산출하고, 산출된 n개의 깊이 정보의 평균값을 산출하는, 블러 처리 장치.
  7. 제6항에 있어서,
    상기 블러 판단부는,
    상기 산출된 n개의 깊이 정보 중에서 적어도 하나가 플랏(flat)하지 않는 경우, 상기 영상에 블러가 발생한 것으로 판단하는, 블러 처리 장치.
  8. 제1항에 있어서,
    상기 판단 결과 블러가 발생한 경우,
    ToF 방식 카메라를 통해 획득된 영상 내에서, 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거하는 영상 처리부
    를 더 포함하는, 블러 처리 장치.
  9. 제8항에 있어서,
    상기 영상 처리부는,
    상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하는, 블러 처리 장치.
  10. ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별하는 모델 식별부;
    상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색하는 검색부; 및
    상기 검색된 패턴 내에 블러 영역을 필터링하여 상기 영상에서 블러를 제거하는 영상 처리부
    를 포함하는, 블러 처리 장치.
  11. 제10항에 있어서,
    상기 영상 처리부는,
    r-세타(theta) 공간 상에서 상기 블러 영역을 필터링하는, 블러 처리 장치.
  12. 위상이 서로 다른 복수의 제어 신호를 생성하는 단계;
    조사광 신호가 객체로부터 반사되어 돌아오는 반사광 신호에 의해 생성되는 전자를 상기 제어 신호에 따라 집적하는 단계; 및
    상기 제어 신호 별로 집적된 전자의 양 간 관계를 이용하여 블러 여부를 판단하는 단계
    를 포함하는, 블러 처리 방법.
  13. 제12항에 있어서,
    상기 블러 여부를 판단하는 단계는,
    블러가 없는 경우를 나타내는 기준 전하량 관계 정보와 상기 집적된 전자의 양 간 관계를 비교하여 블러여부를 판단하는 단계
    를 포함하는, 블러 처리 방법.
  14. 제12항에 있어서,
    상기 조사광 신호가, ToF 방식 카메라를 통해 방출되는 경우,
    상기 블러 여부를 판단하는 단계는,
    상기 반사광 신호의 위상차를 이용하여 상기 ToF 방식 카메라를 통해 획득된 영상에 블러가 발생하였는지 여부를 판단하는 단계
    를 포함하는, 블러 처리 방법.
  15. 제14항에 있어서,
    상기 블러가 발생하였는지 여부를 판단하는 단계는,
    서로 다른 위상차를 갖는 복수의 제어 신호와 상기 반사광 신호 간의 위상차를 계산하여 깊이 정보를 산출하는 단계
    를 포함하는, 블러 처리 방법.
  16. 제14항에 있어서,
    상기 블러가 발생하였는지 여부를 판단하는 단계는,
    획득한 n(n은 자연수)개의 반사광 신호와, 서로 다른 위상차를 갖는 복수의 제어 신호 간의 위상차를 계산하는 단계;
    상기 계산된 결과를 이용하여 n개의 깊이 정보를 산출하는 단계; 및
    상기 산출된 n개의 깊이 정보의 평균값을 산출하는 단계
    를 포함하는, 블러 처리 방법.
  17. 제12항에 있어서,
    상기 판단 결과 블러가 발생한 경우,
    ToF 방식 카메라를 통해 획득한 영상 내에서, 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거하는 단계
    를 더 포함하는, 블러 처리 방법.
  18. 제17항에 있어서,
    상기 발생된 블러를 제거하는 단계는,
    상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여, 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거하는 단계
    를 포함하는, 블러 처리 방법.
  19. ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별하는 단계;
    상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색하는 단계;
    상기 검색된 패턴 내에 블러 발생한 블러 영역을 필터링하는 단계; 및
    상기 블러 영역을 필터링한 영상에서 상기 블러를 제거하는 단계
    를 포함하는, 블러 처리 방법.
  20. 제19항에 있어서,
    상기 검색된 패턴 내에 블러 발생한 블러 영역을 필터링하는 단계는,
    r-세타(theta) 공간 상에서 상기 블러 영역을 필터링하는 단계
    를 포함하는, 블러 처리 방법.
PCT/KR2012/005512 2011-07-12 2012-07-11 블러 처리 장치 및 방법 WO2013009099A2 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/823,557 US9456152B2 (en) 2011-07-12 2012-07-11 Device and method for blur processing
CN201280003376.7A CN103181156B (zh) 2011-07-12 2012-07-11 模糊处理装置及方法
JP2014520126A JP6193227B2 (ja) 2011-07-12 2012-07-11 ブラー処理装置及び方法
EP12811416.2A EP2733928B1 (en) 2011-07-12 2012-07-11 Device and method for blur processing

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161506758P 2011-07-12 2011-07-12
US61/506,758 2011-07-12
KR10-2012-0075386 2012-07-11
KR1020120075386A KR101929557B1 (ko) 2011-07-12 2012-07-11 블러 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
WO2013009099A2 true WO2013009099A2 (ko) 2013-01-17
WO2013009099A3 WO2013009099A3 (ko) 2013-03-07

Family

ID=47506714

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/005512 WO2013009099A2 (ko) 2011-07-12 2012-07-11 블러 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US9456152B2 (ko)
WO (1) WO2013009099A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014163717A (ja) * 2013-02-22 2014-09-08 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
US20150334372A1 (en) * 2014-05-19 2015-11-19 Samsung Electronics Co., Ltd. Method and apparatus for generating depth image

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9922427B2 (en) * 2014-06-06 2018-03-20 Infineon Technologies Ag Time-of-flight camera with location sensor system
KR102272254B1 (ko) * 2015-02-13 2021-07-06 삼성전자주식회사 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치
JP2018036102A (ja) * 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
KR102618542B1 (ko) 2016-09-07 2023-12-27 삼성전자주식회사 ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법
CN111580117A (zh) * 2019-02-19 2020-08-25 光宝电子(广州)有限公司 飞时测距感测系统的控制方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5979208A (ja) * 1982-10-29 1984-05-08 Canon Inc ぶれ検知装置
US7042507B2 (en) * 2000-07-05 2006-05-09 Minolta Co., Ltd. Digital camera, pixel data read-out control apparatus and method, blur-detection apparatus and method
US7283213B2 (en) 2005-02-08 2007-10-16 Canesta, Inc. Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
US20060241371A1 (en) 2005-02-08 2006-10-26 Canesta, Inc. Method and system to correct motion blur in time-of-flight sensor systems
EP1748304A1 (en) * 2005-07-27 2007-01-31 IEE International Electronics & Engineering S.A.R.L. Method for operating a time-of-flight imager pixel
US8325220B2 (en) 2005-12-02 2012-12-04 Koninklijke Philips Electronics N.V. Stereoscopic image display method and apparatus, method for generating 3D image data from a 2D image data input and an apparatus for generating 3D image data from a 2D image data input
US7450220B2 (en) * 2006-02-08 2008-11-11 Canesta, Inc Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
JP4321540B2 (ja) 2006-03-30 2009-08-26 株式会社豊田中央研究所 物体検出装置
JP5098331B2 (ja) 2006-12-28 2012-12-12 株式会社豊田中央研究所 計測装置
KR100942271B1 (ko) 2007-07-30 2010-02-16 광운대학교 산학협력단 깊이 정보를 이용한 집적 영상 복원 방법 및 장치
JP5280030B2 (ja) 2007-09-26 2013-09-04 富士フイルム株式会社 測距方法および装置
JP4895304B2 (ja) 2007-09-26 2012-03-14 富士フイルム株式会社 測距方法および装置
JP5509487B2 (ja) 2008-06-06 2014-06-04 リアルディー インコーポレイテッド 立体視画像のブラー強化
KR100987921B1 (ko) 2008-12-31 2010-10-18 갤럭시아커뮤니케이션즈 주식회사 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법.
US8203602B2 (en) 2009-02-06 2012-06-19 Robert Bosch Gmbh Depth-aware blur kernel estimation method for iris deblurring
US7912252B2 (en) * 2009-02-06 2011-03-22 Robert Bosch Gmbh Time-of-flight sensor-assisted iris capture system and method
US8229244B2 (en) 2009-03-30 2012-07-24 Mitsubishi Electric Research Laboratories, Inc. Multi-image deblurring
KR101590767B1 (ko) 2009-06-09 2016-02-03 삼성전자주식회사 영상 처리 장치 및 방법
JP5281495B2 (ja) 2009-06-18 2013-09-04 キヤノン株式会社 画像処理装置およびその方法
CN101582165B (zh) 2009-06-29 2011-11-16 浙江大学 基于灰度图像与空间深度数据的摄像机阵列标定算法
US20110007072A1 (en) 2009-07-09 2011-01-13 University Of Central Florida Research Foundation, Inc. Systems and methods for three-dimensionally modeling moving objects
JP5760167B2 (ja) 2009-07-17 2015-08-05 パナソニックＩｐマネジメント株式会社 空間情報検出装置
JP5760168B2 (ja) 2009-07-17 2015-08-05 パナソニックＩｐマネジメント株式会社 空間情報検出装置
KR101565969B1 (ko) 2009-09-01 2015-11-05 삼성전자주식회사 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치
EP2395369A1 (en) * 2010-06-09 2011-12-14 Thomson Licensing Time-of-flight imager.
JP5635937B2 (ja) * 2011-03-31 2014-12-03 本田技研工業株式会社 固体撮像装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2733928A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014163717A (ja) * 2013-02-22 2014-09-08 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
US20150334372A1 (en) * 2014-05-19 2015-11-19 Samsung Electronics Co., Ltd. Method and apparatus for generating depth image
US9746547B2 (en) * 2014-05-19 2017-08-29 Samsung Electronics Co., Ltd. Method and apparatus for generating depth image

Also Published As

Publication number Publication date
WO2013009099A3 (ko) 2013-03-07
US20130242111A1 (en) 2013-09-19
US9456152B2 (en) 2016-09-27

Similar Documents

Publication Publication Date Title
WO2013009099A2 (ko) 블러 처리 장치 및 방법
WO2020085881A1 (en) Method and apparatus for image segmentation using an event sensor
WO2019172725A1 (en) Method and apparatus for performing depth estimation of object
US9491440B2 (en) Depth-sensing camera system
WO2016060439A1 (ko) 영상 처리 방법 및 장치
WO2015034269A1 (ko) 영상 처리 방법 및 장치
WO2017034220A1 (en) Method of automatically focusing on region of interest by an electronic device
US8433185B2 (en) Multiple anti-shake system and method thereof
WO2017007096A1 (en) Image capturing apparatus and method of operating the same
WO2016060366A1 (en) Imaging apparatus and imaging method
KR101929557B1 (ko) 블러 처리 장치 및 방법
CN103460105A (zh) 成像装置及其自动对焦控制方法
JP2006226965A (ja) 画像処理装置、コンピュータプログラム、及び画像処理方法
WO2021118111A1 (ko) 이미지 처리 장치 및 이미지 처리 방법
WO2020076128A1 (en) Method and electronic device for switching between first lens and second lens
JP2001249265A (ja) 測距装置
WO2017209509A1 (ko) 영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체
JP2011169842A (ja) フリッカー測定方法およびその装置
EP3066508A1 (en) Method and system for creating a camera refocus effect
JP2001175878A (ja) 画像特徴抽出装置、画像特徴抽出方法、監視検査システム、半導体露光システム、およびインターフェースシステム
WO2017086522A1 (ko) 배경스크린이 필요 없는 크로마키 영상 합성 방법
JP2000341720A (ja) ３次元画像入力装置および記録媒体
JP4085720B2 (ja) デジタルカメラ
WO2013081383A1 (ko) 깊이 영상을 고해상도로 변환하는 방법 및 장치
CN108476286A (zh) 一种图像输出方法以及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12811416

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13823557

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012811416

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014520126

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE