KR20140012583A - Image processing apparatus and method thereof - Google Patents

Image processing apparatus and method thereof Download PDF

Info

Publication number
KR20140012583A
KR20140012583A KR1020130033398A KR20130033398A KR20140012583A KR 20140012583 A KR20140012583 A KR 20140012583A KR 1020130033398 A KR1020130033398 A KR 1020130033398A KR 20130033398 A KR20130033398 A KR 20130033398A KR 20140012583 A KR20140012583 A KR 20140012583A
Authority
KR
South Korea
Prior art keywords
charge
amount
image
depth image
time intervals
Prior art date
Application number
KR1020130033398A
Other languages
Korean (ko)
Other versions
KR102060352B1 (en
Inventor
강병민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/935,817 priority Critical patent/US10324033B2/en
Publication of KR20140012583A publication Critical patent/KR20140012583A/en
Application granted granted Critical
Publication of KR102060352B1 publication Critical patent/KR102060352B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)

Abstract

An image processing apparatus is provided. The image processing apparatus comprises: a light receiving unit which transduces a light reflected from an object into electrons that correspond to the amount of the light; a measuring unit for measuring the charge amount of the electrons for at least two different divided time intervals among image acquisition time intervals for obtaining a depth image, respectively; an image generating unit for generating the depth image using at least one of the measured two or more amount of charges. [Reference numerals] (210) Light receiving unit; (220) Charge storage unit; (230) Measuring unit; (240) Image generating unit

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD THEREOF}[0001] IMAGE PROCESSING APPARATUS AND METHOD THEREOF [0002]

영상 처리 장치 및 방법에 연관되며, 보다 특정하게는 깊이 영상의 획득 시 포화(Saturation)에 의한 깊이 오차를 보정하는 장치 및 방법에 연관된다.
The present invention relates to an image processing apparatus and method, and more particularly, to an apparatus and method for correcting a depth error due to saturation in obtaining a depth image.

피사체(object)에 대한 깊이 영상을 획득하기 위해 TOF(Time of Flight) 방법이 일반적으로 이용된다.A time of flight (TOF) method is generally used to obtain a depth image of an object.

TOF(Time of Flight) 방법은, TOF 센서를 이용하여 광(light)을 피사체에 조사한 후 반사되어 돌아오는 시간을 측정하는 방식으로, 측정에 소요되는 시간이 짧아 실시간으로 깊이 영상을 생성하는 데 주로 이용된다.The Time of Flight (TOF) method is a method of measuring the return time after irradiating light to a subject by using a TOF sensor, and the time required for measurement is short and mainly used to generate a depth image in real time. Is used.

이러한 TOF 센서의 경우, 피사체의 색상(color)에 따라 정확도에 어느 정도의 오차가 발생될 수 있다. 이를 테면, 적색과 같이 반사도가 큰 밝은 색 계열의 색상을 가진 피사체의 경우, 반사된 광에서 변환(transduce)된 전자의 전하량의 포화(saturation) 때문에 생성된 깊이 영상의 깊이 값에 왜곡이 발생할 수 있다.
In the case of the TOF sensor, some error may occur in accuracy depending on the color of the subject. For example, a subject with a light-colored color with high reflectivity, such as red, may cause distortion in the depth value of the generated depth image due to saturation of the charge amount of the electrons transformed from the reflected light. have.

일측에 따르면, 피사체에서 반사된 광을 상기 광의 광량에 대응하는 전자로 변환(transduce)하는 수광부와, 깊이 영상을 취득하기 위한 영상 취득 시간 구간 중, 적어도 2개의 서로 다른 분할 시간 구간에 대한 상기 전자의 전하량을 각각 측정하는 측정부, 및 상기 측정된 적어도 2개의 전하량 중 적어도 하나를 이용하여 깊이 영상을 생성하는 영상 생성부를 포함하는 영상 처리 장치가 제공된다.According to one side, the light receiving unit for converting the light reflected from the subject to the electron corresponding to the light amount of the light, and the electron for at least two different split time intervals of the image acquisition time interval for acquiring a depth image There is provided an image processing apparatus including a measuring unit for measuring an amount of charge, and an image generating unit for generating a depth image using at least one of the measured at least two charge amounts.

일실시예에 따르면, 상기 적어도 2개의 서로 다른 시간 구간은 시간 축에서 서로 다른 크기를 가질 수 있다.According to one embodiment, the at least two different time intervals may have different sizes on the time axis.

일실시예에 따르면, 상기 영상 처리 장치는 상기 변환된 전자를 저장하는 전하 저장부를 더 포함할 수 있고, 상기 측정부는 상기 전하 저장부에 저장된 상기 전자의 전하량이 선정된 쓰레쉬홀드를 초과하는지 여부를 감지할 수 있다.In example embodiments, the image processing apparatus may further include a charge storage unit configured to store the converted electrons, and the measurement unit may determine whether the charge amount of the electrons stored in the charge storage unit exceeds a predetermined threshold. Can be detected.

일실시예에 따르면, 상기 측정부에서 상기 쓰레쉬홀드를 초과한 것으로 감지한 경우, 상기 영상 생성부는 상기 적어도 2개의 분할 시간 구간 중 크기가 작은 분할 시간 구간에서 측정한 전하량을 이용하여 상기 깊이 영상을 생성할 수 있다.According to an embodiment, when the measurement unit detects that the threshold is exceeded, the image generation unit uses the depth of the image measured using the amount of charge measured in a small division time interval of the at least two division time intervals. Can be generated.

일실시예에 따르면, 상기 전하 저장부에 저장된 상기 전하량이 상기 쓰레쉬홀드 미만인 경우, 상기 영상 생성부는 상기 적어도 2개의 분할 시간 구간에서 측정한 전하량의 합을 이용하여 상기 깊이 영상을 생성할 수 있다.In example embodiments, when the amount of charge stored in the charge storage unit is less than the threshold, the image generator may generate the depth image using a sum of charges measured in the at least two division time intervals. .

일실시예에 따르면, 상기 쓰레쉬홀드는 상기 전하 저장부의 커패시턴스의 함수일 수 있다.According to an embodiment, the threshold may be a function of the capacitance of the charge storage unit.

일실시예에 따르면, 상기 영상 처리 장치는 TOF(Time of Flight) 방식일 수 있다.According to an embodiment, the image processing apparatus may be a time of flight (TOF) method.

다른 일측에 따르면, 피사체에서 반사된 광을 상기 광의 광량에 대응하는 전자로 변환(transduce)하는 수광부와, 상기 피사체의 색지수에 대응하는 깊이 영상을 취득하기 위한 영상 취득 시간 구간 중, 적어도 2개의 서로 다른 분할 시간 구간을 미리 정의한 테이블과, 상기 테이블을 참조하여 상기 피사체의 색지수에 대응하는 선정된 분할 시간 구간에 대한 전하량을 측정하는 측정부, 및 상기 측정된 전하량을 이용하여 깊이 영상을 생성하는 영상 생성부를 포함하는 영상 처리 장치가 제공된다.According to another aspect, at least two of a light receiving unit for converting light reflected from a subject into electrons corresponding to the light quantity of the light and an image acquisition time interval for acquiring a depth image corresponding to a color index of the subject A depth image is generated using a table in which different division time sections are defined in advance, a measuring unit measuring a charge amount of a selected division time section corresponding to the color index of the subject by referring to the table, and a depth image using the measured charge amounts. An image processing apparatus including an image generator is provided.

다른 일측에 따르면, 피사체에서 반사된 광을 상기 광의 광량에 대응하는 전자로 변환(transduce)하는 단계와, 깊이 영상을 취득하기 위한 영상 취득 시간 구간 중, 적어도 2개의 서로 다른 분할 시간 구간에 대한 상기 전자의 전하량을 각각 측정하는 단계, 및 상기 측정된 적어도 2개의 전하량 중 적어도 하나를 이용하여 깊이 영상을 생성하는 단계를 포함하는 영상 처리 방법이 제공된다.According to another aspect, the method may further include translating light reflected from a subject into electrons corresponding to the amount of light of the light, and for at least two different split time intervals of an image acquisition time interval for acquiring a depth image. An image processing method is provided that includes measuring each charge amount of an electron, and generating a depth image using at least one of the measured at least two charge amounts.

일실시예에 따르면, 상기 적어도 2개의 서로 다른 시간 구간은 시간 축에서 서로 다른 크기를 가질 수 있다.According to one embodiment, the at least two different time intervals may have different sizes on the time axis.

일실시예에 따르면, 상기 전자의 전하량을 각각 측정하는 단계는, 상기 변환된 전자를 저장하는 단계, 및 상기 저장된 상기 전자의 전하량이 선정된 쓰레쉬홀드를 초과하는지 여부를 감지하는 단계를 포함할 수 있다.According to one embodiment, measuring each charge amount of the electrons may include storing the converted electrons and detecting whether the charge amount of the stored electrons exceeds a predetermined threshold. Can be.

일실시예에 따르면, 상기 깊이 영상을 생성하는 단계는, 상기 전하량이 상기 쓰레쉬홀드를 초과한 경우, 상기 적어도 2개의 분할 시간 구간 중 크기가 작은 분할 시간 구간에서 측정한 전하량을 이용하여 상기 깊이 영상을 생성할 수 있다.According to an embodiment, the generating of the depth image may include: when the charge amount exceeds the threshold, the depth using the amount of charge measured at a smaller division time interval of the at least two division time intervals. An image can be generated.

일실시예에 따르면, 상기 깊이 영상을 생성하는 단계는, 상기 전하량이 상기 쓰레쉬홀드 미만인 경우, 상기 적어도 2개의 분할 시간 구간에서 측정한 전하량의 합을 이용하여 상기 깊이 영상을 생성할 수 있다.According to an embodiment, in the generating of the depth image, when the charge amount is less than the threshold, the depth image may be generated using a sum of charge amounts measured in the at least two division time intervals.

다른 일측에 따르면, 피사체에서 반사된 광을 상기 광의 광량에 대응하는 전자로 변환(transduce)하는 단계와, 상기 피사체의 색지수에 대응하는 깊이 영상을 취득하기 위한 영상 취득 시간 구간 중 적어도 2개의 서로 다른 분할 시간 구간을 미리 정의한 테이블을 참조하여, 상기 피사체의 색지수에 대응하는 선정된 분할 시간 구간에 대한 전하량을 측정하는 단계, 및 상기 측정된 전하량을 이용하여 깊이 영상을 생성하는 단계를 포함하는 영상 처리 방법이 제공된다.
According to another aspect, the method may further include converting light reflected from a subject into electrons corresponding to the light quantity of the light, and at least two of the image acquisition time intervals for acquiring a depth image corresponding to the color index of the subject. Measuring an amount of charge for a selected division time period corresponding to the color index of the subject, and generating a depth image by using the measured charge amount with reference to a table that defines another division time interval in advance; An image processing method is provided.

도 1은 깊이 영상 생성 시 포화(saturation)가 일어나는 과정을 설명하기 위한 도면이다.
도 2는 일실시예에 따른 영상 처리 장치를 도시한 블록도이다.
도 3은 일실시예에 따라 포화(saturation) 발생 여부에 기초하여 깊이 영상 생성에 이용되는 전하량 결정 방식을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 영상 처리 장치의 동작을 설명하기 위한 개념도이다.
도 5은 일실시예에 따라 도 4의 영상 처리 장치 중 테이블의 세부 구성을 나타내는 도면이다.
도 6은 일실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 7은 또 다른 일실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.FIG. 1 is a diagram for describing a process in which saturation occurs when a depth image is generated.
2 is a block diagram illustrating an image processing apparatus according to an embodiment.
3 is a diagram for describing a charge amount determination method used to generate a depth image based on whether saturation occurs according to an embodiment.
4 is a conceptual diagram illustrating an operation of an image processing apparatus according to an exemplary embodiment.
5 is a diagram illustrating a detailed configuration of a table in the image processing apparatus of FIG. 4 according to an exemplary embodiment.
6 is a flowchart illustrating an image processing method according to an exemplary embodiment.
7 is a flowchart illustrating an image processing method, according to another exemplary embodiment.

이하에서, 일부 실시예들을, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.In the following, some embodiments will be described in detail with reference to the accompanying drawings. However, it is not limited or limited by these embodiments. Like reference symbols in the drawings denote like elements.

아래 설명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례, 새로운 기술의 출현 등에 따라 달라질 수 있다.Although the terms used in the following description have selected the general terms that are widely used in the present invention while considering the functions of the present invention, they may vary depending on the intention or custom of the artisan, the emergence of new technology, and the like.

또한 특정한 경우는 이해를 돕거나 및/또는 설명의 편의를 위해 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
In addition, in certain cases, there are terms arbitrarily selected by the applicant for the sake of understanding and / or convenience of description, and in this case, detailed meanings thereof will be described in the corresponding description. Therefore, the terms used in the following description should be understood based on the meanings of the terms and the contents throughout the specification, rather than simply the names of the terms.

도 1은 깊이 영상 생성 시 포화(saturation)가 일어나는 과정을 설명하기 위한 도면이다.FIG. 1 is a diagram for describing a process in which saturation occurs when a depth image is generated.

일실시예에 따라, 깊이 영상을 생성하기 위해 TOF 방식을 이용하는 경우, 피사체의 색상(color)에 따라 정확도의 오차가 발생될 수 있다. 특히, 피사체가 적색과 같은 밝은 색 계열의 색상을 갖는 경우, 생성된 깊이 영상에 오차가 발생할 수 있다.According to an embodiment, when the TOF method is used to generate the depth image, an error of accuracy may occur according to the color of the subject. In particular, when the subject has a bright color system such as red, an error may occur in the generated depth image.

상기 오차의 발생 원인으로는, TOF 센서의 포화(saturation)를 들 수 있다.Saturation of a TOF sensor is mentioned as a cause of the said error.

일반적으로, 깊이 영상 생성시 깊이 값(Depth data) 계산을 위한 식은 수학식 1과 같이 표현될 수 있다.In general, an equation for calculating depth data when generating a depth image may be expressed as in Equation 1 below.

Figure pat00001
Figure pat00001

여기서, c는 빛의 속도(3×108 m/s)를 나타내고, Ton은 변조 주파수(Modulation Frequency)의 듀티 사이클(Duty Cycle) 동안 광원(Light Source)을 상기 피사체에 조사한 시간이다.Here, c represents a speed of light (3 × 10 8 m / s), and T on is a time when the light source is irradiated to the subject during a duty cycle of a modulation frequency.

또한, R은 상기 피사체의 거리이고, TTOF는 TOF 센서를 이용하여 광(light)을 피사체에 조사한 후 반사되어 돌아오는 시간을 의미하며, N0는 제1 전하 저장소(121)에 저장되는 전하량을, N1은 제2 저장소(122)에 저장되는 전하량을 각각 나타낸다.In addition, R is the distance of the subject, T TOF means the time to return after reflecting light to the subject using a TOF sensor, N 0 is the amount of charge stored in the first charge reservoir 121 , N 1 represents the amount of charge stored in the second reservoir 122, respectively.

예를 들어, 10MHz의 변조 주파수와 50%의 듀티 사이클을 이용한 경우, Ton은 50nsec 가 되고, 이후 50nsec 동안은 상기 광원이 OFF되면서 조사광을 변조한다.For example, when a modulation frequency of 10 MHz and a duty cycle of 50% are used, T on becomes 50 nsec, and after 50 nsec, the light source is turned off to modulate the irradiation light.

일예로서, 상기 광원(Light Source)은 LED(Light Emitting Diode)가 이용될 수 있다.For example, a light emitting diode (LED) may be used as the light source.

상기 변조된 조사광은 영상 취득 시간(Integration Time) 동안 TOF 센서에서 수신되며, TOF 센서는 상기 수신된 광을 적어도 2개의 저장소에 전자로 변환하여 저장한다.The modulated irradiated light is received at the TOF sensor during an image integration time, and the TOF sensor converts and stores the received light into electrons in at least two reservoirs.

도 1을 참조하면, 수광부(110)에서 수신된 빛을 전자로 변환하여, 두 개의 전하 저장소(121, 122)에 저장할 수 있다.Referring to FIG. 1, light received by the light receiver 110 may be converted into electrons and stored in two charge storages 121 and 122.

일실시예에 따르면, 상기 수광부(110)는 광전 다이오드(Photo-diode)를 포함할 수 있다.According to an embodiment, the light receiving unit 110 may include a photo-diode.

도 1(a)에서, N0는 제1 전하 저장소(121)에 저장되는 전하량을, N1은 제2 저장소(122)에 저장되는 전하량을 각각 나타내는데, 두 개의 저장소의 용량에 따라 저장할 수 있는 전하량에 한계가 있을 수 있다.In FIG. 1A, N 0 represents the amount of charge stored in the first charge reservoir 121 and N 1 represents the amount of charge stored in the second reservoir 122, which can be stored according to the capacities of the two reservoirs. There may be a limit to the amount of charge.

이를 테면, 0.75m의 거리에 있는 피사체에서 100msec 동안 반사된 빛인 근거리 적외선(Near Infrared)을 수신하면, 제1 전하 저장소(121)의 전하량 N0는 9만 개, 제2 저장소(122)의 전하량 N1은 1만 개 발생하게 된다. 이 경우, 제1 전하 저장소(121)에서 저장할 수 있는 전하량이 8.5만 개라 하면, 0.5만의 전하량에 대한 포화(130)가 발생될 수 있다.For example, when receiving Near Infrared, which is light reflected for 100 msec from a subject at a distance of 0.75 m, the amount of charge N 0 of the first charge reservoir 121 is 90,000 and the amount of charge of the second reservoir 122 is received. 10,000 N 1 will be generated. In this case, if the amount of charges that can be stored in the first charge storage 121 is 8.50,000, saturation 130 may be generated with respect to the amount of charges of 0.5 million.

상기 포화(130)로 인해, 도 1(b)와 같이 깊이 영상 생성에 대한 깊이 값 계산 시 포화된 0.5만의 전하량은 고려되지 못한다. 이 경우, 깊이 값 계산에 있어 N0는 8.5만, N1은 1만의 값이 이용되어 수학식 1이 계산되며, 그 결과 0.79m의 거리 계산 값이 출력된다. 이는 실제 거리 값인 0.75m와 0.04m의 오차를 갖는다.Due to the saturation 130, as shown in FIG. 1 (b), when the depth value for the depth image generation is calculated, the amount of saturated 0.5 million charges is not considered. In this case, in calculating the depth value, N 0 is 8.50,000 and N 1 is 10,000, and Equation 1 is calculated. As a result, a distance calculated value of 0.79 m is output. It has errors of 0.75m and 0.04m, which are actual distance values.

즉, 제1 전하 저장소(141)가 저장할 수 있는 전하량의 한계와 그로 인한 포화 발생으로 인해, 0.04m의 깊이 값 오차가 발생될 수 있다.
That is, a depth value error of 0.04m may occur due to the limitation of the amount of charge that the first charge storage 141 can store and the saturation caused therefrom.

도 2는 일실시예에 따른 영상 처리 장치(200)의 블록도이다.2 is a block diagram of an image processing apparatus 200 according to an exemplary embodiment.

영상 처리 장치(200)는 수광부(210), 측정부(230) 및 영상 생성부(240)를 포함한다.The image processing apparatus 200 includes a light receiving unit 210, a measuring unit 230, and an image generating unit 240.

수광부(210)는 피사체에서 반사된 광을 상기 광의 광량에 대응하는 전자로 변환(transduce)한다.The light receiving unit 210 converts the light reflected from the subject into electrons corresponding to the light amount of the light.

측정부(230)는 깊이 영상을 취득하기 위한 영상 취득 시간 구간 중, 적어도 2개의 서로 다른 분할 시간 구간에 대한 상기 변환된 전자의 전하량을 각각 측정한다.The measurement unit 230 measures the amount of charge of the converted electrons for at least two different division time intervals among the image acquisition time intervals for acquiring the depth image.

이 경우, 상기 적어도 2개의 서로 다른 시간 구간은 시간 축에서 서로 다른 크기를 가질 수 있다.In this case, the at least two different time intervals may have different sizes on the time axis.

영상 생성부(240)는 측정부(230)를 통해 측정된 적어도 2개의 전하량 중 적어도 하나를 이용하여 깊이 영상을 생성한다.The image generator 240 generates a depth image by using at least one of the at least two charge amounts measured by the measurer 230.

영상 처리 장치(200)는 수광부(210)에서 변환된 전자를 저장하는 전하 저장부(220)를 더 포함할 수 있다. 구현에 따라, 영상 처리 장치(200)가 시스템 온 칩(System on Chip)의 형태로 구현되는 경우, 전하 저장부(220)는 영상 처리 장치(200)와 물리적으로 이격된 장소에 위치할 수 있다.The image processing apparatus 200 may further include a charge storage unit 220 that stores the electrons converted by the light receiving unit 210. In some implementations, when the image processing apparatus 200 is implemented in the form of a system on chip, the charge storage unit 220 may be located at a place physically separated from the image processing apparatus 200. .

전하 저장부(220)는 해당 전자를 축전할 수 있는 소정의 캐패시터 수단으로 구성될 수 있다.The charge storage unit 220 may be configured of a predetermined capacitor means capable of storing the electron.

측정부(230)는 전하 저장부(220)에 저장된 상기 전자의 전하량를 측정하면서, 해당 전하량이 미리 지정된 쓰레쉬홀드(threshold)를 초과하는지 여부를 감지(detect)할 수 있다. 상기 쓰레쉬홀드는 전하 저장부(220)의 캐패시턴스(capacitance)의 함수(function)로 표현될 수 있다.The measurement unit 230 may measure the amount of charge of the electrons stored in the charge storage unit 220 and detect whether the corresponding charge amount exceeds a predetermined threshold. The threshold may be expressed as a function of capacitance of the charge storage unit 220.

측정부(230)에서 전하 저장부(220)의 상기 전하량이 상기 쓰레쉬홀드를 초과한 것으로 감지한 경우, 영상 생성부(240)는 깊이 영상을 생성하기 위한 영상 취득 시간 구간에 포함된 적어도 2개의 분할 시간 구간 중 크기가 작은 분할 시간 구간에서 측정한 전하량을 이용하여 상기 깊이 영상을 생성할 수 있다.When the measurement unit 230 detects that the charge amount of the charge storage unit 220 exceeds the threshold, the image generator 240 may include at least 2 included in an image acquisition time interval for generating a depth image. The depth image may be generated by using the amount of charge measured in the small division time interval among the division time intervals.

전하 저장부(220)에 저장된 상기 전하량이 상기 쓰레쉬홀드 미만인 경우, 영상 생성부(240)는 깊이 영상을 생성하기 위한 영상 취득 시간 구간에 포함된 적어도 2개의 분할 시간 구간에서 측정한 전하량의 합(sum)을 이용하여 상기 깊이 영상을 생성할 수 있다.When the amount of charge stored in the charge storage unit 220 is less than the threshold, the image generator 240 sums the amount of charges measured in at least two division time intervals included in an image acquisition time interval for generating a depth image. The depth image may be generated using sum.

상술한 바와 같이, 영상 처리 장치(200)는 TOF(Time of Flight) 방식을 채용할 수 있다.
As described above, the image processing apparatus 200 may employ a time of flight (TOF) method.

도 3은 포화(saturation) 발생 여부에 기초하여 깊이 영상 생성에 이용되는 전하량 결정 방식을 설명하기 위한 도면이다.FIG. 3 is a diagram for describing a charge amount determination method used to generate a depth image based on whether saturation occurs.

보다 구체적으로, 도 3(a)는 색상(color)에 따른 깊이 값 오차에 대한 그래프이다.More specifically, Figure 3 (a) is a graph of the depth value error according to the color (color).

또한, 도 3(b)는 포화(saturation)가 발생하는 경우 깊이 영상 생성에 이용되는 전하량을, 도 3(c)는 포화가 발생하지 않는 경우 깊이 영상 생성에 이용되는 전하량 결정 방식을 각각 보여준다.In addition, FIG. 3 (b) shows the charge amount used to generate the depth image when saturation occurs, and FIG. 3 (c) shows the charge amount determination method used to generate the depth image when saturation does not occur.

도 3(a)를 참조하면, 피사체의 색상이 푸른색 영역(312) 보다는 적색(311)과 같은 밝은 색 계열인 경우 깊이 영상 생상 시 오차가 크게 발생할 수 있는데, 이는 광원에서 조사되는 광으로서 주로 근 적외선을 사용하기 때문이다.Referring to FIG. 3 (a), when the color of the subject is a bright color system such as the red 311 rather than the blue region 312, an error may occur when a depth image is generated, which is mainly emitted from a light source. This is because it uses near infrared rays.

근 적외선은 파장 대역이 적색에 가까운 빛으로, 적색 물체의 경우 다른 색의 물체에 비해 반사되어 돌아오는 빛이 많기 때문에 빠르게 포화(saturation)될 수 있다. 이로 인해, 적색 및 밝은 색의 물체는 빠른 포화로 인해 도 1에서와 같이 깊이 값 오차가 발생될 수 있다.Near-infrared light is a light whose wavelength band is close to red. In the case of a red object, the infrared light may be rapidly saturated because more light is reflected back than other colored objects. For this reason, red and light colored objects may have a depth value error as shown in FIG. 1 due to rapid saturation.

포화로 발생되는 깊이 값 오차를 보정하기 위한 방법으로는 두 가지가 있다.There are two ways to correct the depth value error caused by saturation.

첫 번째는 TOF 센서의 전하 저장부를 크게 설계하는 방법이다.The first is to design a large charge store for the TOF sensor.

TOF 센서의 전하 저장부를 크게 설계하는 경우, 큰 전하 저장부의 설계로 인해 감광도(sensitivity)가 낮아지고, 픽셀에서 빛을 수광하는 수광부의 상대적 용량이 작아져(Fill Factor의 감소 등으로 인해) 깊이 값의 정확성이 상대적으로 감소할 수 있다.When the charge storage of the TOF sensor is designed to be large, the sensitivity of the light receiving portion is lowered due to the design of the large charge storage portion, and the relative capacity of the light receiving portion that receives light from the pixels is reduced (due to the decrease of the fill factor). The accuracy of can be reduced relatively.

두 번째는 피사체에 대한 깊이 영상을 취득하는 데 소요되는 영상 취득 시간(Integration Time)을 줄이는 방법이다.The second method is to reduce the integration time required to acquire the depth image of the subject.

상기 영상 취득 시간 (Integration Time)을 줄이는 경우, 광전 변환된 전자의 개수가 적어질 수 있으므로, 깊이 값의 정확성이 상대적으로 감소할 수 있다.
When the integration time is reduced, the number of photoelectrically converted electrons may be reduced, so that the accuracy of the depth value may be relatively reduced.

일실시예에 따른 영상 처리 장치(200)는 상기 영상 취득 시간(Integration Time)을 분할하여, 각 분할 시간 구간에 저장되는 전하량을 이용하여 깊이 영상을 생성하도록 함으로써, 깊이 값에 대한 정확성을 높이는 방식을 채용한다.
The image processing apparatus 200 according to an embodiment divides the image acquisition time and generates a depth image using the amount of charge stored in each division time interval, thereby increasing the accuracy of the depth value. To be adopted.

도 3(b) 및 도 3(c)와 같이, 영상 취득 시간 (Integration Time)을 2개의 분할 시간 구간 T1 및 T2로 분할하여 각각의 분할 시간 구간에 저장되는 전하량을 측정할 수 있다.As shown in FIGS. 3B and 3C, the integration time may be divided into two division time intervals T 1 and T 2 to measure the amount of charge stored in each division time interval.

이를 테면, 전체 100msec의 영상 취득 시간(Integration Time)을 이용하는 경우, T1은 80msec로, T2는 20msec로 각각 분할하여 광전 변환된 전자의 전하량를 전하 저장부(220)에 저장할 수 있다.
For example, when using an integration time of 100 msec in total, T 1 may be divided into 80 msec and T 2 into 20 msec, respectively, to store the charge amount of the photoelectrically converted electrons in the charge storage unit 220.

도 3(b)의 경우, T1 구간에서는 포화(321)가 발생하지만, T2 구간에서는 포화가 발생하지 않기 때문에, T2 구간에서 취득된 전하량(330 및 332)을 이용하여 깊이 값을 계산할 수 있다.In the case of FIG. 3 (b), T 1 period, saturation 321 occurs, however, T 2 period, due to saturation does not occur, by using the amount of charge (330 and 332) obtained in the T 2 period to calculate the depth value Can be.

모든 색상에 대하여, 영상 취득 시간(Integration Time) 에 비해 분할 시간 구간(T1 또는 T2)에서 포화 발생 확률이 낮아지므로, 깊이 영상 생성에 있어 오차 없는 깊이 값 계산이 가능하다.
For all colors, since the probability of saturation occurs in the split time interval T 1 or T 2 compared to the image acquisition time, the depth value can be calculated without error in the depth image generation.

도 3(c)의 경우, 2개의 분할 시간 구간인 T1 과 T2 모두에서 포화가 발생하지 않으므로, T1 구간에서 취득된 전하량(340 및 342)과 T2 구간에서 취득된 전하량(350 및 352)의 합(sum)을 이용하여 깊이 값을 계산할 수 있다.In the case of FIG. 3 (c), 2 of divided time interval of T 1 and the saturation does not occur in all of T 2, the amount of charge obtained from the charge amount (340 and 342) and T 2 section acquired by the T 1 interval (350 and The sum of 352 may be used to calculate the depth value.

다시 말해, 도 3(c)에서 깊이 영상 생성에 이용되는 전하량(360 및 362)은 T1 구간에서 취득된 전하량(340 및 342)과 T2 구간에서 취득된 전하량(350 및 352)의 합과 같다.In other words, the charge amounts 360 and 362 used to generate the depth image in FIG. 3C correspond to the sum of the charge amounts 340 and 342 acquired in the T 1 section and the charge amounts 350 and 352 acquired in the T 2 section. same.

위에서 설명한 바와 같이, 영상 처리 장치(200)에서 수행되는 깊이 영상 생성 방식은 영상 취득 시간을 적어도 2개의 분할 시간 구간으로 나누어 각각의 전하량을 측정하되, 포화 여부에 따라 어떤 분할 시간 구간에서 측정된 전하량을 이용하여 깊이 영상을 생성하느냐에 관한 것이다. 따라서, 위에서 설명한 실시예들은 일예일 뿐, 어느 한 실시예에 국한되지 않는다.
As described above, in the depth image generation method performed by the image processing apparatus 200, the respective charge amounts are measured by dividing the image acquisition time into at least two division time intervals, but the amount of charges measured in any division time interval depending on whether the saturation is performed. It is about whether to create a depth image using the. Therefore, the above-described embodiments are merely examples, and are not limited to any one embodiment.

도 4는 일실시예에 따른 영상 처리 장치(400)의 동작을 설명하기 위한 개념도이다.4 is a conceptual diagram illustrating an operation of the image processing apparatus 400 according to an exemplary embodiment.

본 실시예에서 설명하는 영상 처리 장치(400)는 도 2를 참조하여 설명한 영상 처리 장치(200)와 그 기본 매커니즘은 동일하지만, 피사체의 색상에 따라 분할 시간 구간에 대한 정보를 소정의 테이블에 미리 기록해 두는 방식이다.The image processing apparatus 400 described in the present exemplary embodiment has the same basic mechanism as the image processing apparatus 200 described with reference to FIG. 2, but pre-determines the information on the division time interval according to the color of the subject in a predetermined table. It's a way to record it.

즉, 피사체에서 반사된 광을 광전 변환한 전자에 대한 전하량 측정 시, 상기 피사체의 색상에 따른 분할 시간 정보를 상기 테이블을 참조하여 얻을 수 있다. 본 실시예에 따르면, 피사체의 색상 별로 최적화된 분할 시간 구간을 미리 정해 두고, 피사체의 색상에 따라 해당 분할 시간 구간에 대한 정보를 상기 테이블로부터 읽어 와서 사용할 수 있다.That is, when measuring the charge amount of the electrons photoelectrically converted from the light reflected from the subject, the split time information according to the color of the subject may be obtained by referring to the table. According to the present exemplary embodiment, a split time section optimized for each color of a subject may be determined in advance, and information on the split time section may be read from the table according to the color of the subject.

영상 처리 장치(400)는 테이블(410), 수광부(210), 측정부(230) 및 영상 생성부(240)를 포함한다.The image processing apparatus 400 includes a table 410, a light receiving unit 210, a measuring unit 230, and an image generating unit 240.

테이블(410)은 피사체의 색지수에 대응하는 깊이 영상을 취득하기 위한 영상 취득 시간 구간 중, 적어도 2개의 서로 다른 분할 시간 구간에 대한 정보를 기록한다. 테이블(410)에 기록되는 분할 시간 구간에 대한 정보는 상기 피사체의 색지수에 따라 실험적으로 또는 수식에 의해 미리 결정될 수 있고, 추후 해당 정보에 대한 업데이트가 있는 경우, 펌웨어 업데이트 등의 방식으로 테이블(410)에 기록된 상기 정보를 갱신할 수 있다. 테이블(410)에 대해서는 도 5를 참조하여 상세히 설명한다.The table 410 records information on at least two different division time intervals among the image acquisition time intervals for acquiring the depth image corresponding to the color index of the subject. Information about the divided time intervals recorded in the table 410 may be determined experimentally or by a formula according to the color index of the subject, and if there is an update on the corresponding information later, the table (eg, firmware update) may be used. The information recorded at 410 may be updated. The table 410 will be described in detail with reference to FIG. 5.

도 5는 일실시예에 따라 도 4의 영상 처리 장치(400) 중 테이블(410)의 세부 구성을 나타내는 도면이다.5 is a diagram illustrating a detailed configuration of a table 410 of the image processing apparatus 400 of FIG. 4 according to an exemplary embodiment.

테이블(410)은 피사체의 색지수에 대응하는 깊이 영상을 취득하기 위한 영상 취득 시간 구간을 적어도 2개의 서로 다른 분할 시간으로 정의하여, 상기 색지수 별로 저장해둘 수 있다.The table 410 may define an image acquisition time interval for acquiring a depth image corresponding to the color index of the subject as at least two different division times, and store each of the color indexes.

도 5를 참조하면, 테이블(410)은 상기 피사체와 연관된 색지수(510)와, 상기 색지수 별로 미리 정의된 제1 분할 시간 구간(520, T1) 및 제2 분할 시간 구간(530, T2)을 포함할 수 있다.Referring to FIG. 5, the table 410 may include a color index 510 associated with the subject, first divided time intervals 520 and T 1 , and second divided time intervals 530 and T predefined for each color index. It may include 2 ).

상기 색지수(510)는, 상기 피사체를 구성하는 적어도 하나의 색상 종류, 상기 색상에 대응하는 반사도, 상기 피사체의 컬러 값(Color data) 중 적어도 하나로 이해될 수 있다.The color index 510 may be understood as at least one of at least one color type constituting the subject, reflectance corresponding to the color, and color data of the subject.

이를 테면, 상기 색지수(510)가 상기 피사체에 포함된 색상에 대한 반사도인 경우, 상기 반사도가 미리 지정된 특정 임계치를 초과하는지 여부에 따라 상기 적어도 2개의 서로 다른 분할 시간 구간(520, 530)이 달리 정의될 수 있다.For example, when the color index 510 is a reflectivity of a color included in the subject, the at least two different split time intervals 520 and 530 may be formed depending on whether the reflectivity exceeds a predetermined threshold. It may be defined differently.

또한, 상기 색지수(510)가 상기 피사체를 구성하는 적어도 하나의 색상 종류 나 상기 피사체의 컬러 값(Color data)인 경우에는, 제1 분할 시간 구간(520) 및 제2 분할 시간 구간(530)은 상기 색상 종류 또는 상기 컬러 값에 따라 각각 정의된 분할 시간일 수 있다.
In addition, when the color index 510 is at least one color type constituting the subject or color data of the subject, the first division time interval 520 and the second division time interval 530. May be a division time defined according to the color type or the color value, respectively.

다시 도 4를 참조하면, 수광부(210)는 상기 피사체에서 반사된 광을 상기 광의 광량에 대응하는 전자로 변환(transduce)한다.Referring back to FIG. 4, the light receiving unit 210 converts the light reflected from the subject into electrons corresponding to the light amount of the light.

측정부(230)는 테이블(410)을 참조하여, 상기 피사체의 색지수에 대응하도록 선정된 분할 시간 구간에 대한 전하량을 측정한다.The measurement unit 230 refers to the table 410 and measures the amount of charge for the divided time interval selected to correspond to the color index of the subject.

영상 생성부(240)는 상기 측정된 전하량을 이용하여 깊이 영상을 생성한다.
The image generator 240 generates a depth image by using the measured charge amount.

도 6은 일실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating an image processing method, according to an exemplary embodiment.

단계 610에서는, 수광부(210)가 피사체에서 반사된 광을 상기 광의 광량에 대응하는 전자로 변환(transduce)한다.In operation 610, the light receiving unit 210 converts the light reflected from the subject into electrons corresponding to the amount of light.

단계 620에서는, 측정부(230)가 깊이 영상을 취득하기 위한 영상 취득 시간 구간 중, 적어도 2개의 서로 다른 분할 시간 구간에 대한 상기 전자의 전하량을 각각 측정한다.In operation 620, the measurement unit 230 measures the amount of charge of the electrons for at least two different division time intervals among the image acquisition time intervals for acquiring the depth image.

이 경우, 상기 적어도 2개의 서로 다른 시간 구간은 시간 축에서 서로 다른 크기를 가질 수 있다.In this case, the at least two different time intervals may have different sizes on the time axis.

단계 630에서는, 영상 생성부(240)가 상기 측정된 적어도 2개의 전하량 중 적어도 하나를 이용하여 깊이 영상을 생성한다.In operation 630, the image generator 240 generates a depth image by using at least one of the measured at least two charge amounts.

일부 실시예에서, 영상 처리 장치(200)는 수광부(210)에서 변환된 전자를 저장하는 전하 저장부(220)를 더 포함할 수 있다. 전하 저장부(220)는 해당 전자를 축전할 수 있는 소정의 캐패시터 수단으로 구성될 수 있다.In some embodiments, the image processing apparatus 200 may further include a charge storage unit 220 that stores the electrons converted by the light receiving unit 210. The charge storage unit 220 may be configured of a predetermined capacitor means capable of storing the electron.

측정부(230)는 단계 620에서 전하 저장부(220)에 저장된 상기 전자의 전하량을 측정하면서, 해당 전하량이 미리 지정된 쓰레쉬홀드(threshold)를 초과하는지 여부를 감지(detect)할 수 있다.In operation 620, the measurement unit 230 may measure the amount of charge of the electrons stored in the charge storage unit 220, and detect whether the corresponding charge amount exceeds a predetermined threshold.

상기 쓰레쉬홀드는 전하 저장부(220)의 캐패시턴스(capacitance)에 대한 함수(function)로 표현될 수 있다.The threshold may be expressed as a function of capacitance of the charge storage unit 220.

측정부(230)에서 전하 저장부(220)의 상기 전하량이 상기 쓰레쉬홀드를 초과한 것으로 감지한 경우, 단계 630에서 영상 생성부(240)는 깊이 영상을 생성하기 위한 영상 취득 시간 구간에 포함된 적어도 2개의 분할 시간 구간 중 크기가 작은 분할 시간 구간에서 측정한 전하량을 이용하여 상기 깊이 영상을 생성할 수 있다.If the measurement unit 230 detects that the charge amount of the charge storage unit 220 exceeds the threshold, the image generator 240 is included in the image acquisition time interval for generating the depth image in step 630. The depth image may be generated using an amount of charge measured in a small division time interval among at least two division time intervals.

상기 전하 저장부(220)에 저장된 상기 전하량이 상기 쓰레쉬홀드 미만인 경우, 단계 630에서 영상 생성부(240)는 깊이 영상을 생성하기 위한 영상 취득 시간 구간에 포함된 적어도 2개의 분할 시간 구간에서 측정한 전하량의 합을 이용하여 상기 깊이 영상을 생성할 수 있다.When the amount of charge stored in the charge storage unit 220 is less than the threshold, the image generator 240 measures in at least two division time intervals included in an image acquisition time interval for generating a depth image in step 630. The depth image may be generated using a sum of one charge amount.

각 단계에 대한 상세한 설명과 다양한 실시예는 도 2 및 도 3을 참조하여 상술한 바와 같다.
Detailed descriptions and various embodiments of each step are as described above with reference to FIGS. 2 and 3.

도 7은 일실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.7 is a flowchart illustrating an image processing method, according to an exemplary embodiment.

단계 710에서는, 수광부(210)가 피사체에서 반사된 광을 상기 광의 광량에 대응하는 전자로 변환(transduce)한다.In operation 710, the light receiving unit 210 converts the light reflected from the subject into electrons corresponding to the amount of light.

단계 720에서는, 측정부(230)가 테이블(410)을 참조하여, 상기 피사체의 색지수에 대응하도록 선정된 분할 시간 구간에 대한 전하량을 측정한다.In operation 720, the measurement unit 230 refers to the table 410 and measures the amount of charge for the divided time interval selected to correspond to the color index of the subject.

테이블(410)은 상기 피사체의 색지수에 대응하는 깊이 영상을 취득하기 위한 영상 취득 시간 구간을 적어도 2개의 서로 다른 분할 시간으로 정의하여, 상기 색지수 별로 저장해둘 수 있다.The table 410 may define an image acquisition time interval for acquiring a depth image corresponding to the color index of the subject as at least two different dividing times, and store each of the color indexes.

상기 색지수는, 상기 피사체를 구성하는 적어도 하나의 색상 종류, 상기 색상에 대응하는 반사도, 상기 피사체의 컬러 값(Color data) 중 적어도 하나로 이해될 수 있다.The color index may be understood as at least one of at least one color type constituting the subject, a reflectance corresponding to the color, and color data of the subject.

단계 730에서는, 영상 생성부(240)가 상기 측정된 전하량을 이용하여 깊이 영상을 생성한다.In operation 730, the image generator 240 generates a depth image using the measured charge amount.

각 단계에 대한 상세한 설명과 다양한 실시예는 도 3 내지 도 5를 참조하여 상술한 바와 같다.Detailed description of each step and various embodiments are as described above with reference to FIGS. 3 to 5.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (15)

피사체에서 반사된 광을 상기 광의 광량에 대응하는 전자로 변환(transduce)하는 수광부;
깊이 영상을 취득하기 위한 영상 취득 시간 구간 중, 적어도 2개의 서로 다른 분할 시간 구간에 대한 상기 전자의 전하량을 각각 측정하는 측정부; 및
상기 측정된 적어도 2개의 전하량 중 적어도 하나를 이용하여 깊이 영상을 생성하는 영상 생성부
를 포함하는 영상 처리 장치.A light receiving unit for converting light reflected from a subject into electrons corresponding to the amount of light;
A measuring unit which measures an amount of charge of the electrons for at least two different division time intervals among image acquisition time intervals for acquiring a depth image; And
An image generator for generating a depth image by using at least one of the measured at least two charges
And the image processing apparatus. 제1항에 있어서,
상기 적어도 2개의 서로 다른 시간 구간은 시간 축에서 서로 다른 크기를 갖는 영상 처리 장치.The method of claim 1,
The at least two different time intervals have different sizes on the time axis. 제1항에 있어서,
상기 변환된 전자를 저장하는 전하 저장부를 더 포함하고, 상기 측정부는 상기 전하 저장부에 저장된 상기 전자의 전하량이 선정된 쓰레쉬홀드를 초과하는지 여부를 감지하는 영상 처리 장치.The method of claim 1,
And a charge storage unit to store the converted electrons, wherein the measurement unit detects whether the charge amount of the electrons stored in the charge storage unit exceeds a predetermined threshold. 제3항에 있어서,
상기 측정부에서 상기 쓰레쉬홀드를 초과한 것으로 감지한 경우, 상기 영상 생성부는 상기 적어도 2개의 분할 시간 구간 중 크기가 작은 분할 시간 구간에서 측정한 전하량을 이용하여 상기 깊이 영상을 생성하는 영상 처리 장치.The method of claim 3,
When the measurement unit detects that the threshold is exceeded, the image generating unit generates the depth image by using the amount of charge measured in the small division time interval of the at least two division time intervals . 제3항에 있어서,
상기 전하 저장부에 저장된 상기 전하량이 상기 쓰레쉬홀드 미만인 경우, 상기 영상 생성부는 상기 적어도 2개의 분할 시간 구간에서 측정한 전하량의 합을 이용하여 상기 깊이 영상을 생성하는 영상 처리 장치.The method of claim 3,
And when the amount of charge stored in the charge storage unit is less than the threshold, the image generating unit generates the depth image by using a sum of charges measured in the at least two division time intervals. 제3항에 있어서,
상기 쓰레쉬홀드는 상기 전하 저장부의 커패시턴스의 함수인 영상 처리 장치.The method of claim 3,
And said threshold is a function of the capacitance of said charge storage. 제1항에 있어서,
상기 영상 처리 장치는, TOF(Time of Flight) 방식인 영상 처리 장치.The method of claim 1,
The image processing apparatus is a time processing system (TOF). 피사체에서 반사된 광을 상기 광의 광량에 대응하는 전자로 변환(transduce)하는 수광부;
상기 피사체의 색지수에 대응하는 깊이 영상을 취득하기 위한 영상 취득 시간 구간 중, 적어도 2개의 서로 다른 분할 시간 구간을 미리 정의한 테이블;
상기 테이블을 참조하여, 상기 피사체의 색지수에 대응하는 선정된 분할 시간 구간에 대한 전하량을 측정하는 측정부; 및
상기 측정된 전하량을 이용하여 깊이 영상을 생성하는 영상 생성부
를 포함하는 영상 처리 장치.A light receiving unit for converting light reflected from a subject into electrons corresponding to the amount of light;
A table in which at least two different division time sections are previously defined among image acquisition time sections for acquiring a depth image corresponding to the color index of the subject;
A measuring unit measuring an amount of charge for a predetermined division time interval corresponding to the color index of the subject with reference to the table; And
Image generating unit for generating a depth image by using the measured charge amount
And the image processing apparatus. 피사체에서 반사된 광을 상기 광의 광량에 대응하는 전자로 변환(transduce)하는 단계;
깊이 영상을 취득하기 위한 영상 취득 시간 구간 중, 적어도 2개의 서로 다른 분할 시간 구간에 대한 상기 전자의 전하량을 각각 측정하는 단계; 및
상기 측정된 적어도 2개의 전하량 중 적어도 하나를 이용하여 깊이 영상을 생성하는 단계
를 포함하는 영상 처리 방법.Converting the light reflected from the subject into electrons corresponding to the amount of light;
Measuring an amount of charge of the electrons for at least two different division time intervals among image acquisition time intervals for acquiring a depth image; And
Generating a depth image using at least one of the measured at least two charge amounts
And an image processing method. 제9항에 있어서,
상기 적어도 2개의 서로 다른 시간 구간은 시간 축에서 서로 다른 크기를 갖는 영상 처리 방법.10. The method of claim 9,
The at least two different time intervals have different sizes on the time axis. 제9항에 있어서,
상기 전자의 전하량을 각각 측정하는 단계는,
상기 변환된 전자를 저장하는 단계; 및
상기 저장된 상기 전자의 전하량이 선정된 쓰레쉬홀드를 초과하는지 여부를 감지하는 단계
를 포함하는 영상 처리 방법.10. The method of claim 9,
Measuring each of the charge amount of the electron,
Storing the converted electrons; And
Detecting whether the amount of charge of the stored electrons exceeds a predetermined threshold
And an image processing method. 제10항에 있어서,
상기 깊이 영상을 생성하는 단계는,
상기 전하량이 상기 쓰레쉬홀드를 초과한 경우, 상기 적어도 2개의 분할 시간 구간 중 크기가 작은 분할 시간 구간에서 측정한 전하량을 이용하여 상기 깊이 영상을 생성하는 영상 처리 방법.11. The method of claim 10,
Generating the depth image,
And when the charge amount exceeds the threshold, generating the depth image by using the charge amount measured in a small division time interval of the at least two division time intervals. 제10항에 있어서,
상기 깊이 영상을 생성하는 단계는,
상기 전하량이 상기 쓰레쉬홀드 미만인 경우, 상기 적어도 2개의 분할 시간 구간에서 측정한 전하량의 합을 이용하여 상기 깊이 영상을 생성하는 영상 처리 방법.11. The method of claim 10,
Generating the depth image,
And when the charge amount is less than the threshold, generating the depth image using a sum of charge amounts measured in the at least two division time intervals. 피사체에서 반사된 광을 상기 광의 광량에 대응하는 전자로 변환(transduce)하는 단계;
상기 피사체의 색지수에 대응하는 깊이 영상을 취득하기 위한 영상 취득 시간 구간 중, 적어도 2개의 서로 다른 분할 시간 구간을 미리 정의한 테이블을 참조하여, 상기 피사체의 색지수에 대응하는 선정된 분할 시간 구간에 대한 전하량을 측정하는 단계; 및
상기 측정된 전하량을 이용하여 깊이 영상을 생성하는 단계
를 포함하는 영상 처리 방법.Converting the light reflected from the subject into electrons corresponding to the amount of light;
Among the image acquisition time intervals for acquiring the depth image corresponding to the color index of the subject, the at least two different division time intervals are referred to a predefined table, and the predetermined division time interval corresponding to the color index of the subject is referred to. Measuring the amount of charge on the substrate; And
Generating a depth image using the measured charge amount
And an image processing method. 제9항 내지 제14항 중 어느 한 항에 있어서, 상기 영상 처리 방법을 수행하는 프로그램을 포함한 컴퓨터 판독 가능 기록매체.15. The computer readable medium according to any one of claims 9 to 14, comprising a program for performing the image processing method.
KR1020130033398A 2012-07-20 2013-03-28 Image processing apparatus and method thereof KR102060352B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/935,817 US10324033B2 (en) 2012-07-20 2013-07-05 Image processing apparatus and method for correcting an error in depth

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261673979P 2012-07-20 2012-07-20
US61/673,979 2012-07-20

Publications (2)

Publication Number Publication Date
KR20140012583A true KR20140012583A (en) 2014-02-03
KR102060352B1 KR102060352B1 (en) 2019-12-30

Family

ID=50263480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130033398A KR102060352B1 (en) 2012-07-20 2013-03-28 Image processing apparatus and method thereof

Country Status (1)

Country Link
KR (1) KR102060352B1 (en)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1748304A1 (en) 2005-07-27 2007-01-31 IEE International Electronics & Engineering S.A.R.L. Method for operating a time-of-flight imager pixel

Also Published As

Publication number Publication date
KR102060352B1 (en) 2019-12-30

Similar Documents

Publication Publication Date Title
JP7191921B2 (en) TOF camera system and method for measuring distance with same
CN109490902B (en) Light detection and ranging device and method of operation thereof
US11536804B2 (en) Glare mitigation in LIDAR applications
JP5739174B2 (en) Distance information extraction method and optical apparatus employing the method
CN106104297B (en) Optoelectronic module operable to identify spurious reflections and compensate for errors caused by spurious reflections
JP5655133B2 (en) Spatial information detector
JP6246131B2 (en) Improvements in or relating to processing of time-of-flight signals
US8786678B2 (en) 3D time-of-flight camera and method
US20180059218A1 (en) Time of flight-based systems operable for ambient light and distance or proximity measurements
JP6773724B2 (en) Distance measuring device that outputs accuracy information
WO2020101576A1 (en) Depth sensing using optical time-of-flight techniques through a transmissive cover
CN109729721A (en) Optical ranging method and optical distance measurement apparatus
CN111538024B (en) Filtering ToF depth measurement method and device
KR101904720B1 (en) Image processing apparatus and method
US10466355B2 (en) Optoelectronic modules for distance measurements and supplemental measurements
JP2009192499A (en) Apparatus for generating distance image
US20120162370A1 (en) Apparatus and method for generating depth image
US11333765B2 (en) Distance measuring device and method
KR101790864B1 (en) Method for removing interference according to multi-path in frequency modulation lidar sensor system and apparatus thereof
US10324033B2 (en) Image processing apparatus and method for correcting an error in depth
US20210341609A1 (en) High resolution time-of-flight measurements
KR102060352B1 (en) Image processing apparatus and method thereof
CN113614566B (en) Distance measuring method, distance measuring device, and program recording medium
US11500095B2 (en) Method for determining the distance separating an object and an optical detection system, and corresponding system
JP2021076492A (en) Distance measuring device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant