KR20090046535A - Image generating method and apparatus - Google Patents

Image generating method and apparatus Download PDF

Info

Publication number
KR20090046535A
KR20090046535A KR1020070112748A KR20070112748A KR20090046535A KR 20090046535 A KR20090046535 A KR 20090046535A KR 1020070112748 A KR1020070112748 A KR 1020070112748A KR 20070112748 A KR20070112748 A KR 20070112748A KR 20090046535 A KR20090046535 A KR 20090046535A
Authority
KR
South Korea
Prior art keywords
light
color
target object
image
color values
Prior art date
Application number
KR1020070112748A
Other languages
Korean (ko)
Other versions
KR101344490B1 (en
Inventor
강병민
김도균
이기창
채선혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070112748A priority Critical patent/KR101344490B1/en
Priority to US12/149,612 priority patent/US7718946B2/en
Priority to CN2008101096398A priority patent/CN101430796B/en
Priority to EP08158220A priority patent/EP2060931B1/en
Publication of KR20090046535A publication Critical patent/KR20090046535A/en
Application granted granted Critical
Publication of KR101344490B1 publication Critical patent/KR101344490B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 영상 생성 방법 및 장치에 관한 것으로, 그 영상 생성 방법은 일정 간격으로 대상 물체에 소정 파장의 광을 조사하고, 대상 물체에 의해 반사된 광 중 컬러 영상의 생성에 필요한 파장 대의 광을 통과시키고, 통과된 광에 따른 컬러 값들을 검출하고, 소정 파장의 광이 조사된 구간 동안 검출된 컬러 값들을 이용하여 대상 물체의 깊이 영상을 생성하고, 이 구간이 아닌 다른 구간 동안 검출된 컬러 값들을 이용하여 대상 물체의 컬러 영상을 생성함으로써 컬러 영상의 해상도를 유지하면서 높은 해상도를 가진 깊이 영상을 생성할 수 있다.

Figure P1020070112748

The present invention relates to a method and an apparatus for generating an image. The image generating method irradiates light of a predetermined wavelength to a target object at regular intervals, and passes light of a wavelength band required for generating a color image among the light reflected by the target object. Detects color values according to the passed light, generates a depth image of the object using color values detected during a section irradiated with light of a predetermined wavelength, and detects color values detected during a section other than this section. By generating a color image of the target object, a depth image having a high resolution may be generated while maintaining the resolution of the color image.

Figure P1020070112748

Description

영상 생성 방법 및 장치{Image generating method and apparatus}Image generating method and apparatus

본 발명은 영상 생성 방법 및 장치에 관한 것으로서, 특히 컬러 영상과 깊이 영상을 동시에 생성하는 영상 생성 방법 및 장치에 관한 것이다.The present invention relates to an image generating method and apparatus, and more particularly, to an image generating method and apparatus for simultaneously generating a color image and a depth image.

영상을 구성하는 화소들 각각의 R값, G값 및 B값으로 구성된 컬러(color) 정보와 영상을 구성하는 화소들 각각의 깊이 값을 나타내는 깊이(depth) 정보를 실시간으로 획득하여 사용자에게 제공하는 3D 이미지 센싱(3D image sensing) 기술은, 사용자에게 시각적인 사실감을 느끼게 하며 가상환경을 체험하게 하는데 중요한 역할을 한다.Color information consisting of the R, G and B values of the pixels constituting the image and depth information indicating the depth value of each of the pixels constituting the image are obtained and provided to the user in real time. 3D image sensing technology plays an important role in making the user feel visual realism and experience the virtual environment.

이러한 3D 이미지 센싱 기술은, 얼굴 추적 및 얼굴 인식 분야, 사용자의 동작을 인식하는 게임 분야, 디지털 카메라 분야, 승객의 위치나 신체 크기에 따라 에어백 시스템을 조절하는 것이나, 네비게이션 분야 등에서 광범위하게 활용되고 있다.The 3D image sensing technology is widely used in the field of face tracking and face recognition, game field for recognizing user's motion, digital camera field, adjusting the airbag system according to the position and body size of the passenger, and navigation field. .

본 발명이 이루고자 하는 기술적 과제는 컬러 영상의 해상도를 유지하면서 깊이 영상을 생성할 수 있는 영상 생성 방법 및 장치를 제공하는 것이다.An object of the present invention is to provide an image generating method and apparatus capable of generating a depth image while maintaining the resolution of a color image.

상기 기술적 과제를 이루기 위한 본 발명에 따른 영상 생성 방법은 일정 간격으로 대상 물체에 소정 파장의 광을 조사하는 단계; 상기 대상 물체에 의해 반사된 광 중 컬러 영상의 생성에 필요한 파장 대의 광을 통과시키고, 상기 통과된 광에 따른 컬러 값들을 검출하는 단계; 상기 소정 파장의 광이 조사된 구간 동안 검출된 컬러 값들을 이용하여 상기 대상 물체의 깊이 영상을 생성하는 단계; 및 상기 구간이 아닌 다른 구간 동안 검출된 컬러 값들을 이용하여 상기 대상 물체의 컬러 영상을 생성하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of generating an image, the method including irradiating light of a predetermined wavelength to a target object at regular intervals; Passing light of a wavelength band required for generating a color image among the light reflected by the object, and detecting color values according to the passed light; Generating a depth image of the target object using color values detected during the section irradiated with light of the predetermined wavelength; And generating a color image of the target object by using color values detected during a section other than the section.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 영상 생성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.In order to solve the above other technical problem, the present invention provides a computer-readable recording medium recording a program for executing the above-described image generating method on a computer.

상기 다른 기술적 과제를 이루기 위한 본 발명에 따른 영상 생성 장치는 일정 간격으로 대상 물체에 소정 파장의 광을 조사하는 광 조사부; 상기 대상 물체에 의해 반사된 광 중 컬러 영상의 생성에 필요한 파장 대의 광을 통과시키고, 상기 통과된 광에 따른 컬러 값들을 검출하는 컬러 값 검출부; 상기 소정 파장의 광이 조사된 구간 동안 검출된 컬러 값들을 이용하여 상기 대상 물체의 깊이 영상을 생성하는 깊이 영상 생성부; 및 상기 구간이 아닌 다른 구간 동안 검출된 컬러 값들을 이용하여 상기 대상 물체의 컬러 영상을 생성하는 컬러 영상 생성부를 포함한다.According to another aspect of the present invention, there is provided an image generating apparatus including a light irradiation unit for irradiating light of a predetermined wavelength to a target object at regular intervals; A color value detector configured to pass light having a wavelength required for generating a color image among the light reflected by the target object and detect color values according to the passed light; A depth image generator configured to generate a depth image of the target object by using color values detected during the section irradiated with light of the predetermined wavelength; And a color image generator configured to generate a color image of the target object by using color values detected during a section other than the section.

이하, 첨부된 도면을 참조하여 본 발명에 따른 일 실시예를 상세히 설명한 다.Hereinafter, an embodiment according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 영상 생성 장치의 구성을 블록도로 도시한 것이다. 도 1을 참조하면, 영상 생성 장치(10)는 트리거 펄스 신호 생성부(110), 펄스 제어부(115), 광 조사부(120), 컬러 값 검출부(130), 전하량 계산부(145), 깊이 영상 생성부(150) 및 컬러 영상 생성부(155)로 구성되며, 컬러 값 검출부(130)는 렌즈(132), 필터부(134), 컬러 센서 어레이(138), 전하량 계산부(145), 깊이 영상 생성부(150) 및 컬러 영상 생성부(155)로 구성되며, 필터부(134)는 차단 필터(135) 및 컬러 필터 어레이(136)로 구성된다.1 is a block diagram illustrating a configuration of an image generating apparatus according to an embodiment of the present invention. Referring to FIG. 1, the image generating apparatus 10 may include a trigger pulse signal generator 110, a pulse controller 115, a light emitter 120, a color value detector 130, a charge amount calculator 145, and a depth image. And a color value detector 130. The color value detector 130 includes a lens 132, a filter 134, a color sensor array 138, a charge amount calculator 145, and a depth. The image generator 150 and the color image generator 155 may be configured, and the filter 134 may include a cutoff filter 135 and a color filter array 136.

영상 생성 장치(10)는 대상 물체(125)로부터 광을 수광한다. 이때의 광은 태양광이나 조명 등이 대상 물체(125)에 의해 반사되어 영상 생성 장치(10)에 도달된 광을 말한다. 그리고, 이렇게 수광된 광으로부터 대상 물체(125)의 컬러 영상을 생성할 수 있다.The image generating apparatus 10 receives light from the target object 125. In this case, the light refers to light that is reflected by the target object 125 by sunlight or illumination and reaches the image generating apparatus 10. In addition, the color image of the target object 125 may be generated from the received light.

그리고, 영상 생성 장치(10)는 일정한 파장을 가진 광을 대상 물체(125)에 조사하고, 이 조사된 광이 대상 물체(125)에 의해 반사되어 되돌아 온 광을 수광함을 통해, 대상 물체(125)의 깊이 영상을 생성할 수 있다.The image generating apparatus 10 irradiates the target object 125 with light having a predetermined wavelength, and receives the reflected light reflected by the target object 125 to return the target object ( A depth image of 125 may be generated.

그런데, 영상 생성 장치(10)에 수광된 광이 태양이나 조명 등에서 나온 빛이 대상 물체(125)에 의해 반사되어 수광된 광인지, 아니면 영상 생성 장치(10)가 조사했던 광이 대상 물체(125)에 의해 반사되어 수광된 광인지 구분하기 어려운 문제가 생긴다. 본 실시예에서는 이 문제를 해결하기 위해, 일정 구간에서만 광을 대상 물체(125)에 조사함을 통해, 영상 생성 장치(10)에 수광된 광 중 영상 생성 장 치(10)가 조사했던 광이 대상 물체(125)에 반사되어 수광된 광을 구별하는 방법을 사용한다.However, the light received by the image generating apparatus 10 is light emitted from the sun or an illumination reflected by the target object 125 and is received by the target object 125, or the light irradiated by the image generating apparatus 10 is the target object 125. It is difficult to distinguish whether or not the light is reflected and received by In this embodiment, in order to solve this problem, the light emitted from the image generating apparatus 10 among the light received by the image generating apparatus 10 is irradiated to the target object 125 by irradiating light only to a certain section. A method of distinguishing the light reflected by the target object 125 and received is used.

트리거 펄스 신호 생성부(110)는 일정한 간격으로 반복되는 펄스 신호를 생성한다. 일 예로서, 생성되는 펄스 신호의 고 레벨(high level)이 지속되는 길이를 의미하는 펄스 폭은 영상에 있어서 하나의 장면인 프레임의 간격과 일치하게 할 수 있다. 그리고, 이러한 트리거 펄스 신호 생성부(110)는 짝수번째 프레임과 홀수번째 프레임에서 서로 다른 레벨을 가진 트리거 펄스 신호를 생성함으로써 펄스 제어부(115)에게 현재 프레임이 짝수번째 프레임인지, 아니면 홀수번째 프레임인지를 알려준다.The trigger pulse signal generator 110 generates a pulse signal that is repeated at regular intervals. As an example, a pulse width representing a length of a high level of a generated pulse signal may be matched with an interval of a frame, which is one scene in an image. In addition, the trigger pulse signal generator 110 generates a trigger pulse signal having different levels in the even-numbered and odd-numbered frames to determine whether the current frame is an even-numbered frame or an odd-numbered frame to the pulse controller 115. Tells.

펄스 제어부(115)는 광 조사부(120)에 조사광 펄스 제어 신호를 인가하고, 컬러 센서 어레이(138)에 PG1 펄스 제어 신호와 PG2 펄스 제어 신호를 인가한다.The pulse controller 115 applies an irradiation light pulse control signal to the light irradiation unit 120, and applies a PG1 pulse control signal and a PG2 pulse control signal to the color sensor array 138.

특히, 펄스 제어부(115)는 도 4에 도시된 바와 같이, 트리거 펄스 신호 생성부(110)로부터 현재 프레임이 홀수 프레임임을 나타내는 신호를 받으면 광 조사부(120)에 T0의 펄스 폭을 가지는 조사광 펄스 제어 신호를 인가하지 않고, 트리거 펄스 신호 생성부(110)로부터 현재 프레임이 짝수 프레임임을 표시하는 신호를 받으면 광 조사부(120)에 조사광 펄스 제어 신호를 인가한다.In particular, as shown in FIG. 4, when the pulse controller 115 receives a signal indicating that the current frame is an odd frame from the trigger pulse signal generator 110, an irradiation light pulse having a pulse width of T0 is applied to the light irradiation unit 120. When the control pulse signal generator 110 receives a signal indicating that the current frame is an even frame without applying the control signal, the irradiation light pulse control signal is applied to the light irradiation unit 120.

그리고, 펄스 제어부(115)는 컬러 센서 어레이(138)를 구성하는 컬러 센서들에도 펄스 제어 신호들을 인가하는데, 도 4에 도시된 바와 같이 T0의 펄스 폭을 가지는 PG1 펄스 제어 신호를 포토게이트1(PG1: Photo-Gate1)들에 인가하고, 2T0의 펄스 폭을 가지는 PG2 펄스 제어 신호를 포토게이트2(PG2:Photo-Gate2)들에 인가한 다.The pulse controller 115 also applies pulse control signals to the color sensors constituting the color sensor array 138. As illustrated in FIG. 4, the pulse controller 115 transmits a PG1 pulse control signal having a pulse width of T0 to the photogate 1 ( PG1: Photo-Gate1) and a PG2 pulse control signal having a pulse width of 2T0 to photogate2 (PG2: Photo-Gate2).

광 조사부(120)는 LED(Light Emitting Diode) 어레이 혹은 레이저 기기 등으로서, 펄스 제어부(115)로부터 인가된 조사광 펄스 제어 신호에 따라 대상 물체(125)에 소정 광을 조사한다. 특히, 광 조사부(120)는 도 4에 도시된 바와 같이 인가된 조사광 펄스 제어 신호에 따라 T0의 시간 동안, 차단 필터(135)와 컬러 필터 어레이(136)를 통과할 수 있는 파장 대의 광인 근적외선(near infrared ray) 및 근자외선(near ultraviolet ray) 중 어느 하나 이상의 광을 조사한다. 근적외선은 가시광선에 가까운 파장을 가진 적외선을 말하며, 특히 적외선과 자외선을 차단하는 필터인 차단 필터(135)와 R 컬러 성분을 통과시키는 R 필터를 모두 통과할 수 있는 파장을 가진 적외선으로서, 700nm 내지 750nm 파장을 가질 수 있다. 또한, 근자외선은 가시광선에 가까운 파장을 가진 자외선을 말하며, 특히 적외선과 자외선을 차단하는 필터인 차단 필터(135)와 B(Blue) 컬러 성분을 통과시키는 B 필터를 모두 통과할 수 있는 파장을 가진 적외선으로서, 350nm 내지 400nm 의 파장을 가질 수 있다. 그러면 광 조사부(120)가 근적외선을 조사하는 경우를 중심으로 설명하기로 한다.The light irradiation unit 120 is a light emitting diode (LED) array, a laser device, or the like, and irradiates a predetermined light onto the target object 125 in accordance with an irradiation light pulse control signal applied from the pulse controller 115. In particular, the light irradiator 120 is a near-infrared ray that is light of a wavelength band that can pass through the cutoff filter 135 and the color filter array 136 during the time of T0 according to the irradiated light pulse control signal as shown in FIG. 4. Irradiate light of at least one of (near infrared ray) and near ultraviolet ray (near ultraviolet ray). The near infrared rays refer to infrared rays having a wavelength close to visible light, and in particular, the infrared rays having a wavelength that can pass through both the blocking filter 135, which is a filter for blocking infrared rays and ultraviolet rays, and the R filter for passing R color components, are 700 nm to It may have a wavelength of 750nm. In addition, near-ultraviolet rays refer to ultraviolet rays having a wavelength close to visible light, and in particular, a wavelength that can pass through both the blocking filter 135, which is a filter that blocks infrared rays and ultraviolet rays, and the B filter, which passes B (Blue) color components. As an infrared ray having an excitation, it may have a wavelength of 350 nm to 400 nm. This will be described based on the case where the light irradiation unit 120 irradiates near infrared rays.

컬러 값 검출부(130)는 대상 물체(125)에 의해 반사된 광 중 컬러 영상의 생성에 필요한 파장 대의 광만을 수광하여, 이 수광된 광에 따른 전하량을 축적하고, 이 축적된 전하량에 따른 컬러 값들을 검출한다. 이러한 컬러 값 검출부(130)는 다음의 렌즈(132), 필터부(134), 컬러 센서 어레이(138)로 구성된다.The color value detector 130 receives only light in a wavelength band necessary for generating a color image among the light reflected by the target object 125, accumulates the amount of charges according to the received light, and the color value according to the accumulated amount of charges. Detect them. The color value detector 130 includes a lens 132, a filter 134, and a color sensor array 138.

렌즈(132)는 많은 양의 광을 끌어들여 한 지점으로 모일 수 있도록 입사된 광을 굴절시켜서 필터부(134)에 전달한다. 특히, 렌즈(132)는 대상 물체(125)로부터 반사된 근적외선 및 대상 물체(125)로부터의 가시광선을 모아 필터부(134)에 전달한다. 이때, 반사된 근적외선은 광 조사부(120)에 의해 조사된 근적외선과 동일한 파장을 가지며, 그 세기는 조사된 근적외선의 세기에 대상 물체(125)의 반사율을 곱한 값만큼의 세기를 가진다.The lens 132 refracts the incident light so as to attract a large amount of light and collect the light at a point, and transmits the light to the filter unit 134. In particular, the lens 132 collects near-infrared rays reflected from the target object 125 and visible light from the target object 125 and transmits them to the filter unit 134. In this case, the reflected near infrared rays have the same wavelength as the near infrared rays irradiated by the light irradiator 120, and the intensity of the reflected near infrared rays is equal to the intensity of the irradiated near infrared rays times the reflectance of the target object 125.

필터부(134)는 렌즈(132)를 통해 모아진 광에 대해, 컬러 영상의 생성에 필요한 파장 대의 광만을 통과시키며, 특히 필터부(134)는 도 2에 도시된 바와 같이 차단 필터(135)와 컬러 필터 어레이(136)로 구성된다.The filter unit 134 passes only light in a wavelength band necessary for generating a color image to the light collected through the lens 132, and in particular, the filter unit 134 may include a cutoff filter 135 as shown in FIG. 2. It consists of a color filter array 136.

차단 필터(135)는 렌즈(132)를 통해 전달된 광 중 적외선과 자외선을 차단한다. 이러한 차단 필터(135)는 적외선을 차단하는 필터인 적외선 차단 필터(infrared cut off filter)와 자외선을 차단하는 필터인 자외선 차단 필터(ultra violet cut off filter)로 구성될 수 있으며, 하나의 적외선 및 자외선 차단 필터로 구성될 수도 있다. 여기서, 적외선 및 자외선 차단 필터를 설치하는 이유는, 만일 적외선이나 자외선을 차단하지 않으면, 컬러 센서 어레이(138)에서 적외선은 가시광선의 R(Red) 컬러 성분으로, 자외선은 가시광선의 B(Blue) 컬러 성분으로 인식되어, 실제 대상 물체(125)의 색상과는 다른 색상의 컬러 영상이 생성될 수 있기 때문이다.The blocking filter 135 blocks infrared rays and ultraviolet rays among the light transmitted through the lens 132. The cut filter 135 may be composed of an infrared cut off filter that blocks infrared rays and an ultraviolet cut off filter that cuts ultraviolet rays. It may also be configured as a cutoff filter. Here, the reason for installing the infrared ray and ultraviolet ray blocking filter is that if the infrared ray or the ultraviolet ray is not blocked, the infrared ray in the color sensor array 138 is an R (Red) color component of visible light, and the ultraviolet ray is a B (Blue) color of visible light. This is because a color image having a color different from that of the actual target object 125 may be generated as a component.

이러한 차단 필터(135)의 파장에 대한 특성은 도 3a에 도시되어 있으며, 대략 400nm 와 700nm 사이의 파장을 가진 광 즉, 가시 광선 대의 파장을 가진 광을 통과시킨다. 특히, 본 실시예에서 차단 필터(135)는 도 3a에 도시된 차단 필 터(135)의 특성에 따라 700nm 보다 조금 긴 파장의 근적외선인 반사광도 통과시킨다.The characteristic of the wavelength of the cut-off filter 135 is shown in FIG. 3A and passes light having a wavelength between approximately 400 nm and 700 nm, that is, light having a wavelength in the visible light band. In particular, in the present embodiment, the cutoff filter 135 also passes reflected light, which is a near infrared ray having a wavelength slightly longer than 700 nm, according to the characteristics of the cutoff filter 135 shown in FIG. 3A.

컬러 필터 어레이(136)는 입력되는 광에 대해, R(Red), G(Green), B(Blue) 컬러 성분들 중 어느 하나의 컬러 성분만을 통과시킨다. 특히, 컬러 필터 어레이(136)로는 베이어 패턴(bayer pattern)을 가진 컬러 필터 어레이를 사용한다. 이러한 베이어 패턴의 컬러 필터 어레이는 G 컬러 성분을 통과시키는 필터의 비율이 50%, R 컬러 성분과 B 컬러 성분을 통과시키는 필터의 비율이 각각 25% 가 되도록 필터를 배치하여 격자망을 형성할 수 있도록 한 것이다. 이러한 컬러 필터 어레이(136)의 파장에 대한 특성은 도 3b에 도시되어 있으며, 각각 B 컬러 성분을 통과시키는 B 필터, G 컬러 성분을 통과시키는 G 필터 및 R 컬러 성분을 통과시키는 R 필터의 경우이다. 특히, 본 실시예에 따른 컬러 필터 어레이(136)의 R 필터는 도 3b에 도시된 바와 같이, 가시 광선의 R 컬러 성분과 함께 근적외선의 반사광도 통과시킨다. 마찬가지로, 컬러 필터 어레이(136)의 B 필터는 도 3b에 도시된 바와 같이, 가시 광선의 B 컬러 성분과 함께 근자외선도 통과시킨다.The color filter array 136 passes only the color component of any one of R (Red), G (Green), and B (Blue) color components to the input light. In particular, the color filter array 136 uses a color filter array having a bayer pattern. The Bayer pattern color filter array may form a grid by arranging the filters such that the ratio of the filter passing the G color component is 50%, and the ratio of the filter passing the R color component and the B color component is 25%. It would be. The characteristics of the wavelength of the color filter array 136 are shown in FIG. 3B, which is the case of the B filter passing the B color component, the G filter passing the G color component, and the R filter passing the R color component, respectively. . In particular, the R filter of the color filter array 136 according to the present embodiment also passes reflected light of near infrared rays together with the R color component of visible light, as shown in FIG. 3B. Similarly, the B filter of the color filter array 136 also passes near ultraviolet light along with the B color component of visible light, as shown in FIG. 3B.

컬러 센서 어레이(138)는 각 픽셀들에 대응되며, 컬러 필터 어레이(136)를 통과한 광을 수광하여, 수광된 광에 따른 전하량들을 발생시키고, 발생된 전하량들을 축적한다. 그리고, 컬러 센서 어레이(138)는 축적된 전하량에 따른 컬러 값들을 컬러 영상 생성부(155)에 제공한다. 이러한 컬러 센서 어레이(138)는 각각 수광된 광의 G 컬러 성분에 따른 전하량을 축적하는 G 컬러 센서, 수광된 광의 R 컬러 성분에 따른 전하량을 축적하는 R 컬러 센서 및 수광된 광의 B 컬러 성분에 따른 전 하량을 축적하는 B 컬러 센서의 조합들로 구현된다. 특히, 본 실시예에서 컬러 센서 어레이(138)의 R 컬러 센서는 가시광선의 R 컬러 성분에 따른 전하량과 근적외선인 반사광에 따른 전하량을 축적하며, B 컬러 센서는 B 컬러 성분에 따른 전하량과 근자외선인 반사광에 따른 전하량을 축적한다.The color sensor array 138 corresponds to each pixel and receives light passing through the color filter array 136 to generate charge amounts according to the received light, and accumulate the generated charge amounts. The color sensor array 138 provides color values according to the accumulated charge amount to the color image generator 155. Each of the color sensor arrays 138 includes a G color sensor that accumulates an amount of charge according to the G color component of the received light, an R color sensor that accumulates an amount of charge according to the R color component of the received light, and an electric charge according to the B color component of the received light. It is implemented with combinations of B color sensors that accumulate load. In particular, in the present embodiment, the R color sensor of the color sensor array 138 accumulates the amount of charge according to the R color component of visible light and the amount of charge according to the reflected light which is near infrared, and the B color sensor is the amount of charge corresponding to the B color component and near ultraviolet rays. Accumulate the charge according to the reflected light.

그런데, 이러한 컬러 센서 어레이(138)를 구성하는 하나의 R 컬러 센서는 수광된 광의 R 컬러 성분에 따라 전하를 발생시키는 포토게이트들인 포토게이트1(PG1 : Photo-Gate1) 및 포토게이트2(PG2 : Photo-Gate2)로 구성된다.However, one R color sensor constituting the color sensor array 138 is a photogate 1 (PG1: Photo-Gate1) and photogates 2 (PG2), which are photogates that generate charges according to the R color component of the received light. Photo-Gate2).

먼저, 도 4에 도시된 바와 같이, 펄스 제어부(115)로부터 인가된 PG1 펄스 제어 신호가 상승하는 시점에 PG1이 온(on)됨으로써 PG1에 전하량 축적이 시작된다. 그리고, 펄스 제어부(115)로부터 인가된 PG1 펄스 제어 신호가 하강하는 시점에 PG1가 오프(off)됨으로써 전하량 축적이 중단되어, PG1에는 T0의 시간 동안 전하량이 축적된다. 그런데, 홀수번째 프레임에서는 가시광선의 R 컬러 성분만이 수광되므로, PG1에는 T0 동안 가시광선의 R 컬러 성분에 의해 발생된 전하량을 축적된다. 반면에, 짝수번째 프레임에서는 가시광선의 R 컬러 성분과 근적외선인 반사광이 수광되므로, PG1에는 T0 동안 가시광선의 R 컬러 성분에 의해 발생된 전하량과 반사광에 의해 발생된 전하량을 가산한 만큼의 전하량이 축적된다. 이때, PG1에 홀수번째 프레임에서 축적된 전하량을 Q0이라 하고, PG1에 짝수번째 프레임에서 축적된 전하량을 Q1이라 하자.First, as shown in FIG. 4, when the PG1 pulse control signal applied from the pulse controller 115 rises, PG1 is turned on to start accumulating charge amount in the PG1. Then, at the time when the PG1 pulse control signal applied from the pulse controller 115 falls, PG1 is turned off to stop the charge amount accumulation, and the charge amount is accumulated in the PG1 during the time T0. However, since only the R color component of visible light is received in the odd frame, the amount of charge generated by the R color component of the visible light is accumulated in TG1 during T0. On the other hand, in the even-numbered frame, since the R color component of visible light and the reflected light, which are near infrared rays, are received, the amount of charge is accumulated in PG1 by adding the amount of charge generated by the R color component of visible light and the amount of charge generated by the reflected light during T0. . In this case, it is assumed that the amount of charge accumulated in the odd frame in PG1 is Q0, and the amount of charge accumulated in the even frame in PG1 is Q1.

그리고, 도 4에 도시된 바와 같이 펄스 제어부(115)로부터 인가된 PG2 펄스 제어 신호가 상승하는 시점에 PG2가 온(on)됨으로써 PG2에 전하량 축적이 시작된 다. 그리고, 펄스 제어부(115)로부터 인가된 PG2 펄스 제어 신호가 하강하는 시점에 PG2가 오프(off)됨으로써 전하량 축적이 중단되어, PG2에는 2T0의 시간 동안 전하량이 축적된다. 그런데, 홀수번째 프레임에서는 가시광선의 R 컬러 성분만이 수광되므로, PG2에는 2T0 동안 가시광선의 R 컬러 성분에 의해 발생된 전하량을 축적된다. 반면에, 짝수번째 프레임에서는 가시광선의 R 컬러 성분과 근적외선인 반사광이 수광되므로, PG2에는 2T0 동안 가시광선의 R 컬러 성분에 의해 발생된 전하량과 반사광에 의해 발생된 전하량을 가산한 만큼의 전하량이 축적된다. 이때, PG2에 홀수번째 프레임에서 축적된 전하량을 Q3라 하고, PG2에 짝수번째 프레임에서 축적된 전하량을 Q4 이라 하자.4, when PG2 is turned on at the time when the PG2 pulse control signal applied from the pulse controller 115 rises, charge amount accumulation starts in PG2. Then, at the time when the PG2 pulse control signal applied from the pulse control unit 115 falls, PG2 is turned off to stop the charge amount accumulation, and the charge amount is accumulated in the PG2 for 2T0. However, since only the R color component of visible light is received in the odd frame, the amount of charge generated by the R color component of the visible light is accumulated in PG2 for 2T0. On the other hand, in the even-numbered frame, since the R color component of visible light and the reflected light which are near infrared are received, the amount of charge is accumulated in PG2 by adding the amount of charge generated by the R color component of the visible light and the amount of charge generated by the reflected light for 2T0. . In this case, it is assumed that the amount of charge accumulated in the odd-numbered frame in PG2 is Q3, and the amount of charge accumulated in the even-numbered frame in PG2 is Q4.

전하량 계산부(145)는 컬러 센서 어레이(138)에 축적된 전하량들 중 반사광에 의해 축적된 전하량들을 계산한다. 특히, 컬러 센서 어레이(138)는 홀수번째 프레임에서 가시광선에 의한 전하량을 축적하고, 짝수번째 프레임에서는 가시광선과 반사광에 의한 전하량을 축적하므로, 전하량 계산부(145)는 짝수번째 프레임에서 축적된 전하량에 홀수번째 프레임에서 축적된 전하량을 감산함으로써 반사광에 의해 축적된 전하량을 계산한다.The charge calculator 145 calculates charges accumulated by the reflected light among the charges accumulated in the color sensor array 138. In particular, since the color sensor array 138 accumulates the charge amount due to the visible light in the odd frame and the charge amount due to the visible light and the reflected light in the even frame, the charge amount calculator 145 accumulates the charge amount accumulated in the even frame. The amount of charge accumulated by the reflected light is calculated by subtracting the amount of charge accumulated in the odd-numbered frame.

상세하게는, 전하량 계산부(145)는 PG1에 짝수번째 프레임에서 축적된 전하량 Q1에서 PG1에 홀수번째 프레임에서 축적된 전하량 Q0를 감산함으로써, 반사광에 의해 PG1에 축적된 전하량을 계산한다. 이때, 반사광에 의해 PG1에 축적된 전하량을 Q2라 하면, 전하량 계산부(145)는 Q2 = Q1 - Q0 의 연산을 실행한다. 마찬가지로, 전하량 계산부(145)는 PG2에 짝수번째 프레임에서 축적된 전하량 Q4에서 PG2에 홀수번째 프레임에서 축적된 전하량 Q3을 감산함으로써, 반사광에 의해 PG2에 축적된 전하량을 계산한다. 이때, 반사광에 의해 PG2에 축적된 전하량을 Q5라 하면, 전하량 계산부(145)는 Q5 = Q4 - Q3 의 연산을 실행한다.In detail, the charge amount calculator 145 calculates the amount of charge accumulated in the PG1 by the reflected light by subtracting the charge amount Q0 accumulated in the even-numbered frame at PG1 from the odd-numbered frame at the PG1. At this time, if the charge amount accumulated in the PG1 due to the reflected light is Q2, the charge amount calculation unit 145 performs calculation of Q2 = Q1-Q0. Similarly, the charge amount calculator 145 calculates the amount of charge accumulated in the PG2 by the reflected light by subtracting the charge amount Q3 accumulated in the even-numbered frame at PG2 from the odd-numbered frame at the PG2. At this time, if the charge amount accumulated in the PG2 due to the reflected light is Q5, the charge amount calculation unit 145 performs calculation of Q5 = Q4-Q3.

깊이 영상 생성부(150)는 전하량 계산부(145)에 의해 계산된 전하량인 Q2 및 Q5를 이용하여 대상 물체(125)와의 거리를 계산하고, 계산된 거리에 따른 깊이 영상을 생성한다. 먼저, 도 5를 참조하여, 대상 물체(125)와의 거리를 계산하는 방법을 설명하기로 한다.The depth image generator 150 calculates a distance from the target object 125 by using the charge amounts Q2 and Q5 calculated by the charge amount calculator 145, and generates a depth image according to the calculated distance. First, a method of calculating a distance from the target object 125 will be described with reference to FIG. 5.

먼저, PG1에 반사광에 의해 축적된 전하량인 Q2를 사용하여 대상 물체(125)와의 거리를 계산하는 방법을 생각할 수 있다. 이 경우, 대상 물체(125)와의 거리가 가까울수록 Td가 감소하므로 전하량 Q2는 증가함을 알 수 있다. 즉, 축적된 전하량 Q2는 대상 물체(125)와의 거리에 반비례한다. 그리고, 반사광의 세기는 대상 물체(125)의 반사율에 비례하므로, 전하량 Q2는 대상 물체(125)의 반사율에는 비례함은 당연하다. 따라서, 대상 물체(125)의 반사율을 알 수 있다면, 쉽게 전하량 Q2를 이용하여 대상 물체(125)와의 거리를 계산해 낼 수 있을 것이다. 그러나, 일반적으로는 대상 물체(125)의 반사율을 알 수 없으므로, 본 실시예에서 깊이 영상 생성부(150)는 PG1에 반사광에 의해 축적된 전하량인 Q2와 PG2에 반사광에 의해 축적된 전하량인 Q5를 사용하여 대상 물체(125)와의 거리를 계산한다.First, a method of calculating the distance from the target object 125 using Q2, which is the amount of charge accumulated by the reflected light in PG1, can be considered. In this case, as the distance from the target object 125 is closer, the Td decreases, so that the charge amount Q2 increases. That is, the accumulated charge amount Q2 is inversely proportional to the distance from the target object 125. In addition, since the intensity of the reflected light is proportional to the reflectance of the target object 125, it is natural that the charge amount Q2 is proportional to the reflectance of the target object 125. Therefore, if the reflectance of the target object 125 is known, the distance from the target object 125 may be easily calculated using the charge amount Q2. However, since the reflectance of the target object 125 is generally unknown, the depth image generating unit 150 in this embodiment has Q2, which is the amount of charge accumulated by the reflected light at PG1 and Q5, which is the amount of charge accumulated by the reflected light at PG2. Calculate the distance from the target object 125 using.

도 5에 도시된 바와 같이, 광 조사부(120)에 의해 조사된 근적외선의 세기를 A0 라고 하고, 대상 물체(125)의 반사율을 r 이라고 하자. 그러면, 반사광에 의해 PG1에 축적된 전하량 Q2는, T0에서 지연 시간 td를 감산한 값에, 반사광의 세기인 r*A0를 곱한 값에 비례한다. 이를 수학식으로 표현하면, 다음의 수학식 1과 같다.As shown in FIG. 5, let the intensity of near-infrared rays irradiated by the light irradiation unit 120 be A0 and the reflectance of the target object 125 be r. Then, the charge amount Q2 accumulated in the PG1 by the reflected light is proportional to the value obtained by subtracting the delay time td from T0 and multiplied by r * A0 which is the intensity of the reflected light. If this is expressed as an equation, it is equal to the following equation (1).

Figure 112007079689190-PAT00001
Figure 112007079689190-PAT00001

그리고, 반사광에 의해 PG2에 축적된 전하량 Q5는 근적외선이 조사된 시간 T0에, 제 2 픽셀에 도달한 반사 광의 세기인 r*A0를 곱한 값에 비례한다. 이를 수학식으로 표현하면 다음의 수학식 2와 같다.The amount of charge Q5 accumulated in the PG2 by the reflected light is proportional to the time T0 when the near infrared is irradiated, multiplied by r * A0 which is the intensity of the reflected light reaching the second pixel. This may be expressed as Equation 2 below.

Figure 112007079689190-PAT00002
Figure 112007079689190-PAT00002

그리고, 수학식 1과 수학식 2로부터 다음의 수학식 3 및 수학식 4를 도출할 수 있다.The following equations (3) and (4) can be derived from equations (1) and (2).

Figure 112007079689190-PAT00003
Figure 112007079689190-PAT00003

Figure 112007079689190-PAT00004
Figure 112007079689190-PAT00004

따라서, 수학식 4와 같이 반사광에 의해 PG2에 축적된 전하량 Q5에서 반사광에 의해 PG1에 축적된 전하량 Q2을 감산하고, 이 감산된 값을 전하량 Q5로 나누고, 근적외선이 조사된 시간인 T0를 곱함으로써, 지연 시간 즉, 근적외선의 조사시점부터 반사광이 컬러 센서 어레이(138)에 도달할 시점까지의 시간인 Td를 계산할 수 있다. 그리고, 깊이 영상 생성부(150)는 이 Td를 2로 나누고 빛의 속도 c를 곱함으로써, 즉 ½ × c × Td 의 연산을 수행함으로써 대상 물체(125)와의 거리를 계산하고, 이 계산된 거리에 따른 깊이 영상을 생성한다.Therefore, by subtracting the charge amount Q2 accumulated in PG1 by the reflected light from the charge amount Q5 accumulated in the PG2 by the reflected light as shown in Equation 4, dividing this subtracted value by the charge amount Q5 and multiplying T0, which is the time at which the near infrared is irradiated. The delay time, i.e., Td, which is the time from the irradiation of the near infrared to the time when the reflected light reaches the color sensor array 138, can be calculated. The depth image generator 150 calculates the distance to the target object 125 by dividing the Td by 2 and multiplying the speed of light c, that is, performing a calculation of ½ × c × Td. Create a depth image according to the

컬러 영상 생성부(155)는 홀수번째 프레임에서 컬러 센서 어레이(138)에 의해 검출된 컬러 값들인 Q0와 Q3를 이용하여 컬러 영상을 생성한다. 이 경우, 컬러 영상은 Q0와 Q3의 합으로 생성할 수 있다.The color image generator 155 generates a color image by using the color values Q0 and Q3 detected by the color sensor array 138 in the odd-numbered frame. In this case, the color image may be generated as the sum of Q0 and Q3.

이와 같이, 본 실시예에서 컬러 센서 어레이(138)는 가시광선과 근적외선을 함께 수광하므로 하나의 컬러 센서 어레이만 있으면 된다. 이에 반해, 빔 스플리터(bean splitter)를 사용하는 방법에 의하면, 가시광선은 빔 스플리터를 투과하여 컬러 센서 어레이에 도달하게 하여 컬러 영상을 생성할 수 있게 하고, 근적외선은 빔 스플리터가 굴절시켜 거리 센서 어레이에 도달하게 하여 깊이 영상을 생성할 수 있게 한다. 이때, 빔 스플리터는 광선의 일부는 반사하고 다른 일부는 투과하는 반사경 또는 기타 광학 장치를 말한다. 그런데, 이 방법은 두 개 이상의 센서 어레이 필요하고, 빔 스플리터를 사용하기 때문에 영상 생성 장치의 부피가 커지게 되고, 분리된 가시광선과 근적외선의 광축을 일치시키기 위해 빔 스플리터와 두 센서 어레이 간의 각도를 정확히 설정해야 한다. 따라서, 본 실시예에서는 보다 작은 부피를 가진 영상 센서 장치를 쉽게 구현할 수 있다.As described above, since the color sensor array 138 receives visible light and near infrared light together in this embodiment, only one color sensor array is required. On the other hand, according to the method using a bean splitter, visible light is transmitted through the beam splitter to reach the color sensor array, thereby generating a color image, and near-infrared rays are refracted by the beam splitter so that the distance sensor array To reach a depth image. In this case, the beam splitter refers to a reflector or other optical device that reflects a part of the light beam and transmits the other part. However, this method requires two or more sensor arrays, and the use of the beam splitter increases the volume of the image generating device, and accurately adjusts the angle between the beam splitter and the two sensor arrays to match the optical axes of the separated visible and near infrared rays. Must be set Therefore, in the present embodiment, it is possible to easily implement an image sensor device having a smaller volume.

그리고, 본 실시예에서 컬러 센서 어레이(138)를 구성하는 픽셀들은 모두 컬러 영상을 생성한다. 이에 반해, 베이어 패턴의 컬러 센서에서 G(Green) 화소들의 절반을 깊이(depth)를 측정하는 화소들로 치환한 센서를 사용하는 방법에 의하면, G 화소들의 절반이 상실되므로 원래의 베이터 패턴의 컬러 센서에서보다 컬러 영상의 해상도가 떨어지게 되고 컬러가 왜곡되는 현상이 발생할 수 있으며, 깊이를 측정하는 화소도 총 화소의 1/4 에 불과하여 깊이 영상의 해상도도 떨어진다. 그런데, 본 실시예에서 컬러 센서 어레이(138)를 구성하는 픽셀들은 모두 컬러 영상을 생성하는데 사용되므로 컬러 영상의 해상도가 떨어지지 않는다. 또한, B 화소와 R 화소를 이용하여 깊이 영상을 생성하므로 깊이 영상의 해상도도 총 해상도의 1/2까지 향상시킬 수 있다.In the present embodiment, all pixels constituting the color sensor array 138 generate a color image. In contrast, in the Bayer pattern color sensor, a sensor in which half of the G pixels are replaced with pixels for measuring depth is used, so that half of the G pixels are lost. The resolution of the color image may be lowered and the color may be distorted than the sensor, and the depth measuring pixel may also have a low resolution. However, in the present embodiment, since the pixels constituting the color sensor array 138 are all used to generate the color image, the resolution of the color image does not decrease. In addition, since the depth image is generated using the B pixel and the R pixel, the resolution of the depth image may be improved to 1/2 of the total resolution.

도 6은 본 발명의 일 실시예에 따른 영상 생성 방법을 흐름도로 도시한 것이다. 도 6을 참조하면, 본 실시예에 따른 영상 생성 방법은 도 1에 도시된 영상 생성 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 영상 생성 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 영상 생성 방법에도 적용된다.6 is a flowchart illustrating an image generating method according to an embodiment of the present invention. Referring to FIG. 6, the image generating method according to the present embodiment includes steps processed in time series in the image generating apparatus of FIG. 1. Therefore, even if omitted below, the contents described above with respect to the image generating apparatus shown in FIG. 1 also apply to the image generating method according to the present embodiment.

61 단계에서 영상 생성 장치(10)는 현재 프레임이 짝수번째 프레임인지 여부를 검사한다.In operation 61, the image generating apparatus 10 checks whether the current frame is an even frame.

62 단계에서 영상 생성 장치(10)는 61 단계에서의 검사 결과 현재 프레임이 짝수번째 프레임이면, 대상 물체에 T0의 시간 동안 소정 광을 조사한다. 이때, 조사되는 소정 광으로는 적외선 및 자외선 차단 필터와 컬러 필터 어레이를 모두 통과할 수 있는 근적외선(near infrared ray) 및 근자외선(near ultraviolet ray) 중 어느 하나 이상이 될 수 있다. 특히, 조사되는 소정 광으로 근적외선을 사용하는 경우를 중심으로 설명한다.In operation 62, if the current frame is an even-numbered frame, the image generating apparatus 10 irradiates a target light with a predetermined light for a time T0 in operation 62. In this case, the predetermined light to be irradiated may be any one or more of near infrared ray and near ultraviolet ray that may pass through both the infrared ray filter and the ultraviolet filter and the color filter array. In particular, description will be given focusing on the case where near-infrared light is used as the predetermined light to be irradiated.

63 단계에서 영상 생성 장치(10)는 대상 물체에 의해 반사된 광 중 컬러 영상의 생성에 필요한 파장 대의 광을 통과시킨다. 이때, 영상 생성 장치(10)는 62 단계에서 조사된 근적외선이 대상 물체에 의해 반사되어 되돌아 온 광인 반사광 및 대상 물체로부터의 가시광선을 통과시킨다. 그리고, 이때의 반사광은 62 단계에서 조사된 근적외선과 동일한 파장을 가지며, 그 세기는 조사된 근적외선의 세기에 대상 물체의 반사율을 곱한 값만큼의 세기를 가진다.In operation 63, the image generating apparatus 10 passes light of a wavelength band required for generating a color image among the light reflected by the target object. In this case, the image generating apparatus 10 passes the reflected light and the visible light from the target object, which are the near infrared rays irradiated in step 62 and returned by the target object. In this case, the reflected light has the same wavelength as the near-infrared ray irradiated in step 62, and the intensity has an intensity equal to the intensity of the irradiated near-infrared product times the reflectance of the object.

64 단계에서 영상 생성 장치(10)는 63 단계에서 수광된 반사광 및 가시광선에 따른 광 정보를 검출한다. 상세하게는 도 4를 참조하여 설명하면, 영상 생성 장치(10)는 근적외선이 조사된 시점부터 T0의 시간 동안 PG1을 온(on)함으로써 PG1에 전하량을 축적한다. 그리고, T0의 시간 후에는 PG1을 오프(off)함으로써 전하량 축적을 중단하여, PG1에는 T0의 시간 동안 전하량이 축적되게 한다. 이때, PG1에 짝수번째 프레임에서 축적된 전하량을 Q1이라 하자. 그리고, 영상 생성 장치(10)는 PG1이 오프(off)된 후, 광 조사부(120)에 의해 근적외선이 다시 조사된 시점부터 2T0의 시간 동안에는 PG2를 온(on)함으로써 PG2에 전하량을 축적한다. 그리고, 2T0의 시간 후에는 PG2를 오프(off)함으로써 전하량 축적을 중단하여, PG2에는 2T0의 시간 동안 전하량이 축적되게 한다. 이때, PG2에 짝수번째 프레임에서 축적된 전하량을 Q4 이라 하자.In operation 64, the image generating apparatus 10 detects optical information based on the reflected light and the visible light received in operation 63. In detail, referring to FIG. 4, the image generating apparatus 10 accumulates an amount of charge in PG1 by turning on PG1 for a time T0 from a time when near-infrared rays are irradiated. After the time of T0, the amount of charge is stopped by turning off PG1, and the amount of charge is accumulated in the time of T0 in PG1. In this case, it is assumed that the amount of charge accumulated in the even-numbered frame in PG1 is Q1. After the PG1 is turned off, the image generating apparatus 10 accumulates the amount of charge in the PG2 by turning on the PG2 for a time of 2T0 from the time when the near-infrared ray is irradiated by the light irradiation unit 120 again. After the time of 2T0, the amount of charge is stopped by turning off PG2, and the amount of charge is accumulated in the time of 2T0 in PG2. In this case, it is assumed that the amount of charge accumulated in the even-numbered frame in PG2 is Q4.

65 단계에서 영상 생성 장치(10)는 61 단계에서의 검사 결과 현재 프레임이 짝수번째 프레임이 아니면, 즉 홀수번째 프레임이면 대상 물체에 근적외선을 조사하지 않는다. 이러한 61 단계, 62 단계 및 65 단계를 통해 일정 간격으로 대상 물 체에 근적외선을 조사할 수 있다.In operation 65, if the current frame is not the even frame, that is, the odd frame, the image generating apparatus 10 does not irradiate the NIR to the target object in operation 61. Through these 61, 62 and 65 steps, the near-infrared ray can be irradiated to the object at regular intervals.

66 단계에서 영상 생성 장치(10)는 대상 물체에 의해 반사된 광 중 컬러 영상의 생성에 필요한 파장 대의 광인 대상 물체로부터의 가시광선을 통과시키고, 이 통과된 가시광선에 따른 광 정보를 검출한다. 상세하게는 도 4를 참조하여 설명하면, 영상 생성 장치(10)는 T0의 시간 동안 PG1을 온(on)함으로써 PG1에 전하량을 축적한다. 그리고, T0의 시간 후에는 PG1을 오프(off)함으로써 전하량 축적을 중단하여, PG1에는 T0의 시간 동안 전하량이 축적되게 한다. 이때, PG1에 홀수번째 프레임에서 축적된 전하량을 Q0이라 하자. 그리고, 영상 생성 장치(10)는 다시 2T0의 시간 동안 PG2를 온(on)함으로써 PG2에 전하량을 축적한다. 그리고, 2T0의 시간 후에는 PG2를 오프(off)함으로써 전하량 축적을 중단하여, PG2에는 2T0의 시간 동안 전하량이 축적되게 한다. 이때, PG2에 홀수번째 프레임에서 축적된 전하량을 Q3 이라 하자.In operation 66, the image generating apparatus 10 passes visible light from the target object, which is light in a wavelength band required for generating a color image, among the light reflected by the target object, and detects light information according to the passed visible light. In detail, referring to FIG. 4, the image generating apparatus 10 accumulates the amount of charges in the PG1 by turning on the PG1 during the time of T0. After the time of T0, the amount of charge is stopped by turning off PG1, and the amount of charge is accumulated in the time of T0 in PG1. In this case, it is assumed that the amount of charge accumulated in the odd-numbered frame in PG1 is Q0. The image generating apparatus 10 accumulates the amount of charge in the PG2 by turning on the PG2 again for a time of 2T0. After the time of 2T0, the amount of charge is stopped by turning off PG2, and the amount of charge is accumulated in the time of 2T0 in PG2. In this case, it is assumed that the amount of charge accumulated in the odd-numbered frame in PG2 is Q3.

67 단계에서 영상 생성 장치(10)는 반사광에 의해 축적된 전하량을 계산한다. 이때, 영상 생성 장치(10)는 66 단계에서 축적된 전하량에서, 64 단계에서 축적된 전하량을 감산함으로써 반사광에 의해 축적된 전하량을 계산한다. 상세하게는, PG1에 짝수번째 프레임에서 축적된 전하량 Q1에서 PG1에 홀수번째 프레임에서 축적된 전하량 Q0를 감산함으로써, 반사광에 의해 PG1에 축적된 전하량을 계산하고, PG2에 짝수번째 프레임에서 축적된 전하량 Q4에서 PG2에 홀수번째 프레임에서 축적된 전하량 Q3을 감산함으로써, 반사광에 의해 PG2에 축적된 전하량을 계산한다. 이때, 반사광에 의해 PG1에 축적된 전하량을 Q2라 하고, 반사광에 의해 PG2에 축적된 전하량을 Q5라 한다.In operation 67, the image generating apparatus 10 calculates the amount of charge accumulated by the reflected light. In this case, the image generating apparatus 10 calculates the amount of charge accumulated by the reflected light by subtracting the amount of charge accumulated in step 64 from the amount of charge accumulated in step 66. Specifically, the amount of charge accumulated in PG1 by the reflected light is calculated by subtracting the amount of charge Q1 accumulated in even-numbered frames in PG1 from the odd-numbered frame in PG1, and the amount of charge accumulated in even-numbered frames in PG2. In Q4, the amount of charge accumulated in PG2 is subtracted from PG2 to calculate the amount of charge accumulated in PG2 by the reflected light. At this time, the amount of charge accumulated in the PG1 by the reflected light is called Q2, and the amount of charge accumulated in the PG2 by the reflected light is called Q5.

68 단계에서 영상 생성 장치(10)는 67 단계를 통해 계산된 전하량들인 Q2 및 Q5를 이용하여 영상 생성 장치(10)와 대상 물체간의 거리를 계산한다. 이때의 대상 물체와의 거리는 ½ × c × Td 이고, Td 는 수학식 1 내지 수학식 4로부터 Td = (Q5-Q2)÷Q5×T0 이므로, 대상물체와의 거리는 ½ × c × {(Q5-Q2)÷Q5×T0} 이다.In operation 68, the image generating apparatus 10 calculates a distance between the image generating apparatus 10 and the target object by using the charge amounts Q 2 and Q 5 calculated in operation 67. At this time, the distance to the target object is ½ × c × Td, and Td is Td = (Q5-Q2) ÷ Q5 × T0 from Equations 1 to 4, so the distance from the target object is ½ × c × {(Q5- Q2) ÷ Q5 x T0}.

69 단계에서 영상 생성 장치(10)는 66 단계에서 검출된 광 정보 즉, 전하량 Q0 및 Q3을 이용하여 컬러 영상을 생성하고, 68 단계에서 계산된 거리를 이용하여 깊이 영상을 생성한다.In operation 69, the image generating apparatus 10 generates a color image using light information detected in operation 66, that is, charge amounts Q0 and Q3, and generates a depth image using the distance calculated in operation 68.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이제까지 본 발명에 대하여 그 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the present invention with respect to the embodiment. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

도 1은 본 발명의 일 실시예에 따른 영상 생성 장치의 구성을 블록도로 도시한 것이다.1 is a block diagram illustrating a configuration of an image generating apparatus according to an embodiment of the present invention.

도 2는 도 1에 도시된 필터부(134)의 구성도이다..2 is a block diagram of the filter unit 134 shown in FIG. 1.

도 3a 및 도 3b는 각각 도 1에 도시된 차단 필터(135) 및 컬러 필터 어레이(136)의 파장에 대한 투과율을 도시한 것이다.3A and 3B show transmittances for the wavelengths of the cutoff filter 135 and the color filter array 136 shown in FIG. 1, respectively.

도 4는 도 1에 도시된 컬러 센서 어레이(138)의 PG1 및 PG2에 각각 인가되는 펄스 제어 신호들과 그에 따라 축적되는 전하량들을 도시한 것이다.FIG. 4 shows pulse control signals applied to PG1 and PG2 of the color sensor array 138 shown in FIG. 1 and the amount of charges accumulated accordingly.

도 5는 도 1에 도시된 전하량 계산부(145)에 의해 사용되는 반사광에 의해 PG1 및 PG2에 축적된 전하량을 도시한 것이다.FIG. 5 shows the amounts of charge accumulated in PG1 and PG2 by the reflected light used by the charge amount calculator 145 shown in FIG.

도 6은 본 발명의 일 실시예에 따른 영상 생성 방법을 흐름도로 도시한 것이다.6 is a flowchart illustrating an image generating method according to an embodiment of the present invention.

Claims (11)

일정 간격으로 대상 물체에 소정 파장의 광을 조사하는 단계;Irradiating light of a predetermined wavelength to the target object at regular intervals; 상기 대상 물체에 의해 반사된 광 중 컬러 영상의 생성에 필요한 파장 대의 광을 통과시키고, 상기 통과된 광에 따른 컬러 값들을 검출하는 단계;Passing light of a wavelength band required for generating a color image among the light reflected by the object, and detecting color values according to the passed light; 상기 소정 파장의 광이 조사된 구간 동안 검출된 컬러 값들을 이용하여 상기 대상 물체의 깊이 영상을 생성하는 단계; 및Generating a depth image of the target object using color values detected during the section irradiated with light of the predetermined wavelength; And 상기 구간이 아닌 다른 구간 동안 검출된 컬러 값들을 이용하여 상기 대상 물체의 컬러 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 생성 방법.Generating a color image of the target object by using color values detected during a section other than the section. 제 1 항에 있어서, 상기 깊이 영상을 생성하는 단계는The method of claim 1, wherein generating the depth image 상기 소정 파장의 광이 주사된 구간 동안 검출된 R(Red) 컬러 값들 또는 B(Blue) 컬러 값들 중 적어도 어느 하나의 컬러 값들을 이용하여 상기 대상 물체의 깊이 영상을 생성하는 것을 특징으로 하는 영상 생성 방법.Image generation, characterized in that for generating a depth image of the target object using at least one of the R (Red) color values or the B (Blue) color values detected during the period in which the light of the predetermined wavelength is scanned Way. 제 1 항에 있어서, 상기 컬러 값들을 검출하는 단계는The method of claim 1, wherein detecting the color values 상기 대상 물체에 의해 반사된 광 중 적외선 및 자외선을 차단함으로써 상기 컬러 영상의 생성에 필요한 파장 대의 광만을 통과시키고, 상기 통과된 광에 따른 컬러 값들을 검출하며,By blocking infrared rays and ultraviolet rays among the light reflected by the target object, only the light of the wavelength band required to generate the color image passes, detects color values according to the passed light, 상기 소정 파장의 광은 상기 적외선 및 자외선이 아닌, 상기 컬러 영상의 생성에 필요한 파장 대에 속하는 광인 것을 특징으로 하는 영상 생성 방법.The light having a predetermined wavelength is light belonging to a wavelength band required for generating the color image, not the infrared rays and ultraviolet rays. 제 3 항에 있어서, 상기 컬러 값들을 검출하는 단계는4. The method of claim 3, wherein detecting the color values 상기 대상 물체에 의해 반사된 광 중 컬러 영상의 생성에 필요한 파장 대의 광을 통과시키고,Passing light of a wavelength band required for generating a color image among the light reflected by the target object, 상기 통과된 광에 따른 전하량들을 축적하고, 상기 축적된 전하량들로부터 각각의 컬러 값들을 검출하는 것을 특징으로 하는 영상 생성 방법.Accumulating charge amounts according to the passed light and detecting respective color values from the accumulated charge amounts. 제 1 항에 있어서, 상기 대상 물체의 깊이 영상을 생성하는 단계는The method of claim 1, wherein the generating of the depth image of the target object comprises: 상기 소정 파장의 광이 조사된 구간 동안 검출된 광의 컬러 값들과 상기 다른 구간 동안 검출된 광의 컬러 값들의 차이를 이용하여, 상기 조사된 광에 의한 컬러 값들을 계산하는 단계;Calculating color values by the irradiated light using a difference between color values of light detected during the section irradiated with light of the predetermined wavelength and color values of the light detected during the other section; 상기 계산된 컬러 값들을 이용하여 상기 대상 물체의 깊이를 계산하여, 상기 계산된 깊이에 따른 깊이 영상을 생성하는 것을 특징으로 하는 영상 생성 방법.And calculating a depth of the target object by using the calculated color values to generate a depth image according to the calculated depth. 제 1 항 내지 제 5 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the method of any one of claims 1 to 5 on a computer. 일정 간격으로 대상 물체에 소정 파장의 광을 조사하는 광 조사부;A light irradiation unit for irradiating light of a predetermined wavelength to the target object at regular intervals; 상기 대상 물체에 의해 반사된 광 중 컬러 영상의 생성에 필요한 파장 대의 광을 통과시키고, 상기 통과된 광에 따른 컬러 값들을 검출하는 컬러 값 검출부;A color value detector configured to pass light having a wavelength required for generating a color image among the light reflected by the target object and detect color values according to the passed light; 상기 소정 파장의 광이 조사된 구간 동안 검출된 컬러 값들을 이용하여 상기 대상 물체의 깊이 영상을 생성하는 깊이 영상 생성부; 및A depth image generator configured to generate a depth image of the target object by using color values detected during the section irradiated with light of the predetermined wavelength; And 상기 구간이 아닌 다른 구간 동안 검출된 컬러 값들을 이용하여 상기 대상 물체의 컬러 영상을 생성하는 컬러 영상 생성부를 포함하는 것을 특징으로 하는 영상 생성 장치.And a color image generator configured to generate a color image of the target object by using color values detected during a section other than the section. 제 7 항에 있어서, 상기 깊이 영상 생성부는The method of claim 7, wherein the depth image generating unit 상기 소정 파장의 광이 주사된 구간 동안 검출된 R(Red) 컬러 값들 또는 B(Blue) 컬러 값들 중 적어도 어느 하나의 컬러 값들을 이용하여 상기 대상 물체의 깊이 영상을 생성하는 것을 특징으로 하는 영상 생성 장치.Image generation, characterized in that for generating a depth image of the target object using at least one of the R (Red) color values or the B (Blue) color values detected during the period in which the light of the predetermined wavelength is scanned Device. 제 7 항에 있어서,The method of claim 7, wherein 컬러 값 검출부는 상기 대상 물체에 의해 반사된 광 중 적외선 및 자외선을 차단함으로써 상기 컬러 영상의 생성에 필요한 파장 대의 광만을 통과시키는 컬러 필터 어레이; 및 상기 통과된 광에 따른 컬러 값들을 검출하는 컬러 센서 어레이를 포함하고,The color value detection unit may include: a color filter array configured to pass only light in a wavelength band necessary for generating the color image by blocking infrared rays and ultraviolet rays among the light reflected by the target object; And a color sensor array detecting color values according to the passed light. 상기 소정 파장의 광은 상기 적외선 및 자외선이 아닌, 상기 컬러 영상의 생성에 필요한 파장 대에 속하는 광인 것을 특징으로 하는 영상 생성 장치.And the light having the predetermined wavelength is light belonging to a wavelength band necessary for generating the color image, not the infrared and ultraviolet rays. 제 9 항에 있어서, 상기 컬러 센서 어레이는The method of claim 9, wherein the color sensor array is 상기 통과된 광에 따른 전하량들을 축적하고, 상기 축적된 전하량들로부터 각각의 컬러 값들을 검출하는 것을 특징으로 하는 영상 생성 장치.And accumulating charge amounts according to the passed light, and detecting respective color values from the accumulated charge amounts. 제 7 항에 있어서, 상기 깊이 영상 생성부는The method of claim 7, wherein the depth image generating unit 상기 소정 파장의 광이 조사된 구간 동안 검출된 광의 컬러 값들과 상기 다른 구간 동안 검출된 광의 컬러 값들의 차이를 이용하여, 상기 조사된 광에 의한 컬러 값들을 계산하고, 상기 계산된 컬러 값들을 이용하여 상기 대상 물체의 깊이를 계산하여, 상기 계산된 깊이에 따른 깊이 영상을 생성하는 것을 특징으로 하는 영상 생성 장치.Using the difference between the color values of the light detected during the section irradiated with the light of the predetermined wavelength and the color values of the light detected during the other section, color values by the irradiated light are calculated and the calculated color values are used. And calculating a depth of the target object to generate a depth image according to the calculated depth.
KR1020070112748A 2007-11-06 2007-11-06 Image generating method and apparatus KR101344490B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020070112748A KR101344490B1 (en) 2007-11-06 2007-11-06 Image generating method and apparatus
US12/149,612 US7718946B2 (en) 2007-11-06 2008-05-05 Image generating method and apparatus
CN2008101096398A CN101430796B (en) 2007-11-06 2008-06-11 Image generating method and apparatus
EP08158220A EP2060931B1 (en) 2007-11-06 2008-06-13 Image generating method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070112748A KR101344490B1 (en) 2007-11-06 2007-11-06 Image generating method and apparatus

Publications (2)

Publication Number Publication Date
KR20090046535A true KR20090046535A (en) 2009-05-11
KR101344490B1 KR101344490B1 (en) 2013-12-24

Family

ID=40383523

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070112748A KR101344490B1 (en) 2007-11-06 2007-11-06 Image generating method and apparatus

Country Status (4)

Country Link
US (1) US7718946B2 (en)
EP (1) EP2060931B1 (en)
KR (1) KR101344490B1 (en)
CN (1) CN101430796B (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150037370A (en) * 2013-09-30 2015-04-08 삼성전자주식회사 Method and apparatus for generating color image and depth image
KR20150092612A (en) * 2014-02-05 2015-08-13 엘지전자 주식회사 Multispectral camera and control method of the camera for detecting 3d image
US9366759B2 (en) 2010-06-25 2016-06-14 Samsung Electronics Co., Ltd. Apparatus and method for generating depth image

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483462B1 (en) * 2008-08-27 2015-01-16 삼성전자주식회사 Apparatus and Method For Obtaining a Depth Image
KR20100054540A (en) * 2008-11-14 2010-05-25 삼성전자주식회사 Pixel circuit, photo-electricity converter, and image sensing system thereof
CN101937505B (en) * 2009-07-03 2013-03-27 深圳泰山在线科技有限公司 Target detection method and equipment and used image acquisition device thereof
CN101605269B (en) * 2009-07-10 2010-09-29 清华大学 Method and device for tracking dense depth images
DE102009037596B4 (en) * 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixel structure, system and method for optical distance measurement and control circuit for the pixel structure
US20120056988A1 (en) * 2010-09-07 2012-03-08 David Stanhill 3-d camera
US9348019B2 (en) * 2012-11-20 2016-05-24 Visera Technologies Company Limited Hybrid image-sensing apparatus having filters permitting incident light in infrared region to be passed to time-of-flight pixel
CN103955954B (en) * 2014-04-21 2017-02-08 杭州电子科技大学 Reconstruction method for high-resolution depth image in combination with space diagram pairs of same scene
US10151946B2 (en) * 2014-07-31 2018-12-11 Google Technology Holdings LLC Apparatus with visible and infrared light emitting display
DE102014215972A1 (en) * 2014-08-12 2016-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixel structure for optical distance measurement on an object and distance detection system with such a pixel structure
US20160360185A1 (en) * 2015-06-03 2016-12-08 Empire Technology Development Llc Three-dimensional imaging sensor calibration
KR102526929B1 (en) * 2018-04-04 2023-05-02 삼성전자 주식회사 Optical source module comprising transparent menmber formed meta surface and electronic device comprising the same
CN109459722A (en) * 2018-10-23 2019-03-12 同济大学 Voice interactive method based on face tracking device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4387377B2 (en) 1998-05-25 2009-12-16 パナソニック株式会社 camera
US6563105B2 (en) 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
US6856355B1 (en) 1999-11-30 2005-02-15 Eastman Kodak Company Method and apparatus for a color scannerless range image system
JP2001337166A (en) 2000-05-26 2001-12-07 Minolta Co Ltd Method and device for three-dimensional input
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
CN1617009A (en) * 2004-09-20 2005-05-18 深圳大学 Three-dimensional digital imaging method based on space lattice projection
CN1266452C (en) * 2004-12-31 2006-07-26 深圳大学 Composite coding multiresolution three-dimensional digital imaging method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9366759B2 (en) 2010-06-25 2016-06-14 Samsung Electronics Co., Ltd. Apparatus and method for generating depth image
KR20150037370A (en) * 2013-09-30 2015-04-08 삼성전자주식회사 Method and apparatus for generating color image and depth image
KR20150092612A (en) * 2014-02-05 2015-08-13 엘지전자 주식회사 Multispectral camera and control method of the camera for detecting 3d image

Also Published As

Publication number Publication date
EP2060931A1 (en) 2009-05-20
CN101430796A (en) 2009-05-13
KR101344490B1 (en) 2013-12-24
CN101430796B (en) 2013-01-02
EP2060931B1 (en) 2012-07-18
US20090114802A1 (en) 2009-05-07
US7718946B2 (en) 2010-05-18

Similar Documents

Publication Publication Date Title
KR101344490B1 (en) Image generating method and apparatus
JP5739174B2 (en) Distance information extraction method and optical apparatus employing the method
US11212512B2 (en) System and method of imaging using multiple illumination pulses
EP2790034B1 (en) 3D image acquisition apparatus and method of generating depth image in the 3D image acquisition apparatus
US6724490B2 (en) Image capturing apparatus and distance measuring method
US8134637B2 (en) Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
JP7201592B2 (en) System for characterizing vehicle surroundings
JP5201825B2 (en) Distance image acquisition apparatus and method
KR102112298B1 (en) Method and apparatus for generating color image and depth image
EP2854103A1 (en) Method of decreasing noise of a depth image, image processing apparatus and image generating apparatus using thereof
CN111025321B (en) Variable-focus depth measuring device and measuring method
KR20190057124A (en) A system for determining the distance to an object
KR102194233B1 (en) Apparatus and method for generating a depth image
EP3718078A1 (en) System and method of reducing ambient background light in a pulse-illuminated image
CN107483815B (en) Method and device for shooting moving object
KR101367281B1 (en) Depth image generating method and apparatus
WO2019079295A2 (en) System and method for glint reduction
CN115720634A (en) LIDAR system with fog detection and adaptive response
US20210270969A1 (en) Enhanced depth mapping using visual inertial odometry
CN108507944B (en) System and method for optically detecting an object
JP6693757B2 (en) Distance image generating apparatus and method
CN112834435A (en) 4D camera device and electronic equipment
JP6916419B2 (en) Focus adjuster
US10241204B2 (en) Method for illuminating an object
WO2023041761A1 (en) Emitter array with two or more independently driven areas

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161118

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171120

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181119

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191119

Year of fee payment: 7