KR20150010230A - 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치. - Google Patents

단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치. Download PDF

Info

Publication number
KR20150010230A
KR20150010230A KR20130084927A KR20130084927A KR20150010230A KR 20150010230 A KR20150010230 A KR 20150010230A KR 20130084927 A KR20130084927 A KR 20130084927A KR 20130084927 A KR20130084927 A KR 20130084927A KR 20150010230 A KR20150010230 A KR 20150010230A
Authority
KR
South Korea
Prior art keywords
light
image
charges
generating
circuit
Prior art date
Application number
KR20130084927A
Other languages
English (en)
Inventor
강병민
김도균
신정순
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20130084927A priority Critical patent/KR20150010230A/ko
Priority to US14/291,759 priority patent/US20150022545A1/en
Publication of KR20150010230A publication Critical patent/KR20150010230A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6077—Colour balance, e.g. colour cast correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

대상체를 나타내는 영상을 생성하는 장치는, 단일 필터를 이용하여, 대상체에서 반사된 광에 포함된 제 1 파장 대역의 제 1 광 및 제 2 파장 대역의 제 2 광을 획득하는 필터링부; 선택적으로, 상기 제 1 광 및 제 2 광을 전하(charge)들로 변환하거나 상기 제 1 광이 제거된 제 2 광을 전하들로 변환하는 센싱부; 상기 제 1 광 및 제 2 광이 변환된 전하들에 대응되는 컬러 값들을 보정함으로써 상기 대상체를 나타내는 제 1 영상을 생성하는 제 1 영상 생성부; 및 상기 제 2 광이 변환된 전하들을 이용하여 상기 대상체를 나타내는 제 2 영상을 생성하는 제 2 영상 생성부;를 포함한다.

Description

단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치. {Method and apparatus for generating color image and depth image of an object using singular filter}
단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치에 관한다.
대상체의 깊이(depth) 영상을 취득하는 방법으로서, 적외선(infrared light: IR)을 대상체에 조사한 후 조사된 적외선이 반사되어 돌아오는 시간을 이용하는 ToF(Time of Flight) 방법이 있다. 이러한 방법을 채용한 ToF 깊이 카메라는 대상체의 깊이 영상을 획득하는 종전의 다른 카메라(예를 들어, 스테레오(stereo) 카메라, 구조 광(structured light) 카메라)들에 비하여 실시간으로 모든 화소에서 대상체의 깊이를 취득할 수 있다는 장점이 있다.
일반적으로 대상체의 3차원(3-dimensional) 영상을 생성하기 위해서는, 대상체의 깊이 영상뿐만 아니라 대상체의 컬러(color) 영상이 필요하다. 이를 위해서 ToF 깊이 카메라 주변에 컬러 카메라를 장착하여 컬러 영상과 깊이 영상을 획득한다. 그러나, 두 대의 카메라를 사용함으로써 영상 생성 시스템이 커진다는 단점이 있다. 또한, 두 개의 카메라의 시점(view-point)이 달라서 생성된 두 영상을 별도로 정합하는 과정이 요구된다.
최근에는 하나의 센서를 이용하여 컬러 영상과 깊이 영상을 생성하는 방법이 연구되고 있다. 일반적으로, 컬러 영상을 생성하기 위해서는 센서 외부에 가시광 통과 필터(visible pass filter)가 필요하며, 깊이 영상을 생성하기 위해서는 적외선 통과 필터(infrared pass filter)가 필요하다. 따라서, 하나의 센서를 이용하여 컬러 영상과 깊이 영상을 생성하는 방법은 가시광 통과 필터와 적외선 통과 필터 모두를 센서 외부에 갖추어야 한다. 이를 위하여, 필터에 의하여 필터링되는 빛의 파장을 조절하기 위하여 기계 장치(mechanical filter device)를 이용하는 방법과 전기적으로 필터의 특성을 변화시켜 특정 파장대의 빛을 투과시키는 방법이 이용된다.
그러나, 기계 장치(mechanical filter device)를 이용하는 방법과 전기적으로 필터의 특성을 변화시켜 특정 파장대의 빛을 투과시키는 방법은 필터의 구동을 위한 별도의 시간이 필요하기 때문에, 컬러 영상과 깊이 영상의 생성 속도가 떨어진다. 또한, 필터링 장치의 부피가 크기 때문에, 영상 생성 장치의 부피가 커지는 면이 존재한다.
단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치를 제공한다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다. 해결하고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 일 측면에 따른 대상체를 나타내는 영상을 생성하는 장치는, 단일 필터를 이용하여, 대상체에서 반사된 광에 포함된 제 1 파장 대역의 제 1 광 및 제 2 파장 대역의 제 2 광을 획득하는 필터링부; 선택적으로, 상기 제 1 광 및 제 2 광을 전하(charge)들로 변환하거나 상기 제 1 광이 제거된 제 2 광을 전하들로 변환하는 센싱부; 상기 제 1 광 및 제 2 광이 변환된 전하들에 대응되는 컬러 값들을 보정함으로써 상기 대상체를 나타내는 제 1 영상을 생성하는 제 1 영상 생성부; 및 상기 제 2 광이 변환된 전하들을 이용하여 상기 대상체를 나타내는 제 2 영상을 생성하는 제 2 영상 생성부;를 포함한다.
본 발명의 다른 측면에 따른 대상체를 나타내는 영상을 생성하는 방법은, 대상체에서 반사된 광에 포함된 제 1 파장 대역의 제 1 광 및 제 2 파장 대역의 제 2 광을 획득하는 단계; 선택적으로, 상기 제 1 광 및 제 2 광을 전하(charge)들로 변환하거나 상기 제 1 광이 제거된 제 2 광을 전하들로 변환하는 단계; 상기 제 1 광 및 제 2 광이 변환된 전하들에 대응되는 컬러 값들을 보정함으로써 상기 대상체를 나타내는 제 1 영상을 생성하는 단계; 및 상기 제 2 광이 변환된 전하들을 이용하여 상기 대상체를 나타내는 제 2 영상을 생성하는 단계;를 포함한다.
본 발명의 또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 포함한다.
상술한 바에 따르면, 필터에 대한 기계적 또는 전기적인 제어 없이 단일 필터를 이용하여 가시광 및 적외선을 동시에 투과시킬 수 있는바, 영상 생성 장치의 비대화를 막을 수 있다. 또한, 필터의 구동을 위한 별도의 시간이 요구되지 않으므로, 신속하게 컬러 영상 및 깊이 영상을 생성할 수 있다.
또한, 대상체에 대한 컬러 영상의 생성시에 적외선으로 인하여 왜곡된 컬러를 보정함으로써, 보다 선명하고 실제적인 컬러 영상을 생성할 수 있다. 또한, 대상체에 대한 깊이 영상의 생성시에 센서를 이용하여 가시광선에 관한 정보를 제거함으로써, 대상체의 실제 위치에 대응되는 깊이 영상을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 생성 장치의 일 예를 도시한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 제 1 광 및 제 2 광의 일 예를 도시한 그래프이다.
도 3은 본 발명의 일 실시예에 따른 제 1 영상 생성부가 동작하는 일 예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 센싱부에 포함된 센서(구체적으로, 센서에 포함된 포토 다이오드 회로)가 동작하는 일 예를 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 센싱부에 포함된 센서(구체적으로, 센서에 포함된 포토 다이오드 회로)가 동작하는 일 예를 설명하기 위한 타이밍(timing)도이다.
도 6은 본 발명의 일 실시예에 따른 제 2 영상 생성부가 동작하는 일 예를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상을 생성하는 방법의 일 예를 나타내는 흐름도이다.
도 8는 본 발명의 일 실시예에 따른 센서에 포함된 깊이 픽셀 및 컬럼부의 일 예를 도시한 구성도이다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명의 하기 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하지 않는다. 또한, 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
도 1은 본 발명의 일 실시예에 따른 영상 생성 장치(100)의 일 예를 도시한 구성도이다.
도 1을 참조하면, 영상 생성 장치(100)는 렌즈(110), 필터링부(120), 센싱부(130), 제어부(140), 제 1 영상 생성부(160) 및 제 2 영상 생성부(170)를 포함한다. 또한, 영상 생성 장치(100)는 광 조사부(150)를 더 포함할 수 있다.
도 1에 도시된 영상 생성 장치(100)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
또한, 도 1에 도시된 영상 생성 장치(100)의 센싱부(130), 제어부(140), 광 조사부(150), 제 1 영상 생성부(160) 및 제 2 영상 생성부(170)는 하나 또는 복수 개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
이하, 도 1을 참조하여 영상 생성 장치(100)에 포함된 각 구성들의 기능을 구체적으로 설명한다.
렌즈(110)는 영상 생성 장치(100)로 입사된 광을 획득한다. 구체적으로, 렌즈(110)는 대상체(190)에서 반사된 반사광(185)을 획득하고, 획득된 반사광(185)을 필터링부(120)로 전송한다.
필터링부(120)는 대상체에서 반사된 광(185)에 포함된 제 1 파장 대역의 제 1 광 및 제 2 파장 대역의 제 2 광을 획득한다. 여기에서, 제 1 광은 가시광선(visible light)을 의미하고, 제 2 광은 적외선(infrared light)을 의미할 수 있으나, 이에 한정되지 않는다. 제 1 광 및 제 2 광에 대한 자세한 설명은 도 2를 참조하여 후술한다.
도 2는 본 발명의 일 실시예에 따른 제 1 광 및 제 2 광의 일 예를 도시한 그래프이다.
도 2에 도시된 그래프에서 가로축은 광의 파장을 의미하고, 세로축은 광의 세기(power)를 의미한다. 가로축 및 세로축의 단위는 광의 파장 및 광의 세기를 나타낼 수 있는 단위라면 제한 없이 적용될 수 있다.
필터링부(도 1의 120)는 렌즈(도 1의 110)로부터 전송된 광에서 제 1 파장 대역의 제 1 광(210) 및 제 2 파장 대역의 제 2 광(220)을 획득한다. 다시 말해, 필터링부(도 1의 120)는 복수의 파장 대역의 광을 통과시킬 수 있는, 다중의 대역 통과 필터(band-pass filter)를 포함할 수 있다. 여기에서, 제 1 광(210)은 가시광선을 의미하고, 제 2 광(220)은 적외선을 의미할 수 있다. 구체적으로, 제 2 광(220)은 근적외선(near infrared light)을 의미할 수 있다.
컬러 영상은 가시광선(제 1 광(210))을 이용하여 생성되고, 깊이 영상은 근적외선(제 2 광(220))을 이용하여 생성된다. 그러나, 대상체(도 1의 190)에서 반사된 반사광(도 1의 185)에는 가시광선(210) 및 근적외선(220) 뿐만 아니라, 다른 파장 대역의 광도 포함되어 있다. 따라서, 필터링부(도 1의 120)는 반사광(도 1의 185)에서 제 1 광(210) 및 제 2 광(220)을 제외한 다른 파장 대역의 광을 제거한다.
도 2를 참조하면, 제 1 광(210)의 파장 대역을 350nm 내지 700nm로 예시하였고, 제 2 광(220)의 파장 영역을 850nm 부근으로 예시하였으나, 이에 한정되지 않는다. 예를 들어, 영상 생성 장치(도 1의 100)가 생성할 제 1 영상 및 제 2 영상에 대응하여 제 1 광(210)의 파장 대역과 제 2 광(220)의 파장 대역은 변경될 수 있다. 여기에서, 제 1 광(210)의 파장 대역과 제 2 광(220)의 파장 대역의 변경은 사용자의 개입 없이 후술할 제어부(도 1의 140)에서 자동적으로 수행될 수 있고, 사용자의 입력 정보에 기초하여 제어부(도 1의 140)에서 수행될 수도 있다.
다시 도 1을 참조하면, 본 발명의 일 실시예에 따른 필터링부(120)는 단일 필터를 포함한다. 다시 말해, 필터링부(120)는 단일 필터를 이용하여 반사광(185)에서 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)을 획득한다. 필터링부(120)는 획득된 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)을 센싱부(130)로 전송한다.
일반적으로, 서로 다른 파장 대역을 갖는 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)을 획득하기 위해서는, 영상 생성 장치(100)에 서로 다른 두 개의 필터가 요구된다. 여기에서, 서로 다른 두 개의 필터는 물리적으로 구분된 두 개의 필터들일 수 있다.
그러나, 본 발명의 일 실시예에 따른 필터링부(120)는 단일 고정 필터(static filter)를 이용하여 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)을 획득한다. 구체적으로, 단일 고정 필터가 반사광(185)에 포함된 제 1 광(도 2 의 210) 및 제 2 광(도 2의 220)을 함께 획득한다.
따라서, 영상 생성 장치(100)에 물리적으로 구분된 두 개의 필터들이 구비될 경우에 영상 생성 장치(100)의 부피가 증가되는 것을 막을 수 있을 뿐만 아니라, 필터의 구동을 위한 별도의 시간이 요구되지 않아, 영상 생성 장치(100)는 빠른 속도로 제 1 영상 및 제 2 영상을 생성할 수 있다.
한편, 도 1에는 필터링부(120)가 렌즈(110)와 센싱부(130)의 사이에 위치하는 것으로 도시되어 있으나, 렌즈(110)의 전면에 위치할 수도 있다. 필터링부(120)가 렌즈(110)의 전면에 위치하는 경우에는, 렌즈(110)는 필터링부(120)로부터 전송된 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)을 센싱부(130)로 전송한다.
광 조사부(150)는, 영상 생성 장치(100)가 제 2 영상을 생성하는 경우에, 제 2 파장 대역에 포함된 소정의 주파수로 변조된 제 3 광을 대상체(190)를 향하여 조사한다. 구체적으로, 광 조사부(150)는 제어부(140)의 제어 신호에 기초하여 제 2 파장 대역에 포함된 소정의 주파수로 변조된 조사광(180)을 대상체(190)를 향하여 조사한다.
도 2를 참조하여 상술한 바와 같이, 대상체(190)를 나타내는 깊이 영상(제 2 영상)은 적외선(구체적으로, 근적외선)을 이용하여 생성된다. 따라서, 영상 생성 장치(100)가 제 2 영상을 생성하는 경우에는, 광 조사부(150)는 대상체(190)를 향하여 근적외선에 해당하는 소정의 파장으로 변조된 조사광(180)을 조사한다. 그리고, 렌즈(110)는 조사광(180)이 대상체(190)에서 반사된 광을 포함한 반사광(185)을 획득한다.
센싱부(130)는, 선택적으로, 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)을 전하(charge)들로 변환하거나, 제 1 광(도 2의 210)이 제거된 제 2 광(도 2의 220)을 전하들로 변환한다. 구체적으로, 센싱부(130)에 포함된 센서는, 후술할 제어부(140)의 제어 신호에 기초하여, 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)을 전하들로 변환하거나 또는 제 1 광(도 2의 210)을 제거하고 제 2 광(도 2의 220)만을 전하들로 변환한다.
센싱부(130)는 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)이 변환된 전하들을 제 1 영상 생성부(160)로 전송한다. 또한, 센싱부(130)는 제 1 광(도 2의 210)이 제거되고 제 2 광(도 2의 220)만이 변환된 전하들(구체적으로, 제 2 광(도 2의 220)이 변환된 전하들 중에서 센서에 포함된 포토 다이오드 회로들에 의하여 소정의 위상 차이를 두고 각각 검출된 전하량들)을 제 2 영상 생성부(170)로 전송한다.
센싱부(130)에 포함된 센서는 제 1 광(도 2의 210) 및/또는 제 2 광(도 2의 220)을 전하들로 변환할 수 있는 포토 다이오드(photo-diode) 어레이 또는 포토 게이트(photo-gate) 어레이로 구성될 수 있다. 여기에서, 포토 다이오드는 핀트-포토 다이오드(pint-photo diode)일 수 있으나, 이에 한정되지 않는다.
도 8은 본 발명의 일 실시예에 따른 센서에 포함된 깊이 픽셀 및 컬럼부의 일 예를 도시한 구성도이다.
본 발명의 일 실시예에 따르면, 하나의 깊이 픽셀(910)에는 전하를 저장하는 두 개의 저장 노드(storage node)가 부유 확산 노드(floating diffusion node)의 형태로서 존재하나, 그 이상의 개수의 저장 노드가 구비될 수도 있다. 따라서, 본 발명의 일 실시예에 따른 센서의 구성은 도 8에 도시된 회로도에 제한되지 않는다. 또한, 도 8에 도시된 포토 다이오드(912)는 핀트-포토 다이오드 또는 포토 게이트 어레이일 수 있다.
도 8을 참조하면, 깊이 픽셀(910) 및 컬럼(920)의 구조는 일반적인 4-T(transistor) 컬러 픽셀의 구조를 2개로 확장한 구조이다. 다시 말해, 2개의 4-T(transistor) 컬러 픽셀들(914, 916)(이하, "포토 다이오드 회로"라고 함)을 병렬적으로 연결한 구조이다. 다만, 종래의 구조와 다른 점은 게이트(gate) 신호가 RX인 리셋 트랜지스터(reset transistor)의 드레인(drain)이 VDD가 아닌 컬럼 내의 CDS 증폭기(Correlated Double Sampling Amplifier)의 출력단자에 연결된 점이다.
또한, 도 8에는 하나의 깊이 픽셀에 대응하여 컬럼 내의 2 개의 CDS 증폭기 회로가 할당되어 있는데, 이에 제한되지 않는다. 다시 말하면, 하나의 CDS 증폭기 회로만 존재하는 구조도 가능하다. 한편, 양 쪽 노드와 연결된 컬럼 라인(line) 사이에 BG 신호로 구동되는 트랜지스터가 위치한다.
센서에 포함된 픽셀(910)들 각각은 서로 병렬로 연결된 2개의 포토 다이오드 회로들(914, 916)로 구성될 수 있다. 센서는 병렬로 연결된 2개의 포토 다이오드 회로들(914, 916) 중에서 어느 하나의 회로만으로 제 1 광(210) 및 제 2 광(220)을 전송함으로써 제 1 광(210) 및 제 2 광(220)을 전하들로 변환할 수 있다. 또한, 센서는 병렬로 연결된 2개의 포토 다이오드 회로들(914, 916) 모두에 제 1 광(210) 및 제 2 광(220)을 전송함으로써, 제 1 광을 제거하고 제 2 광(220)만을 전하들로 변환할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 센서의 구조는 도 8에 도시된 회로도에 한정되지 않으며, 제 1 광(210) 및 제 2 광(220)을 전하들로 변환하거나 또는 제 1 광(210)을 제거하고 제 2 광(220)만을 전하들로 변환할 수 있다면, 제한 없이 해당될 수 있다.
다시 도 1을 참조하면, 센서가 제 1 광(도 2의 210)을 제거하고 제 2 광(도 2의 220)만을 전하로 변환(구체적으로, 제 2 광(도 2의 220)이 변환된 전하들 중에서 센서에 포함된 포토 다이오드 회로들(도 9의 914, 916)에 의하여 소정의 위상 차이를 두고 전하들을 검출)하는 구체적인 동작은 도 4 및 도 5를 참조하여 후술한다.
제 1 영상 생성부(160)는 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)이 변환된 전하들에 대응되는 컬러 값들을 보정함으로써 대상체(190)를 나타내는 제 1 영상을 생성한다. 구체적으로, 제 1 영상 생성부(160)는 센싱부(130)에 포함된 센서의 최대 컬러 값들에 기초하여, 영상에 포함된 각각의 픽셀들에 나타난 컬러 값들을 보정할 수 있다. 그리고, 제 1 영상 생성부(160)는 각각의 픽셀들의 컬러 값들이 보정된 제 1 영상을 생성한다. 제 1 영상 생성부(160)가 제 1 영상을 생성하는 구체적인 과정은 도 3을 참조하여 후술한다.
도 3은 본 발명의 일 실시예에 따른 제 1 영상 생성부(도 1의 160)가 동작하는 일 예를 설명하기 위한 도면이다.
도 3을 참조하면, (a)는 대상체(도 1의 190)의 오리지널 컬러를 나타내는 그림이며, (b)는 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)이 변환된 전하들을 이용하여 생성한 대상체(도 1의 190)의 컬러가 왜곡된 영상이다. 또한, (c)는 제 1 영상 생성부(도 1의 160)가 영상의 픽셀들에 나타난 컬러 값들을 보정함으로써 생성한 제 1 영상이다.
도 3의 (b)를 참조하면, 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)이 변환된 전하들을 이용하여 생성한 영상은 도 3의 (a)에 나타난 대상체(도 1의 190)의 오리지널 컬러들에 비하여 컬러의 왜곡이 발생되어 있음을 알 수 있다. 구체적으로, 대상체(도 1의 190)의 컬러는 가시광선 대역의 빛에 의하여 표현된다. 그러나, 제 1 영상 생성부(도 1의 160)에 입력되는 전하들은 가시광선에 대응되는 제 1 광(도 2의 210)이 변환된 전하들뿐 만 아니라, 근적외선에 대응되는 제 2 광(도 2의 220)이 변환된 전하들도 포함한다. 따라서, 제 1 영상 생성부(도 1의 160)에 입력되는 전하들을 이용하여 그대로 영상을 생성하는 경우, 대상체(도 1의 190)의 오리지널 컬러에 비하여 왜곡된 컬러를 갖는 영상이 생성된다.
따라서, 제 1 영상 생성부(도 1의 160)는 컬러가 왜곡된 영상에 포함된 각각의 픽셀들에 나타난 컬러 값들을 보정함으로써, 도 3의 (c)와 같은 제 1 영상을 생성한다. 구체적으로, 제 1 영상 생성부(도 1의 160)는 입력된 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)이 변환된 전하들을 이용하여 영상(즉, 대상체(도 1의 190)의 컬러가 왜곡된 영상)을 생성한다. 그 후에, 제 1 영상 생성부(도 1의 160)는 화이트 밸런스(white balance) 방식을 이용하여 컬러 값들을 보정한다. 그러나, 화이트 밸런스 방식은 일 예에 불과하며, 영상의 왜곡된 컬러를 보정할 수 있는 방식이라면 제한 없이 본 발명의 일 실시예에 포함될 수 있다.
제 1 영상 생성부(도 1의 160)는 아래의 수학식 1에 의하여 컬러 값들을 보정할 수 있다.
Figure pat00001
수학식 1에서, R', G' 및 B'은 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)이 변환된 전하들에 의하여 생성된 영상(즉, 도 3의 (b))에 포함된 각각의 픽셀의 컬러 값을 의미한다. 또한, Rw', Gw' 및 Bw'는 센싱부(도 1의 130)에 포함된 센서가 갖는 최대 컬러 값을 의미한다. 예를 들어, Rw', Gw' 및 Bw'는 센서가 갖는 최대 컬러 값을 수치로 표현한 255 또는 127 등의 정수를 의미할 수 있다. 또한, R, G 및 B는 보정이 완료된 픽셀의 컬러 값을 의미한다.
제 1 영상 생성부(도 1의 160)는 상술한 수학식 1에 따라 컬러가 왜곡된 영상(도 3의 (b))을 보정함으로써, 필터링부(도 1의 120)에서 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)을 모두 센싱부(도 1의 130)로 전송한 경우에도 대상체(도 1의 190)에 대한 고화질의 제 1 영상(예를 들어, 컬러 영상)을 생성할 수 있다.
다시 도 1을 참조하면, 제 2 영상 생성부(170)는 제 2 광(도 2의 220)이 변환된 전하들을 이용하여 대상체(190)를 나타내는 제 2 영상을 생성한다. 구체적으로, 제 2 영상 생성부(170)는 센싱부(130)로부터, 제 2 광(도 2의 220)이 변환된 전하들 중에서, 포토 다이오드 회로들이 소정의 위상 차이를 두고 동작함에 따라 검출된 전하량들을 전송받는다. 그리고, 제 2 영상 생성부(170)는 전송받은 전하량들을 조합함으로써 제 2 영상을 생성한다.
여기에서, 소정의 위상 차이는 180°를 의미할 수 있다. 구체적으로, 센싱부(130)는 포토 다이오드 회로들 중 어느 하나가 동작하는 주기를 기준(0°)으로 하여, 다른 포토 다이오드 회로를 상술한 기준에서 180°의 위상 차이를 갖도록 동작시킴으로써 전하량들을 검출한다. 그리고, 센싱부(130)는 포토 다이오드 회로들 중 어느 하나를 상술한 기준에서 90°의 위상 차이를 갖도록 동작시키고, 다른 포토 다이오드 회로를 270°의 위상 차이를 갖도록 동작시킴으로써 전하량들을 검출한다.
도 4는 본 발명의 일 실시예에 따른 센싱부(도 1의 130)에 포함된 센서(구체적으로, 센서에 포함된 포토 다이오드 회로)가 동작하는 일 예를 설명하기 위한 개념도이다.
도 4의 (a)는, 센서가, 병렬로 연결된 2개의 포토 다이오드 회로들 중에서 어느 하나(이하, "제 1 회로"라고 함)를 기준(0°)으로 하여 동작시키고, 다른 하나(이하, "제 2 회로"라고 함)를 상술한 기준에서 180°의 위상 차이를 갖도록 동작시킨 경우에 해당하는 개념도이다.
또한, 도 4의 (b)는, 센서가, 제 1 회로를 상술한 기준에서 90°의 위상 차이를 갖도록 동작시키고, 제 2 회로를 상술한 기준에서 270°의 위상 차이를 갖도록 동작시킨 경우에 해당하는 개념도이다.
여기에서, 상술한 기준은 제 3 광이 조사된 시간과 일치되도록 제 1 회로를 동작시키는 것을 의미하며, 구체적인 내용은 도 5를 참조하여 후술한다. 또한, 센서에는 병렬로 연결된 2개의 포토 다이오드 회로들(즉, 제 1 회로 및 제 2 회로)이 포함될 수 있음은 도 1을 참조하여 상술한 바와 같다.
도 4의 (a)를 참조하여 후술할 메커니즘은 도 4의 (b)에도 동일하게 적용될 수 있다. 다시 말하면, 도 4의 (b)는 도 4의 (a)에 도시된 제 1 회로 및 제 2 회로를 각각 90°씩 시프트(shift) 시킨 것에 불과하므로, 센서가 도 4의 (a)의 메커니즘과 동일하게 도 4의 (b)의 동작을 수행할 수 있음은 당해 기술분야에서 통상의 지식을 가진 자라면 쉽게 이해할 수 있다. 따라서, 이하에서는 도 4의 (a)만을 참조하여 센서의 동작을 설명한다.
먼저, 센서는 소정의 시간 동안 제 1 회로 및 제 2 회로를 동작하여 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)에 해당하는 전하들(410, 420)을 저장한다(제 1 축적(integration)). 여기에서, 제 1 회로 및 제 2 회로의 위상 차이가 180°를 나타내므로, 제 1 회로에 저장된 전하량(410)과 제 2 회로에 저장된 전하량(420)은 서로 다르다. 다만, 제 1 회로에 저장된 전하량(410) 중에서 제 1 광이 변환된 전하량(411)과 제 2 회로에 저장된 전하량(420) 중에서 제 1 광이 변환된 전하량(421)은 서로 같다.
그 후에, 센서는 제 1 회로에 저장된 전하량(410)과 제 2 회로에 저장된 전하량(420)의 차이를 계산한다(제 1 차감(subtraction)). 상술한 바와 같이, 제 1 회로에 저장된 제 1 광이 변환된 전하량(411)과 제 2 회로에 저장된 제 1 광이 변환된 전하량(421)은 서로 같다. 따라서, 제 1 차감의 결과(430)는 제 1 회로에 저장된 제 2 광이 변환된 전하량(412)과 제 2 회로에 저장된 제 2 광이 변환된 전하량(422)의 차이와 같다.
그 후에, 센서는 제 1 회로 및 제 2 회로를 리셋시킨다(제 1 리셋). 구체적으로, 센서는 제 1 회로에서 제 1 차감의 결과(430)를 제외한 나머지 전하량을 리셋(피드백 연산)시키고, 제 2 회로는 전체 전하량을 리셋시킨다.
그 후에, 센서는 소정의 시간 동안 제 1 회로 및 제 2 회로를 동작하여 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)에 해당하는 전하들(440, 450)을 저장한다(제 2 축적(integration)). 여기에서, 제 1 회로에 저장된 전하량(440)과 제 2 회로에 저장된 전하량(450)은 서로 다르나, 제 1 회로에 저장된 전하량(440) 중에서 제 1 광이 변환된 전하량(441)과 제 2 회로에 저장된 전하량(450) 중에서 제 1 광이 변환된 전하량(451)이 서로 같음은 상술한 바와 같다.
그 후에, 센서는 제 1 회로에 저장된 전하량(440 및 430)과 제 2 회로에 저장된 전하량(450)의 차이를 계산한다(제 2 차감(subtraction)). 상술한 바와 같이, 제 1 회로에 저장된 제 1 광이 변환된 전하량(441)과 제 2 회로에 저장된 제 1 광이 변환된 전하량(441)은 서로 같다. 따라서, 제 2 차감의 결과(460)는 제 1 회로에 저장된 제 2 광이 변환된 전하량(442)과 제 2 회로에 저장된 제 2 광이 변환된 전하량(452)의 차이에 제 1 차감의 결과(430)를 합한 것과 같다.
그 후에, 센서는 제 1 회로 및 제 2 회로를 리셋시킨다(제 2 리셋). 구체적으로, 센서는 제 1 회로에서 제 2 차감의 결과(460)를 제외한 나머지 전하량을 리셋시키고, 제 2 회로는 전체 전하량을 리셋(피드백 연산)시킨다. 이에 따라, 제 1 회로 및 제 2 회로에는 제 2 차감의 결과(460)에 대응되는 전하량(Q0 °-Q180 °)만 존재한다.
한편, 도 4의 (b)에 도시된 바와 같이, 센서는 제 1 회로를 기준에서 90°의 위상 차이를 갖도록 동작시키고, 제 2 회로를 기준에서 270°의 위상 차이를 갖도록 동작시켜 전하량(Q90°-Q270 °)를 획득한다. 여기에서, 센서가 전하량(Q90 °-Q270 °)을 획득하는 구체적인 메커니즘은 도 4의 (a)를 참조하여 설명한 바와 동일하다.
다시 도 1을 참조하면, 센서는 획득한 전하량들(Q0 °-Q180 °및 Q90 °-Q270 °)을 제 2 영상 생성부(170)로 전송한다.
도 5는 본 발명의 일 실시예에 따른 센싱부(도 1의 130)에 포함된 센서(구체적으로, 센서에 포함된 포토 다이오드 회로)가 동작하는 일 예를 설명하기 위한 타이밍(timing)도이다.
도 5는 도 4를 참조하여 상술한 센서가 동작하는 일 예에 대한 타이밍도이다. 다시 말하면, 도 5는 도 4의 제 1 축적 및 제 2 축적의 일 예를 설명하기 위한 도면이다.
도 5를 참조하면, "조사광"은 광 조사부(도 1의 150)에서 대상체(도 1의 190)를 향하여 조사된 조사광(도 1의 180)(즉, 제 3 광)을 의미한다. 또한, "반사광"은 "조사광"이 대상체(도 1의 190)에서 반사된 반사광(도 1의 185)을 의미한다.
"조사광"과 "반사광"은 일정한 위상 차를 갖는다. 다시 말하면, "조사광"이 대상체(도 1의 190)를 향하여 전파되는데 걸리는 시간 및 "반사광"이 렌즈(도 1의 110)를 향하여 전파되는데 걸리는 시간이 있으므로, 광 조사부(도 1의 150)에서 대상체(도 1의 190)를 향하여 "조사광"을 조사한 시점은 "반사광"이 렌즈(도 1의 110)에 도달한 시점보다 일정 시간(td)이 빠르다. 또한, "조사광"과 "반사광"의 세기는 서로 다르다. 다시 말하면, "조사광"이 대상체(도 1의 190)에서 반사되는 경우에 대상체(도 1의 190)를 구성하는 물질의 특성에 따라 광의 반사율(r)이 결정되므로, "반사광"의 세기(r·A0)는 "조사광"의 세기(A0)보다 일정 비율(r)만큼 감소한다.
도 5에서, Q0은 센서가 제 1 회로를 "조사광"이 조사되는 시간(T0)과 동일하게 동작시킨 경우를 의미하고, Q180은 센서가 제 2 회로를 제 1 회로와 180°의 위상 차이를 갖도록 동작시킨 경우를 의미한다. 또한, Q0 및 Q180가 하이(high)를 나타내는 구간은 제 1 회로 및 제 2 회로의 TX0 및 TX1이 온(on)되어 있는 구간을 의미하고, Q0 및 Q180가 로우(low)를 나타내는 구간은 제 1 회로 및 제 2 회로의 TX0 및 TX1이 오프(off)되어 있는 구간을 의미한다.
센서는 제 1 회로를 "조사광"이 조사되는 구간(T0)과 동일하게 반복적으로 턴 온-오프(turn on-off)시키고, 제 1 회로가 온(on)되어 있는 구간(T0) 동안에 입사된 "반사광"을 획득(510)한다. 또한, 센서는 제 2 회로를 제 1 회로와 180°의 위상 차이를 갖도록 반복적으로 턴 온-오프(turn on-off)시키고, 제 2 회로가 온(on)되어 있는 구간(T1) 동안에 입사된 "반사광"을 획득(520)한다. 이 과정을 거치게 되면, 도 4의 (a)를 참조하여 상술한 제 1 축적이 완료된다. 제 2 축적의 경우, 상술한 제 1 축적의 과정과 동일하게 수행될 수 있으므로, 구체적인 설명은 생략한다.
도 5에서, Q90은 센서가 제 1 회로를 Q0와 90°의 위상 차이를 갖도록 동작시킨 경우를 의미하고, Q270은 센서가 제 2 회로를 Q0와 270°의 위상 차이를 갖도록 동작시킨 경우를 의미한다. 또한, Q90 및 Q270가 하이(high)를 나타내는 구간은 제 1 회로 및 제 2 회로의 TX0 및 TX1이 온(on)되어 있는 구간을 의미하고, Q90 및 Q270가 로우(low)를 나타내는 구간은 제 1 회로 및 제 2 회로의 TX0 및 TX1이 오프(off)되어 있는 구간을 의미한다.
도 4의 (b)를 참조하여 상술한 제 1 축적 및 제 2 축적은, Q0 및 Q180의 경우와 마찬가지로 제 1 회로 및 제 2 회로가 온(on)되어 있는 구간 동안에 "반사광"을 획득(530, 540)함으로써 완료될 수 있다. 따라서, 구체적인 설명은 생략한다.
다시 도 1을 참조하면, 제 2 영상 생성부(170)는 센싱부(130)로부터 전송된 전하량들(Q0 °-Q180 °및 Q90 °-Q270 °)을 이용하여 제 2 영상을 생성한다. 구체적으로, 제 2 영상 생성부(170)는 아래의 수학식 2를 이용하여 제 2 영상을 생성할 수 있다.
Figure pat00002
수학식 2에서, Q0 °-Q180 °및 Q90 °-Q270 °는 센싱부(130)로부터 전송된 전하량들을 의미한다. 또한, Rmax는 제 3 광(도 5에서의 "조사광")의 변조 주파수와 빛의 속도로 이루어진 값으로, 센싱부(130)에 포함된 센서가 취득할 수 있는 이론적 거리를 의미한다. 예를 들어, 제 3 광의 변조 주파수가 30MHz인 경우에는 Rmax는 5m, 제 3 광의 변조 주파수가 20MHz인 경우에는 Rmax는 7.5m를 의미할 수 있다. 다시 말하면, Rmax는 제어부(140)가 결정한 제 3 광의 변조 주파수에 기초하여, 제 2 영상 생성부(170)에서 계산한다.
상술한 수학식 2의 결과(Depth)에 기초하여, 제 2 영상 생성부(170)는 영상을 구성하는 픽셀들 각각의 명암 값을 결정한다. 예를 들어, 제 2 영상 생성부(170)는 계산된 Depth가 a인 경우에는 대응되는 픽셀의 명암 값은 b에 해당된다는 것과 같이 미리 정해진 룩업 테이블 등에 기초하여 픽셀들 각각의 명암 값을 결정한다. 그 후에, 제 2 영상 생성부(170)는 결정된 픽셀의 명암 값을 기초로, 제 2 영상을 생성한다.
도 6은 본 발명의 일 실시예에 따른 제 2 영상 생성부(도 1의 170)가 동작하는 일 예를 도시한 도면이다.
도 6의 (a)는 대상체(도 1의 190)들의 실제 위치를 촬영한 영상이고, 도 6의 (b)는 제 2 영상 생성부(도 1의 170)가 생성한 제 2 영상(즉, 깊이 영상)을 의미한다.
도 6의 (b)를 참조하면, 대상체(도 1의 190)들의 원근에 따라, 제 2 영상에서 대상체(도 1의 190)들의 명암이 서로 다르게 나타나는 것을 확인할 수 있다. 구체적으로, 영상 생성 장치(도 1의 100)와 가까운 위치에 존재하는 대상체(도 1의 190)는 제 2 영상에서 상대적으로 밝게 나타나고, 영상 생성 장치(도 1의 100)와 멀리 떨어진 위치에 존재하는 대상체(도 1의 190)는 제 2 영상에서 상대적으로 어둡게 나타난다.
따라서, 상술한 영상 생성 장치(도 1의 100)는 대상체(도 1의 190)에 대한 깊이 영상의 생성시에 센싱부(도 1의 130)에 포함된 센서를 이용하여 가시광선을 제거함으로써, 대상체(도 1의 190)의 실제 위치에 대응되는 깊이 영상을 생성할 수 있다.
다시 도 1을 참조하면, 제어부(140)는 영상 생성 장치(100)에 포함된 구성들을 제어하는 신호를 생성하고, 생성된 신호를 각각의 구성들에게 전송한다. 구체적으로, 제어부(140)는 영상 생성 장치(100)에 포함된 필터링부(120), 센싱부(130), 광 조사부(150), 제 1 영상 생성부(160) 및 제 2 영상 생성부(170)의 동작을 제어하는 신호를 생성한다.
도 7은 본 발명의 일 실시예에 따른 영상을 생성하는 방법의 일 예를 나타내는 흐름도이다.
도 7을 참조하면, 영상을 생성하는 방법은 도 1에 도시된 영상 생성 장치(도 1의 100)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1에 도시된 영상 생성 장치(도 1의 100)에 관하여 이상에서 기술된 내용은 도 7의 영상을 생성하는 방법에도 적용됨을 알 수 있다.
또한, 830 단계 내지 850 단계는 도 7을 참조하여 상술한 720 단계 내지 740 단계와 대응되므로, 이하 자세한 내용의 설명은 생략한다.
810 단계에서, 광 조사부(도 1의 150)는 영상 생성 장치(도 1의 100)가 제 2 영상을 생성하는 경우에, 제 2 파장 대역에 포함된 소정의 주파수로 변조된 제 3 광(도 1의 180)을 대상체(도 1의 190)를 향하여 조사한다.
820 단계에서, 필터링부(도 1의 120)는 제 3 광(도 1의 180)이 대상체(도 1의 190)에서 반사된 광(도 1의 185)에서 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)을 획득한다.
830 단계에서, 센싱부(도 1의 130)는, 선택적으로, 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)을 전하들로 변환하거나 제 1 광(도 2의 210)이 제거된 제 2 광(도 2의 220)을 전하들로 변환한다. 다시 말하면, 센싱부(도 1의 130)는 필터링부(도 1의 120)로부터 전송된 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)을 전하들로 변환하거나, 필터링부(도 1의 120)로부터 전송된 제 1 광(도 2의 210) 및 제 2 광(도 2의 220) 중에서 제 1 광(도 2의 210)을 제거하고 제 2 광(도 2의 220)만을 전하들로 변환한다.
840 단계에서, 제 1 영상 생성부(도 1의 160)는 제 1 광(도 2의 210) 및 제 2 광(도 2의 220)이 변환된 전하들에 대응되는 컬러 값들을 보정함으로써 대상체(도 1의 190)를 나타내는 제 1 영상을 생성한다.
850 단계에서, 제 2 영상 생성부(도 1의 170)는 제 2 광(도 2의 220)이 변환된 전하들을 이용하여 대상체(도 1의 190)를 나타내는 제 2 영상을 생성한다.
상술한 바에 따르면, 영상 생성 장치(도 1의 100)는 필터에 대한 기계적 또는 전기적인 제어 없이 단일 필터를 이용하여 가시광 및 적외선을 동시에 투과시킬 수 있는바, 영상 생성 장치의 비대화를 막을 수 있다. 또한, 영상 생성 장치(도 1의 100)는 필터의 구동을 위한 별도의 시간이 요구되지 않으므로, 신속하게 컬러 영상 및 깊이 영상을 생성할 수 있다.
또한, 영상 생성 장치(도 1의 100)는, 대상체(도 1의 190)에 대한 컬러 영상의 생성시에 적외선으로 인하여 왜곡된 컬러를 보정함으로써, 보다 선명하고 실제적인 컬러 영상을 생성할 수 있다. 또한, 영상 생성 장치(도 1의 100)는, 대상체(도 1의 190)에 대한 깊이 영상의 생성시에 센서를 이용하여 가시광선에 관한 정보를 제거함으로써, 대상체(도 1의 190)의 실제 위치에 대응되는 깊이 영상을 생성할 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등), PC 인터페이스(PC Interface)(예를 들면, PCI, PCI-express, Wifi 등)와 같은 저장매체를 포함한다.
본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 영상 생성 장치
110: 렌즈
120: 필터
130: 수광부(센서)
140: 제어부
150: 광 조사부
160: 컬러 보정부
170: 깊이 계산부
180: 조사광
185: 반사광
190: 대상체

Claims (15)

  1. 단일 필터를 이용하여, 대상체에서 반사된 광에 포함된 제 1 파장 대역의 제 1 광 및 제 2 파장 대역의 제 2 광을 획득하는 필터링부;
    선택적으로, 상기 제 1 광 및 제 2 광을 전하(charge)들로 변환하거나 상기 제 1 광이 제거된 제 2 광을 전하들로 변환하는 센싱부;
    상기 제 1 광 및 제 2 광이 변환된 전하들에 대응되는 컬러 값들을 보정함으로써 상기 대상체를 나타내는 제 1 영상을 생성하는 제 1 영상 생성부; 및
    상기 제 2 광이 변환된 전하들을 이용하여 상기 대상체를 나타내는 제 2 영상을 생성하는 제 2 영상 생성부;를 포함하는 대상체를 나타내는 영상을 생성하는 장치.
  2. 제 2 항에 있어서,
    상기 제 2 영상을 생성하는 경우에, 상기 제 2 파장 대역에 포함된 소정의 주파수로 변조된 제 3 광을 상기 대상체를 향하여 조사하는 광조사부;를 더 포함하고,
    상기 필터링부는 상기 제 3 광이 상기 대상체에서 반사된 광에서 상기 제 1 광 및 제 2 광을 획득하는 장치.
  3. 제 2 항에 있어서,
    상기 제 2 영상 생성부는 상기 제 2 광이 변환된 전하들 중에서, 상기 센싱부에 포함된 포토 다이오드(photo diode) 회로들이 소정의 위상 차이를 두고 동작함에 따라 검출된 전하량들을 조합함으로써 상기 제 2 영상을 생성하는 장치.
  4. 제 3 항에 있어서,
    상기 센싱부에 포함된 포토 다이오드(photo diode) 회로들은 서로 180°의 위상 차이를 두고 동작하는 장치.
  5. 제 3 항에 있어서,
    상기 포토 다이오드는 핀트-포토 다이오드(pint-photo diode) 및 포토게이트(photogate) 중 어느 하나를 포함하는 장치.
  6. 제 1 항에 있어서,
    상기 제 1 영상 생성부는 상기 센싱부의 최대 컬러 값들에 기초하여 상기 변환된 전하들에 대응되는 컬러 값들을 보정함으로써 상기 제 1 영상을 생성하는 장치.
  7. 제 1 항에 있어서,
    상기 제 1 영상은 상기 대상체를 나타내는 컬러 영상을 포함하고, 상기 제 2 영상은 상기 대상체를 나타내는 깊이(depth) 영상을 포함하는 장치.
  8. 대상체에서 반사된 광에 포함된 제 1 파장 대역의 제 1 광 및 제 2 파장 대역의 제 2 광을 획득하는 단계;
    선택적으로, 상기 제 1 광 및 제 2 광을 전하(charge)들로 변환하거나 상기 제 1 광이 제거된 제 2 광을 전하들로 변환하는 단계;
    상기 제 1 광 및 제 2 광이 변환된 전하들에 대응되는 컬러 값들을 보정함으로써 상기 대상체를 나타내는 제 1 영상을 생성하는 단계; 및
    상기 제 2 광이 변환된 전하들을 이용하여 상기 대상체를 나타내는 제 2 영상을 생성하는 단계;를 포함하는 대상체를 나타내는 영상을 생성하는 방법.
  9. 제 8 항에 있어서,
    상기 제 2 영상을 생성하는 경우에, 상기 제 2 파장 대역에 포함된 소정의 주파수로 변조된 제 3 광을 상기 대상체를 향하여 조사하는 단계;를 더 포함하고,
    상기 획득하는 단계는 상기 제 3 광이 상기 대상체에서 반사된 광에서 상기 제 1 광 및 제 2 광을 획득하는 방법.
  10. 제 8 항에 있어서,
    상기 제 2 영상을 생성하는 단계는 상기 제 2 광이 변환된 전하들 중에서 소정의 위상 차이를 두고 각각 검출된 전하량들을 조합함으로써 상기 제 2 영상을 생성하는 방법.
  11. 제 10 항에 있어서,
    상기 검출된 전하량들은 180°의 위상 차이를 두고 각각 검출된 전하량인 방법.
  12. 제 11 항에 있어서,
    상기 포토 다이오드는 핀트-포토 다이오드(pint-photo diode) 및 포토게이트(photogate) 중 어느 하나를 포함하는 방법.
  13. 제 8 항에 있어서,
    상기 제 1 영상을 생성하는 단계는 센서의 최대 컬러 값들에 기초하여 상기 변환된 전하들에 대응되는 컬러 값들을 보정함으로써 상기 제 1 영상을 생성하는 방법.
  14. 제 8 항에 있어서,
    상기 제 1 영상은 상기 대상체를 나타내는 컬러 영상을 포함하고, 상기 제 2 영상은 상기 대상체를 나타내는 깊이(depth) 영상을 포함하는 방법.
  15. 제 8 항 내지 제 14 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR20130084927A 2013-07-18 2013-07-18 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치. KR20150010230A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130084927A KR20150010230A (ko) 2013-07-18 2013-07-18 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
US14/291,759 US20150022545A1 (en) 2013-07-18 2014-05-30 Method and apparatus for generating color image and depth image of object by using single filter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130084927A KR20150010230A (ko) 2013-07-18 2013-07-18 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.

Publications (1)

Publication Number Publication Date
KR20150010230A true KR20150010230A (ko) 2015-01-28

Family

ID=52343230

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130084927A KR20150010230A (ko) 2013-07-18 2013-07-18 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.

Country Status (2)

Country Link
US (1) US20150022545A1 (ko)
KR (1) KR20150010230A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311688B1 (ko) 2015-06-17 2021-10-12 엘지전자 주식회사 이동단말기 및 그 제어방법
US10810753B2 (en) 2017-02-27 2020-10-20 Microsoft Technology Licensing, Llc Single-frequency time-of-flight depth computation using stereoscopic disambiguation
US10628952B2 (en) * 2017-12-11 2020-04-21 Google Llc Dual-band stereo depth sensing system

Family Cites Families (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH573125A5 (ko) * 1973-11-12 1976-02-27 Balzers Patent Beteilig Ag
US4586819A (en) * 1982-07-09 1986-05-06 Hitachi, Ltd. Laser Raman microprobe
JPS604912A (ja) * 1983-06-22 1985-01-11 Asahi Optical Co Ltd 一眼レフカメラのｔｔｌ焦点検出装置
JPH079499B2 (ja) * 1986-04-25 1995-02-01 ソニー株式会社 オ−トフオ−カス装置
US5237446A (en) * 1987-04-30 1993-08-17 Olympus Optical Co., Ltd. Optical low-pass filter
JP2958463B2 (ja) * 1990-01-17 1999-10-06 チノン株式会社 自動焦点調節装置
DE4310727C2 (de) * 1992-04-06 1996-07-11 Hell Ag Linotype Verfahren und Einrichtung zur Analyse von Bildvorlagen
US5668631A (en) * 1993-12-20 1997-09-16 Minolta Co., Ltd. Measuring system with improved method of reading image data of an object
US6141105A (en) * 1995-11-17 2000-10-31 Minolta Co., Ltd. Three-dimensional measuring device and three-dimensional measuring method
JPH1042101A (ja) * 1996-07-23 1998-02-13 Fuji Photo Optical Co Ltd カラー画像読取装置
EP1126412B1 (en) * 2000-02-16 2013-01-30 FUJIFILM Corporation Image capturing apparatus and distance measuring method
JP4040825B2 (ja) * 2000-06-12 2008-01-30 富士フイルム株式会社 画像撮像装置及び距離測定方法
WO2002086416A2 (en) * 2001-04-25 2002-10-31 Amnis Corporation Method and apparatus for correcting crosstalk and spatial resolution for multichannel imaging
US7082218B2 (en) * 2001-07-27 2006-07-25 Hewlett-Packard Development Company, L.P. Color correction of images
JP3939141B2 (ja) * 2001-12-05 2007-07-04 オリンパス株式会社 投射型画像表示システム及びその色補正方法
JP4265918B2 (ja) * 2003-02-27 2009-05-20 富士通株式会社 光伝送装置
ATE353446T1 (de) * 2003-03-28 2007-02-15 Agfa Gevaert Healthcare Gmbh Vorrichtung zum erfassen von in einer phosphorschicht enthaltenen bildinformationen
EP1607064B1 (en) * 2004-06-17 2008-09-03 Cadent Ltd. Method and apparatus for colour imaging a three-dimensional structure
WO2006036398A2 (en) * 2004-08-23 2006-04-06 Sarnoff Corporation Method and apparatus for producing a fused image
KR100647311B1 (ko) * 2005-01-26 2006-11-23 삼성전자주식회사 집적형 광학필터장치
US7379163B2 (en) * 2005-02-08 2008-05-27 Canesta, Inc. Method and system for automatic gain control of sensors in time-of-flight systems
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
DE102005045357A1 (de) * 2005-09-22 2007-04-05 Theta System Elektronik Gmbh Farbdichtemessgerät
JP4721435B2 (ja) * 2006-04-06 2011-07-13 本田技研工業株式会社 接着部の剥離検査方法
US7375803B1 (en) * 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
JP4380663B2 (ja) * 2006-06-08 2009-12-09 コニカミノルタセンシング株式会社 三次元形状測定方法、装置、及びフォーカス調整方法
JP2008122697A (ja) * 2006-11-13 2008-05-29 Fujitsu Ltd 波長合分波モジュール、受信モジュール、送信モジュールおよび製造方法
US8488868B2 (en) * 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US8659698B2 (en) * 2007-05-17 2014-02-25 Ilya Blayvas Compact 3D scanner with fixed pattern projector and dual band image sensor
KR101387212B1 (ko) * 2007-06-12 2014-04-21 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
KR101327791B1 (ko) * 2007-09-11 2013-11-20 삼성전자주식회사 영상 매칭 장치 및 방법
KR100975881B1 (ko) * 2007-12-21 2010-08-13 한국전자통신연구원 외부 씨드 광원을 이용한 파장 분할 다중화 수동형광가입자망(ｗｄｍ-ｐｏｎ)
KR101502362B1 (ko) * 2008-10-10 2015-03-13 삼성전자주식회사 영상처리 장치 및 방법
KR101580275B1 (ko) * 2008-11-25 2015-12-24 삼성전자주식회사 멀티 레이어 디스플레이에 3차원 영상을 표현하기 위한 영상 처리 장치 및 방법
KR101502372B1 (ko) * 2008-11-26 2015-03-16 삼성전자주식회사 영상 획득 장치 및 방법
US8681216B2 (en) * 2009-03-12 2014-03-25 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
JP5572326B2 (ja) * 2009-03-26 2014-08-13 オリンパス株式会社 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP2010267734A (ja) * 2009-05-13 2010-11-25 Mitsubishi Electric Corp 光モジュール
KR20110003696A (ko) * 2009-07-06 2011-01-13 삼성전자주식회사 단일 칩 입체 영상 센서용 광학 필터 배열 및 그 필터 제조 방법
US8558207B2 (en) * 2009-09-29 2013-10-15 Carestream Health, Inc. Photostimulable plate reading device
KR101636537B1 (ko) * 2009-11-12 2016-07-06 삼성전자주식회사 깊이감 인지 향상을 위한 영상 처리 장치 및 방법
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
JP5120441B2 (ja) * 2009-11-26 2013-01-16 株式会社ニコン 画像処理装置
US8538135B2 (en) * 2009-12-09 2013-09-17 Deluxe 3D Llc Pulling keys from color segmented images
US9607239B2 (en) * 2010-01-20 2017-03-28 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US8760631B2 (en) * 2010-01-27 2014-06-24 Intersil Americas Inc. Distance sensing by IQ domain differentiation of time of flight (TOF) measurements
KR101683270B1 (ko) * 2010-03-31 2016-12-21 삼성전자 주식회사 백색 발광 다이오드를 포함하는 액정 디스플레이 장치
KR101697184B1 (ko) * 2010-04-20 2017-01-17 삼성전자주식회사 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
US8817115B1 (en) * 2010-05-05 2014-08-26 Amnis Corporation Spatial alignment of image data from a multichannel detector using a reference image
KR101598855B1 (ko) * 2010-05-11 2016-03-14 삼성전자주식회사 입체영상 부호화 장치 및 방법
KR20110124473A (ko) * 2010-05-11 2011-11-17 삼성전자주식회사 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
KR101665567B1 (ko) * 2010-05-20 2016-10-12 삼성전자주식회사 3차원 뎁스 영상 시간 보간 방법 및 장치
JP2011248077A (ja) * 2010-05-26 2011-12-08 Canon Inc 投影表示装置及びその制御方法
KR20110135044A (ko) * 2010-06-10 2011-12-16 삼성전자주식회사 3ｄ영상 처리 장치 및 그 방법
CN103026278B (zh) * 2010-07-27 2016-04-27 三菱电机株式会社 光模块
GB2483285A (en) * 2010-09-03 2012-03-07 Marc Cardle Relief Model Generation
KR101697519B1 (ko) * 2010-09-08 2017-01-19 삼성전자주식회사 깊이 센싱 장치 및 방법
KR101753312B1 (ko) * 2010-09-17 2017-07-03 삼성전자주식회사 뎁스 영상 생성 장치 및 방법
US8542348B2 (en) * 2010-11-03 2013-09-24 Rockwell Automation Technologies, Inc. Color sensor insensitive to distance variations
KR20120049636A (ko) * 2010-11-09 2012-05-17 삼성전자주식회사 영상 처리 장치 및 방법
KR101812035B1 (ko) * 2010-11-30 2017-12-26 삼성전자 주식회사 컬러 이미지와 깊이 이미지를 동시에 얻을 수 있는 이미지 센서, 이미지 센서의 동작 방법 및 이미지 센서를 포함하는 이미지 처리 시스템
KR101694797B1 (ko) * 2010-12-21 2017-01-11 삼성전자주식회사 3차원 이미지 센서의 구동 방법
KR101722641B1 (ko) * 2010-12-23 2017-04-04 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
TW201227159A (en) * 2010-12-24 2012-07-01 wen-jin Zhang Method of taking pictures for generating three-dimensional image data
KR101686079B1 (ko) * 2010-12-27 2016-12-13 삼성전자주식회사 깊이 영상 생성 장치 및 방법
KR101887099B1 (ko) * 2010-12-29 2018-08-09 삼성전자주식회사 이미지 처리 시스템 및 이미지 처리 방법
KR101798408B1 (ko) * 2011-01-03 2017-11-20 삼성전자주식회사 3ｄ 디스플레이를 위한 고품질 멀티-뷰 영상의 생성 방법 및 장치
KR20120105169A (ko) * 2011-03-15 2012-09-25 삼성전자주식회사 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법
KR101788032B1 (ko) * 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
US20120249740A1 (en) * 2011-03-30 2012-10-04 Tae-Yon Lee Three-dimensional image sensors, cameras, and imaging systems
CN103477186B (zh) * 2011-04-07 2016-01-27 松下知识产权经营株式会社 立体摄像装置
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
US8570372B2 (en) * 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
US20120287117A1 (en) * 2011-05-13 2012-11-15 3M Innovative Properties Company Four-color 3d lcd device
KR101799522B1 (ko) * 2011-06-07 2017-11-21 삼성전자 주식회사 교환렌즈 형태를 채용한 3차원 영상 획득 장치
KR20130001762A (ko) * 2011-06-28 2013-01-07 삼성전자주식회사 영상 생성 장치 및 방법
JPWO2013015145A1 (ja) * 2011-07-22 2015-02-23 三洋電機株式会社 情報取得装置および物体検出装置
US8784301B2 (en) * 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US8684914B2 (en) * 2011-08-12 2014-04-01 Intuitive Surgical Operations, Inc. Image capture unit and an imaging pipeline with enhanced color performance in a surgical instrument and method
JP5879549B2 (ja) * 2011-09-20 2016-03-08 パナソニックＩｐマネジメント株式会社 ライトフィールド撮像装置、および画像処理装置
KR101863626B1 (ko) * 2011-11-02 2018-07-06 삼성전자주식회사 영상 처리 장치 및 방법
KR101709282B1 (ko) * 2011-11-15 2017-02-24 삼성전자주식회사 이미지 센서, 이의 동작 방법, 및 이를 포함하는 장치들
KR101888564B1 (ko) * 2011-12-29 2018-08-16 삼성전자주식회사 깊이 센서, 및 이의 깊이 계산 방법
US20130175429A1 (en) * 2012-01-05 2013-07-11 Pravin Rao Image sensor, image sensing method, and image capturing apparatus including the image sensor
US20130176426A1 (en) * 2012-01-10 2013-07-11 Ilia Ovsiannikov Image sensor, method of sensing image, and image capturing apparatus including the image sensor
US20130176550A1 (en) * 2012-01-10 2013-07-11 Ilia Ovsiannikov Image sensor, image sensing method, and image photographing apparatus including the image sensor
US9225959B2 (en) * 2012-01-10 2015-12-29 Samsung Electronics Co., Ltd. Method and apparatus for recovering depth value of depth image
US20140071247A1 (en) * 2012-02-03 2014-03-13 Panasonic Corporation Image pick-up device and distance measuring device
KR20130098042A (ko) * 2012-02-27 2013-09-04 삼성전자주식회사 깊이 정보 생성 장치 및 이를 포함하는 촬영 장치
KR101975971B1 (ko) * 2012-03-19 2019-05-08 삼성전자주식회사 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법
US9970999B2 (en) * 2012-06-06 2018-05-15 Northrop Grumman Systems Corporation Nuclear magnetic resonance probe system
KR101918032B1 (ko) * 2012-06-29 2018-11-13 삼성전자주식회사 광원의 변화를 사용한 깊이 영상 생성 장치 및 방법
KR102008233B1 (ko) * 2012-06-29 2019-08-07 삼성전자주식회사 거리 측정 장치 및 상기 거리 측정 장치를 이용한 거리 측정 방법
KR20140009774A (ko) * 2012-07-13 2014-01-23 삼성전자주식회사 3ｄ 이미지 센서 및 이를 포함하는 시스템
WO2014040081A1 (en) * 2012-09-10 2014-03-13 Aemass, Inc. Multi-dimensional data capture of an environment using plural devices
KR101858577B1 (ko) * 2012-10-10 2018-05-16 삼성전자주식회사 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
US9657920B2 (en) * 2012-11-09 2017-05-23 Saturn Licensing Llc Illumination device and display device
KR101896301B1 (ko) * 2013-01-03 2018-09-07 삼성전자주식회사 깊이 영상 처리 장치 및 방법
KR20140092712A (ko) * 2013-01-16 2014-07-24 삼성전자주식회사 센싱 픽셀 및 이를 포함하는 이미지 센서
KR102040152B1 (ko) * 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
US20140361175A1 (en) * 2013-06-07 2014-12-11 Korea Institute Of Science And Technology Device for extracting depth information using infrared light and method thereof
KR20140147376A (ko) * 2013-06-19 2014-12-30 삼성전자주식회사 적층형 컬러-깊이 센서 및 이를 채용한 3차원 영상 획득 장치
US9282265B2 (en) * 2013-09-09 2016-03-08 Omnivision Technologies, Inc. Camera devices and systems based on a single image sensor and methods for manufacturing the same
JP6132731B2 (ja) * 2013-09-27 2017-05-24 富士フイルム株式会社 光計測装置
KR102112298B1 (ko) * 2013-09-30 2020-05-18 삼성전자주식회사 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치
KR20150066154A (ko) * 2013-12-06 2015-06-16 삼성전자주식회사 GaAs 기판에 격자 정합되는 다중 양자 우물 구조를 포함하는 광학 소자, 이를 포함하는 깊이 영상 획득 장치 및 3차원 영상 획득 장치
EP4016981A3 (en) * 2013-12-24 2022-09-21 Sony Depthsensing Solutions A time-of-flight camera system
KR101453469B1 (ko) * 2014-02-12 2014-10-22 나우주 광학 필터 및 이를 포함하는 촬상 장치
KR102214193B1 (ko) * 2014-03-25 2021-02-09 삼성전자 주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법
US10237534B2 (en) * 2014-07-07 2019-03-19 Infineon Technologies Ag Imaging device and a method for producing a three-dimensional image of an object
KR102172992B1 (ko) * 2014-07-31 2020-11-02 삼성전자주식회사 이미지 촬영 장치 및 이미지 촬영 방법
US20160205378A1 (en) * 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
WO2016137238A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co., Ltd. Processing multi-aperture image data
JP6462594B2 (ja) * 2015-04-30 2019-01-30 オリンパス株式会社 撮像装置、画像処理装置および画像処理方法
WO2016174775A1 (ja) * 2015-04-30 2016-11-03 オリンパス株式会社 撮像装置
US10547830B2 (en) * 2015-11-16 2020-01-28 Samsung Electronics Co., Ltd Apparatus for and method of illumination control for acquiring image information and depth information simultaneously
CN107024744A (zh) * 2016-01-29 2017-08-08 青岛海信宽带多媒体技术有限公司 一种光模块及波长监控方法
KR102406327B1 (ko) * 2016-02-02 2022-06-10 삼성전자주식회사 출력 장치를 제어하는 방법 및 장치
KR102568789B1 (ko) * 2016-03-10 2023-08-21 삼성전자주식회사 무기 컬러 필터를 포함하는 컬러 필터 어레이, 상기 컬러 필터 어레이를 포함하는 이미지 센서 및 디스플레이 장치
US20170353712A1 (en) * 2016-06-06 2017-12-07 Raymond Kirk Price Pulsed gated structured light systems and methods

Also Published As

Publication number Publication date
US20150022545A1 (en) 2015-01-22

Similar Documents

Publication Publication Date Title
KR102112298B1 (ko) 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치
JP4939901B2 (ja) 距離画像生成方法及びその装置
JP4452951B2 (ja) 距離画像生成方法及びその装置
JP6055681B2 (ja) 撮像装置
EP2471258B1 (en) Reducing noise in a color image
US10928518B2 (en) Range image generation apparatus and range image generation method
KR102056904B1 (ko) 3차원 영상 획득 장치 및 그 구동 방법
JP4440239B2 (ja) 距離画像作成方法及び距離画像センサ、及び撮影装置
KR102590900B1 (ko) 영상 처리 장치 및 영상 처리 방법
US20130278738A1 (en) Image processing apparatus and image processing method
WO2017098897A1 (ja) 撮像装置、撮像制御方法、および、プログラム
JP2010071976A (ja) 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP2009267436A (ja) 撮像装置、撮像方法、プログラム、記録媒体、および集積回路
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
KR20160036985A (ko) 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
JP6467516B2 (ja) 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法
US20160266347A1 (en) Imaging apparatus and method, and program
JP2013211836A (ja) カメラ装置及び画像処理方法
KR20150010230A (ko) 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
CN106716990B (zh) 红外线摄像装置及固定图案噪声计算方法
US11610339B2 (en) Imaging processing apparatus and method extracting a second RGB ToF feature points having a correlation between the first RGB and TOF feature points
JP2010161455A (ja) 赤外線混合撮像装置
JP6516830B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN114650343A (zh) 一种图像传感器及成像装置
WO2017145152A1 (en) System and method for object differentiation in three-dimensional space

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid