KR102086509B1 - 3차원 영상 획득 방법 및 장치 - Google Patents

3차원 영상 획득 방법 및 장치 Download PDF

Info

Publication number
KR102086509B1
KR102086509B1 KR1020130090156A KR20130090156A KR102086509B1 KR 102086509 B1 KR102086509 B1 KR 102086509B1 KR 1020130090156 A KR1020130090156 A KR 1020130090156A KR 20130090156 A KR20130090156 A KR 20130090156A KR 102086509 B1 KR102086509 B1 KR 102086509B1
Authority
KR
South Korea
Prior art keywords
infrared
measurement time
visible light
light
image
Prior art date
Application number
KR1020130090156A
Other languages
English (en)
Other versions
KR20140066638A (ko
Inventor
정용우
양선호
신윤섭
김성민
권영만
조아영
안성근
이창환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to CN201380067450.6A priority Critical patent/CN104885451B/zh
Priority to PCT/KR2013/007292 priority patent/WO2014081107A1/ko
Priority to US14/647,003 priority patent/US9906774B2/en
Priority to EP13856720.1A priority patent/EP2924992B1/en
Publication of KR20140066638A publication Critical patent/KR20140066638A/ko
Application granted granted Critical
Publication of KR102086509B1 publication Critical patent/KR102086509B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

본 발명은 차원 영상 획득 방법 및 장치를 제공한다. 본 발명의 일 실시예에 따른 3차원 영상 획득 장치는, 적외선(IR) 구조광을 인식 대상체에 발광하는 광송신부, 상기 인식 대상체로부터 반사되는 적외선 및 가시광을 수신하는 RGB-IR 센서로 구성된 광수신부, 상기 광수신부에서 수신된 적외선 및 가시광을 각각 이용하여 상기 인식 대상체의 깊이 정보 및 가시광 영상을 포함하는 3차원 영상 정보를 획득하는 프로세서 및 상기 적외선(IR) 구조광의 조명 주기를 제어하는 조명부를 포함하여 이루어진 것을 특징으로 한다. 또한, 상기 프로세서로 부터 획득된 3차원 영상 정보를 이용하여 상기 인식 대상체의 3차원 영상을 복원하는 영상 복원부 및 상기 복원된 3차원 영상을 시각적 화면으로 제공하는 디스플레이부를 더 포함하는 것을 특징으로 한다. 본 발명은 상기 3차원 영상 획득 방법 및 장치를 통해, 주변광의 밝기에 적응적으로 대응하여, RGB-IR 센서의 간섭 현상을 제거할 수 있게 된다. 따라서, 촬영시간 또는 촬영장소, 예를 들어, 밤, 낮, 어두운 곳, 밝은 곳, 등에 상관없이 더욱 정확한 3차원 영상을 획득하는 것이 가능하게 된다.

Description

3차원 영상 획득 방법 및 장치{APPARATUS AND METHOD FOR OBTAINING 3D IMAGE}
본 발명은 3차원 영상 획득 방법 및 장치에 관한 것으로, 특히 적외선을 가시광과 함께 이용하여 3차원 영상을 획득하는 방법 및 장치에 관한 것이다.
최근 인식 대상체로부터 3차원 영상을 획득하는 다양한 기술 및 제품들이 개발되고 있다. 예를 들어, TOF(Time Of Flight) 방식은, 광을 인식 대상체에 조사하는 발광시간과 인식 대상체로부터 반사되는 광의 수광시간 사이의 시간적 차이를 이용하여, 카메라와 인식 대상체와의 거리 또는 깊이(depth)를 측정하고 이로부터 3차원 영상을 획득하는 방식이다. 또한, 구조광(structured light) 방식은, 패턴(pattern)화된 적외선 구조광을 인식 대상체에 발광하고, 상기 인식 대상체로부터 수신되는 적외선의 패턴을 분석하여 해당 인식 대상체의 깊이를 측정하고 이로부터 3차원 영상을 획득하는 방식이다.
관련하여, 3차원 깊이 정보를 획득하기 위하여는 두장 이상의 가시광 영상을 이용할 수 있으나, 최근에는 능동 광원으로서 적외선 영상을 함께 이용하는 방식이 사용되고 있다. 또한, 이러한 방식에서는 적외선 촬영용 센서(IR센서)와 함께 별도의 가시광 촬영용 센서(RGB센서)를 구비하는 것이 일반적이다. 또한, 가시광 촬영용 센서 픽셀중 하나를 적외선 획득용 픽셀로 변형하여, 하나의 RGB-IR 센서에서 가시광 영상과 적외선 영상을 획득하는 카메라 센서 구조에 대한 연구가 진행중에 있다.
3차원 영상 획득을 위한 적외선 구조광(structured light) 시스템에, 상기 RGB-IR 단일 센서를 적용한 사례가 없었으며, 관련된 연구 및 개발사례가 발표된 바 없어 통합적인 제품 설계에 어려움이 있었다. 또한, 3차원 영상을 획득하는 수단으로서, 상기 RGB-IR 센서를 활용함에 있어서도 다음과 같은 문제점이 있다. 즉, RGB-IR 센서와 같이 적외선과 가시광 영상을 하나의 센서에서 획득하게 되면, 일반적으로 가시광 영역과 적외선 영역간에 간섭 현상이 발생하게 된다.
이하, 상기 간섭 현상을 구체적으로 설명하면 다음과 같다. 적외선 영상을 획득하기 위해서는 적외선 조명을 지속적으로 활성화시켜야 한다. 또한, 지속적으로 활성화된 적외선 조명은 가시광 영상에서도 영향을 미치게 되고, 이러한 현상을 적외선과 가시광의 간섭 현상이라 한다. 상기 간섭 현상이 발생하게 되면, 획득된 가시광 영상 및 적외선 영상에 노이즈(noise)가 발생하게 된다. 결국, 상기 간섭 현상에 의해 부정확한 3차원 영상이 획득되는 문제점이 발생하게 된다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 적외선 구조광 방식에 단일 RGB-IR 센서를 활용한 효율적인 3차원 영상 획득 장치 및 방법을 제공함에 있다.
또한, 본 발명의 또 다른 목적은, RGB-IR 센서를 이용시 가시광 영역과 적외선 영역간의 간섭 현상을 제거한 효율적인 3차원 영상 획득 장치 및 방법을 제공함에 있다. 예를 들어, 본 발명의 실시예로서, 가시광 촬영 시간과 적외선 촬영 시간을 분리하여 간섭 현상을 제거하는 방법 및 장치를 제공하고자 한다.
또한, 본 발명의 또 다른 목적은, 상기 분리된 가시광 촬영 시간과 적외선 촬영 시간으로부터 각각 획득된 적외선 영상으로부터 적외선 차영상을 구하고, 상기 구해진 차영상을 이용하여 더욱 효율적인 3차원 영상 획득 장치 및 방법을 제공함에 있다.
또한, 본 발명의 또 다른 목적은, 주변광의 밝기에 따라 적외선 발광 주기를 조절하는 3차원 영상 획득 장치 및 방법을 제공함에 있다. 예를 들어, 본 발명의 실시예로서, 주변광에 적응적으로 대응하여 가시광 영역 및 적외선 영역의 촬영 시간을 조절하는 방법 및 장치를 제공하고자 한다.
또한, 본 발명의 또 다른 목적은, 상기와 같이 간섭 현상이 제거된 영상 획득 방법을 활용한 3차원 영상 디스플레이 장치를 제공함에 있다.
상기와 같은 목적을 달성하기 위한, 본 발명의 일 실시예에 따른 3차원 영상 획득 장치는, 적외선(IR) 구조광을 인식 대상체에 발광하는 광송신부, 상기 인식 대상체로부터 반사되는 적외선 및 가시광을 수신하는 RGB-IR 센서로 구성된 광수신부, 상기 광수신부에서 수신된 적외선 및 가시광을 각각 이용하여 상기 인식 대상체의 깊이 정보 및 가시광 영상을 포함하는 3차원 영상 정보를 획득하는 프로세서 및 상기 적외선(IR) 구조광의 조명 주기를 제어하는 조명부를 포함하여 이루어진 것을 특징으로 한다. 또한, 상기 프로세서로 부터 획득된 3차원 영상 정보를 이용하여 상기 인식 대상체의 3차원 영상을 복원하는 영상 복원부 및 상기 복원된 3차원 영상을 시각적 화면으로 제공하는 디스플레이부를 더 포함하는 것을 특징으로 한다.
또한, 상기 조명부는, 가시광 측정 시간(T1)과 적외선 측정 시간(T2)을 분리하여 상호간 간섭 영향이 제거되도록 적외선(IR) 구조광의 조명 주기를 조절하는 것을 특징으로 한다.
또한, 상기 조명부는, 주변광의 밝기를 고려하되, 주변광의 밝기가 기설정된 통상기준(Th2) 이상인 경우, 가시광 측정 시간(T1)과 적외선 측정 시간(T2)을 동일한 주기로 반복하는 것을 특징으로 한다.
또한, 상기 프로세서는, 적외선 측정 시간(T2)에 획득된 적외선 영상으로부터 가시광 측정 시간(T1)에 획득된 적외선 영상을 제하여 적외선 차영상을 획득하는 것을 특징으로 한다.
또한, 상기 프로세서는, 상기 획득된 적외선 차영상을 이용하여 상기 인식 대상체의 깊이를 측정하는 것을 특징으로 한다.
또한, 상기 조명부는, 주변광의 밝기가 기설정된 통상기준(Th2) 보다 낮은 경우, 가시광 측정 시간(T1)을 적외선 측정 시간(T2)보다 더 길게 제어하는 것을 특징으로 한다.
또한, 상기 조명부는, 주변광의 밝기가 기설정된 최저기준(Th1) 보다 낮은 경우,가시광 측정 시간(T1) 없이 적외선 측정 시간(T2)으로만 이루어지도록 제어하는 것을 특징으로 한다.
또한, 상기 광수신부를 구성하는 RGB-IR 센서는, R,G,B,IR 픽셀의 배열을 결정함에 있어서, IR 픽셀이 동일한 등간격으로 배열되지 않도록 하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 3차원 영상 획득 방법은, 적외선(IR) 구조광을 인식 대상체에 발광하고, 상기 인식 대상체로부터 반사되는 적외선 및 가시광을 수신하는 단계 및 상기 수신된 적외선 및 가시광을 각각 이용하여 상기 인식 대상체의 깊이 정보 및 가시광 영상을 포함하는 3차원 영상 정보를 획득하는 단계를 포함하되, 상기 적외선(IR) 구조광을 인식 대상체에 발광시, 가시광 측정 시간(T1)과 적외선 측정 시간(T2)을 분리하여 상호간 간섭 영향이 제거되도록 적외선(IR) 구조광의 조명 주기를 조절하는 것을 특징으로 한다.
또한, 상기 3차원 영상 획득 방법은, 주변광의 밝기가 최저기준(Th1) 보다 적은 경우, 가시광 측정 시간(T1) 없이 적외선 측정 시간(T2)으로만 이루어지도록 제어하는 것을 특징으로 한다.
또한, 상기 3차원 영상 획득 방법은, 주변광의 밝기가 최저기준(Th1)과 통상기준(Th2) 사이인 경우, 가시광 측정 시간(T1)을 적외선 측정 시간(T2)보다 더 길게 제어하는 것을 특징으로 한다.
또한, 상기 3차원 영상 획득 방법은, 주변광의 밝기가 통상기준(Th2) 보다 더 밝은 경우, 가시광 측정 시간(T1)과 적외선 측정 시간(T2)을 동일한 주기 반복되도록 제어하는 것을 특징으로 한다.
또한, 상기 3차원 영상 획득 방법은, 적외선 측정 시간(T2)에 획득된 적외선 영상으로부터 가시광 측정 시간(T1)에 획득된 적외선 영상을 제하여 적외선 차영상을 획득하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 3차원 영상 획득 방법은, 상기 획득된 차영상을 이용하여, 상기 인식 대상체의 깊이를 측정하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 3차원 영상 획득 방법은, 적외선(IR) 구조광을 인식 대상체에 발광하고, 상기 인식 대상체로부터 반사되는 적외선 및 가시광을 이용하여 상기 인식 대상체의 3차원 영상 정보를 획득하는 방법에 있어서, 주변광을 측정하는 단계, 상기 측정된 주변광과 기설정된 기준값을 비교하는 단계, 상기 비교 결과로부터, 가시광 측정 시간(T1)과 적외선 측정 시간(T2)을 분리하여, 가시광과 적외선간의 간섭 영향이 제거되도록 적외선 구조광의 발광 주기를 조절하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명은 3차원 영상 획득을 위해 사용되는 RGB-IR 센서의 간섭 현상을 제거할 수 있게 된다. 또한, 간섭 현상이 제거됨에 따라 더욱 선명하고 정확한 3차원 영상을 획득하는 것이 가능하게 된다.
또한, 주변 가시광의 밝기에 적응적으로 대응하여, RGB-IR 센서의 간섭 현상을 제거할 수 있게 된다. 따라서, 촬영시간 또는 촬영장소, 예를 들어, 밤, 낮, 어두운 곳, 밝은 곳, 등에 상관없이 더욱 정확한 3차원 영상을 획득하는 것이 가능하게 된다.
또한, 본 발명의 3차원 영상 획득 장치를 통해 더욱 선명하고 정확한 3차원 영상 신호를 디스플레이 하는 것이 가능하게 된다.
도 1은 본 발명의 실시예에 따른 3차원 영상 획득 장치를 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른, 3차원 영상 획득 장치(100) 및 디스플레이 장치(200)가 분리된 경우를 도시한 예시도이다.
도 3은 본 발명의 실시예에 따른, 3차원 영상 획득 장치(100) 및 디스플레이 장치(200)가 통합된 경우를 도시한 예시도이다.
도 4는 종래 RGB-IR 센서의 픽셀배열 순서를 도시한 일예이다.
도 5는 본 발명의 실시예에 따른, RGB-IR 센서의 픽셀배열 순서를 도시한 일예이다.
도 6은 본 발명의 실시예에 따른, RGB-IR 센서의 픽셀배열 순서를 도시한 다른 예이다.
도 7은 본 발명의 실시예에 따른, RGB-IR 센서의 적외선 조명 제어 방법을 설명하기 위해 도시한 것이다.
도 8은 본 발명의 실시예에 따른, RGB-IR 센서의 적외선 조명 제어 방법중 주변광 밝기가 어두운 경우를 설명하기 위해 도시한 것이다.
도 9는 본 발명의 실시예에 따른, RGB-IR 센서의 적외선 조명 제어 방법중 주변광이 거의 없는 경우를 설명하기 위해 도시한 것이다.
도 10은 본 발명의 실시예에 따른, RGB-IR 센서의 적외선 조명 제어 방법을 도시한 흐름도이다.
도 11은 본 발명의 실시예에 따른, 주변광 밝기와 가시광 카메라 및 적외선 카메라의 촬영 조건과의 관계를 설명하기 위해 도시한 그래프이다.
이하, 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
관련하여, 본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있음은 자명하다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다. 구체적으로는, 본 발명에서 제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 또한, 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
또한 본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다. 따라서, 본 명세서에 개시된 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 실시예에 따른 3차원 영상 획득 장치를 도시한 블록도이다. 관련하여, 도면 부호 100 은 좁은 의미의 3차원 영상 획득 장치를 도시한 것이고, 도면 부호 200 은 상기 3차원 영상 획득 장치로부터 3차원 영상을 수신하여 원영상으로 복원한 후, 3차원 영상을 디스플레이하는 디스플레이 장치를 도시한 것이다. 넓은 의미의 3차원 영상 획득 장치는 상기 다스플레이 장치(200)를 포함하는 것을 의미한다.
도 1에서, 본 발명의 실시예에 따른 상기 3차원 영상 획득 장치(100)는, 광송신부(10), 광수신부(20), 프로세서(40), 조명부(30) 및 상기 각 요소들을 제어하는 제어부(50)를 포함하여 구성할 수 있다. 또한, 상기 디스플레이 장치(200)는 상기 3차원 영상 획득 장치(100)로부터 3차원 영상 관련 정보 (예, 칼라 이미지 정보 및 깊이(depth) 정보 등)을 수신하고 이를 복원하는 3차원 영상 복원부(60)와, 상기 복원된 영상을 시각적으로 제공하는 디스플레이부(70)을 포함한다. 또한, 상기 디스플레이 장치(200)는 도 1과 같이 상기 3차원 영상 획득 장치(100)내의 제어부(50)를 통한 3차원 영상 복원부(60) 및 디스플레이부(70)의 제어가 가능하다. 반면, 도면에는 미도시 하였으나, 도 2와 같이 상기 3차원 영상 획득 장치(100)와 상기 디스플레이 장치(200)가 별도로 분리된 경우는 별도의 제어부(미도시)를 구비할 수 있음은 자명하다.
특히, 도 1의 실시예는 구조광을 이용하여 3차원 영상을 획득하는 경우를 예들 들어 설명하고자 한다. 단, 전술한 바와 같이, 본 발명의 일부 개념은 구조광(structured light) 방식에만 적용되는 것은 아니며, 적외선 광을 이용하는 또 다른 3차원 영상 획득 방식(예, TOF 방식)에도 동일하게 적용하는 것도 가능하다. 단, 본 명세서에서는 이미 널리 알려진 상기 구조광 방식 및 상기 TOF 방식에 대한 상세한 설명은 생략하기로 한다.
상기 광송신부(10)는 인식 대상체(80)의 3차원 깊이(depth) 정보를 획득하기 위해 적외선(IR)을 인식 대상체(80)에 발광하게 된다. 예를 들어, 상기 적외선은 구조광 방식을 적용하기 위해, 특정 패턴(pattern)을 포함할 수 있다. 이 경우, 상기 광송신부(10)는 적외선 구조광을 송출하는 구조광 유닛(structured light unit)이 될 수 있다.
또한, 상기 광수신부(20)는 상기 인식 대상체로부터 반사되는 적외선 및 가시광을 수신하는 센서로 구성된다. 본 발명에서는, 상기 광수신부(20)는 적외선 및 가시광을 모두 동일 축 및 동일 공간에서 획득 가능한 RGB-IR 단일 센서로 구성된 것을 특징으로 한다. 관련하여, 상기 광수신부(20)를 구성하는 RGB-IR 단일 센서의 픽셀 배열 구조에 대해서는, 도 4 ~ 도 6을 참조하여 상세히 후술할 예정이다.
또한, 상기 프로세서(40) 상기 광수신부(20)에서 수신된 적외선을 이용하여 상기 인식 대상체의 깊이(depth) 정보를 산출하고, 또한, 광수신부(20)에서 수신된 가시광을 이용하여 칼라(color) 이미지 정보등을 생성하게 된다. 상기 프로세서에 의해 산출되는, 깊이 정보 및 칼라 이미지 정보 등을 상기 인식 대상체의 3차원 영상 정보라 명명한다. 또한, 상기 프로세서(40)에서 구해진 3차원 영상 정보는 상기 영상 복원부(60)에 제공되어 3차원 영상 복원에 활용되어 진다. 즉, 영상 복원부(60)는 상기 칼라 이미지 정보에 상기 깊이 정보를 적용하여 3차원 영상을 복원하게 된다.
또한, 조명부(30)는 상기 제어부(50)의 제어에 따라, 상기 광송신부(10)내의 적외선 및 가시광의 간섭 현상을 방지하기 위해 적외선 조명 주기를 조절하는 것을 특징으로 한다. 특히, 본 발명에서 상기 조명부(30)는 적외선 조명 주기를 조절함에 있어서, 주변광의 밝기를 고려하는 것을 또 다른 특징으로 한다. 관련하여, 상기 제어부(50) 및 조명부(40)의 조명 주기 조절 방법에 대해서는, 도 7 ~ 도 11을 참조하여 상세히 후술할 예정이다. 또한, 도 1에서는 설명의 편의를 위해 조명부(40)를 광송신부(10)와 분리된 구성으로 도시하였으나, 이는 하나의 예시에 불과하다. 따라서, 실제 제품 적용에 있어서는, 상기 조명부(40)를 광송신부(10)내에서 조명계를 담당하는 렌즈들로 구성하고, 상기 광송신부(10)와 일체의 부품으로 제공하는 것도 가능하다.
관련하여, 도 2는 본 발명의 일 실시예로서, 상기 3차원 영상 획득 장치(100) 및 상기 디스플레이 장치(200)가 분리된 경우를 도시한 예시도이다. 도 2와 같이 상기 두 장치(100, 200)가 분리된 경우에는, 신호 연결선(300)을 통해 상기 3차원 영상 획득 장치(100)내의 프로세서(30)로부터 획득된 3차원 관련 정보가 상기 디스플레이 장치(200)내의 영상 복원부(60)로 전달되는 것이 가능하다. 또한, 상기 신호 연결선(300)는 유선 또는 무선으로 구성하는 것이 모두 가능하다. 예를 들어, 상기 신호 연결선(300)은 케이블선(cable line)과 같이 물리적 형태를 가질 수도 있으나, 무선 네트워크(예, 블루투스, NFC, WiFi 등)으로 구성하는 것도 가능하다. 상기 무선 네트워크을 적용하는 경우에는, 전술한 상기 3차원 영상 획득 장치(100) 및 상기 디스플레이 장치(200)내에는 상기 무선 네트워크을 통한 데이터 송수신을 지원하는 무선 네트워크 모듈이 추가로 구성될 수 있음은 자명하다 할 것이다. 관련하여, 상기 광송신부(10) 및 광수신부(20)는 상기 3차원 영상 획득 장치(100)의 외관 일측에 식별가능한 형태로 구성 가능하다.
또한, 도 3은 본 발명의 다른 실시예로서, 상기 3차원 영상 획득 장치(100) 및 상기 디스플레이 장치(200)가 통합된 경우를 도시한 예시도이다. 도 3과 같이 상기 두 장치(100, 200)가 통합된 단일형 제품인 경우에는, 상기 광송신부(10) 및 광수신부(20)는 상기 디스플레이 장치(200)의 외관 일측에 식별가능한 형태로 구성 가능하다.
이하, 도 4 ~ 도 6을 통해 상기 광수신부(20)를 구성하는 RGB-IR 단일 센서의 픽셀(pixel) 배열 구조에 대해 설명하고자 한다. 즉, RGB-IR 단일 센서는, R(Red, 적색), G(Green, 녹색), B(Blue, 청색) 픽셀을 통해 가시광 영역의 컬러 영상(color image)를 획득하고, 또한, IR(Infrared Ray, 적외선) 픽셀을 통해 적외선 영상을 획득하는 것이 가능하게 된다.
또한, RGB 컬러 영상 및 IR 적외선 영상을 획득하기 위해서는, 일반적으로 각 픽셀에서 획득된 성분을 다양한 보간(interpolation) 방식을 적용하게 된다. 예를 들어, 상기 보간 방식으로 디모자이킹(demosaicing) 방식이 널리 적용되고 있다. 상기 디모자이킹(demosaicing) 방식은 일종의 컬러 필터 보간법으로서, 픽셀배열에서 모든 픽셀의 풀 컬러 (full color)값을 복원하기 위한 영상 처리 알고리즘을 의미한다. 예를 들어, 상기 디모자이킹(demosaicing) 방식은 평균 가중치 합, 에지(edge) 기반 가중치합 등, 해당 목적에 부합하는 다양한 보간법을 적용하게 된다. 따라서, 상기 디모자이킹(demosaicing) 방식을 통해 각 픽셀마다 모든 성분(R,G,B,IR)을 가지도록 복원하는 것이 가능하게 된다. 특히, 상기 IR 픽셀에서의 구조광 영상 복원시는 광점 개별 복원 방법으로 가우시안(guassian) 특성의 광점 중점이 IR 픽셀에 위치하느냐에 따라 상이한 결과가 도출될 수 있다. 즉, IR 구조광의 광점은 기본적으로 가우시안 형태를 가지므로 이를 모델링하여 복원하는 것이 가능하다.
이하, 본 발명의 실시예에 따른, RGB-IR 단일 센서를 구성하는 다양한 픽셀(pixel) 배열 구조에 대해 설명하면 다음과 같다. 우선, 도 4는 종래 RGB-IR 센서의 픽셀 배열 순서를 도시한 일예이다. 구체적으로, 도 4는 하나의 R, B 픽셀과 2개의 G 픽셀로 구성되는 일반적인 RGB 센서 (이는 'Bayer 센서 구조'로 널리 알려져 있다) 에서, 상기 하나의 G 픽셀을 IR 픽셀로 변경하여 구성하는 예이다. 따라서, 도 4의 종래 RGB-IR 센서의 픽셀 배열 순서는, 픽셀 기본 단위 구조(201)가 동일하게 등간격으로 반복되어 구성하게 된다.
반면, 도 5 와 도 6은 본 발명에 따른, RGB-IR 센서의 픽셀 배열 순서를 도시한 일 실시예이다. 즉, 종래 도 4에서는 하나의 픽셀 기본 단위 구조(201)를 가지는 RGB-IR 센서 구조임에 반해, 도 5 및 도 6의 본 발명의 일 실시예에서는 적어도 2개 이상의 픽셀 기본 단위 구조(202, 203, 204, 205)로 구성되어 지고, 특히 중점 보간 대상인 IR 픽셀이 서로 등간격을 유지하지 않는 것을 특징으로 한다.
구체적으로, 도 5는 본 발명의 일 실시예로서, 제1 픽셀 기본 단위 구조(202)는 왼쪽 상단부터 시계회전 방향으로 R --> G --> B --> IR 픽셀 순서를 가지고, 반면, 제2 픽셀 기본 단위 구조(203)는 왼쪽 상단부터 시계회전 방향으로 IR --> G --> B --> R 픽셀 순서를 가지게 된다. 따라서, 도 5는 가로방향으로 상기 제1 픽셀 기본 단위 구조(202)와 제2 픽셀 기본 단위 구조(203)를 반복적으로 배열한 구조를 보여주고 있다. 관련하여, 도 5의 최종적인 RGB-IR 센서 픽셀 배열로부터, 특정 IR 픽셀에서 인근 IR 픽셀의 간격이 상이하게 적용됨을 알수 있다. 즉, 보간 하고자 하는 픽셀 위치에는, 항상 위치적으로 강한 연관성을 가지는 인접한 IR 픽셀이 적어도 하나 이상 존재하게 되어, 보간 정보의 정밀도를 높일 수 있는 장점을 가지게 된다.
예를 들어, 도 5와 같이 배열된 IR 픽셀 구조에서, 특정 IR 픽셀(211) 및 주변에 인근하는 IR 픽셀들 (212 ~ 217) 사이의 주변 픽셀 영역 (예, 도면부호 221 ~ 228 픽셀들)에 전술한 보간방식을 적용하는 경우를 설명하면 다음과 같다. 즉, 예를 들어, 픽셀 221 위치에서 IR 신호를 보간하고 자 하는 경우, 주변에 위치한 IR픽셀값을 활용하게 되는 바, 특히 최단 거리내에 강한 연관성을 가지는 적어도 하나 이상의 IR 픽셀이 존재하는 경우, 더욱 보간 효율이 좋아짐을 알수 있다. 상기 예에 의할 경우, 보간 대상 픽셀 221 위치에는, 좌측에 강한 연관성을 가지는 IR 픽셀(217)이 존재하게 되고, 이로부터 수신된 IR 신호를 보간에 활용하는 것이 가능하게 된다. 마찬가지로, 다른 픽셀 223, 225, 227 위치에서 IR 신호를 각각 보간하고 자 하는 경우, 각 픽셀별 인근에 접한 IR 픽셀들 213, 214, 216 에서 각각 수신된 IR 신호를 보간에 활용하는 것이 가능하게 된다.
또한, 픽셀 222 위치에서, IR 신호를 보간하고 자 하는 경우, 인근에 접한 강한 연관성을 가지는 두개의 IR 픽셀(211, 212)에서 수신된 IR 신호를 보간에 활용하는 것이 가능하게 된다. 마찬가지로, 다른 픽셀 226 위치에서, IR 신호를 보간하고 자 하는 경우, 인근에 접한 강한 연관성을 가지는 두개의 IR 픽셀들 211, 216 에서 수신된 IR 신호를 보간에 활용하는 것이 가능하게 된다.
결국, 도 5의 RGB-IR 센서 배열을 따르는 경우, 예를 들어 중점 복원 대상으로 적외선(IR) 성분을 보간시, 적어도 하나 이상의 인접한 강한 연관성을 가지는 IR-픽셀이 존재하게 되어 보간 효율을 더욱 높일 수 있게 된다.
관련하여, 도 5의 RGB-IR 센서 배열을 따르는 경우, 설계자의 선택에 따라 중점 복원이 필요한 성분 (예, IR-성분)을 중심으로 배열하는 것이 가능하게 된다. 즉, 모든 채널 성분들(R,G,B,IR)이 모두 상이한 간격을 가지는 것은 아니다. 예를 들어, 도 5의 경우는, IR-성분 및 R-성분에 대해서는 상이한 간격을 가지는 동일 개념의 픽셀 배열 구조를 이룬 반면, G-성분 및 B-성분에 대해서는 종래 도 4와 동일한 등간격 배열로 이루어 짐을 알 수 있다.
또한, 도 6은 본 발명의 다른 실시예로서, 제3 픽셀 기본 단위 구조(204)는 왼쪽 상단부터 시계회전 방향으로 R --> IR --> B --> G 픽셀 순서를 가지게 되고, 반면, 제4 픽셀 기본 단위 구조(205)는 왼쪽 상단부터 시계회전 방향으로 R --> B --> IR --> G 픽셀 순서를 가지게 된다. 따라서, 도 6은 상기 제3 픽셀 기본 단위 구조(204)와 제4 픽셀 기본 단위 구조(205)를 가로방향으로 반복적으로 배열한 구조를 보여주고 있다. 도 6의 최종적인 RGB-IR 센서 픽셀 배열로부터, 특정 IR 픽셀에서 인근 IR 픽셀의 간격이 상이하게 적용됨을 알수 있다. 이는 전술한 도 5의 실시예와 동일한 보간 효과를 가져온다. 즉, 보간 하고자 하는 픽셀 위치에는, 항상 위치적으로 강한 연관성을 가지는 최단 거리 IR 픽셀이 적어도 하나 이상 존재하게 되어, 보간 정보의 정밀도를 높일 수 있는 장점을 가지게 된다.
관련하여, 도 6의 RGB-IR 센서 배열을 따르는 경우, IR-성분 및 B-성분에 대해서는 상이한 간격을 가지는 픽셀 배열 구조를 이룬 반면, R-성분 및 G-성분에 대해서는 종래 도 4와 동일한 등간격 배열로 이루어 짐을 알 수 있다. 결국, 도 5와 도 6 으로부터, 센서 픽셀 배열 설계시, 중점 복원을 원하는 성분이 무엇이냐에 따라 유사하고 변형된 다양한 RGB-IR 픽셀 배열이 가능함을 알 수 있다.
이하, 상기 RGB-IR 센서에서 발생가능한 간섭 현상을 제거하는 조명 제어방법에 대해 도 7 ~ 도 11을 참조하여 상세히 설명하고자 한다.
도 7은 본 발명의 일 실시예에 따른, RGB-IR 센서의 적외선 조명 제어 방법을 설명하기 위해 도시한 것이다. 우선 도 7(c)는 본 발명의 실시예와 대비되는 종래 일반적인 가시광 영상(C0 ~ C5) 및 적외선 영상(I0 ~ I5)을 획득하는 일예를 도시한 것이다. 도 7(c)에 의하면, 종래 영상 획득 방법은, 적외선 영상 획득을 위해서 지속적으로 활성화된 적외선 조명을 사용하게 된다. 따라서, 지속적으로 사용되는 적외선 조명은 전술한 바와 같이 가시광 영상에 영향을 미치게 되는 간섭 현상 문제를 야기시키게 된다.
도 7(a)는 본 발명에 따른 적외선 조명 제어 방법의 일예를 도시한 것으로, 적외선 측정 시간(T2, 710)과 가시광 측정 시간(T1, 720)을 시간적으로 분리하여 적외선 조명을 제어하는 것을 특징으로 한다. 즉, 적외선 측정 시간(T2) 동안에는 RGB-IR센서의 IR 픽셀들을 활용하여 적외선 영상들(i0, i1, i2, i3, i4)을 획득하게 된다. 반면, 가시광 측정 시간(T1) 동안에는 RGB-IR센서의 RGB 픽셀들을 활용하여 가시광 영상들(c0, c1, c2, c3, c4)을 획득하게 된다. 따라서, 시간적으로 측정 시간을 달리하여 각각 적외선 영상들(i0 ~ i4)과 가시광 영상들(i0 ~ i4)이 순차적으로 획득됨에 따라, 전술한 간섭 현상을 방지할 수 있게 된다.
관련하여, 도 7(a)의 조명 제어 방법에서는, 예를 들어 적외선 측정 시간(T2)와 가시광 측정 시간(T1)을 동일한 주기(T1=T2)인 경우를 예로 하여 설명하였으나, 이는 다양한 변형이 가능함은 자명하다 할 것이다. 예를 들어, 주변광의 밝기를 고려하여 상기 적외선 측정 시간(T2)와 가시광 측정 시간(T1)을 달리 적용하는 것이 가능하다. 이에 대해서는 도 8 및 도 9 에서 후술할 예정이다. 또한, 상기 도 7(a)의 조명 제어 방법에 의하면, 정해진 적외선 측정 시간(T2)동안에만 적외선 조명이 활성화됨에 따라, 종래 지속적인 적외선 조명의 활성화에 따른 사용자 시력 저하 문제 (이를 'Eys-safety issue' 라고도 한다)를 해결할 수 있는 부수적 효과도 있다.
도 7(b)는, 상기 도 7(a)와 같은 조명 제어 방법에서 획득되는, 적외선 영상들간의 차이를 이용하여 고정밀의 적외선 영상을 획득하는 방법을 제공한다. 즉, 적외선 측정 시간(T2)동안 적외선 조명이 활성화된 상태에서 획득된 적외선 영상들(i0, i1, i2, i3, i4) 과 가시광 측정 시간(T1)동안 적외선 조명이 비활성화 된 상태에서 획득된 적외선 영상들(d0, d1, d2, d3, d4)을 각각 획득한 후, 이로부터 적외선 차영상들(e0, e1, e2, e3, e4)을 획득하는 방법을 도시한 것이다.
관련하여, 상기 가시광 측정 시간(T1)동안 적외선 조명이 비활성화 된 상태에서 획득된 적외선 영상들(d0 ~ d4)은, 적외선 조명이 비활성화 되었음에도 불구하고, RGB-IR 센서의 IR-픽셀을 통해 획득되는 적외선 값들로부터 구해지는 영상을 의미한다. 따라서, 상기 적외선 영상들은(d0 ~ d4), 적외선 조명의 활성화에 상관없이 해당 시간에 존재하는 일종의 노이즈(noise)값으로 이해할 수 있다. 따라서, 상기 가시광 측정 시간(T1)에 인접한 적외선 측정 시간(T2)동안 적외선 조명이 활성화된 상태에서 획득된 적외선 영상들(i0 ~ i4)에도 상기 노이즈(noise) 값이 포함될 개연성이 높게 된다. 따라서, 이와 같은 노이즈(noise)를 제거한 적외선 차영상(e0 ~ e4)를 활용하는 것이 더욱 고순도의 적외선 영상을 얻는 방법이 된다.
예를 들어, 상기 제1 적외선 차영상(e0)은 제1 적외선 영상(i0)에서 상기 제1 노이즈 적외선 영상(d0)를 차감함에 의해 획득되어 진다. 상기의 과정을 반복하여, 나머지 적외선 차영상들(e1 ~ e4)도 동일하게 획득하는 것이 가능하게 된다. 즉, (e0 = i0 - d0), (e1 = i1 - d1), (e2 = i2 - d2), (e3 = i3 - d3), (e4 = i4 - d4) 수식에 의해 적외선 차영상 (e0 ~ e4)를 순차적으로 획득하는 것이 가능하게 된다.
관련하여, 전술한 적외선 영상들 (i0 ~ i4) 또는 적외선 차영상들 (e0 ~ e4) 중 어느 적외선 영상을, 인식 대상체(80)의 3차원 깊이(depth)를 측정하기 위한 정보로 활용할 지 여부는, 시스템 설계자의 선택에 의해 자유로이 결정 가능하다. 예를 들어, 시스템의 간소화를 원하는 경우에는 T1 구간동안 획득된 적외선 영상들 (i0 ~ i4)을 활용할 수 있고, 반면 시스템은 복잡화되지만 좀 더 높은 정밀도를 원하는 경우에는 상기 적외선 차영상들 (e0 ~ e4) 을 활용하는 것이 가능할 것이다.
도 8 ~ 도 9은 본 발명의 실시예에 따른, RGB-IR 센서의 적외선 조명 제어 방법중 주변광 밝기를 고려하여 조명 시간을 조절하는 방법을 설명하기 위해 도시한 것이다. 관련하여, 도 8은 RGB-IR 센서의 적외선 조명 제어 방법중 주변광 밝기가 어두운 경우를 설명하기 위해 도시한 것이고, 도 9는 RGB-IR 센서의 적외선 조명 제어 방법중 주변광이 거의 없는 경우를 설명하기 위해 도시한 것이다. 관련하여, 주변광이 충분히 밝은 경우에는 전술한 도 7의 조명 제어방법을 활용하는 것이 가능하다.
우선, 도 11을 참조하여 주변광 밝기에 따른 가시광 카메라 및 적외선 카메라의 촬영 조건 및 관련 문제점을 설명하면 다음과 같다. 전술한 간섭현상 문제를 해결하기 위해 가시광 촬영 구간(예를 들어, 이는 전술한 '가시광 측정 시간(T2)'에 해당될 수 있다)과 적외선영상 촬영 구간(예를 들어, 이는 전술한 '적외선 측정 시간(T1)'에 해당될 수 있다)을 시분할하고, 이를 조명과 동기화 시켜 간섭을 제거 할 수 있었다. 하지만 이러한 동기화를 진행할 때 가시광 촬영과 적외선 촬영에 필요한 카메라의 특성은 변하게 된다. 예를 들어, 도 11 에서 보는바와 같이 가시광 측정용일 경우에는 주변광이 밝을수록 짧은 노출과 좁은 조리개구경 및 낮은 감도가 유리하게 되지만, 주변이 어두워질 수록 긴 노출 시간과 넓은 조리개구경, 높은 감도가 필요하게 된다 (그래프 110). 반면, 적외선 측정용일 경우 경우, 카메라의 설정은 주변광의 영향을 거의 받지 않게 된다 (그래프 120). 단, 적외선의 경우에는 주변광이 밝을 때는 주변에서 생성되는 적외선 노이즈와 구별하기 위하여, 보다 밝은 조명이 필요하며, 어두워 질 수록 어두운 조명에서도 활용이 가능하다 (그래프 130). 이러한 특징 때문에 하나의 카메라 설정치로 가시광/적외선을 모두 촬영할 경우 비효율적인 면이 발생하게 되는데 가장 대표적인 문제는 촬영 시간 및 영상의 노이즈 레벨이다. 예를 들어, 가시광 측정용 설정을 가지고, 측정을 할 경우 저조도(주변광이 어두운 경우)일 때 긴 노출시간을 사용하여야 하기 때문에 전체적인 촬영 시간이 느려지게 되고, 아울러, 높은 감도를 사용하여야 하기 때문에 노이즈 레벨이 상승하게 된다.
상기와 같이 주변광의 밝기를 고려하되, 도 8은 주변광 밝기가 어두운 경우에, 도 9는 주변광이 거의 없는 경우에 있어서, 각각 RGB-IR 센서의 적외선 조명제어 방법을 도시한 것이다.
예를 들어, 밤, 어두운 공간 등과 같이, 주변광의 밝기가 어두운 경우에는, 가시광 측정 시간(T1, 810)과 적외선 측정 시간(T2, 820)을 설정함에 있어서, 가시광 측정 시간(T1)을 적외선 측정 시간(T2)보다 더 길게 설정하는 것이 바람직하다 (T1 > T2). 따라서, 가시광 측정 시간(T1)에 획득되는 가시광 영상들(c0, c1, c2, c3)은 보다 긴 노출시간이 보장되어, 통상의 경우에 비해 고화질을 확보할 수 있게 된다. 또한, 주변광의 밝기가 어두운 경우에는, 적외선 측정 시간(T2)에 발생하는 적외선 조명은 통상의 경우보다 저출력을 유지하도록 제어하는 것이 바람직하다.
또한, 예를 들어, 특수한 상황으로서 주변광이 거의 없는 경우 또는 가시광 촬영이 필요 없는 경우에는, 가시광 측정 시간(T1)은 오프(off)로 유지하고 반면, 적외선 측정 시간(T2, 910)을 계속 온(on) 상태로 유지하는 것이 바람직하다 (T1=OFF, T2=ON). 따라서, 적외선 측정 시간(T2)에 발생하는 적외선 조명은 통상의 경우보다 저출력을 유지하도록 제어하고, 상기 저출력의 적외선 조명을 계속 활성화하여 고속으로 적외선 촬영이 가능하도록 한다.
도 10은 본 발명의 실시예에 따른, RGB-IR 센서의 적외선 조명 제어 방법을 도시한 흐름도이다. 도 10에 도시된 흐름도는 전술한 도 7 ~ 도 9의 조명 제어 방법을 활용하여, 주변광 밝기에 따라 전술한 도 7 ~ 도 9의 조명 제어 방법중 어느 하나를 선택하는 제어 방법을 도시한 것이다.
우선, 주변광(L1)의 밝기를 측정한다(S110). 주변광의 밝기는 3차원 영상 획득 장치(100) 또는 디스플레이 장치(200) 일측에 구비된 별도의 조도센서(미도시)에 의해 확인 가능하다. 또는 이전의 촬영 영상 통계자료를 활용하는 것도 가능하며, 이외에 당일 일출/일몰 시각 대비 현재 시각을 고려하는 등, 다양한 방법으로 측정 가능하다.
상기 측정된 주변광(L1)의 밝기가 제로(0)이거나 또는 기설정된 최저기준(Th1)과 비교하게 된다(S120). 만약, 단계 S120 의 비교 확인 결과, 주변광(L1)이 최저기준(Th1) 보다 낮은 경우 (즉, L1 < Th1), 예를 들어 전술한 도 9와 동일 유사한 조명 제어모드(C)를 적용한다 (S140). 즉, S140 단계에 의한 조명 제어 모드는, 가시광 측정 시간(T1)은 오프(off)로 유지하고 반면, 적외선 측정 시간(T2, 910)을 계속 온(on) 상태로 유지하여, 저출력의 적외선 조명을 계속 활성화하여 고속으로 적외선 촬영을 수행하도록 한다.
또한, 만약, 단계 S120 의 비교 확인 결과, 주변광(L1)이 최저기준(Th1) 보다는 높은 경우 (즉, L1 > Th1), 다음 단계로 상기 주변광(L1)을 기설정된 통상기준(Th2)과 비교하게 된다(S130). 만약, 단계 S130 의 비교 확인 결과, 주변광(L1)이 통상기준(Th2) 보다 낮은 경우 (즉, Th1 < L1 < Th2), 예를 들어 전술한 도 8과 동일 유사한 조명 제어모드(B)를 적용한다 (S160). 즉, S160 단계에 의한 조명 제어 모드는, 가시광 측정 시간(T1)과 적외선 측정 시간(T2)을 설정함에 있어서, 가시광 측정 시간(T1)을 적외선 측정 시간(T2)보다 더 길게 설정하게 된다 (T1 > T2). 따라서, 가시광 측정 시간(T1)에 획득되는 가시광 영상들은 보다 긴 노출시간이 보장되어, 통상의 경우에 비해 고화질을 확보할 수 있게 된다. 또한, 주변광의 밝기가 어두운 경우에는, 적외선 측정 시간(T2)에 발생하는 적외선 조명은 통상의 경우보다 저출력을 유지하도록 제어하는 것이 바람직하다.
또한, 만약, 단계 S130 의 비교 확인 결과, 주변광(L1)이 통상기준(Th2) 보다 높은 경우 (즉, L1 > Th2), 예를 들어 전술한 도 7과 동일 유사한 조명 제어모드(A)를 적용한다 (S150). 즉, S150 단계에 의한 조명 제어 모드는, 통상의 충분히 밝은 주변광 상태에서, 가시광 측정 시간(T1)과 적외선 측정 시간(T2)을 설정함에 있어서, 가시광 측정 시간(T1)과 적외선 측정 시간(T2)을 동일하게 측정하게 된다 (T1 = T2). 또한, 주변광이 밝은 경우 가시광/적외선 촬영은 같거나 유사한 노출시간, 감도, 조리개 크기 등의 카메라 설정치를 사용한다. 하지만 적외선 조명은 고출력으로 제어하고 조명이 비활성화 될 때의 적외선 측정영상(예, 도 7, d0 ~ d4)과 조명이 활성화될 경우 적외선 측정영상(예, 도 7, i0 ~ i4)의 관계에서 고효율의 적외선 차영상(예, 도 7, e0 ~ e4)을 얻어 3차원 측정 계산에 활용하는 것이 가능하다.
즉, 본 발명의 실시예에 의할 경우, 주변광의 밝기에 따라 적응적으로 시스템이 자동으로 조명 제어모드를 달리 적용할 수 있음을 알 수 있다. 또한, 사용자의 수동 조작에 의해 상기 조명 제어모드가 결정될 수 있음은 자명하다. 따라서, 어떠한 주변광 환경에서도 안정적으로 3차원 영상을 획득하는 것이 가능하게 된다.
지금까지 설명한 본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가진 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.
전술한 바와 같이, 본 발명은 3차원 영상 확득이 필요한 다양한 분야에 적용이 가능하다. 예를 들어, 사용자의 제스쳐(gesture) 인식을 통해 동작 신호를 인식하는 3차원 게임기 또는 사용자 제스쳐를 응용한 다양한 원격 컨트롤 기기(remote controller)에 적용 가능하다.
100 : 3차원 영상 획득 장치 200 : 디스플레이 장치
10 : 광송신부 20 : 광수신부
30 : 조명부 40 : 프로세서
50 : 제어부 60 : 영상복원부
70 : 디스플레이

Claims (20)

  1. 적외선(IR) 구조광을 인식 대상체에 발광하는 광송신부;
    상기 인식 대상체로부터 반사되는 적외선 및 가시광을 수신하는 RGB-IR 센서로 구성된 광수신부;
    상기 광수신부에서 수신된 적외선 및 가시광을 각각 이용하여 상기 인식 대상체의 깊이 정보 및 가시광 영상을 포함하는 3차원 영상 정보를 획득하는 프로세서; 및
    상기 적외선(IR) 구조광의 조명 주기를 제어하는 조명부;를 포함하고,
    상기 조명부는,
    가시광 측정 시간(T1)과 적외선 측정 시간(T2)이 시간적으로 분리되도록, 상기 적외선(IR) 구조광을 상기 가시광 측정 시간(T1)에서 오프 상태로 유지하고 상기 적외선 측정 시간(T2)에서 온 상태로 유지하고,
    상기 프로세서는
    주변광의 밝기를 고려하여, 상기 가시광 측정 시간(T1)과 상기 적외선 측정 시간(T2)에서 촬영 조건을 각각 제어하는 것을 특징으로 하는 3차원 영상 획득 장치.
  2. 제 1 항에 있어서,
    상기 조명부는, 가시광 측정 시간(T1)과 적외선 측정 시간(T2)을 분리하여 상호간 간섭 영향이 제거되도록 적외선(IR) 구조광의 조명 주기를 조절하는 것을 특징으로 하는 3차원 영상 획득 장치.
  3. 제 2 항에 있어서,
    상기 조명부는, 주변광의 밝기를 고려하되, 주변광의 밝기가 기설정된 통상기준(Th2) 이상인 경우, 가시광 측정 시간(T1)과 적외선 측정 시간(T2)을 동일한 주기로 반복하는 것을 특징으로 하는 3차원 영상 획득 장치.
  4. 제 3 항에 있어서,
    상기 프로세서는, 적외선 측정 시간(T2)에 획득된 적외선 영상으로부터 가시광 측정 시간(T1)에 획득된 적외선 영상을 제하여 적외선 차영상을 획득하는 것을 특징으로 하는 3차원 영상 획득 장치.
  5. 제 4 항에 있어서,
    상기 프로세서는, 상기 획득된 적외선 차영상을 이용하여 상기 인식 대상체의 깊이를 측정하는 것을 특징으로 하는 3차원 영상 획득 장치.
  6. 제 2 항에 있어서,
    상기 조명부는, 주변광의 밝기가 기설정된 통상기준(Th2) 보다 낮은 경우, 가시광 측정 시간(T1)을 적외선 측정 시간(T2)보다 더 길게 제어하는 것을 특징으로 하는 3차원 영상 획득 장치.
  7. 제 2 항에 있어서,
    상기 조명부는, 주변광의 밝기가 기설정된 최저기준(Th1) 보다 낮은 경우,가시광 측정 시간(T1) 없이 적외선 측정 시간(T2)으로만 이루어지도록 제어하는 것을 특징으로 하는 3차원 영상 획득 장치.　
  8. 제 1 항에 있어서,
    상기 광수신부를 구성하는 RGB-IR 센서는, R,G,B,IR 픽셀의 배열을 결정함에 있어서, IR 픽셀이 동일한 등간격으로 배열되지 않도록 하는 것을 특징으로 하는 3차원 영상 획득 장치.　
  9. 제 1 항에 있어서,
    상기 프로세서로 부터 획득된 3차원 영상 정보를 이용하여 상기 인식 대상체의 3차원 영상을 복원하는 영상 복원부; 및
    상기 복원된 3차원 영상을 시각적 화면으로 제공하는 디스플레이부;를 더 포함하는 것을 특징으로 하는 3차원 영상 획득 장치.
  10. 적외선(IR) 구조광을 인식 대상체에 발광하고, 상기 인식 대상체로부터 반사되는 적외선 및 가시광을 수신하는 단계; 및
    상기 수신된 적외선 및 가시광을 각각 이용하여 상기 인식 대상체의 깊이 정보 및 가시광 영상을 포함하는 3차원 영상 정보를 획득하는 단계;를 포함하되,
    상기 적외선(IR) 구조광을 인식 대상체에 발광시, 가시광 측정 시간(T1)과 적외선 측정 시간(T2)을 분리하여 상호간 간섭 영향이 제거되도록 적외선(IR) 구조광의 조명 주기를 조절하고,
    상기 적외선(IR) 구조광은 상기 가시광 측정 시간(T1)에서 오프 상태로 유지되고, 상기 적외선 측정 시간(T2)에서 온 상태로 유지되고,
    상기 가시광 측정 시간(T1)과 상기 적외선 측정 시간(T2)의 촬영 조건은 주변광의 밝기를 고려하여 각각 제어되는 것을 특징으로 하는 3차원 영상 획득 방법.
  11. 제 10 항에 있어서,
    주변광의 밝기가 최저기준(Th1) 보다 적은 경우, 가시광 측정 시간(T1) 없이 적외선 측정 시간(T2)으로만 이루어지도록 제어하는 것을 특징으로 하는 3차원 영상 획득 방법.
  12. 제 10 항에 있어서,
    주변광의 밝기가 최저기준(Th1)과 통상기준(Th2) 사이인 경우, 가시광 측정 시간(T1)을 적외선 측정 시간(T2)보다 더 길게 제어하는 것을 특징으로 하는 3차원 영상 획득 방법.
  13. 제 10 항에 있어서,
    주변광의 밝기가 통상기준(Th2) 보다 더 밝은 경우, 가시광 측정 시간(T1)과 적외선 측정 시간(T2)을 동일한 주기 반복되도록 제어하는 것을 특징으로 하는 3차원 영상 획득 방법.
  14. 제 13 항에 있어서,
    적외선 측정 시간(T2)에 획득된 적외선 영상으로부터 가시광 측정 시간(T1)에 획득된 적외선 영상을 제하여 적외선 차영상을 획득하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 획득 방법.
  15. 제 14 항에 있어서,
    상기 획득된 차영상을 이용하여, 상기 인식 대상체의 깊이를 측정하는 것을 특징으로 하는 3차원 영상 획득 방법.
  16. 적외선(IR) 구조광을 인식 대상체에 발광하고, 상기 인식 대상체로부터 반사되는 적외선 및 가시광을 이용하여 상기 인식 대상체의 3차원 영상 정보을 획득하는 방법에 있어서,
    주변광을 측정하는 단계;
    상기 측정된 주변광과 기설정된 기준값을 비교하는 단계;
    상기 비교 결과로부터, 가시광 측정 시간(T1)과 적외선 측정 시간(T2)을 분리하여, 가시광과 적외선간의 간섭 영향이 제거되도록 적외선 구조광의 발광 주기를 조절하는 단계를 포함하고,
    상기 적외선(IR) 구조광은 상기 가시광 측정 시간(T1)에서 오프 상태로 유지되고, 상기 적외선 측정 시간(T2)에서 온 상태로 유지되고,
    상기 가시광 측정 시간(T1)과 상기 적외선 측정 시간(T2)에서 촬영 조건은 주변광의 밝기를 고려하여 각각 제어되는 것을 특징으로 하는 3차원 영상 획득 방법.
  17. 제 16 항에 있어서,
    주변광의 밝기가 최저기준(Th1) 보다 적은 경우, 가시광 측정 시간(T1) 없이 적외선 측정 시간(T2)으로만 이루어지도록 제어하는 것을 특징으로 하는 3차원 영상 획득 방법.
  18. 제 16 항에 있어서,
    주변광의 밝기가 최저기준(Th1)과 통상기준(Th2) 사이인 경우, 가시광 측정 시간(T1)을 적외선 측정 시간(T2)보다 더 길게 제어하는 것을 특징으로 하는 3차원 영상 획득 방법.
  19. 제 16 항에 있어서,
    주변광의 밝기가 통상기준(Th2) 보다 더 밝은 경우, 가시광 측정 시간(T1)과 적외선 측정 시간(T2)을 동일한 주기 반복되도록 제어하는 것을 특징으로 하는 3차원 영상 획득 방법.
  20. 제 19 항에 있어서,
    상기 적외선 측정 시간(T2)에 획득된 적외선 영상으로부터 가시광 측정 시간(T1)에 획득된 적외선 영상을 제하여 적외선 차영상을 획득하고, 상기 획득된 차영상을 이용하여, 상기 인식 대상체의 깊이를 측정하는 것을 특징으로 하는 3차원 영상 획득 방법.
KR1020130090156A 2012-11-23 2013-07-30 3차원 영상 획득 방법 및 장치 KR102086509B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201380067450.6A CN104885451B (zh) 2012-11-23 2013-08-13 用于获得3d图像的方法和装置
PCT/KR2013/007292 WO2014081107A1 (ko) 2012-11-23 2013-08-13 3차원 영상 획득 방법 및 장치
US14/647,003 US9906774B2 (en) 2012-11-23 2013-08-13 Method and apparatus for obtaining 3D image
EP13856720.1A EP2924992B1 (en) 2012-11-23 2013-08-13 Method and apparatus for obtaining 3d image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261729417P 2012-11-23 2012-11-23
US61/729,417 2012-11-23

Publications (2)

Publication Number Publication Date
KR20140066638A KR20140066638A (ko) 2014-06-02
KR102086509B1 true KR102086509B1 (ko) 2020-03-09

Family

ID=51123310

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020130090155A KR102070778B1 (ko) 2012-11-23 2013-07-30 Rgb-ir 센서 및 이를 이용한 3차원 영상 획득 방법 및 장치
KR1020130090156A KR102086509B1 (ko) 2012-11-23 2013-07-30 3차원 영상 획득 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020130090155A KR102070778B1 (ko) 2012-11-23 2013-07-30 Rgb-ir 센서 및 이를 이용한 3차원 영상 획득 방법 및 장치

Country Status (5)

Country Link
US (2) US10085002B2 (ko)
EP (2) EP2924992B1 (ko)
KR (2) KR102070778B1 (ko)
CN (2) CN104885451B (ko)
WO (2) WO2014081106A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023121120A1 (ko) * 2021-12-21 2023-06-29 삼성전자주식회사 간섭 제거 방법 및 상기 방법을 수행하는 전자 장치

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012110460A1 (de) * 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
US9769365B1 (en) 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
KR20140147376A (ko) * 2013-06-19 2014-12-30 삼성전자주식회사 적층형 컬러-깊이 센서 및 이를 채용한 3차원 영상 획득 장치
US20150200220A1 (en) * 2014-01-14 2015-07-16 Microsoft Corporation Image sensing system
IL230517A0 (en) * 2014-01-19 2014-04-30 Mantisvision Ltd Synchronization of 3D imaging devices
JP6396022B2 (ja) * 2014-01-21 2018-09-26 住友重機械工業株式会社 出力画像を生成する装置
JP6136948B2 (ja) * 2014-01-24 2017-05-31 株式会社Ｊｖｃケンウッド 撮像装置、映像信号処理方法及び映像信号処理プログラム
DE102014110431A1 (de) * 2014-07-24 2016-01-28 Zebris Medical Gmbh Abbildungsanordnung
CN105451011B (zh) * 2014-08-20 2018-11-09 联想(北京)有限公司 调节功率的方法和装置
KR102261857B1 (ko) 2014-11-27 2021-06-07 삼성전자주식회사 이미지 센서 및 이를 적용한 이미지 획득 장치 및 방법
US10074011B2 (en) 2015-01-20 2018-09-11 Eyelock Llc Lens system for high quality visible image acquisition and infra-red iris image acquisition
CN105991990A (zh) * 2015-01-23 2016-10-05 江苏南大五维电子科技有限公司 3d信息获取设备、3d信息获取方法、成像设备及电子设备
KR20160114474A (ko) * 2015-03-24 2016-10-05 (주)실리콘화일 4-컬러 이미지 센서, 4-컬러 이미지 센서의 제조방법 및 이에 따른 4-컬러 이미지 센서
KR101681197B1 (ko) * 2015-05-07 2016-12-02 (주)이더블유비엠 다중 컬러 센서를 기반하여, 고속 컨벌루션을 이용한 영상의 깊이 정보 추출 방법 및 장치
CN104918034A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像系统
JP6566737B2 (ja) * 2015-06-18 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
WO2017004834A1 (en) * 2015-07-09 2017-01-12 Huawei Technologies Co., Ltd. Imaging method, image sensor, and imaging device
CN105049829B (zh) * 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
CN105120257B (zh) 2015-08-18 2017-12-15 宁波盈芯信息科技有限公司 一种基于结构光编码的垂直深度感知装置
KR102497281B1 (ko) * 2015-08-31 2023-02-08 삼성디스플레이 주식회사 표시 장치, 헤드 마운트 표시 장치, 및 화상 표시 방법
KR101980360B1 (ko) * 2015-09-04 2019-08-28 한국전자통신연구원 컨볼루션 신경망을 이용한 객체 인식 장치 및 방법
US10397546B2 (en) * 2015-09-30 2019-08-27 Microsoft Technology Licensing, Llc Range imaging
CN106611430A (zh) * 2015-10-15 2017-05-03 杭州海康威视数字技术股份有限公司 一种rgb-d图像生成方法、装置及摄像机
US20170126966A1 (en) * 2015-10-29 2017-05-04 Mediatek Inc. Photography method using gaze detection
US10440355B2 (en) * 2015-11-06 2019-10-08 Facebook Technologies, Llc Depth mapping with a head mounted display using stereo cameras and structured light
JP2017098863A (ja) * 2015-11-27 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN105430360B (zh) * 2015-12-18 2018-01-23 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
KR102323217B1 (ko) * 2015-12-21 2021-11-08 삼성전자주식회사 매크로 픽셀의 노이즈를 제어하는 뎁스 센서, 3차원 카메라 및 제어 방법
CN105686936B (zh) * 2016-01-12 2017-12-29 浙江大学 一种基于rgb‐ir相机的声音编码交互系统
US11244478B2 (en) * 2016-03-03 2022-02-08 Sony Corporation Medical image processing device, system, method, and program
KR101747603B1 (ko) * 2016-05-11 2017-06-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 컬러 나이트 비전 시스템 및 그 동작 방법
KR102623989B1 (ko) * 2016-08-01 2024-01-11 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
CN106210474A (zh) * 2016-08-12 2016-12-07 信利光电股份有限公司 一种图像采集设备、虚拟现实设备
US10417473B2 (en) * 2016-09-07 2019-09-17 Mei-Yen Lee Optical imaging system with variable light field for biometrics application
US10701244B2 (en) 2016-09-30 2020-06-30 Microsoft Technology Licensing, Llc Recolorization of infrared image streams
CN106572340B (zh) * 2016-10-27 2019-05-10 深圳奥比中光科技有限公司 摄像系统、移动终端及图像处理方法
CN106454287B (zh) * 2016-10-27 2018-10-23 深圳奥比中光科技有限公司 组合摄像系统、移动终端及图像处理方法
CN106534633A (zh) * 2016-10-27 2017-03-22 深圳奥比中光科技有限公司 一种组合摄像系统、移动终端及图像处理方法
KR20180065698A (ko) 2016-12-08 2018-06-18 삼성전자주식회사 색분리 구조체를 포함하는 이미지 센서
US10484623B2 (en) 2016-12-20 2019-11-19 Microsoft Technology Licensing, Llc Sensor with alternating visible and infrared sensitive pixels
EP3565259A1 (en) * 2016-12-28 2019-11-06 Panasonic Intellectual Property Corporation of America Three-dimensional model distribution method, three-dimensional model receiving method, three-dimensional model distribution device, and three-dimensional model receiving device
EP3367130A1 (en) * 2017-02-22 2018-08-29 STMicroelectronics (Research & Development) Limited Integration of depth map device for adaptive lighting control
US10628950B2 (en) 2017-03-01 2020-04-21 Microsoft Technology Licensing, Llc Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping
CN107331677A (zh) * 2017-07-19 2017-11-07 北京思比科微电子技术股份有限公司 一种多光谱成像的图像传感器
KR102370763B1 (ko) 2017-09-26 2022-03-04 삼성전자주식회사 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법
US10834341B2 (en) * 2017-12-15 2020-11-10 Baidu Usa Llc Systems and methods for simultaneous capture of two or more sets of light images
CN108271012A (zh) * 2017-12-29 2018-07-10 维沃移动通信有限公司 一种深度信息的获取方法、装置以及移动终端
CN108133494A (zh) * 2018-01-17 2018-06-08 南京华捷艾米软件科技有限公司 利用rgb-ir同时生成深度图和彩色图的系统和方法
US11566993B2 (en) 2018-01-24 2023-01-31 University Of Connecticut Automated cell identification using shearing interferometry
US11269294B2 (en) 2018-02-15 2022-03-08 University Of Connecticut Portable common path shearing interferometry-based holographic microscopy system with augmented reality visualization
CN108683902B (zh) * 2018-03-31 2020-06-30 深圳奥比中光科技有限公司 目标图像获取系统与方法
CN108648225B (zh) 2018-03-31 2022-08-02 奥比中光科技集团股份有限公司 目标图像获取系统与方法
CN108881691A (zh) * 2018-07-13 2018-11-23 Oppo广东移动通信有限公司 控制方法、微处理器、计算机可读存储介质及计算机设备
CN108600712B (zh) * 2018-07-19 2020-03-31 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
CN108965704B (zh) * 2018-07-19 2020-01-31 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
CN110868506A (zh) * 2018-08-10 2020-03-06 南昌欧菲生物识别技术有限公司 图像处理方法和电子装置
US11461592B2 (en) 2018-08-10 2022-10-04 University Of Connecticut Methods and systems for object recognition in low illumination conditions
US10440294B1 (en) 2018-09-05 2019-10-08 Google Llc Compact color and depth imaging system
US20210185285A1 (en) * 2018-09-18 2021-06-17 Zhejiang Uniview Technologies Co., Ltd. Image processing method and apparatus, electronic device, and readable storage medium
KR102521933B1 (ko) * 2018-10-04 2023-04-14 삼성전자주식회사 디스플레이장치 및 그 제어방법
US11435476B2 (en) * 2018-10-12 2022-09-06 Microsoft Technology Licensing, Llc Time-of-flight RGB-IR image sensor
WO2020088095A1 (en) * 2018-11-02 2020-05-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Fisheye infrared depth detection
CN109451106B (zh) * 2018-11-16 2020-06-12 Oppo广东移动通信有限公司 电子装置
KR102025637B1 (ko) * 2018-12-19 2019-09-26 이병섭 시각화 및 3d 공간 구현을 위한 영상수집 어셈블리
CN109887944B (zh) * 2019-03-05 2022-04-05 西安工业大学 具有多功能窗口的全天时成像探测器及其制备方法
JP2020198470A (ja) * 2019-05-30 2020-12-10 ソニーセミコンダクタソリューションズ株式会社 画像認識装置および画像認識方法
US11200691B2 (en) 2019-05-31 2021-12-14 University Of Connecticut System and method for optical sensing, visualization, and detection in turbid water using multi-dimensional integral imaging
CN110376606A (zh) * 2019-07-26 2019-10-25 信利光电股份有限公司 结构光处理方法和结构光模组
CN111107247B (zh) * 2020-02-26 2021-12-03 上海富瀚微电子股份有限公司 一种曝光方法、一种图像系统及图像系统协同工作的方法
TWI767468B (zh) * 2020-09-04 2022-06-11 聚晶半導體股份有限公司 雙感測器攝像系統及其攝像方法
CN112164003A (zh) * 2020-09-11 2021-01-01 珠海市一微半导体有限公司 移动机器人获取激光图像的方法、芯片和机器人
CN112363180A (zh) * 2020-10-28 2021-02-12 Oppo广东移动通信有限公司 一种成像测距传感器、方法、系统及存储介质
CN114697474B (zh) * 2020-12-25 2023-07-21 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及计算机可读存储介质
CN112887577A (zh) * 2021-02-08 2021-06-01 革点科技(深圳)有限公司 一种抗环境光的rgb-d三维相机
CN113938664A (zh) * 2021-09-10 2022-01-14 思特威(上海)电子科技股份有限公司 像素阵列的信号采集方法、图像传感器、设备及存储介质
KR20230174621A (ko) * 2022-06-21 2023-12-28 삼성전자주식회사 깊이 맵 생성을 위한 전자 장치 및 그 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008008700A (ja) 2006-06-28 2008-01-17 Fujifilm Corp 距離画像センサ

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563105B2 (en) 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
US7645975B2 (en) * 2004-10-25 2010-01-12 Panasonic Electric Works Co., Ltd. Spatial information detecting device
CN101198964A (zh) * 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
JP2006237737A (ja) * 2005-02-22 2006-09-07 Sanyo Electric Co Ltd カラーフィルタアレイ及び固体撮像素子
JP4501855B2 (ja) * 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
CN101361373B (zh) 2006-01-24 2011-06-15 松下电器产业株式会社 固态成像装置、信号处理方法及照相机
JP2008092247A (ja) * 2006-10-02 2008-04-17 Sanyo Electric Co Ltd 固体撮像素子
JP4846644B2 (ja) * 2007-03-30 2011-12-28 株式会社東芝 映像信号補間装置および映像信号補間方法
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
CN101184161A (zh) * 2007-12-10 2008-05-21 深圳市通宝莱科技有限公司 适宜全天候使用的摄录机
JP2009286234A (ja) 2008-05-28 2009-12-10 Funai Electric Co Ltd 車載用サイドビューカメラ
KR101467509B1 (ko) * 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
KR101502372B1 (ko) 2008-11-26 2015-03-16 삼성전자주식회사 영상 획득 장치 및 방법
US8749635B2 (en) 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US8681216B2 (en) 2009-03-12 2014-03-25 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
CN101621697B (zh) * 2009-07-28 2010-11-10 黄松涛 一种用多色图像传感器的背景消除装置及使用方法
KR101648201B1 (ko) * 2009-11-04 2016-08-12 삼성전자주식회사 영상 센서 및 이의 제조 방법.
KR101608903B1 (ko) * 2009-11-16 2016-04-20 삼성전자주식회사 적외선 이미지 센서
WO2011069157A2 (en) 2009-12-04 2011-06-09 Next Holdings Limited Methods and systems for position detection
KR101613973B1 (ko) * 2009-12-24 2016-04-21 삼성전자주식회사 컬러 필터 어레이
KR101108742B1 (ko) * 2010-03-02 2012-02-24 국립대학법인 울산과학기술대학교 산학협력단 투명 적외선 센서를 이용한 단안 ３차원 영상 포획 소자
CN103025229A (zh) * 2010-04-29 2013-04-03 麻省理工学院 适用于光学相干断层扫描技术的移动修正和图像增强的方法和装置
DE102011079589A1 (de) * 2010-08-11 2012-02-16 Samsung Electronics Co., Ltd. Einheitspixel für ein Photodetektionsbauelement
KR101818587B1 (ko) * 2010-08-11 2018-01-15 삼성전자주식회사 광감지 장치의 단위 픽셀, 광감지 장치 및 이를 이용한 거리 측정 방법
US20120056988A1 (en) 2010-09-07 2012-03-08 David Stanhill 3-d camera
US9025019B2 (en) 2010-10-18 2015-05-05 Rockwell Automation Technologies, Inc. Time of flight (TOF) sensors as replacement for standard photoelectric sensors
KR101680762B1 (ko) 2010-10-29 2016-11-29 삼성전자주식회사 3ｄ 카메라용 빔스플리터 및 상기 빔스플리터를 채용한 3차원 영상 획득 장치
CN102480593B (zh) * 2010-11-25 2014-04-16 杭州华三通信技术有限公司 双镜头摄像机切换方法及装置
KR101887099B1 (ko) 2010-12-29 2018-08-09 삼성전자주식회사 이미지 처리 시스템 및 이미지 처리 방법
KR20120084216A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 깊이 정보에 대한 픽셀 노이즈를 제거하는 3차원 이미지 신호 처리 방법 및 상기 방법을 수행하는 3차원 이미지 신호 프로세서
KR20120107755A (ko) * 2011-03-22 2012-10-04 삼성전자주식회사 이미지 센서의 픽셀 어레이 및 이미지 센서의 픽셀 어레이 제조 방법
KR20120110614A (ko) * 2011-03-30 2012-10-10 삼성전자주식회사 3차원 이미지 센서
KR20120111013A (ko) * 2011-03-31 2012-10-10 삼성전자주식회사 3차원 이미지 센서 및 이를 이용한 거리 측정 방법
US20120249740A1 (en) 2011-03-30 2012-10-04 Tae-Yon Lee Three-dimensional image sensors, cameras, and imaging systems
KR20130001762A (ko) * 2011-06-28 2013-01-07 삼성전자주식회사 영상 생성 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008008700A (ja) 2006-06-28 2008-01-17 Fujifilm Corp 距離画像センサ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023121120A1 (ko) * 2021-12-21 2023-06-29 삼성전자주식회사 간섭 제거 방법 및 상기 방법을 수행하는 전자 장치

Also Published As

Publication number Publication date
CN104885451A (zh) 2015-09-02
US9906774B2 (en) 2018-02-27
CN104885451B (zh) 2017-07-28
WO2014081107A1 (ko) 2014-05-30
EP2924992A4 (en) 2016-08-10
EP2924978A1 (en) 2015-09-30
KR20140066637A (ko) 2014-06-02
WO2014081106A1 (ko) 2014-05-30
EP2924992B1 (en) 2021-01-06
US20150312556A1 (en) 2015-10-29
KR102070778B1 (ko) 2020-03-02
EP2924992A1 (en) 2015-09-30
CN104937928A (zh) 2015-09-23
EP2924978A4 (en) 2016-08-10
US10085002B2 (en) 2018-09-25
US20150304638A1 (en) 2015-10-22
KR20140066638A (ko) 2014-06-02

Similar Documents

Publication Publication Date Title
KR102086509B1 (ko) 3차원 영상 획득 방법 및 장치
US10009554B1 (en) Method and system for using light emission by a depth-sensing camera to capture video images under low-light conditions
TWI713547B (zh) 用於判定一圖像之一深度圖的方法與設備
US11405535B2 (en) Quad color filter array camera sensor configurations
US9516295B2 (en) Systems and methods for multi-channel imaging based on multiple exposure settings
JP6139017B2 (ja) 光源の特性を決定する方法及びモバイルデバイス
KR20180066116A (ko) 스테레오 카메라 및 구조화 광을 사용하는 헤드 마운트 디스플레이로의 깊이 맵핑
JP2018119942A (ja) 撮像装置及びその監視方法並びにプログラム
US20150317516A1 (en) Method and system for remote controlling
US10616561B2 (en) Method and apparatus for generating a 3-D image
US20130155275A1 (en) Image capturing apparatus, image capturing method, and computer-readable recording medium storing image capturing program
US8724852B2 (en) Method for sensing motion and device for implementing the same
KR102144543B1 (ko) Tof 카메라에서 신호 검출 방법
CN110235442B (zh) 投射型影像显示装置
CN105872392A (zh) 具有动态曝光时间的光学测距系统
US20170272713A1 (en) Projector and method for projecting an image pixel by pixel
KR102553308B1 (ko) 이미지 검출 장치 및 이를 이용한 이미지 검출 방법
CN108332720B (zh) 光学测距系统
KR20150092612A (ko) 입체적 형상을 감지하기 위한 카메라 및 그것의 제어 방법
JP2017183945A (ja) 撮像装置、撮像方法、および車両
JP2017097363A (ja) 表示装置、投影装置、表示方法及びプログラム
JP2014056115A (ja) 表示装置、投影装置、表示方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant