KR20140066637A

KR20140066637A - Rgb-ir 센서 및 이를 이용한 3차원 영상 획득 방법 및 장치

Info

Publication number: KR20140066637A
Application number: KR1020130090155A
Authority: KR
Inventors: 조아영; 양선호; 신윤섭; 김성민; 권영만; 정용우; 안성근; 이창환
Original assignee: 엘지전자 주식회사
Priority date: 2012-11-23
Filing date: 2013-07-30
Publication date: 2014-06-02
Also published as: KR102070778B1; WO2014081107A1; WO2014081106A1; CN104885451A; EP2924992B1; EP2924992A1; EP2924992A4; US10085002B2; KR102086509B1; EP2924978A1; US9906774B2; KR20140066638A; EP2924978A4; CN104937928A; US20150304638A1; CN104885451B; US20150312556A1

Abstract

본 발명은 RGB-IR 센서 및 이를 이용한 3차원 영상 획득 방법 및 장치에 관한 것이다. 본 발명의 RGB-IR 센서는, R,G,B,IR 픽셀 하나씩을 포함하는 제1 픽셀 기본 단위 및 상기 제1 픽셀 기본 단위와는 R,G,B,IR 픽셀의 배열 순서기 상이한 제2 픽셀 기본 단위를 포함한다. 또한, 상기 제1 픽셀 기본 단위 및 제2 픽셀 기본 단위를 가로방향으로 교대로 배열하여 RGB-IR 센서를 구성하되, 상기 RGB-IR 센서내의 IR-픽셀 상호간의 위치가 등간격이 되지 않도록 상기 제1 픽셀 기본 단위 및 상기 제2 픽셀 기본 단위내의 R,G,B,IR 픽셀 배열을 결정하는 것을 특징으로 한다.

Description

RGB-IR 센서 및 이를 이용한 3차원 영상 획득 방법 및 장치{RGB-IR SENSOR WITH PIXELS ARRAY AND APPARATUS AND METHOD FOR OBTAINING 3D IMAGE USING THE SAME}

본 발명은 RGB-IR 센서 및 이를 이용한 3차원 영상 획득 방법 및 장치에 관한 것이다.

최근 인식 대상체로부터 3차원 영상을 획득하는 다양한 기술 및 제품들이 개발되고 있다. 예를 들어, TOF(Time Of Flight) 방식은, 광을 인식 대상체에 조사하는 발광시간과 인식 대상체로부터 반사되는 광의 수광시간 사이의 시간적 차이를 이용하여, 카메라와 인식 대상체와의 거리 또는 깊이(depth)를 측정하고 이로부터 3차원 영상을 획득하는 방식이다. 또한, 구조광(structured light) 방식은, 패턴(pattern)화된 적외선 구조광을 인식 대상체에 발광하고, 상기 인식 대상체로부터 수신되는 적외선의 패턴을 분석하여 해당 인식 대상체의 깊이를 측정하고 이로부터 3차원 영상을 획득하는 방식이다.

관련하여, 3차원 깊이 정보를 획득하기 위하여는 두장 이상의 가시광 영상을 이용할 수 있으나, 최근에는 능동 광원으로서 적외선 영상을 함께 이용하는 방식이 사용되고 있다. 또한, 이러한 방식에서는 적외선 촬영용 센서(IR센서)와 함께 별도의 가시광 촬영용 센서(RGB센서)를 구비하는 것이 일반적이다. 또한, 가시광 촬영용 센서 픽셀중 하나를 적외선 획득용 픽셀로 변형하여, 하나의 RGB-IR 센서에서 가시광 영상과 적외선 영상을 획득하는 카메라 센서 구조에 대한 연구가 진행중에 있다.

도 1은 종래 3차원 영상 획득를 위해 사용된 RGB-IR 센서 픽셀 배열 구조를 도시한 것이다. 일반적으로, RGB-IR 센서는, R(Red, 적색), G(Green, 녹색), B(Blue, 청색) 픽셀을 통해 가시광 영역의 컬러 영상(color image)를 획득하고, 또한, IR(Infrared Ray, 적외선) 픽셀을 통해 적외선 영상을 획득하는 구조로 이루어 진다. 즉, R,G,B,IR 픽셀 배열의 조합으로 단일의 RGB-IR 센서를 구성하게 된다.

관련하여, 도 1은 종래 RGB-IR 센서의 픽셀 배열 순서를 도시한 일예이다. 일반적으로, RGB-IR 센서 구조는, 하나의 R, B 픽셀과 2개의 G 픽셀로 구성되는 일반적인 RGB 센서 (이는 'Bayer 센서 구조'로 널리 알려져 있다) 에서, 상기 하나의 G 픽셀을 IR 픽셀로 변경하여 구성하게 된다.

구체적으로, 도 1의 종래 RGB-IR 센서의 픽셀 배열 구조는, R,G,B,IR 픽셀을 하나씩 포함하는 픽셀 기본 단위 구조(101)가 동일하게 등간격으로 반복된 구성임을 알 수 있다. 따라서, RGB-IR 센서내의 모든 IR-픽셀이 등간격으로 배치되어 있고, 이는 다른 칼라 성분(R,G,B)도 마찬가지 이다. 이러한 구조를 그물망 또는 장기판 구조라 흔히 명명한다.

도 2는 종래 도 1의 RGB-IR 센서를 이용한 IR-픽셀의 보간 방법을 설명하기 위해 도시한 것이다. 관련하여, 도 2는 도 1의 IR-픽셀 115 를 중심으로 인근의 IR-픽셀들 (111, 112, 113, 114, 115, 116, 117, 118, 119)을 확대하여 이로부터 특정 픽셀 위치에서 보간(interpolation)이 어떻게 수행되는 지를 설명하기 위해 도시한 참고도이다.

우선, 픽셀간 일반적인 보간방법에 대해 설명하면 다음과 같다. RGB 컬러 영상 및 IR 적외선 영상을 획득하기 위해서는, 일반적으로 각 픽셀에서 획득된 성분을 다양한 보간 방식을 적용하게 된다. 예를 들어, 상기 보간 방식으로 디모자이킹(demosaicing) 방식이 널리 적용되고 있다. 상기 디모자이킹(demosaicing) 방식은 일종의 컬러 필터 보간법으로서, 픽셀배열에서 모든 픽셀의 풀 컬러 (full color)값을 복원하기 위한 영상 처리 알고리즘을 의미한다. 예를 들어, 상기 디모자이킹(demosaicing) 방식은 평균 가중치 합, 에지(edge) 기반 가중치합 등, 해당 목적에 부합하는 다양한 보간법을 적용하게 된다. 따라서, 상기 디모자이킹(demosaicing) 방식을 통해 각 픽셀마다 모든 성분(R,G,B,IR)을 가지도록 복원하는 것이 가능하게 된다.

다시 도 2를 참조하면, 예를 들어, IR-픽셀들(111 ~ 119) 사이에 위치하는 픽셀들(121, 122, 123, 124, 125, 126, 127, 128) 에서 적외선(IR) 보간을 수행하고자 하는 경우를 설명하고자 한다. 상기 도 2는 2가지 종류의 픽셀 보간법이 적용됨을 알 수 있다. 예를 들어, 픽셀 위치 122, 124, 126, 128 의 경우에는 해당 픽셀들에 인접하여 IR 픽셀들이 존재하므로, 해당 IR-픽셀들만을 이용하여 용이하게 보간을 수행하는 것이 가능하다. 예를 들어, 픽셀위치 122는 2개의 IR-픽셀 112 및 IR-픽셀 115를 활용하여 보간을 수행하게 된다. 마찬가지로, 픽셀위치 124는 2개의 IR-픽셀 116 및 IR-픽셀 115를 활용하여 보간을 수행하게 되고, 픽셀위치 126은 2개의 IR-픽셀 118 및 IR-픽셀 115를 활용하여 보간을 수행하게 되고, 픽셀위치 128은 2개의 IR-픽셀 114 및 IR-픽셀 115를 활용하여 보간을 수행하게 된다. 특히, 상기 보간 위치 픽셀들(122, 124, 126, 128)에 인접한 IR-픽셀들 (112, 114, 115, 116, 118)은 해당 보간 위치 픽셀들(122, 124, 126, 128)과 강한 연관성(tight coupled)을 가지며, 도면상에 실선으로 표시하였다. 상기 강한 연관성(tight coupled)을 가지는 IR-픽셀은 위치적으로, 보간을 행하고자 하는 픽셀 위치로부터 최단 거리에 인접함을 특징으로 한다.

반면, 픽셀 위치 121, 123, 125, 127 의 경우에는 해당 픽셀들에 인접한 최단 거리내에 IR 픽셀들이 존재하지 않으므로, 픽셀 위치에서 대각선 방향으로 둘러싼 4개의 IR-픽셀들을 활용하여 보간을 수행하게 된다. 예를 들어, 픽셀위치 121는 4개의 IR-픽셀들 111, 112, 114, 115을 활용하여 보간을 수행하게 된다. 마찬가지로, 픽셀위치 123은 4개의 IR-픽셀들 112, 113, 115, 116을 활용하여 보간을 수행하게 되고, 픽셀위치 125는 4개의 IR-픽셀들 115, 116, 118, 119을 활용하여 보간을 수행하게 되고, 픽셀위치 127은 4개의 IR-픽셀들 114, 115, 117, 118을 활용하여 보간을 수행하게 된다.

관련하여, 상기 보간 위치로부터 최단 거리내에 인접하지 않은 IR-픽셀은, 해당 픽셀 위치 121, 123, 125, 127와는 약한 연관성(loose coupled)을 가지며, 도면상에 점선으로 표시하였다. 즉, 상기 픽셀 위치 121, 123, 125, 127 에서는, 최단 거리의 강한 연관성(tighted coupled)을 가지는 IR-픽셀이 하나도 존재하지 않은 경우에 해당되고, 따라서, 모두 약한 연관성(loose coupled)을 가지는 IR-픽셀들만으로 보간을 수행하게 된다. 따라서, 상기와 같이 약한 연관성(loose coupled)을 가지는 IR-픽셀들만으로 보간을 수행하는 경우에는, 인접한 강한 연관성(tight coupled)을 가지는 IR-픽셀이 적어도 하나이상 존재하는 경우보다, 보간 정밀도 및 효율이 떨어지는 문제점이 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 보간 효율을 높인 RGB-IR 센서를 활용한 효율적인 3차원 영상 획득 장치 및 방법을 제공함에 있다.

또한, 본 발명의 또 다른 목적은, RGB-IR 센서의 IR-픽셀을 배열함에 있어, 보간 효율을 높일 수 있는 배열 구조를 제안하고자 한다. 구체적으로는, 상기 RGB-IR 센서내의 IR-픽셀 상호간의 위치가 등간격이 되지 않도록 상기 R,G,B,IR 픽셀 배열을 결정하는 방법을 제공하고자 한다.

또한, 본 발명의 또 다른 목적은, 상기 IR-픽셀을 포함하는 RGB-IR 센서의 구조를 제공하고자 한다.

또한, 본 발명의 또 다른 목적은, RGB-IR 센서의 IR-픽셀을 배열함에 있어, 보간을 행하고자 하는 픽셀 위치로부터, 적어도 하나 이상의 강한 연관성(tight coupled)을 가지는 IR-픽셀이 존재하도록 상기 R,G,B,IR 픽셀 배열을 결정하는 방법을 제공하고자 한다.

또한, 본 발명의 또 다른 목적은, 본 발명에 따라 배열된 RGB-IR 센서로 부터, IR-픽셀을 보간하는 효율적인 보간 방법을 제공하고자 한다.

또한, 본 발명의 또 다른 목적은, 상기 본 발명에 따라 배열된 RGB-IR 센서를 활용한 3차원 영상 획득 장치를 제공하고자 한다.

또한, 본 발명의 또 다른 목적은, 상기 본 발명에 따라 배열된 RGB-IR 센서를 활용한 3차원 영상 디스플레이 장치를 제공함에 있다.

상기와 같은 목적을 달성하기 위한, 본 발명의 일 실시예에 따른 RGB-IR 센서는, R,G,B,IR 픽셀 하나씩을 포함하는 제1 픽셀 기본 단위 및 상기 제1 픽셀 기본 단위와는 R,G,B,IR 픽셀의 배열 순서기 상이한 제2 픽셀 기본 단위를 포함하고, 상기 제1 픽셀 기본 단위 및 제2 픽셀 기본 단위를 가로방향으로 교대로 배열하여 RGB-IR 센서를 구성하되, 상기 RGB-IR 센서내의 IR-픽셀 상호간의 위치가 등간격이 되지 않도록 상기 제1 픽셀 기본 단위 및 상기 제2 픽셀 기본 단위내의 R,G,B,IR 픽셀 배열을 결정하는 것을 특징으로 한다.

또한, 상기 제1 픽셀 기본 단위는 왼쪽 상단부터 시계회전 방향으로 R --> G --> B --> IR 픽셀 순서로 배열되고, 상기 제2 픽셀 기본 단위는 왼쪽 상단부터 시계회전 방향으로 IR --> G --> B --> R 픽셀 순서로 배열되는 것을 특징으로 한다.

또한, 상기 제1 픽셀 기본 단위는 왼쪽 상단부터 시계회전 방향으로 R --> IR --> B --> G 픽셀 순서로 배열되고, 상기 제2 픽셀 기본 단위는 왼쪽 상단부터 시계회전 방향으로 R --> B--> IR --> G 픽셀 순서로 배열되는 것을 특징으로 한다.

또한, 상기 IR-픽셀 구조는, 광신호를 수신하는 마이크로 렌즈와, 마이크로 렌즈 하단에 위치하고 수신된 광신호중 적외선 신호를 필터링하는 IR 필터와, 상기 IR 필터를 통과한 적외선 신호를 센싱하는 센서를 포함하여 구성하는 특징으로 한다.

또한, 상기 IR-픽셀 구조는, 상기 마이크로 렌즈 상단에 적외선 통과 필터 (IR pass filter)를 더 구비하는 것을 특징으로 한다.

또한, 상기 칼라(R,G,B)-픽셀 구조는, 광신호를 수신하는 마이크로 렌즈와,

마이크로 렌즈 하단에 위치하고 수신된 광신호중 해당 칼라(R,G,B) 신호를 필터링하는 칼라(R,G,B) 필터와, 상기 칼라 필터를 통과한 칼라(R,G,B) 신호를 센싱하는 센서를 포함하여 구성하는 특징으로 한다.

또한, 상기 칼라(R,G,B)-픽셀 구조는, 상기 마이크로 렌즈 상단에 적외선 차단 필터 (IR cut-off filter)를 더 구비하는 것을 특징으로 한다.

또한, 본 발명의 3차원 영상 획득 장치는, 적외선(IR)을 인식 대상체에 발광하는 광송신부와, 상기 인식 대상체로부터 반사되는 적외선 및 가시광을 수신하는 RGB-IR 센서로 구성된 광수신부와, 상기 광수신부에서 수신된 적외선 및 가시광을 각각 이용하여 상기 인식 대상체의 깊이 정보 및 가시광 영상을 포함하는 3차원 영상 정보를 획득하는 프로세서를 포함하되, 상기 RGB-IR 센서는 R,G,B,IR 픽셀 하나씩을 포함하는 제1 픽셀 기본 단위 및 상기 제1 픽셀 기본 단위와는 R,G,B,IR 픽셀의 배열 순서기 상이한 제2 픽셀 기본 단위를 포함하고, 상기 제1 픽셀 기본 단위 및 제2 픽셀 기본 단위를 가로방향으로 교대로 배열하여 RGB-IR 센서를 구성하되, 상기 RGB-IR 센서내의 IR-픽셀 상호간의 위치가 등간격이 되지 않도록 상기 제1 픽셀 기본 단위 및 상기 제2 픽셀 기본 단위내의 R,G,B,IR 픽셀 배열이 결정되어 있는 것을 특징으로 한다.

또한, 상기 프로세서로 부터 획득된 3차원 영상 정보를 이용하여 상기 인식 대상체의 3차원 영상을 복원하는 영상 복원부 및 상기 복원된 3차원 영상을 시각적 화면으로 제공하는 디스플레이부를 더 포함하는 것을 특징으로 한다.

또한, 상기 프로세서는 상기 IR-픽셀에서 수신된 적외선을 이용하여 적외선 신호 보간을 수행함에 있어서, 보간을 하고자 하는 위치에 인접한 IR-픽셀들을 활용하되, 이중 최단 거리내에 인접한 IR-픽셀에 높은 가중치를 부여하는 것을 특징으로 한다.

또한, 상기 최단 거리내에 인접한 IR-픽셀은, 보간을 하고자 하는 위치의 좌우상하중 어느 하나에 위치하는 IR-픽셀인 것을 특징으로 한다.

또한, 상기 프로세서는, 상기 적외선 신호 보간을 수행함에 있어서, 최단 거리내에 인접한 IR-픽셀들이 2개 존재하는 경우에는, 해당 인접한 IR-픽셀들에는 동일한 가중치를 부여하는 것을 특징으로 한다.

또한, 상기 프로세서는 상기 IR-픽셀에서 수신된 적외선을 이용하여 적외선 신호 보간을 수행함에 있어서, 보간을 하고자 하는 위치에 인접한 IR-픽셀들을 활용하되, 보간할 위치에 인접한 최단 거리내 IR-픽셀의 갯수에 따라, 보간에 활용되는 IR-픽셀 수를 결정하는 것을 특징으로 한다.

또한, 상기 프로세서는 상기 적외선 신호 보간을 수행함에 있어서, 보간을 하고자 하는 위치에 인접한 최단 거리 IR-픽셀이 1개 존재하는 경우, 상기 인접한 최단 거리 IR-픽셀 뿐만 아니라 대각선 방향에 위치한 2개의 IR-픽셀들을 더 활용하는 것을 특징으로 한다.

또한, 상기 프로세서는 상기 적외선 신호 보간을 수행함에 있어서, 상기 대각선 방향에 위치한 2개의 IR-픽셀들보다 인접한 최단 거리 IR-픽셀에 높은 가중치를 부여하는 것을 특징으로 한다.

또한, 상기 프로세서는 상기 적외선 신호 보간을 수행함에 있어서, 보간을 하고자 하는 위치에 인접한 최단 거리 IR-픽셀이 2개 존재하는 경우, 상기 인접한 2개의 최단 거리 IR-픽셀들만을 보간에 활용하는 것을 특징으로 한다.

또한, 상기 프로세서는 상기 적외선 신호 보간을 수행함에 있어서, 상기 인접한 2개의 최단 거리 IR-픽셀들에 동일한 가중치를 부여하는 것을 특징으로 한다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

본 발명에 따른 RGB-IR 센서 구조 및 R,G,B,IR 픽셀 배열구조를 통해, 더욱 목적에 적합한 가시광 영상 및 적외선 영상을 획득하는 것이 가능하게 된다.

특히, 본 발명에 따른 RGB-IR 센서내 IR-픽셀 배열 구조를 통해, 효율적인 적외선 영상의 복원이 가능하게 된다. 또한, 복원된 적외선 영상을 이용하여 인식 대상체의 정확한 깊이 정보를 획득하는 것이 가능하게 된다.

또한, 본 발명의 3차원 영상 획득 장치를 통해 더욱 선명하고 정확한 3차원 영상 신호를 디스플레이 하는 것이 가능하게 된다.

도 1은 종래 3차원 영상 획득를 위해 사용된 RGB-IR 센서 픽셀 배열 구조를 도시한 것이다.
도 2는 종래 도 1의 RGB-IR 센서를 이용한 IR-픽셀의 보간 방법을 설명하기 위해 도시한 것이다.
도 3은 본 발명의 실시예에 따른, 3차원 영상 획득를 위해 사용된 RGB-IR 센서 픽셀 배열 구조의 일예를 도시한 것이다.
도 4는 본 발명의 실시예에 따른, 3차원 영상 획득를 위해 사용된 RGB-IR 센서 픽셀 배열 구조의 다른 예를 도시한 것이다.
도 5는 본 발명의 실시예에 따른, RGB-IR 센서를 이용한 IR-픽셀의 보간 방법을 설명하기 위해 도시한 것이다.
도 6은 본 발명의 실시예에 따른, RGB-IR 센서 구조를 도시한 일예이다.
도 7은 본 발명의 실시예에 따른, RGB-IR 센서 구조를 도시한 다른 예이다.
도 8은 본 발명의 실시예에 따른, RGB-IR 센서를 이용한 3차원 영상 획득 장치를 도시한 것이다.
도 9는 본 발명의 실시예에 따른, 3차원 영상 획득 장치(100) 및 디스플레이 장치(200)가 분리된 경우를 도시한 예시도이다.
도 10은 본 발명의 실시예에 따른, 3차원 영상 획득 장치(100) 및 디스플레이 장치(200)가 통합된 경우를 도시한 예시도이다.

이하, 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다.

관련하여, 본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있음은 자명하다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다. 구체적으로는, 본 발명에서 제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 또한, 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

또한 본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다. 따라서, 본 명세서에 개시된 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

이하, 본 발명의 실시예에 따른, RGB-IR 단일 센서를 구성하는 다양한 픽셀(pixel) 배열 구조에 대해 설명하면 다음과 같다. 도 3 및 도 4는 본 발명의 실시예에 따른, 3차원 영상 획득를 위해 사용된 RGB-IR 센서 픽셀 배열 구조의 일 예를 각각 도시한 것이다.

도 3 및 도 4의 본 발명의 실시예에서는 적어도 2개 이상의 픽셀 기본 단위들, 예를 들어, 제1 픽셀 기본 단위(301, 401) 및 제2 픽셀 기본 단위(302, 402)를 포함하고, 이로부터 RGB-IR 센서내 IR 픽셀 상호간의 위치가 등간격이 되지 않도록 상기 제1 픽셀 기본 단위(301, 401) 및 제2 픽셀 기본 단위(302, 402)내의 R,G,B,IR 픽셀 배열을 결정하는 것을 특징으로 한다.

구체적으로, 도 3은 본 발명의 일 실시예로서, 상기 제1 픽셀 기본 단위(301)는 왼쪽 상단부터 시계회전 방향으로 R --> G --> B --> IR 픽셀 순서를 가지고, 반면, 제2 픽셀 기본 단위(302)는 왼쪽 상단부터 시계회전 방향으로 IR --> G --> B --> R 픽셀 순서를 가지는 것을 특징으로 한다. 따라서, 도 3의 RGB-IR 센서는 가로방향으로 상기 제1 픽셀 기본 단위(301)와 제2 픽셀 기본 단위(302)를 반복적으로 배열하여 완성한 구조로 이루어져 있다. 관련하여, 도 3의 최종적인 RGB-IR 센서 픽셀 배열로부터, 특정 IR 픽셀에서 인근 IR 픽셀의 간격이 상이하게 적용됨을 알수 있다. 결국, 보간 하고자 하는 픽셀 위치에는, 항상 위치적으로 강한 연관성을 가지는 인접한 IR 픽셀이 적어도 하나 이상 존재하게 되어, 보간 정보의 정밀도를 높일 수 있는 장점을 가지게 된다. 이에 대해서는 도 5를 참조하여 후술할 예정이다.

또한, 도 4는 본 발명의 다른 실시예로서, 상기 제1 픽셀 기본 단위(401)는 왼쪽 상단부터 시계회전 방향으로 R --> IR --> B --> G 픽셀 순서를 가지고, 반면, 제2 픽셀 기본 단위(402)는 왼쪽 상단부터 시계회전 방향으로 R --> B --> IR --> G 픽셀 순서를 가지는 것을 특징으로 한다. 따라서, 도 4의 RGB-IR 센서는 가로방향으로 상기 제1 픽셀 기본 단위(401)와 제2 픽셀 기본 단위(402)를 반복적으로 배열하여 완성한 구조로 이루어져 있다. 관련하여, 도 4의 최종적인 RGB-IR 센서 픽셀 배열도, 도 3과 마찬가지로, 특정 IR 픽셀에서 인근 IR 픽셀의 간격이 상이하게 적용됨을 알수 있다. 결국, 보간 하고자 하는 픽셀 위치에는, 항상 위치적으로 강한 연관성을 가지는 인접한 IR 픽셀이 적어도 하나 이상 존재하게 되어, 보간 정보의 정밀도를 높일 수 있는 장점을 가지게 된다. 이에 대해서는 도 5를 참조하여 설명하면 다음과 같다.

도 5는 본 발명의 실시예에 따른, RGB-IR 센서를 이용한 IR-픽셀의 보간 방법을 설명하기 위해 도시한 것이다. 특히, 도 5는 예를 들어, 상기 도 3 및 도 4의 RGB-IR 센서를 이용한 IR-픽셀의 보간 방법을 설명하기 위해 도시한 것이다. 관련하여, 도 5는 도 3 및 도 4의 IR-픽셀 411 를 중심으로 인근의 IR-픽셀들 (412, 413, 414, 415, 416, 417)을 확대하여 도시한 것으로, 상기 IR-픽셀들 사이에 위치한 특정 픽셀 위치(421, 422, 423, 424, 425, 426, 427, 428)에서 적외선 보간(interpolation)이 어떻게 수행되는 지를 설명하기 위해 도시한 참고도이다.

예를 들어, 픽셀 위치 422, 426 의 경우에는 해당 픽셀들에 인접한 강한 연관성(tight coupled)을 가지는 IR 픽셀들(412, 411)(411, 415)이 존재하므로, 해당 IR-픽셀들만을 이용하여 용이하게 보간을 수행하는 것이 가능하다. 예를 들어, 픽셀위치 422는 2개의 IR-픽셀 412 및 IR-픽셀 411을 활용하여 보간을 수행하게 된다. 마찬가지로, 픽셀위치 426는 2개의 IR-픽셀 411 및 IR-픽셀 415를 활용하여 보간을 수행하게 된다. 즉, 상기 보간 위치 422, 426 의 경우, 인접한 최단 거리내에 2개의 강한 연관성(tight coupled)을 가지는 IR 픽셀들(412, 411)(411, 415)이 존재하므로 보간 정밀도를 확보하는 데 아무런 문제가 없다 할 것이다. 따라서, 실제 보간 적용시, 예를 들어, 상기 픽셀 위치 422 의 경우, 인접한 강한 연관성(tight coupled)을 가지는 IR 픽셀들(411, 412)간에는 동일한 가중치를 부여하여 해당 픽셀들(411, 412)의 평균값으로 보간하는 것이 가능하게 된다. 따라서, 보간 하고자 하는 위치에, 인접하여 적어도 2개 이상의 강한 연관성(tight coupled)을 가지는 IR 픽셀들이 존재하는 경우에는, 보간 수행은 해당 강한 연관성(tight coupled)을 가지는 IR 픽셀들만으로 보간을 수행하는 것은 충분하므로, 주변의 약한 연관성(loose coupled)을 가지는 IR-픽셀을 보간에 고려할 필요는 없게 된다.

반면, 예를 들어, 픽셀 위치 421, 423, 424, 425, 427, 428 의 경우에는 해당 픽셀들에 인접한 강한 연관성(tight coupled)을 가지는 IR 픽셀이 하나만 존재하므로 주변의 약한 연관성(loose coupled)을 가지는 IR-픽셀을 추가로 고려하여 보간을 수행하게 된다.

예를 들어, 픽셀 위치 421의 경우에는, 강한 연관성(tight coupled)을 가지는 하나의 IR-픽셀(417)과, 대각선 방향으로 존재하는 약한 연관성(loose coupled)을 가지는 2개의 IR-픽셀들(412, 411)로 부터 보간을 수행하게 된다. 따라서, 실제 보간 적용시 약한 연관성(loose coupled)을 가지는 2개의 IR-픽셀들(412, 411)보다는 인접한 최단 거리내에 존재하는 강한 연관성(tight coupled)을 가지는 IR-픽셀(417)에 더욱 높은 가중치(weight)를 부여하므로서 보간 정밀도를 높일 수 있게 된다.

또한, 픽셀 위치 423의 경우에는, 강한 연관성(tight coupled)을 가지는 하나의 IR-픽셀(413)과, 대각선 방향으로 존재하는 약한 연관성(loose coupled)을 가지는 2개의 IR-픽셀들(412, 411)로 부터 보간을 수행하게 된다. 또한, 픽셀 위치 424의 경우에는, 강한 연관성(tight coupled)을 가지는 하나의 IR-픽셀(411)과, 대각선 방향으로 존재하는 약한 연관성(loose coupled)을 가지는 2개의 IR-픽셀들(413, 414)로 부터 보간을 수행하게 된다. 또한, 픽셀 위치 425의 경우에는, 강한 연관성(tight coupled)을 가지는 하나의 IR-픽셀(414)과, 대각선 방향으로 존재하는 약한 연관성(loose coupled)을 가지는 2개의 IR-픽셀들(411, 415)로 부터 보간을 수행하게 된다. 또한, 픽셀 위치 427 경우에는, 강한 연관성(tight coupled)을 가지는 하나의 IR-픽셀(416)과, 대각선 방향으로 존재하는 약한 연관성(loose coupled)을 가지는 2개의 IR-픽셀들(411, 415)로 부터 보간을 수행하게 된다. 마지막으로, 픽셀 위치 428 경우에는, 강한 연관성(tight coupled)을 가지는 하나의 IR-픽셀(411)과, 대각선 방향으로 존재하는 약한 연관성(loose coupled)을 가지는 2개의 IR-픽셀들(417, 416)로 부터 보간을 수행하게 된다.

즉, 본 발명의 RGB-IR 센서 픽셀 배열구조에 의하면, 항상 어느 위치에서든 적어도 하나 이상의 강한 연관성(tight coupled)을 가지는 하나 이상의 IR-픽셀이 존재하게 되므로, 결국, 어느 위치에서 보간을 수행하더라도 상기 적어도 하나 이상의 강한 연관성(tight coupled)을 가지는 IR-픽셀을 활용하는 것이 가능하게 된다.

관련하여, 도 3 및 도 4의 RGB-IR 센서 배열을 따르는 경우, 설계자의 선택에 따라 중점 복원이 필요한 성분 (예, IR-성분)을 중심으로 R,G,B,IR 픽셀을 배열하는 것이 가능하게 된다. 즉, 모든 채널 성분들(R,G,B,IR)이 모두 상이한 간격을 가지게 되는 것은 아니다. 예를 들어, 도 3의 경우는, IR-성분 및 R-성분에 대해서는 상이한 간격을 가지는 픽셀 배열 구조를 이룬 반면, G-성분 및 B-성분에 대해서는 종래 도 1과 동일한 등간격 배열로 이루어 짐을 알 수 있다. 즉, 설계자가 IR-성분 및 R-성분에 대해 보다 중점적인 보간을 필요하다고 판단한 경우라 할 것이다.

반면, 도 4의 경우 IR-성분 및 B-성분에 대해서는 상이한 간격을 가지는 픽셀 배열 구조를 이룬 반면, R-성분 및 G-성분에 대해서는 종래 도 1과 동일한 등간격 배열로 이루어 짐을 알 수 있다. 즉, 설계자가 IR-성분 및 B-성분에 대해 보다 중점적인 보간을 필요하다고 판단한 경우라 할 수 있다. 결국, 설계자의 센서 픽셀 배열 설계시, 중점 복원을 원하는 성분이 무엇이냐에 따라 유사하고 변형된 다양한 RGB-IR 픽셀 배열이 가능함을 알 수 있다.

도 6 및 도 7은 본 발명의 실시예에 따른, RGB-IR 센서 구조를 도시한 일예를 각각 도시한 것이다. 즉, 본 발명에 의한 RGB-IR 센서는, RGB 칼라 센서와 IR 적외선 센서를 통합하여 하나의 센서로 구성함에 따라, 가시광 칼라 영상과 적외선 영상을 동축의 뷰(view)로 구성할 수 있게 되어, 훨씬 정확한 3차원 영상을 구성하는 잇점을 가지게 된다.

관련하여, 도 6은 본 실시예에 의한 RGB-IR 센서 구조의 일 단면을 도시한 것이다. 도 6을 참조하면, 기존 Bayer 패턴으로 이루어진 칼라 필터들(602)중 하나의 G(Green) 필터를 IR 필터(601)로 대체하게 된다. 또한, 상기 칼라 필터들(602) 및 IR 필터(601) 상단에는 광을 수신하는 마이크로 렌즈들(603)이 위치한다. 또한, 상기 칼라 필터들(602) 및 IR 필터(601) 하단에는 상기 필터들을 통과한 신호를 센싱하는 센서(604)를 포함하게 된다.

또한, 도 7은 본 실시예에 의한 RGB-IR 센서 구조의 또 다른 단면을 도시한 것이다. 도 7을 참조하면, 기존 Bayer 패턴으로 이루어진 칼라 필터들(702)중 하나의 G(Green) 필터를 IR 필터(701)로 대체하게 된다. 또한, 상기 칼라 필터들(702) 및 IR 필터(701) 상단에는 광을 수신하는 마이크로 렌즈들(703)이 위치한다. 또한, 상기 칼라 필터들(702) 및 IR 필터(701) 하단에는 상기 필터들을 통과한 신호를 센싱하는 센서(704)를 포함하게 된다. 아울러, 상기 IR 필터(701) 상단에는 IR 성분 집광을 위해, 적외선 통과 필터(IR pass filter, 704)를 더 구비하는 것을 특징으로 한다. 반면, 상기 칼라 필터들(702) 상단에는 IR 성분 집광을 차단하기 위해, 적외선 차단 필터(IR cut-off filter, 705)를 더 구비하는 것을 특징으로 한다. 바람직하게는, 상기 적외선 통과 필터(704) 및 상기 적외선 차단 필터(705)는 상기 마이크로 렌즈들(703) 상단에 위치하게 된다.

도 8은 본 발명의 실시예에 따른, RGB-IR 센서를 이용한 3차원 영상 획득 장치를 도시한 것이다. 관련하여, 도면 부호 100 은 좁은 의미의 3차원 영상 획득 장치를 도시한 것이고, 도면 부호 200 은 상기 3차원 영상 획득 장치로부터 3차원 영상을 수신하여 원영상으로 복원한 후, 3차원 영상을 디스플레이하는 디스플레이 장치를 도시한 것이다. 넓은 의미의 3차원 영상 획득 장치는 상기 다스플레이 장치(200)를 포함하는 것을 의미한다.

도 8에서, 본 발명의 실시예에 따른 상기 3차원 영상 획득 장치(100)는, 광송신부(10), 광수신부(20), 프로세서(40), 조명부(30) 및 상기 각 요소들을 제어하는 제어부(50)를 포함하여 구성할 수 있다. 또한, 상기 디스플레이 장치(200)는 상기 3차원 영상 획득 장치(100)로부터 3차원 영상 관련 정보 (예, 칼라 이미지 정보 및 깊이(depth) 정보 등)을 수신하고 이를 복원하는 3차원 영상 복원부(60)와, 상기 복원된 영상을 시각적으로 제공하는 디스플레이부(70)을 포함한다. 또한, 상기 디스플레이 장치(200)는 도 8과 같이 상기 3차원 영상 획득 장치(100)내의 제어부(50)를 통한 3차원 영상 복원부(60) 및 디스플레이부(70)의 제어가 가능하다. 반면, 도면에는 미도시 하였으나, 도 9와 같이 상기 3차원 영상 획득 장치(100)와 상기 디스플레이 장치(200)가 별도로 분리된 경우는 별도의 제어부(미도시)를 구비할 수 있음은 자명하다.

상기 광송신부(10)는 인식 대상체(80)의 3차원 깊이(depth) 정보를 획득하기 위해 적외선(IR)을 인식 대상체(80)에 발광하게 된다. 예를 들어, 상기 적외선은 구조광 방식을 적용하기 위해, 특정 패턴(pattern)을 포함할 수 있다. 이 경우, 상기 광송신부(10)는 적외선 구조광을 송출하는 구조광 유닛(structured light unit)이 될 수 있다.

또한, 상기 광수신부(20)는 상기 인식 대상체로부터 반사되는 적외선 및 가시광을 수신하는 센서로 구성된다. 또한, 상기 광수신부(20)는, 전술한 바와 같이, 적외선 및 가시광을 모두 동일 축 및 동일 공간에서 획득 가능한 RGB-IR 단일 센서로 구성된 것을 특징으로 한다. 관련하여, 상기 광수신부(20)를 구성하는 RGB-IR 단일 센서의 픽셀 배열 구조의 일 예에 대해서는, 상기 도 3 ~ 도 7을 참조하여 상세히 설명한 바와 동일하다.

또한, 상기 프로세서(40)는 상기 광수신부(20)에서 수신된 적외선을 이용하여 상기 인식 대상체의 깊이(depth) 정보를 산출하고, 또한, 광수신부(20)에서 수신된 가시광을 이용하여 칼라(color) 이미지 정보등을 생성하게 된다. 상기 프로세서에 의해 산출되는, 깊이 정보 및 칼라 이미지 정보 등을 상기 인식 대상체의 3차원 영상 정보라 명명한다. 또한, 상기 프로세서(40)에서 구해진 3차원 영상 정보는 상기 영상 복원부(60)에 제공되어 3차원 영상 복원에 활용되어 진다. 즉, 영상 복원부(60)는 상기 칼라 이미지 정보에 상기 깊이 정보를 적용하여 3차원 영상을 복원하게 된다. 또한, 상기 디스플레이 장치(200)는, 상기 복원된 3차원 영상을 시각적 화면으로 제공하는 디스플레이부(70)를 포함하게 된다.

관련하여, 상기 프로세서(40)는 전술한 도 3 ~ 도 5에서 언급한, RGB-IR 센서의 IR-픽셀 보간을 수행하는 구성 요소가 될 수 있으며, 다음과 같은 특징적 동작을 포함한다. 예를 들어, 상기 프로세서(40)는 상기 IR-픽셀에서 수신된 적외선을 이용하여 적외선 신호 보간을 수행함에 있어서, 보간을 하고자 하는 위치에 인접한 IR-픽셀들을 활용하되, 이중 최단 거리내에 인접한 IR-픽셀에 높은 가중치를 부여한다. 또한, 상기 프로세서는, 상기 적외선 신호 보간을 수행함에 있어서, 최단 거리내에 인접한 IR-픽셀들이 2개 존재하는 경우에는, 해당 인접한 IR-픽셀들에는 동일한 가중치를 부여한다. 또한, 상기 프로세서(40)는 상기 IR-픽셀에서 수신된 적외선을 이용하여 적외선 신호 보간을 수행함에 있어서, 보간을 하고자 하는 위치에 인접한 IR-픽셀들을 활용하되, 보간할 위치에 인접한 최단 거리내 IR-픽셀의 갯수에 따라, 보간에 활용되는 IR-픽셀 수를 결정한다. 예를 들어, 보간을 하고자 하는 위치에 인접한 최단 거리 IR-픽셀이 1개 존재하는 경우, 상기 프로세서(40)는 상기 인접한 최단 거리 IR-픽셀 뿐만 아니라 대각선 방향에 위치한 2개의 IR-픽셀들을 더 활용하되, 상기 대각선 방향에 위치한 2개의 IR-픽셀들보다 인접한 최단 거리 IR-픽셀에 높은 가중치를 부여한다. 반면, 보간을 하고자 하는 위치에 인접한 최단 거리 IR-픽셀이 2개 존재하는 경우, 상기 프로세서(40)는 상기 인접한 2개의 최단 거리 IR-픽셀들만을 보간에 활용하되, 상기 인접한 2개의 최단 거리 IR-픽셀들에 동일한 가중치를 부여한다.

또한, 조명부(30)는 상기 제어부(50)의 제어에 따라, 상기 광송신부(10)내의 적외선 및 가시광의 간섭 현상을 방지하기 위해 적외선 조명 주기를 조절하는 것을 특징으로 한다. 특히, 본 발명에서 상기 조명부(30)는 적외선 조명 주기를 조절함에 있어서, 주변광의 밝기를 고려하는 것을 또 다른 특징으로 한다. 관련하여, 상기 제어부(50) 및 조명부(40)의 조명 주기 조절 방법으로는, 가시광 측정 시간과 적외선 측정 시간을 분리하여, 적외선 및 가시광의 간섭 현상을 방지하는 것을 특징으로 한다. 또한, 저조도의 경우 (예를 들어, 야간, 어두운 장소 등)에는 적외선 촬영 시간 보다는 가시광 촬영 시간을 더욱 길게 하므로서, 간섭 현상 뿐만 아니라 주변광에 적응적으로 대응하는 것이 가능하게 된다. 또한, 도 8에서는 설명의 편의를 위해 조명부(40)를 광송신부(10)와 분리된 구성으로 도시하였으나, 이는 하나의 예시에 불과하다. 따라서, 실제 제품 적용에 있어서는, 상기 조명부(40)를 광송신부(10)내에서 조명계를 담당하는 렌즈들로 구성하고, 상기 광송신부(10)와 일체의 부품으로 제공하는 것도 가능하다.

관련하여, 도 9는 본 발명의 일 실시예로서, 상기 3차원 영상 획득 장치(100) 및 상기 디스플레이 장치(200)가 분리된 경우를 도시한 예시도이다. 도 2와 같이 상기 두 장치(100, 200)가 분리된 경우에는, 신호 연결선(300)을 통해 상기 3차원 영상 획득 장치(100)내의 프로세서(30)로부터 획득된 3차원 관련 정보가 상기 디스플레이 장치(200)내의 영상 복원부(60)로 전달되는 것이 가능하다. 또한, 상기 신호 연결선(300)는 유선 또는 무선으로 구성하는 것이 모두 가능하다. 예를 들어, 상기 신호 연결선(300)은 케이블선(cable line)과 같이 물리적 형태를 가질 수도 있으나, 무선 네트워크(예, 블루투스, NFC, WiFi 등)으로 구성하는 것도 가능하다. 상기 무선 네트워크을 적용하는 경우에는, 전술한 상기 3차원 영상 획득 장치(100) 및 상기 디스플레이 장치(200)내에는 상기 무선 네트워크을 통한 데이터 송수신을 지원하는 무선 네트워크 모듈이 추가로 구성될 수 있음은 자명하다 할 것이다. 관련하여, 상기 광송신부(10) 및 광수신부(20)는 상기 3차원 영상 획득 장치(100)의 외관 일측에 식별가능한 형태로 구성 가능하다.

또한, 도 10은 본 발명의 다른 실시예로서, 상기 3차원 영상 획득 장치(100) 및 상기 디스플레이 장치(200)가 통합된 경우를 도시한 예시도이다. 도 3과 같이 상기 두 장치(100, 200)가 통합된 단일형 제품인 경우에는, 상기 광송신부(10) 및 광수신부(20)는 상기 디스플레이 장치(200)의 외관 일측에 식별가능한 형태로 구성 가능하다.

지금까지 설명한 본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가진 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.

전술한 바와 같이, 본 발명의 RGB-IR 센서는 3차원 영상 획득이 필요한 다양한 분야에 적용이 가능하다. 예를 들어, 사용자의 제스쳐(gesture) 인식을 통해 동작 신호를 인식하는 3차원 게임기 또는 사용자 제스쳐를 응용한 다양한 원격 컨트롤 기기(remote controller) 등에 적용 가능하다.

100 : 3차원 영상 획득 장치 200 : 디스플레이 장치
10 : 광송신부 20 : 광수신부
30 : 조명부 40 : 프로세서
50 : 제어부 60 : 영상복원부
70 : 디스플레이
101, 301, 302, 401, 402 : 픽셀 기본 단위

Claims

R,G,B,IR 픽셀 하나씩을 포함하는 제1 픽셀 기본 단위 및 상기 제1 픽셀 기본 단위와는 R,G,B,IR 픽셀의 배열 순서기 상이한 제2 픽셀 기본 단위를 포함하고,
상기 제1 픽셀 기본 단위 및 제2 픽셀 기본 단위를 가로방향으로 교대로 배열하여 RGB-IR 센서를 구성하되, 상기 RGB-IR 센서내의 IR-픽셀 상호간의 위치가 등간격이 되지 않도록 상기 제1 픽셀 기본 단위 및 상기 제2 픽셀 기본 단위내의 R,G,B,IR 픽셀 배열을 결정하는 것을 특징으로 하는 RGB-IR 센서.
제 1 항에 있어서,
상기 제1 픽셀 기본 단위는 왼쪽 상단부터 시계회전 방향으로 R --> G --> B --> IR 픽셀 순서로 배열되고, 상기 제2 픽셀 기본 단위는 왼쪽 상단부터 시계회전 방향으로 IR --> G --> B --> R 픽셀 순서로 배열되는 것을 특징으로 하는 RGB-IR 센서.
제 1 항에 있어서,
상기 제1 픽셀 기본 단위는 왼쪽 상단부터 시계회전 방향으로 R --> IR --> B --> G 픽셀 순서로 배열되고, 상기 제2 픽셀 기본 단위는 왼쪽 상단부터 시계회전 방향으로 R --> B--> IR --> G 픽셀 순서로 배열되는 것을 특징으로 하는 RGB-IR 센서.
제 1 항에 있어서,
상기 IR-픽셀 구조는,
광신호를 수신하는 마이크로 렌즈와,
마이크로 렌즈 하단에 위치하고 수신된 광신호중 적외선 신호를 필터링하는 IR 필터와,
상기 IR 필터를 통과한 적외선 신호를 센싱하는 센서를 포함하여 구성하는 특징으로 하는 RGB-IR 센서.
제 4 항에 있어서,
상기 IR-픽셀 구조는, 상기 마이크로 렌즈 상단에 적외선 통과 필터 (IR pass filter)를 더 구비하는 것을 특징으로 하는 RGB-IR 센서.
제 4 항에 있어서,
상기 칼라(R,G,B)-픽셀 구조는,
광신호를 수신하는 마이크로 렌즈와,
마이크로 렌즈 하단에 위치하고 수신된 광신호중 해당 칼라(R,G,B) 신호를 필터링하는 칼라(R,G,B) 필터와,
상기 칼라 필터를 통과한 칼라(R,G,B) 신호를 센싱하는 센서를 포함하여 구성하는 특징으로 하는 RGB-IR 센서.
제 6 항에 있어서,
상기 칼라(R,G,B)-픽셀 구조는, 상기 마이크로 렌즈 상단에 적외선 차단 필터 (IR cut-off filter)를 더 구비하는 것을 특징으로 하는 RGB-IR 센서.
적외선(IR)을 인식 대상체에 발광하는 광송신부;
상기 인식 대상체로부터 반사되는 적외선 및 가시광을 수신하는 RGB-IR 센서로 구성된 광수신부;
상기 광수신부에서 수신된 적외선 및 가시광을 각각 이용하여 상기 인식 대상체의 깊이 정보 및 가시광 영상을 포함하는 3차원 영상 정보를 획득하는 프로세서를 포함하되,
상기 RGB-IR 센서는 R,G,B,IR 픽셀 하나씩을 포함하는 제1 픽셀 기본 단위 및 상기 제1 픽셀 기본 단위와는 R,G,B,IR 픽셀의 배열 순서기 상이한 제2 픽셀 기본 단위를 포함하고, 상기 제1 픽셀 기본 단위 및 제2 픽셀 기본 단위를 가로방향으로 교대로 배열하여 RGB-IR 센서를 구성하되, 상기 RGB-IR 센서내의 IR-픽셀 상호간의 위치가 등간격이 되지 않도록 상기 제1 픽셀 기본 단위 및 상기 제2 픽셀 기본 단위내의 R,G,B,IR 픽셀 배열이 결정되어 있는 것을 특징으로 하는 3차원 영상 획득 장치.
제 8 항에 있어서,
상기 프로세서로 부터 획득된 3차원 영상 정보를 이용하여 상기 인식 대상체의 3차원 영상을 복원하는 영상 복원부 및
상기 복원된 3차원 영상을 시각적 화면으로 제공하는 디스플레이부를 더 포함하는 것을 특징으로 하는 3차원 영상 획득 장치.
제 8 항에 있어서,
상기 RGB-IR 센서를 구성하는, 제1 픽셀 기본 단위는 왼쪽 상단부터 시계회전 방향으로 R --> G --> B --> IR 픽셀 순서로 배열되고, 상기 제2 픽셀 기본 단위는 왼쪽 상단부터 시계회전 방향으로 IR --> G --> B --> R 픽셀 순서로 배열되는 것을 특징으로 하는 3차원 영상 획득 장치.
제 8 항에 있어서,
상기 RGB-IR 센서를 구성하는, 제1 픽셀 기본 단위는 왼쪽 상단부터 시계회전 방향으로 R --> IR --> B --> G 픽셀 순서로 배열되고, 상기 제2 픽셀 기본 단위는 왼쪽 상단부터 시계회전 방향으로 R --> B--> IR --> G 픽셀 순서로 배열되는 것을 특징으로 하는 3차원 영상 획득 장치.
제 8 항에 있어서,
상기 프로세서는 상기 IR-픽셀에서 수신된 적외선을 이용하여 적외선 신호 보간을 수행함에 있어서,
보간을 하고자 하는 위치에 인접한 IR-픽셀들을 활용하되, 이중 최단 거리내에 인접한 IR-픽셀에 높은 가중치를 부여하는 것을 특징으로 하는 3차원 영상 획득 장치.
제 12 항에 있어서,
상기 최단 거리내에 인접한 IR-픽셀은, 보간을 하고자 하는 위치의 좌우상하중 어느 하나에 위치하는 IR-픽셀인 것을 특징으로 하는 3차원 영상 획득 장치.
제 12 항에 있어서,
상기 프로세서는, 상기 적외선 신호 보간을 수행함에 있어서,
최단 거리내에 인접한 IR-픽셀들이 2개 존재하는 경우에는, 해당 인접한 IR-픽셀들에는 동일한 가중치를 부여하는 것을 특징으로 하는 3차원 영상 획득 장치.
제 8 항에 있어서,
상기 프로세서는 상기 IR-픽셀에서 수신된 적외선을 이용하여 적외선 신호 보간을 수행함에 있어서,
보간을 하고자 하는 위치에 인접한 IR-픽셀들을 활용하되, 보간할 위치에 인접한 최단 거리내 IR-픽셀의 갯수에 따라, 보간에 활용되는 IR-픽셀 수를 결정하는 것을 특징으로 하는 3차원 영상 획득 장치.
제 15 항에 있어서,
상기 프로세서는 상기 적외선 신호 보간을 수행함에 있어서,
보간을 하고자 하는 위치에 인접한 최단 거리 IR-픽셀이 1개 존재하는 경우, 상기 인접한 최단 거리 IR-픽셀 뿐만 아니라 대각선 방향에 위치한 2개의 IR-픽셀들을 더 활용하는 것을 특징으로 하는 3차원 영상 획득 장치.
제 16 항에 있어서,
상기 프로세서는 상기 적외선 신호 보간을 수행함에 있어서,
상기 대각선 방향에 위치한 2개의 IR-픽셀들보다 인접한 최단 거리 IR-픽셀에 높은 가중치를 부여하는 것을 특징으로 하는 3차원 영상 획득 장치.
제 15 항에 있어서,
상기 프로세서는 상기 적외선 신호 보간을 수행함에 있어서,
보간을 하고자 하는 위치에 인접한 최단 거리 IR-픽셀이 2개 존재하는 경우, 상기 인접한 2개의 최단 거리 IR-픽셀들만을 보간에 활용하는 것을 특징으로 하는 3차원 영상 획득 장치.
제 18 항에 있어서,
상기 프로세서는 상기 적외선 신호 보간을 수행함에 있어서,
상기 인접한 2개의 최단 거리 IR-픽셀들에 동일한 가중치를 부여하는 것을 특징으로 하는 3차원 영상 획득 장치.