KR20140145470A - 3차원 영상 처리 장치 및 방법 - Google Patents
3차원 영상 처리 장치 및 방법 Download PDFInfo
- Publication number
- KR20140145470A KR20140145470A KR1020130067950A KR20130067950A KR20140145470A KR 20140145470 A KR20140145470 A KR 20140145470A KR 1020130067950 A KR1020130067950 A KR 1020130067950A KR 20130067950 A KR20130067950 A KR 20130067950A KR 20140145470 A KR20140145470 A KR 20140145470A
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- image information
- light
- sensing
- infrared light
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
컬러 영상(color image)과 깊이 영상(depth image)을 동시에 획득할 수 있는 3차원 영상 처리 장치 및 방법에 관한 것으로, 소정의 피사체로부터, 광 스펙트럼의 가시 영역에 해당하는 가시광 및 적외 영역에 해당하는 적외광을 감지하는 제 1 감지부와, 광 스펙트럼의 적외 영역에 해당하는 적외광을 감지하는 제 2 감지부를 포함하는 수광부와, 제 1 시간 동안에, 제 1 감지부로부터 컬러 영상 정보를 추출하고, 제 2 시간 동안에, 제 1 감지부 및 제 2 감지부로부터 깊이 영상 정보를 추출하는 영상 처리부와, 추출된 컬러 영상 정보 및 깊이 영상 정보를 토대로, 피사체의 3차원 영상을 구현하는 3차원 영상 구현부와, 수광부, 영상 처리부, 및 3차원 영상 구현부를 제어하는 제어부를 포함할 수 있다.
Description
본 발명은 3차원 영상을 처리하는 장치에 관한 것으로, 보다 상세하게는 컬러 영상(color image)과 깊이 영상(depth image)을 동시에 획득할 수 있는 3차원 영상 처리 장치 및 방법에 관한 것이다.
일반적으로, 3차원 영상 처리 장치는, 컬러 영상을 획득하는 컬러 카메라(color camera)와 깊이 영상을 획득하는 깊이 카메라(depth camera)를 포함할 수 있다.
여기서, 컬러 카메라는 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등을 채용한 카메라로서, 태양광 또는 플래쉬광을 받는 피사체로부터 반사된 가시광선을 감지함으로써, 그 피사체에 대한 2차원 컬러 영상을 획득할 수 있다.
그리고, 깊이 카메라(depth camera)는 파사체에 레이저광이나 적외선 등의 광선을 비추어 반사되어 되돌아오는 광선을 취득하여, 그 피사체에 대한 깊이 영상을 획득할 수 있다.
이때, 깊이는 그 카메라로부터 피사체까지의 거리를 의미할 수 있다.
이어, 획득된 2차원 컬러 영상과 깊이 영상을 이용하여, 피사체의 3차원 영상을 획득할 수 있다.
그러나, 이러한 3차원 영상 처리 장치는, 컬러 영상을 획득하기 위한 컬러 카메라와 깊이 영상을 획득하기 위한 깊이 카메라를 개별적으로 구동해야 하므로, 구성이 복잡하고, 영상 처리 시간이 많이 소요되며, 전체적인 비용이 증가할 수 있다.
그러므로, 향후 컬러 영상과 깊이 영상을 동시에 획득할 수 있는 3차원 영상 처리 장치가 요구되고 있다.
본 발명의 일실시예가 이루고자 하는 기술적 과제는, 컬러 영상과 깊이 영상을 모두 획득할 수 있는 수광부를 이용하여, 간단한 구성을 갖는 3차원 영상 처리 장치 및 방법을 제공하고자 한다.
또한, 본 발명의 일실시예가 이루고자 하는 기술적 과제는, 시분할 다중화(time division multiplexing) 방식으로, 깊이 영상의 콘트라스트(contrast)를 향상시킬 수 있는 3차원 영상 처리 장치 및 방법을 제공하고자 한다.
본 발명의 일실시예에 의한 3차원 영상 처리 장치는, 소정의 피사체로부터, 광 스펙트럼의 가시 영역에 해당하는 가시광 및 적외 영역에 해당하는 적외광을 감지하는 제 1 감지부와, 광 스펙트럼의 적외 영역에 해당하는 적외광을 감지하는 제 2 감지부를 포함하는 수광부와, 제 1 시간 동안에, 제 1 감지부로부터 컬러 영상 정보를 추출하고, 제 2 시간 동안에, 제 1 감지부 및 제 2 감지부로부터 깊이 영상 정보를 추출하는 영상 처리부와, 추출된 컬러 영상 정보 및 깊이 영상 정보를 토대로, 피사체의 3차원 영상을 구현하는 3차원 영상 구현부와, 수광부, 영상 처리부, 및 3차원 영상 구현부를 제어하는 제어부를 포함할 수 있다.
여기서, 제 1 감지부는, 적색광 및 적외광을 감지하는 제 1 픽셀, 녹색광 및 적외광을 감지하는 제 2 픽셀, 청색광 및 적외광을 감지하는 제 3 픽셀을 포함할 수 있다.
경우에 따라, 제 1 감지부는, 황(Yellow)색광 및 적외광을 감지하는 제 4 픽셀, 시안(Cyan)색광 및 적외광을 감지하는 제 5 픽셀, 마젠타(Magenta)색과 및 적외광을 감지하는 제 6 픽셀을 포함할 수도 있다.
또 다른 경우로서, 제 1 감지부는, 적색광 및 적외광을 감지하는 제 1 픽셀, 녹색광 및 적외광을 감지하는 제 2 픽셀, 청색광 및 적외광을 감지하는 제 3 픽셀, 백(white)색, 황(Yellow)색, 시안(Cyan)색, 마젠타(Magenta)색 중 어느 한 색광 및 적외광을 감지하는 제 7 픽셀을 포함할 수도 있다.
이어, 본 발명은 제어부의 제어신호에 따라, 제 1 시간 동안에, 적외광을 출사하지 않고, 제 2 시간 동안에, 적외광을 출사하는 발광부를 더 포함할 수도 있고, 제어부의 제어신호에 따라, 발광부의 구동을 오프(off)시키기 위한 제 1 시간과 발광부의 구동을 온(on)시키기 위한 제 2 시간을 측정하는 타이머(timer)를 더 포함할 수도 있으며, 영상 처리부로부터 추출된 컬러 영상 정보 및 깊이 영상 정보를 저장하는 저장부를 더 포함할 수도 있다.
다음, 영상 처리부는, 제 1 시간 동안에, 제 1 감지부로부터 감지된 가시광으로부터 컬러 영상 정보를 추출하는 제 1 영상 처리부와, 제 2 시간 동안에, 제 1 감지부로부터 감지된 적외광으로부터 제 1 깊이 영상 정보를 추출하여 제 1 깊이 영상 정보의 노이즈(noise)를 제거하고, 제 2 감지부로부터 감지된 적외광으로부터 제 2 깊이 영상 정보를 추출하며, 제 1, 제 2 깊이 영상 정보를 합성하는 제 2 영상 처리부를 포함할 수 있다.
여기서, 제 1 영상 처리부는, 제 1 시간 동안에, 상기 제 1 감지부로부터 감지된 가시광의 광량을 검출하는 제 1 검출부와, 검출된 가시광의 광량을 전기적 신호로 변환하는 제 1 변환부와, 가시광으로부터 컬러 영상 정보를 추출하는 컬러 영상 정보 추출부를 포함할 수 있다.
그리고, 제 2 영상 처리부는, 제 2 시간 동안에, 제 1 감지부 및 제 2 감지부로부터 감지된 적외광의 광량을 검출하는 제 2 검출부와, 검출된 적외광의 광량을 전기적 신호로 변환하는 제 2 변환부와, 제 1 감지부로부터 감지된 적외광으로부터 제 1 깊이 영상 정보를 추출하고, 추출된 제 1 깊이 영상 정보의 노이즈를 제거하는 제 1 깊이 영상 정보 추출부와, 제 2 감지부로부터 감지된 적외광으로부터 제 2 깊이 영상 정보를 추출하는 제 2 깊이 영상 정보 추출부와, 노이즈가 제거된 제 1 깊이 영상 정보와 제 2 깊이 영상 정보를 합성하는 합성부를 포함할 수 있다.
여기서, 제 1 깊이 영상 정보 추출부는, 제 1 감지부로부터 감지된 적외광에 대한 노이즈를 제거하여, 노이즈가 제거된 깊이값을 산출하는 노이즈 제거부와, 노이즈가 제거된 깊이값이 제 1 감지부의 물리적 노이즈값보다 더 큰지를 비교하는 비교부와, 비교 결과, 노이즈가 제거된 깊이값이 제 1 감지부의 물리적 노이즈값보다 더 크다면, 노이즈가 제거된 깊이값을 제 1 깊이 영상 정보에 대한 최종 깊이값으로 결정하는 최종 깊이값 결정부를 포함할 수 있다.
한편, 본 발명의 일실시예에 의한 3차원 영상 처리 방법은, 가시광과 적외광을 감지하는 제 1 감지부와, 적외광을 감지하는 제 2 감지부를 포함하는 수광부와, 적외광을 발광하는 발광부를 포함하는 3차원 영상 처리 장치의 영상 처리 방법으로서, 소정의 피사체로부터, 가시광 및 적외광을 감지하는 단계와, 제 1 시간 동안에, 수광부의 제 1 감지부에서 감지된 가시광으로부터 컬러 영상 정보를 추출하는 단계와, 제 2 시간 동안에, 수광부의 제 1 감지부 및 제 2 감지부에서 감지된 적외광으로부터 깊이 영상 정보를 추출하는 단계와, 피사체에 대한 컬러 영상 정보 및 깊이 영상 정보의 추출이 모두 완료되었는지 판단하는 단계와, 피사체에 대한 컬러 영상 정보 및 깊이 영상 정보의 추출이 모두 완료되었다면, 추출된 컬러 영상 정보 및 깊이 영상 정보를 토대로, 피사체의 3차원 영상을 구현하는 단계를 포함할 수 있다.
여기서, 가시광 및 적외광을 감지하는 단계 이전에, 제 1 시간 동안에, 발광부의 구동을 오프(off)시켜 적외광을 출사하지 않는 단계, 또는 제 2 시간 동안에, 발광부의 구동을 온(on)시켜 적외광을 피사체로 출사하는 단계를 더 포함할 수 있다.
그리고, 제 2 시간 동안에, 깊이 영상 정보를 추출하는 단계는, 하기 수식 1에 의해 깊이 영상 정보를 추출할 수 있다.
[수식 1]
if (α(R2 - R1) > Rth), IR2 = IR2 + α(R2 - R1)
if (β(G2 - G1) > Gth), IR2 = IR2 + β(G2 - G1)
if (γ(B2 - B1) > Bth), IR2 = IR2 + γ(B2 - B1)
(여기서, IR2는 제 2 깊이 영상 정보,
R1, G1, B1은 상기 제 1 시간 동안에, 추출된 제 1 감지부의 적외광에 대한 제 1 노이즈값,
R2, G2, B2는 상기 제 2 시간 동안에, 추출된 제 1 감지부의 적외광에 대한 제 2 노이즈값,
α, β, γ는 제 1 감지부의 감도 특성을 고려한 가중치, 그리고
Rth, Gth, Bth는 제 1 감지부의 물리적 노이즈 임계값이다.)
본 발명의 일실시예에 의하면, 가시광을 감지하는 제 1 감지부와 적외광을 감지하는 제 2 감지부를 포함하는 수광부를 이용하여, 컬러 영상과 깊이 영상을 동시에 처리할 수 있으므로, 구성이 간단하고, 3차원 영상 처리 시간 및 전체적인 비용을 줄일 수 있다.
또한, 본 발명의 일실시예에 의하면, 시분할 다중화(time division multiplexing) 방식을 이용하여, 컬러 영상 정보와 깊이 영상 정보를 개별적으로 획득하고, 깊이 영상 정보 획득시, 수광부의 제 2 감지부로부터 수광되는 적외광 뿐만 아니라, 수광부의 제 1 감지부로부터 수광되는 적외광을 통해, 깊이 영상 정보를 추출할 수 있기 때문에, 깊이 영상에 대한 감도 및 콘트라스트(contrast)가 향상되어, 3차원 영상의 깊이감이 개선될 수 있다.
도 1은 본 발명에 따른 3차원 영상 처리 장치를 보여주는 블럭 구성도
도 2a 및 도 2b는 도 1의 수광부에 따른 베이어 패턴(bayer pattern)을 보여주는 도면
도 3a 및 도 3b는 수광부의 단위 픽셀을 보여주는 제 1 실시예
도 4는 수광부의 단위 픽셀을 보여주는 제 2 실시예
도 5a 및 도 5b는 수광부의 단위 픽셀을 보여주는 제 3 실시예
도 6은 수광부의 단위 픽셀을 보여주는 제 4 실시예
도 7a 및 도 7b는 수광부의 단위 픽셀을 보여주는 제 5 실시예
도 8은 수광부의 단위 픽셀을 보여주는 제 6 실시예
도 9는 도 1의 영상 처리부를 보여주는 블럭 구성도
도 10은 도 9의 제 1 영상 처리부를 보여주는 블럭 구성도
도 11은 도 9의 제 2 영상 처리부를 보여주는 블럭 구성도
도 12는 도 11의 제 1 깊이 영상 정보 추출부를 보여주는 블럭 구성도
도 13은 본 발명에 따른 3차원 영상 처리 방법을 보여주는 흐름도
도 14는 시간에 따른 발광부의 온/오프를 보여주는 도면
도 15는 시간에 따른 영상 처리부의 영상 정보 처리를 보여주는 도면
도 16은 도 13의 컬러 영상 정보를 추출하는 방법을 보여주는 상세 흐름도
도 17은 도 13의 깊이 영상 정보를 추출하는 방법을 보여주는 상세 흐름도
도 18은 제 1, 제 2 깊이 영상 정보를 합성하지 않는 베이어 패턴(bayer pattern)을 보여주는 도면
도 19는 수광부에 감지되는 적외광의 분포를 보여주는 도면
도 20은 제 1, 제 2 깊이 영상 정보가 합성된 베이어 패턴(bayer pattern)을 보여주는 도면
도 21은 도 17의 제 2 깊이 영상 정보를 추출하는 방법을 보여주는 상세 흐름도
도 22는 제 1, 제 2 감지부에 대한 광 감도 특성을 보여주는 그래프
도 23a 및 도 23b는 제 1 깊이 영상 정보와 제 2 깊이 영상 정보의 합성 여부에 따른 깊이 영상에 대한 콘트라스트를 비교한 도면
도 2a 및 도 2b는 도 1의 수광부에 따른 베이어 패턴(bayer pattern)을 보여주는 도면
도 3a 및 도 3b는 수광부의 단위 픽셀을 보여주는 제 1 실시예
도 4는 수광부의 단위 픽셀을 보여주는 제 2 실시예
도 5a 및 도 5b는 수광부의 단위 픽셀을 보여주는 제 3 실시예
도 6은 수광부의 단위 픽셀을 보여주는 제 4 실시예
도 7a 및 도 7b는 수광부의 단위 픽셀을 보여주는 제 5 실시예
도 8은 수광부의 단위 픽셀을 보여주는 제 6 실시예
도 9는 도 1의 영상 처리부를 보여주는 블럭 구성도
도 10은 도 9의 제 1 영상 처리부를 보여주는 블럭 구성도
도 11은 도 9의 제 2 영상 처리부를 보여주는 블럭 구성도
도 12는 도 11의 제 1 깊이 영상 정보 추출부를 보여주는 블럭 구성도
도 13은 본 발명에 따른 3차원 영상 처리 방법을 보여주는 흐름도
도 14는 시간에 따른 발광부의 온/오프를 보여주는 도면
도 15는 시간에 따른 영상 처리부의 영상 정보 처리를 보여주는 도면
도 16은 도 13의 컬러 영상 정보를 추출하는 방법을 보여주는 상세 흐름도
도 17은 도 13의 깊이 영상 정보를 추출하는 방법을 보여주는 상세 흐름도
도 18은 제 1, 제 2 깊이 영상 정보를 합성하지 않는 베이어 패턴(bayer pattern)을 보여주는 도면
도 19는 수광부에 감지되는 적외광의 분포를 보여주는 도면
도 20은 제 1, 제 2 깊이 영상 정보가 합성된 베이어 패턴(bayer pattern)을 보여주는 도면
도 21은 도 17의 제 2 깊이 영상 정보를 추출하는 방법을 보여주는 상세 흐름도
도 22는 제 1, 제 2 감지부에 대한 광 감도 특성을 보여주는 그래프
도 23a 및 도 23b는 제 1 깊이 영상 정보와 제 2 깊이 영상 정보의 합성 여부에 따른 깊이 영상에 대한 콘트라스트를 비교한 도면
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명에 따른 3차원 영상 처리 장치를 보여주는 블럭 구성도이다.
도 1에 도시된 바와 같이, 3차원 영상 처리 장치는 수광부(100), 영상 처리부(200), 3차원 영상 구현부(300), 제어부(400), 발광부(500) 및 저장부(600)를 포함할 수 있다.
그리고, 추가적으로, 타이머(timer)(700)를 더 포함할 수도 있다.
여기서, 수광부(100)는, 소정의 피사체(800)로부터, 광 스펙트럼의 가시 영역에 해당하는 가시광과, 광 스펙트럼의 적외 영역에 해당하는 적외광을 수광할 수 있다.
경우에 따라, 수광부(100)는, 제 1 감지부(110)와 제 2 감지부(120)를 포함할 수 있다.
이때, 수광부(100)의 제 1 감지부(110)는 광 스펙트럼의 가시 영역에 해당하는 가시광을 감지할 수 있는데, 예를 들면, 약 350 - 700nm의 파장대를 갖는 광을 감지할 수 있다.
그리고, 수광부(100)의 제 2 감지부(120)는 광 스펙트럼의 적외 영역에 해당하는 적외광을 감지할 수 있는데, 예를 들면, 적외광은 약 700nm 이상의 파장대를 갖는 광을 감지할 수 있다.
이와 같이, 본 발명은, 소정의 피사체(800)로부터, 광 스펙트럼의 가시 영역에 해당하는 가시광과, 광 스펙트럼의 적외 영역에 해당하는 적외광을 동시에 수광할 수 있는 수광부(100)를 배치함으로써, 가시광으로부터 컬러 영상 정보를 획득함과 동시에 적외광으로부터 깊이 영상 정보를 획득할 수 있다.
따라서, 본 발명은, 획득한 컬러 영상 정보와 깊이 영상 정보를 동시에 처리할 수 있으므로, 구성이 간단하고, 3차원 영상 처리 시간 및 전체적인 비용을 줄일 수 있다.
그리고, 영상 처리부(200)는, 제 1 시간 동안에 제 1 감지부(110)으로부터 컬러 영상 정보를 추출하고, 제 2 시간 동안에 제 1 감지부(110) 및 제 2 감지부(120)로부터 깊이 영상 정보를 추출할 수 있다.
이와 같이, 본 발명의 영상 처리부(200)는, 컬러 영상 정보와 깊이 영상 정보를 동시에 획득하지 않고, 서로 다른 시간에 획득할 수 있다.
즉, 본 발명의 영상 처리부(200)는, 컬러 영상 정보를 획득하는 시간과 깊이 영상 정보를 획득하는 시간이 서로 다를 수 있다.
그 이유는, 깊이 영상에 대한 감도 및 콘트라스트를 향상시킬 수 있는 깊이 영상 처리 방법을 독자적으로 수행해야 되기 때문이다.
만일, 영상 처리부(200)가 컬러 영상 정보와 깊이 영상 정보를 동시에 획득할 경우, 영상 처리부(200)는, 수광부(100)의 제 2 감지부(120)에만 수광되는 적외광으로부터 깊이 영상 정보를 추출하기 때문에, 깊이 영상에 대한 감도 및 콘트라스트가, 컬러 영상 정보에 비해 상대적으로 작아, 3차원 영상의 깊이감이 저하될 수 있다.
하지만, 영상 처리부(200)가 컬러 영상 정보와 깊이 영상 정보를 개별적으로 획득할 경우, 영상 처리부(200)는, 깊이 영상 정보 획득시, 수광부(100)의 제 2 감지부(120)로부터 수광되는 적외광 뿐만 아니라, 수광부(100)의 제 1 감지부(110)로부터 수광되는 적외광을 통해, 깊이 영상 정보를 추출할 수 있기 때문에, 깊이 영상에 대한 감도 및 콘트라스트가 향상되어, 3차원 영상의 깊이감이 개선될 수 있다.
따라서, 영상 처리부(200)는, 제 1 감지부(110)와 제 2 감지부(120)를 포함하는 수광부(100)의 단위 픽셀마다, 컬러 영상 정보의 획득 작업과 깊이 영상 정보의 획득 작업을 개별적으로 수행할 수 있다.
다음, 3차원 영상 구현부(300)는, 영상 처리부(200)로부터 추출된 컬러 영상 정보 및 깊이 영상 정보를 토대로, 피사체(800)의 3차원 영상을 구현할 수 있다.
그리고, 제어부(400)는, 수광부(100), 영상 처리부(200) 및 3차원 영상 구현부(300)를 제어할 수 있다.
또한, 제어부(400)는, 발광부(500) 및 타이머(700)를 제어할 수 있다.
예를 들면, 발광부(500)는, 적외광을 발생하는 장치로서, 제어부(400)의 제어 신호에 따라, 구동될 수 있다.
즉, 발광부(500)는, 제어부(400)의 제어신호에 따라, 제 1 시간 동안에, 적외광을 출사하지 않고, 제 2 시간 동안에, 적외광을 출사할 수 있다.
또한, 타이머(timer)(700)는, 제어부(400)의 제어신호에 따라, 발광부(500)의 구동을 오프(off)시키기 위한 제 1 시간과 발광부(500)의 구동을 온(on)시키기 위한 제 2 시간을 측정할 수 있다.
따라서, 제어부(400)는, 타이머(700)가 측정하는 시간에 따라, 발광부(500)의 구동을 제어할 수 있다.
그리고, 저장부(600)는, 영상 처리부(200)에 의해, 추출된 컬러 영상 정보와 깊이 영상 정보를 저장할 수 있다.
여기서, 저장부(600)는, 영상 처리부(200)가, 컬러 영상 정보를 획득하는 시간과 깊이 영상 정보를 획득하는 시간이 서로 다르기 때문에, 다음 처리 단계를 위해, 추출된 영상 정보들이 소정 시간 대기하는 버퍼(buffer) 역할을 수행할 수 있다.
이와 같이, 본 발명은, 가시광을 감지하는 제 1 감지부와 적외광을 감지하는 제 2 감지부를 포함하는 수광부를 이용하여, 컬러 영상과 깊이 영상을 동시에 처리할 수 있으므로, 구성이 간단하고, 3차원 영상 처리 시간 및 전체적인 비용을 줄일 수 있다.
또한, 본 발명은, 시분할 다중화(time division multiplexing) 방식을 이용하여, 컬러 영상 정보와 깊이 영상 정보를 개별적으로 획득하고, 깊이 영상 정보 획득시, 수광부의 제 2 감지부로부터 수광되는 적외광 뿐만 아니라, 수광부의 제 1 감지부로부터 수광되는 적외광을 통해, 깊이 영상 정보를 추출할 수 있기 때문에, 깊이 영상에 대한 감도 및 콘트라스트가 향상되어, 3차원 영상의 깊이감이 개선될 수 있다.
도 2a 및 도 2b는 도 1의 수광부에 따른 베이어 패턴(bayer pattern)을 보여주는 도면으로서, 도 2a는 수광부의 픽셀 배열을 보여주는 도면이고, 도 2b는 수광부의 단위 픽셀을 보여주는 도면이다.
도 2a 및 도 2b에 도시된 바와 같이, 수광부(100)는 적색, 녹색, 청색 파장대의 가시광을 감지할 수 있는 픽셀들과, 적외광을 감지할 수 있는 픽셀들을 포함할 수 있다.
예를 들면, 수광부(100)는, 적색, 녹색, 청색 파장대의 가시광을 감지하는 제 1 감지부(110)와, 적외광을 감지하는 제 2 감지부(120)로 구성되는 단위 픽셀들이 다수개 배열될 수 있다.
여기서, 제 1 감지부(110)는, 적색 파장대의 광을 감지하는 제 1 픽셀, 녹색 파장대의 광을 감지하는 제 2 픽셀, 청색 파장대의 광을 감지하는 제 3 픽셀을 포함할 수 있다.
경우에 따라, 제 1 감지부(110)는, 황(Yellow)색 파장대의 광을 감지하는 제 1 픽셀, 시안(Cyan)색 파장대의 광을 감지하는 제 2 픽셀, 마젠타(Magenta)색 파장대의 광을 감지하는 제 3 픽셀을 포함할 수 있다.
또 다른 경우로서, 제 1 감지부(110)는, 적색 파장대의 광을 감지하는 제 1 픽셀, 녹색 파장대의 광을 감지하는 제 2 픽셀, 청색 파장대의 광을 감지하는 제 3 픽셀, 백(white)색, 황(Yellow)색, 시안(Cyan)색, 마젠타(Magenta)색 중 어느 한 색의 파장대를 갖는 광을 감지하는 제 4 픽셀을 포함할 수도 있다.
도 3a 및 도 3b는 수광부의 단위 픽셀을 보여주는 제 1 실시예로서, 도 3a는 제 2 감지부의 주변에 제 1 감지부의 픽셀들이 둘러싸는 배열 구조를 보여주고, 도 3b는 제 2 감지부의 일측에 제 1 감지부의 픽셀들이 나란히 배치되는 배열 구조를 보여주고 있다.
도 3a 및 도 3b에 도시된 바와 같이, 수광부는, 적색, 녹색, 청색 파장대의 가시광을 감지하는 제 1 감지부(110)와, 적외광을 감지하는 제 2 감지부(120)로 구성되는 단위 픽셀을 포함할 수 있다.
여기서, 제 1 감지부(110)는, 적색 파장대의 광을 감지하는 제 1 픽셀(112), 녹색 파장대의 광을 감지하는 제 2 픽셀(114), 청색 파장대의 광을 감지하는 제 3 픽셀(116)을 포함할 수 있다.
이때, 제 1, 제 2, 제 3 픽셀(112, 114, 116)들의 면적은 서로 동일할 수 있다.
그리고, 제 1, 제 2, 제 3 픽셀(112, 114, 116)들의 면적은, 적외광을 감지하는 제 2 감지부(120)의 면적과 동일할 수도 있다.
도 4는 수광부의 단위 픽셀을 보여주는 제 2 실시예이다.
도 4에 도시된 바와 같이, 수광부는, 적색, 녹색, 청색 파장대의 가시광을 감지하는 제 1 감지부(110)와, 적외광을 감지하는 제 2 감지부(120)로 구성되는 단위 픽셀을 포함할 수 있는데, 제 1 감지부(110)는, 적색 파장대의 광을 감지하는 제 1 픽셀(112), 녹색 파장대의 광을 감지하는 제 2 픽셀(114), 청색 파장대의 광을 감지하는 제 3 픽셀(116)을 포함할 수 있다.
여기서, 제 1, 제 2, 제 3 픽셀(112, 114, 116)들의 면적은 서로 동일할 수 있지만, 제 1, 제 2, 제 3 픽셀(112, 114, 116)들 중, 어느 한 픽셀의 면적은, 적외광을 감지하는 제 2 감지부(120)의 면적보다 더 클 수 있다.
이와 같이, 본 발명은 깊이 영상에 대한 감도 및 콘트라스트(contrast)에 영향을 주는 제 2 감지부(120)의 면적이 제 1 감지부(110)에 비해 상대적으로 작아도, 본 발명의 깊이 영상 처리 방법을 이용하면, 깊이 영상 및 컬러 영상에 대한 감도 및 콘트라스트가 동시에 향상될 수 있다.
이에 대한 상세한 설명은 후술하기로 한다.
도 5a 및 도 5b는 수광부의 단위 픽셀을 보여주는 제 3 실시예로서, 도 5a는 제 2 감지부의 주변에 제 1 감지부의 픽셀들이 둘러싸는 배열 구조를 보여주고, 도 5b는 제 2 감지부의 일측에 제 1 감지부의 픽셀들이 나란히 배치되는 배열 구조를 보여주고 있다.
도 5a 및 도 5b에 도시된 바와 같이, 수광부는, 황색, 시안색, 마젠타색 파장대의 가시광을 감지하는 제 1 감지부(110)와, 적외광을 감지하는 제 2 감지부(120)로 구성되는 단위 픽셀을 포함할 수 있다.
여기서, 제 1 감지부(110)는, 황(Yellow)색 파장대의 광을 감지하는 제 4 픽셀(117), 시안(Cyan)색 파장대의 광을 감지하는 제 5 픽셀(118), 마젠타(Magenta)색 파장대의 광을 감지하는 제 6 픽셀(119)을 포함할 수 있다.
이때, 제 4, 제 5, 제 6 픽셀(117, 118, 119)들의 면적은 서로 동일할 수 있다.
그리고, 제 4, 제 5, 제 6 픽셀(117, 118, 119)들의 면적은, 적외광을 감지하는 제 2 감지부(120)의 면적과 동일할 수도 있다.
도 6은 수광부의 단위 픽셀을 보여주는 제 4 실시예이다.
도 6에 도시된 바와 같이, 수광부는, 황색, 시안색, 마젠타색 파장대의 가시광을 감지하는 제 1 감지부(110)와, 적외광을 감지하는 제 2 감지부(120)로 구성되는 단위 픽셀을 포함할 수 있는데, 제 1 감지부(110)는, 황(Yellow)색 파장대의 광을 감지하는 제 4 픽셀(117), 시안(Cyan)색 파장대의 광을 감지하는 제 5 픽셀(118), 마젠타(Magenta)색 파장대의 광을 감지하는 제 6 픽셀(119)을 포함할 수 있다.
여기서, 제 4, 제 5, 제 6 픽셀(117, 118, 119)들의 면적은 서로 동일할 수 있지만, 제 4, 제 5, 제 6 픽셀(117, 118, 119)들 중, 어느 한 픽셀의 면적은, 적외광을 감지하는 제 2 감지부(120)의 면적보다 더 클 수 있다.
이와 같이, 본 발명은 깊이 영상에 대한 감도 및 콘트라스트에 영향을 주는 제 2 감지부(120)의 면적이 제 1 감지부(110)에 비해 상대적으로 작아도, 본 발명의 깊이 영상 처리 방법을 이용하면, 깊이 영상 및 컬러 영상에 대한 감도 및 콘트라스트가 동시에 향상될 수 있다.
도 7a 및 도 7b는 수광부의 단위 픽셀을 보여주는 제 5 실시예로서, 도 7a는 제 2 감지부의 주변에 제 1 감지부의 픽셀들이 둘러싸는 배열 구조를 보여주고, 도 7b는 제 2 감지부의 일측에 제 1 감지부의 픽셀들이 나란히 배치되는 배열 구조를 보여주고 있다.
도 7a 및 도 7b에 도시된 바와 같이, 수광부는, 적색, 녹색, 청색 파장대의 가시광을 감지하고, 화이트색, 황색, 시안색, 마젠타색 파장대 중, 어느 한 파장대의 가시광을 감지하는 제 1 감지부(110)와, 적외광을 감지하는 제 2 감지부(120)로 구성되는 단위 픽셀을 포함할 수 있다.
여기서, 제 1 감지부(110)는, 적색 파장대의 광을 감지하는 제 1 픽셀(112), 녹색 파장대의 광을 감지하는 제 2 픽셀(114), 청색 파장대의 광을 감지하는 제 3 픽셀(116), 백(white)색, 황(Yellow)색, 시안(Cyan)색, 마젠타(Magenta)색 중 어느 한 색의 파장대를 갖는 광을 감지하는 제 7 픽셀(111)을 포함할 수 있다.
이때, 제 1, 제 2, 제 3, 제 7 픽셀(112, 114, 116, 111)들의 면적은 서로 동일할 수 있다.
그리고, 제 1, 제 2, 제 3, 제 7 픽셀(112, 114, 116, 111)들의 면적은, 적외광을 감지하는 제 2 감지부(120)의 면적과 동일할 수도 있다.
도 8은 수광부의 단위 픽셀을 보여주는 제 6 실시예이다.
도 8에 도시된 바와 같이, 수광부는, 적색, 녹색, 청색 파장대의 가시광을 감지하고, 화이트색, 황색, 시안색, 마젠타색 파장대 중, 어느 한 파장대의 가시광을 감지하는 제 1 감지부(110)와, 적외광을 감지하는 제 2 감지부(120)로 구성되는 단위 픽셀을 포함할 수 있는데, 제 1 감지부(110)는, 적색 파장대의 광을 감지하는 제 1 픽셀(112), 녹색 파장대의 광을 감지하는 제 2 픽셀(114), 청색 파장대의 광을 감지하는 제 3 픽셀(116), 백(white)색, 황(Yellow)색, 시안(Cyan)색, 마젠타(Magenta)색 중 어느 한 색의 파장대를 갖는 광을 감지하는 제 7 픽셀(111)을 포함할 수 있다.
이때, 제 1, 제 2, 제 3, 제 7 픽셀(112, 114, 116, 111)들의 면적은 서로 동일할 수 있지만, 제 1, 제 2, 제 3, 제 7 픽셀(112, 114, 116, 111)들 중, 어느 한 픽셀의 면적은, 적외광을 감지하는 제 2 감지부(120)의 면적보다 더 클 수 있다.
이와 같이, 본 발명은 깊이 영상에 대한 감도 및 콘트라스트에 영향을 주는 제 2 감지부(120)의 면적이 제 1 감지부(110)에 비해 상대적으로 작아도, 본 발명의 깊이 영상 처리 방법을 이용하면, 깊이 영상 및 컬러 영상에 대한 감도 및 콘트라스트가 동시에 향상될 수 있다.
도 9는 도 1의 영상 처리부를 보여주는 블럭 구성도이다.
도 9에 도시된 바와 같이, 영상 처리부(200)는, 제 1 영상 처리부(210)와 제 2 영상 처리부(230)를 포함할 수 있다.
여기서, 제 1 영상 처리부(210)는, 제 1 시간 동안에, 수광부의 제 1 감지부로부터 감지된 가시광으로부터 컬러 영상 정보를 추출하고, 추출된 컬러 영상 정보를 도 1의 저장부(600)에 저장할 수 있다.
그리고, 제 2 영상 처리부(230)는, 제 2 시간 동안에, 수광부의 제 1 감지부로부터 감지된 적외광으로부터 제 1 깊이 영상 정보를 추출하여, 제 1 깊이 영상 정보의 노이즈(noise)를 제거하고, 노이즈가 제거된 제 1 깊이 영상 정보를 도 1의 저장부(600)에 저장할 수 있다.
이어, 제 2 영상 처리부(230)는, 제 2 시간 동안에, 수광부의 제 2 감지부로부터 감지된 적외광으로부터 제 2 깊이 영상 정보를 추출하고, 추출된 제 2 깊이 영상 정보를 도 1의 저장부(600)에 저장할 수 있다.
다음, 제 2 영상 처리부(230)는, 노이즈가 제거된 제 1 깊이 영상 정보와 제 2 깊이 영상 정보를 합성할 수 있다.
도 10은 도 9의 제 1 영상 처리부를 보여주는 블럭 구성도이다.
도 10에 도시된 바와 같이, 제 1 영상 처리부(210)는, 제 1 검출부(212), 제 1 변환부(214), 컬러 영상 정보 추출부(216)를 포함할 수 있다.
여기서, 제 1 검출부(212)는, 제 1 시간 동안, 수광부의 제 1 감지부로부터 감지된 가시광의 광량을 검출할 수 있다.
예를 들면, 제 1 검출부(212)는, 수광부의 단위 픽셀에서, 제 1 감지부의 제 1 픽셀로부터 적색광의 광량을 검출하고, 제 1 감지부의 제 2 픽셀로부터 녹색광의 광량을 검출하며, 제 1 감지부의 제 3 픽셀로부터 청색광의 광량을 검출하고, 제 2 감지부로부터 적외광의 광량을 검출할 수 있다.
경우에 따라, 제 1 검출부(212)는, 수광부의 타입에 따라, 적색광, 녹색광, 청색광 이외에, 백색광, 황색광, 시안색광, 마젠타색광의 광량을 검출할 수도 있다.
이어, 제 1 변환부(214)는, 검출된 가시광의 광량을 전기적 신호로 변환할 수 있다.
다음, 컬러 영상 정보 추출부(216)는, 전기적 신호로 변환된 가시광으로부터 컬러 영상 정보를 추출할 수 있다.
따라서, 제 1 영상 처리부(210)는, 제 1 시간 동안, 수광부의 제 1 감지부로부터 감지된 가시광으로부터 컬러 영상 정보를 획득할 수 있다.
도 11은 도 9의 제 2 영상 처리부를 보여주는 블럭 구성도이다.
도 11에 도시된 바와 같이, 제 2 영상 처리부(230)는, 제 2 검출부(231), 제 2 변환부(233), 제 1, 제 2 깊이 영상 정보 추출부(235, 237) 및 합성부(239)를 포함할 수 있다.
여기서, 제 2 검출부(231)는, 제 2 시간 동안에, 수광부의 제 1 감지부 및 제 2 감지부로부터 감시된 적외광의 광량을 검출할 수 있다.
예를 들면, 제 2 검출부(231)는, 수광부의 단위 픽셀에서, 제 1 감지부의 제 1 픽셀로부터 적색광 및 적외광의 광량을 검출하고, 제 1 감지부의 제 2 픽셀로부터 녹색광 및 적외광의 광량을 검출하며, 제 1 감지부의 제 3 픽셀로부터 청색광 및 적외광의 광량을 검출하고, 제 2 감지부로부터 적외광의 광량을 검출할 수 있다.
이어, 제 2 변환부(233)는, 검출된 적외광의 광량을 전기적 신호로 변환할 수 있다.
다음, 제 1 깊이 영상 정보 추출부(235)는, 수광부의 제 1 감지부로부터 감지된 적외광으로부터 제 1 깊이 영상 정보를 추출하고, 추출된 제 1 깊이 영상 정보의 노이즈를 제거하며, 노이즈가 제거된 제 1 깊이 영상 정보를 도 1의 저장부(600)에 저장할 수 있다.
그리고, 제 2 깊이 영상 정보 추출부(237)는, 수광부의 제 2 감지부로부터 감지된 적외광으로부터 제 2 깊이 영상 정보를 추출하고, 추출된 제 2 깊이 영상 정보를 도 1의 저장부(600)에 저장할 수 있다.
이어, 합성부(239)는, 제 1 깊이 영상 정보 추출부(235)로부터 추출된 제 1 깊이 영상 정보와 제 2 깊이 영상 정보 추출부(237)로부터 추출된 제 2 깊이 영상 정보를 합성하여, 최종 깊이 영상 정보를 생성할 수 있다.
이와 같이, 제 2 영상 처리부(230)는, 하기 수식 1에 의해 깊이 영상 정보를 추출할 수 있다.
[수식 1]
if (α(R2 - R1) > Rth), IR2 = IR2 + α(R2 - R1)
if (β(G2 - G1) > Gth), IR2 = IR2 + β(G2 - G1)
if (γ(B2 - B1) > Bth), IR2 = IR2 + γ(B2 - B1)
여기서, IR2는 제 2 깊이 영상 정보,
R1, G1, B1은 상기 제 1 시간 동안에, 추출된 제 1 감지부의 적외광에 대한 제 1 노이즈값,
R2, G2, B2는 상기 제 2 시간 동안에, 추출된 제 1 감지부의 적외광에 대한 제 2 노이즈값,
α, β, γ는 제 1 감지부의 감도 특성을 고려한 가중치, 그리고
Rth, Gth, Bth는 제 1 감지부의 물리적 노이즈 임계값이다.
또한, α(R2 - R1)는, 수광부의 단위 픽셀에서, 적색광과 적외광을 감지하는 제 1 감지부의 제 1 픽셀로부터 추출되어, 노이즈가 제거된 제 1 깊이 영상 정보이고, β(G2 - G1)는, 수광부의 단위 픽셀에서, 녹색광과 적외광을 감지하는 제 1 감지부의 제 2 픽셀로부터 추출되어, 노이즈가 제거된 제 1 깊이 영상 정보이며, γ(B2 - B1)는, 수광부의 단위 픽셀에서, 청색광과 적외광을 감지하는 제 1 감지부의 제 3 픽셀로부터 추출되어, 노이즈가 제거된 제 1 깊이 영상 정보이다.
도 12는 도 11의 제 1 깊이 영상 정보 추출부를 보여주는 블럭 구성도이다.
도 12에 도시된 바와 같이, 제 1 깊이 영상 정보 추출부(237)는, 노이즈 제거부(241), 비교부(243), 최종 깊이값 결정부(245)를 포함할 수 있다.
여기서, 노이즈 제거부(241)는, 수광부의 제 1 감지부로부터 감지된 적외광에 대한 노이즈를 제거하여, 노이즈가 제거된 깊이값을 산출할 수 있다.
예를 들면, 노이즈 제거부(241)는, 제 1 시간 동안에, 제 1 감지부로부터 감지된 적외광에 대한 제 1 노이즈값과 제 2 시간 동안에, 제 1 감지부로부터 감지된 적외광에 대한 제 2 노이즈값을 추출할 수 있다.
여기서, 제 1 노이즈값은, 제 1 시간 동안에, 제 1 감지부로부터 감지된 적외광 이외의 가시광일 수 있다
그리고, 제 2 노이즈값은 제 2 시간 동안에, 제 1 감지부로부터 감지된 적외광 이외의 가시광일 수 있다.
이어, 노이즈 제거부(241)는, 추출된 제 2 노이즈값으로부터 제 1 노이즈값을 감산한 차값을 산출하고, 산출된 차값에 가중치를 곱하여 노이즈가 제거된 깊이값을 산출할 수 있다.
여기서, 제 2 노이즈값과 제 1 노이즈값에 대한 차값은 노이즈가 제거된 순수 적외광에 대한 깊이값일 수 있다.
그리고, 가중치는 제 1 감지부의 각 픽셀에 대한 감도 특성을 고려한 값일 수 있다.
이어, 비교부(243)는, 노이즈가 제거된 깊이값이 제 1 감지부의 물리적 노이즈값보다 더 큰지를 비교할 수 있다.
다음, 최종 깊이값 결정부(245)는, 비교 결과, 노이즈가 제거된 깊이값이 제 1 감지부의 물리적 노이즈값보다 더 크다고 판단하면, 노이즈가 제거된 깊이값을 제 1 깊이 영상 정보에 대한 최종 깊이값으로 결정할 수 있다.
여기서, 노이즈가 제거된 깊이값이 제 1 감지부의 물리적 노이즈값보다 더 크면, 깊이 영상에 대한 감도 및 콘트라스트를 향상시키는데, 영향을 미칠 수 있지만, 노이즈가 제거된 깊이값이 제 1 감지부의 물리적 노이즈값보다 더 작거나 동일하면, 깊이 영상에 대한 감도 및 콘트라스트를 향상시키는데, 큰 영향을 미치지 않으로, 무시할 수 있다.
이와 같이, 구성되는 본 발명에 따른 3차원 영상 처리 장치의 영상 처리 방법을 설명하면 다음과 같다.
도 13은 본 발명에 따른 3차원 영상 처리 방법을 보여주는 흐름도로서, 도 1의 3차원 영상 처리 장치를 참조하여 설명하기로 한다.
도 1 및 도 13에 도시된 바와 같이, 먼저, 제어부(400)는, 타이머(700)의 시간 측정을 참조하여, 제 1 시간 동안에, 피사체(800)로 적외광을 출사하지 않도록, 발광부(500)의 구동을 오프(off)시킬 수 있다.(S110)
그리고, 수광부(100)는 피사체(800)로부터 가시광을 수광할 수 있다.(S120)
이어, 제어부(400)는, 영상 처리부(200)를 제어하여, 제 1 시간 동안, 수광부(100)의 제 1 감지부(110)에서 감지된 가시광으로부터 컬러 영상 정보를 추출할 수 있다.(S130)
다음, 제어부(400)는, 타이머(700)의 시간 측정을 참조하여, 제 2 시간 동안에, 피사체(800)로 적외광을 출사하도록, 발광부(500)의 구동을 온(on)시킬 수 있다.(S140)
그리고, 수광부(100)는 피사체(800)로부터 가시광 및 적외광을 수광할 수 있다.(S150)
이어, 제어부(400)는, 영상 처리부(200)를 제어하여, 제 2 시간 동안, 수광부(100)의 제 1 감지부(110) 및 제 2 감지부(120)에서 감지된 적외광으로부터 깊이 영상 정보를 추출할 수 있다.(S160)
다음, 제어부(400)는, 피사체(800)에 대한 컬러 영상 정보 및 깊이 영상 정보의 추출이 모두 완료되었는지 판단할 수 있다.(S170)
이어, 피사체(800)에 대한 컬러 영상 정보 및 깊이 영상 정보의 추출이 모두 완료되었다면, 제어부(400)는, 3차원 영상 구현부(300)를 제어하여, 추출된 컬러 영상 정보 및 깊이 영상 정보를 토대로, 피사체(800)의 3차원 영상을 구현할 수 있다.(S180)
하지만, 피사체(800)에 대한 컬러 영상 정보 및 깊이 영상 정보의 추출이 모두 완료되지 않았다면, S110 단계 내지 S160 단계를 반복 수행할 수 있다.
경우에 따라, S140 - S160 단계가 S110 - S130 단계보다 먼저 진행될 수도 있다.
즉, 본 발명은, 제 2 시간 동안에, 발광부(500)의 구동을 온(on)시켜, 깊이 영상 정보를 추출한 다음에, 제 1 시간 동안에, 발광부(500)의 구동을 오프(off)시켜, 컬러 영상 정보를 추출할 수도 있다.
도 14는 시간에 따른 발광부의 온/오프를 보여주는 도면으로서, 도 14에 도시된 바와 같이, 본 발명의 발광부(500)는, 제어부(400)의 제어 신호에 의해, 제 1 시간 동안에, 적외광을 출사하지 않는 단계와, 제 2 시간 동안에, 적외광을 출사하는 단계를, 교대로 반복 수행할 수 있다.
도 15는 시간에 따른 영상 처리부의 영상 정보 처리를 보여주는 도면으로서, 도 15에 도시된 바와 같이, 본 발명의 영상 처리부(200)는, 제어부(400)의 제어 신호에 의해, 제 1 시간 동안에, 컬러 영상 정보를 추출하는 단계와, 제 2 시간 동안에, 깊이 영상 정보를 추출하는 단계를, 교대로 반복 수행할 수 있다.
도 16은 도 13의 컬러 영상 정보를 추출하는 방법을 보여주는 상세 흐름도로서, 도 10의 제 1 영상 처리부를 참조하여 설명하기로 한다.
도 10 및 도 16에 도시된 바와 같이, 제 1 영상 처리부(210)의 제 1 검출부(212)는, 제 1 시간 동안에, 도 1의 제 1 감지부(110)로부터 감지된 가시광의 광량을 검출할 수 있다.(S132)
그리고, 제 1 변환부(214)는, 검출된 가시광의 광량을 전기적 신호로 변환하고,(S134) 컬러 영상 정보 추출부(216)는 제어부의 제어신호에 따라, 가시광으로부터 컬러 영상 정보를 추출할 수 있다.(S135)
여기서, 제 1 영상 처리부(210)는 도 1의 제 1, 제 2 감지부(110, 120)으로부터 적외광을 검출할 수도 있으나, 피사체로부터 입사되는 적외광의 광량은 적으므로, 무시할 수 있다.
즉, 적외광이 컬러 영상 정보의 노이즈로 작용할 수도 있으나, 발광부로부터 적외광이 출사되지 않기 때문에, 감지되는 적외광의 광량이 매우 적다.
따라서, 제 1 영상 처리부(210)는, 추출되는 컬러 영상 정보에 미치는 노이즈가 매우 작으므로, 추가적인 노이즈 제거 작업을 수행하지 않아도, 큰 문제가 되지 않는다.
도 17은 도 13의 깊이 영상 정보를 추출하는 방법을 보여주는 상세 흐름도로서, 도 11의 제 2 영상 처리부를 참조하여 설명하기로 한다.
도 11 및 도 17에 도시된 바와 같이, 제 2 영상 처리부(230)의 제 2 검출부(231)는, 제 1 시간 동안에, 도 1의 제 1 감지부(110) 및 제 2 감지부(120)로부터 감지된 적외광의 광량을 검출할 수 있다.(S162)
그리고, 제 2 변환부(233)는, 검출된 가시광의 광량을 전기적 신호로 변환한다.(S164)
이어, 제 1 깊이 영상 정보 추출부(235)는, 제 1 감지부로부터 감지된 적외광으로부터 제 1 깊이 영상 정보를 추출하고, 추출된 제 1 깊이 영상 정보의 노이즈를 제거할 수 있다.(S166)
또한, 제 2 깊이 영상 정보 추출부(237)는, 제 2 감지부로부터 감지된 적외광으로부터 제 2 깊이 영상 정보를 추출할 수 있다.(S166)
다음, 합성부(239)는, 노이즈가 제거된 제 1 깊이 영상 정보와 제 2 깊이 영상 정보를 합성할 수 있다.(S168)
이와 같이, 본 발명은, 도 1의 제 1 감지부(110)를 통해, 노이즈가 제거된 제 1 깊이 영상 정보를 추출하고, 추출된 제 1 깊이 영상 정보를, 제 2 깊이 영상 정보에 합성함으로써, 피사체에 대한 깊이 영상 정보의 감도 및 콘트라스트를 향상시킬 수 있다.
만일, 제 1 깊이 영상 정보의 합성 없이, 도 1의 제 2 감지부(120)를 통해, 획득한 제 2 깊이 영상 정보만으로 피사체의 3차원 영상을 구현할 경우, 피사체에 대한 깊이 영상 정보가 저하될 수 있다.
도 18은 제 1, 제 2 깊이 영상 정보를 합성하지 않는 베이어 패턴(bayer pattern)을 보여주는 도면이고, 도 19는 수광부에 감지되는 적외광의 분포를 보여주는 도면이며, 도 20은 제 1, 제 2 깊이 영상 정보가 합성된 베이어 패턴(bayer pattern)을 보여주는 도면이다.
도 18에 도시된 바와 같이, 수광부(100)는, 적색, 녹색, 청색 파장대의 가시광을 감지하는 제 1 감지부와, 적외광을 감지하는 제 2 감지부로 구성되는 단위 픽셀들이 다수개 배열될 수 있다.
여기서, 본 발명의 제 1 영상 처리부가 제 1 감지부로부터 컬러 영상 정보를 추출하고, 본 발명의 제 2 영상 처리부가 제 1 감지부로부터 제 1 깊이 영상 정보를 추출하지 않고, 제 2 감지부로부터 제 2 깊이 영상 정보만을 추출할 경우, 도 16과 같이, 컬러 영상 정보는, 적색 파장대의 광을 감지하는 제 1 감지부의 제 1 픽셀로부터 추출된 제 1 컬러 영상 정보(R1 - R4), 녹색 파장대의 광을 감지하는 제 1 감지부의 제 2 픽셀로부터 추출된 제 2 컬러 영상 정보(G1 - G4), 청색 파장대의 광을 감지하는 제 1 감지부의 제 3 픽셀로부터 추출된 제 3 컬러 영상 정보(B1 - B4)를 포함하고, 깊이 영상 정보는, 적외광을 감지하는 제 2 감지부로부터 추출된 깊이 영상 정보(IR1 - IR4)만을 포함할 수 있다.
따라서, 피사체의 3차원 영상을 구현할 경우, 제 2 감지부에서만 추출되는 깊이 영상 정보(IR1 - IR4)만으로는 깊이 영상의 감도 및 콘트라스트가 작으므로, 구현되는 3차원 영상의 깊이감이 저하될 수 있다.
예를 들면, 도 19에 도시된 바와 같이, 수광부(100)는 피사체로부터 반사되는 적외광(130)을 감지할 수 있는데, 적외광(130)은 적외광을 감지하는 제 2 감지부에 전부 또는 일부만이 입사될 수 있다.
따라서, 수광부(100)는, 검출할 수 있는 전체적인 적외광의 광량이 적기 때문에, 적외광으로부터 추출되는 깊이 영상에 대한 감도 및 콘트라스트가 저하될 수 있다.
그러므로, 본 발명은, 도 1의 제 1 감지부(110)를 통해, 노이즈가 제거된 제 1 깊이 영상 정보를 추출하고, 추출된 제 1 깊이 영상 정보를, 제 2 깊이 영상 정보에 합성함으로써, 피사체에 대한 깊이 영상의 감도 및 콘트라스트를 향상시킬 수 있다.
예를 들면, 도 20에 도시된 바와 같이, 수광부(100)가, 제 1 감지부(110)가 적색 파장대의 광을 감지하는 제 1 감지부(110)의 제 1 픽셀(112), 녹색 파장대의 광을 감지하는 제 1 감지부(110)의 제 2 픽셀(114), 청색 파장대의 광을 감지하는 제 1 감지부(110)의 제 3 픽셀(116) 및 적외광을 감지하는 제 2 감지부(120)을 포함할 때, 본 발명은, 제 1 감지부(110)를 통해, 노이즈가 제거된 제 1 깊이 영상 정보를 추출하고, 추출된 제 1 깊이 영상 정보를, 제 2 깊이 영상 정보에 합성함으로써, 피사체에 대한 깊이 영상의 감도 및 콘트라스트를 향상시킬 수 있다.
도 21은 도 17의 제 2 깊이 영상 정보를 추출하는 방법을 보여주는 상세 흐름도로서, 도 12의 제 1 깊이 영상 추출부를 참조하여 설명하기로 한다.
도 12 및 도 21에 도시된 바와 같이, 노이즈 제거부(241)는, 제 1 시간 동안에, 제 1 감지부로부터 감지된 적외광에 대한 제 1 노이즈값과 제 2 시간 동안에, 제 1 감지부로부터 감지된 적외광에 대한 제 2 노이즈값을 추출할 수 있다.
여기서, 제 1 노이즈값은, 제 1 시간 동안에, 제 1 감지부로부터 감지된 적외광 이외의 가시광일 수 있다
그리고, 제 2 노이즈값은 제 2 시간 동안에, 제 1 감지부로부터 감지된 적외광 이외의 가시광일 수 있다.
이어, 노이즈 제거부(241)는, 추출된 제 2 노이즈값으로부터 제 1 노이즈값을 감산한 차값을 산출하고, 산출된 차값에 가중치를 곱하여 노이즈가 제거된 깊이값을 산출할 수 있다.(S1682)
여기서, 제 2 노이즈값과 제 1 노이즈값에 대한 차값은 노이즈가 제거된 순수 적외광에 대한 깊이값일 수 있다.
그리고, 가중치는 제 1 감지부의 각 픽셀에 대한 감도 특성을 고려한 값일 수 있다.
도 22는 제 1, 제 2 감지부에 대한 광 감도 특성을 보여주는 그래프이다.
도 22에 도시된 바와 같이, 제 1, 제 2 감지부는, 광의 파장대에 따라, 광 감도 특성이 다르게 나타나는 것을 알 수 있다.
예를 들면, 도 18과 같이, 제 1 감지부의 각 픽셀에 대한 감도와 제 2 감지부의 감도는 약 3.5배 정도 차이가 날 수 있다.
즉, 적색 파장대의 광을 감지하는 제 1 감지부의 제 1 픽셀, 녹색 파장대의 광을 감지하는 제 1 감지부의 제 2 픽셀, 청색 파장대의 광을 감지하는 제 1 감지부의 제 3 픽셀에서, 적색광, 녹색광, 청색광에 대한 감도가 유사할 때, 적외광을 감지하는 제 2 감지부의 감도는 제 1 감지부의 감도보다 약 3.5배 더 큰 것을 알 수 있다.
따라서, 노이즈가 제거된 깊이값을 산출할 때, 이러한 감도 차이를 제거하기 위하여, 제 2 노이즈값과 제 1 노이즈값의 차값에 가중치를 곱하는 것이다.
다음, 비교부(243)는, 노이즈가 제거된 깊이값이 제 1 감지부의 물리적 노이즈값보다 더 큰지를 비교할 수 있다.(S1683)
다음, 최종 깊이값 결정부(245)는, 비교 결과, 노이즈가 제거된 깊이값이 제 1 감지부의 물리적 노이즈값보다 더 크다고 판단하면, 노이즈가 제거된 깊이값을 제 1 깊이 영상 정보에 대한 최종 깊이값으로 결정할 수 있다.(S1684)
여기서, 노이즈가 제거된 깊이값이 제 1 감지부의 물리적 노이즈값보다 더 크면, 깊이 영상에 대한 감도 및 콘트라스트를 향상시키는데, 영향을 미칠 수 있지만, 노이즈가 제거된 깊이값이 제 1 감지부의 물리적 노이즈값보다 더 작거나 동일하면, 깊이 영상에 대한 감도 및 콘트라스트를 향상시키는데, 큰 영향을 미치지 않으로, 무시할 수 있다.
도 23a 및 도 23b는 제 1 깊이 영상 정보와 제 2 깊이 영상 정보의 합성 여부에 따른 깊이 영상에 대한 콘트라스트를 비교한 도면으로서, 도 23a는 제 1 깊이 영상 정보와 제 2 깊이 영상 정보가 합성되지 않는 경우이고, 도 23b는 제 1 깊이 영상 정보와 제 2 깊이 영상 정보가 합성되는 경우이다.
도 23a에 도시된 바와 같이, 제 1 깊이 영상 정보의 합성 없이, 도 1의 제 2 감지부(120)를 통해, 획득한 제 2 깊이 영상 정보만으로 피사체의 3차원 영상을 구현할 경우, 피사체에 대한 깊이 영상 정보가 저하될 수 있다.
하지만, 도 23b에 도시된 바와 같이, 제 1 감지부를 통해, 노이즈가 제거된 제 1 깊이 영상 정보를 추출하고, 제 2 감지부를 통해, 제 2 깊이 영상 정보를 추출한 다음, 제 1 깊이 영상 정보와 제 2 깊이 영상 정보에 합성할 경우, 피사체에 대한 깊이 영상의 감도 및 콘트라스트가 크게 개선되는 것을 알 수 있다.
따라서, 본 발명은, 가시광을 감지하는 제 1 감지부와 적외광을 감지하는 제 2 감지부를 포함하는 수광부를 이용하여, 컬러 영상과 깊이 영상을 동시에 처리할 수 있으므로, 구성이 간단하고, 3차원 영상 처리 시간 및 전체적인 비용을 줄일 수 있다.
또한, 본 발명은, 시분할 다중화(time division multiplexing) 방식을 이용하여, 컬러 영상 정보와 깊이 영상 정보를 개별적으로 획득하고, 깊이 영상 정보 획득시, 수광부의 제 2 감지부로부터 수광되는 적외광 뿐만 아니라, 수광부의 제 1 감지부로부터 수광되는 적외광을 통해, 깊이 영상 정보를 추출할 수 있기 때문에, 깊이 영상에 대한 감도 및 콘트라스트(contrast)가 향상되어, 3차원 영상의 깊이감이 개선될 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
100 : 수광부 110 : 제 1 감지부
120 : 제 2 감지부 200 : 영상 처리부
300 : 3차원 영상 구현부 400 : 제어부
500 : 발광부 600 : 저장부
700 : 타이머 800 : 피사체
120 : 제 2 감지부 200 : 영상 처리부
300 : 3차원 영상 구현부 400 : 제어부
500 : 발광부 600 : 저장부
700 : 타이머 800 : 피사체
Claims (19)
- 소정의 피사체로부터, 광 스펙트럼의 가시 영역에 해당하는 가시광 및 적외 영역에 해당하는 적외광을 감지하는 제 1 감지부와, 상기 광 스펙트럼의 적외 영역에 해당하는 적외광을 감지하는 제 2 감지부를 포함하는 수광부;
제 1 시간 동안에, 상기 제 1 감지부로부터 컬러 영상 정보를 추출하고, 제 2 시간 동안에, 상기 제 1 감지부 및 제 2 감지부로부터 깊이 영상 정보를 추출하는 영상 처리부;
상기 추출된 컬러 영상 정보 및 깊이 영상 정보를 토대로, 상기 피사체의 3차원 영상을 구현하는 3차원 영상 구현부; 그리고,
상기 수광부, 영상 처리부, 및 3차원 영상 구현부를 제어하는 제어부를 포함하는 것을 특징으로 하는 3차원 영상 처리 장치. - 제 1 항에 있어서, 상기 제 1 감지부는,
적색광 및 적외광을 감지하는 제 1 픽셀, 녹색광 및 적외광을 감지하는 제 2 픽셀, 청색광 및 적외광을 감지하는 제 3 픽셀을 포함하는 것을 특징으로 하는 3차원 영상 처리 장치. - 제 1 항에 있어서, 상기 제 1 감지부는,
황(Yellow)색광 및 적외광을 감지하는 제 4 픽셀, 시안(Cyan)색광 및 적외광을 감지하는 제 5 픽셀, 마젠타(Magenta)색과 및 적외광을 감지하는 제 6 픽셀을 포함하는 것을 특징으로 하는 3차원 영상 처리 장치. - 제 1 항에 있어서, 상기 제 1 감지부는,
적색광 및 적외광을 감지하는 제 1 픽셀, 녹색광 및 적외광을 감지하는 제 2 픽셀, 청색광 및 적외광을 감지하는 제 3 픽셀, 백(white)색, 황(Yellow)색, 시안(Cyan)색, 마젠타(Magenta)색 중 어느 한 색광 및 적외광을 감지하는 제 7 픽셀을 포함하는 것을 특징으로 하는 3차원 영상 처리 장치. - 제 1 항에 있어서,
상기 제어부의 제어신호에 따라, 상기 제 1 시간 동안에, 상기 적외광을 출사하지 않고, 상기 제 2 시간 동안에, 상기 적외광을 출사하는 발광부를 더 포함하는 것을 특징으로 하는 3차원 영상 처리 장치. - 제 1 항에 있어서,
상기 제어부의 제어신호에 따라, 상기 발광부의 구동을 오프(off)시키기 위한 제 1 시간과 상기 발광부의 구동을 온(on)시키기 위한 제 2 시간을 측정하는 타이머(timer)를 더 포함하는 것을 특징으로 하는 3차원 영상 처리 장치. - 제 1 항에 있어서,
상기 영상 처리부로부터 추출된 컬러 영상 정보 및 깊이 영상 정보를 저장하는 저장부를 더 포함하는 것을 특징으로 하는 3차원 영상 처리 장치. - 제 1 항에 있어서, 상기 영상 처리부는,
상기 제 1 시간 동안에, 상기 제 1 감지부로부터 감지된 가시광으로부터 컬러 영상 정보를 추출하는 제 1 영상 처리부와,
상기 제 2 시간 동안에, 상기 제 1 감지부로부터 감지된 적외광으로부터 제 1 깊이 영상 정보를 추출하여 상기 제 1 깊이 영상 정보의 노이즈(noise)를 제거하고, 상기 제 2 감지부로부터 감지된 적외광으로부터 제 2 깊이 영상 정보를 추출하며, 상기 제 1, 제 2 깊이 영상 정보를 합성하는 제 2 영상 처리부를 포함하는 것을 특징으로 하는 3차원 영상 처리 장치. - 제 8 항에 있어서, 상기 제 1 영상 처리부는,
상기 제 1 시간 동안에, 상기 제 1 감지부로부터 감지된 가시광의 광량을 검출하는 제 1 검출부;
상기 검출된 가시광의 광량을 전기적 신호로 변환하는 제 1 변환부; 그리고,
상기 가시광으로부터 컬러 영상 정보를 추출하는 컬러 영상 정보 추출부를 포함하는 것을 특징으로 하는 3차원 영상 처리 장치. - 제 8 항에 있어서, 상기 제 2 영상 처리부는,
상기 제 2 시간 동안에, 상기 제 1 감지부 및 제 2 감지부로부터 감지된 적외광의 광량을 검출하는 제 2 검출부;
상기 검출된 적외광의 광량을 전기적 신호로 변환하는 제 2 변환부;
상기 제 1 감지부로부터 감지된 적외광으로부터 제 1 깊이 영상 정보를 추출하고, 상기 추출된 제 1 깊이 영상 정보의 노이즈를 제거하는 제 1 깊이 영상 정보 추출부;
상기 제 2 감지부로부터 감지된 적외광으로부터 제 2 깊이 영상 정보를 추출하는 제 2 깊이 영상 정보 추출부; 그리고,
상기 노이즈가 제거된 제 1 깊이 영상 정보와 제 2 깊이 영상 정보를 합성하는 합성부를 포함하는 것을 특징으로 하는 3차원 영상 처리 장치. - 제 10 항에 있어서, 상기 제 1 깊이 영상 정보 추출부는,
상기 제 1 감지부로부터 감지된 적외광에 대한 노이즈를 제거하여, 노이즈가 제거된 깊이값을 산출하는 노이즈 제거부;
상기 노이즈가 제거된 깊이값이 상기 제 1 감지부의 물리적 노이즈값보다 더 큰지를 비교하는 비교부;
상기 비교 결과, 상기 노이즈가 제거된 깊이값이 상기 제 1 감지부의 물리적 노이즈값보다 더 크다면, 상기 노이즈가 제거된 깊이값을 상기 제 1 깊이 영상 정보에 대한 최종 깊이값으로 결정하는 최종 깊이값 결정부를 포함하는 것을 특징으로 하는 3차원 영상 처리 장치. - 제 11 항에 있어서, 상기 노이즈 제거부는,
상기 제 1 시간 동안에, 상기 제 1 감지부로부터 감지된 적외광에 대한 제 1 노이즈값과 상기 제 2 시간 동안에, 상기 제 1 감지부로부터 감지된 적외광에 대한 제 2 노이즈값을 추출하고, 상기 추출된 제 2 노이즈값으로부터 상기 제 1 노이즈값을 감산한 차값을 산출하며, 상기 산출된 차값에 가중치를 곱하여 노이즈가 제거된 깊이값을 산출하는 것을 특징으로 하는 3차원 영상 처리 장치. - 제 8 항에 있어서, 상기 제 2 영상 처리부는, 하기 수식 1에 의해 상기 깊이 영상 정보를 추출하는 것을 특징으로 하는 3차원 영상 처리 장치.
[수식 1]
if (α(R2 - R1) > Rth), IR2 = IR2 + α(R2 - R1)
if (β(G2 - G1) > Gth), IR2 = IR2 + β(G2 - G1)
if (γ(B2 - B1) > Bth), IR2 = IR2 + γ(B2 - B1)
(여기서, IR2는 제 2 깊이 영상 정보,
R1, G1, B1은 상기 제 1 시간 동안에, 추출된 제 1 감지부의 적외광에 대한 제 1 노이즈값,
R2, G2, B2는 상기 제 2 시간 동안에, 추출된 제 1 감지부의 적외광에 대한 제 2 노이즈값,
α, β, γ는 제 1 감지부의 감도 특성을 고려한 가중치, 그리고
Rth, Gth, Bth는 제 1 감지부의 물리적 노이즈 임계값이다.) - 가시광과 적외광을 감지하는 제 1 감지부와, 상기 적외광을 감지하는 제 2 감지부를 포함하는 수광부와, 상기 적외광을 발광하는 발광부를 포함하는 3차원 영상 처리 장치의 영상 처리 방법에 있어서,
소정의 피사체로부터, 상기 가시광 및 적외광을 감지하는 단계;
제 1 시간 동안에, 상기 수광부의 제 1 감지부에서 감지된 상기 가시광으로부터 컬러 영상 정보를 추출하는 단계;
제 2 시간 동안에, 상기 수광부의 제 1 감지부 및 제 2 감지부에서 감지된 상기 적외광으로부터 깊이 영상 정보를 추출하는 단계;
상기 피사체에 대한 컬러 영상 정보 및 깊이 영상 정보의 추출이 모두 완료되었는지 판단하는 단계; 그리고,
상기 피사체에 대한 컬러 영상 정보 및 깊이 영상 정보의 추출이 모두 완료되었다면, 상기 추출된 컬러 영상 정보 및 깊이 영상 정보를 토대로, 상기 피사체의 3차원 영상을 구현하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 처리 방법. - 제 14 항에 있어서, 상기 가시광 및 적외광을 감지하는 단계 이전에,
상기 제 1 시간 동안에, 상기 발광부의 구동을 오프(off)시켜 상기 적외광을 출사하지 않는 단계, 또는 상기 제 2 시간 동안에, 상기 발광부의 구동을 온(on)시켜 상기 적외광을 상기 피사체로 출사하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 처리 방법. - 제 14 항에 있어서, 상기 제 1 시간 동안에, 상기 컬러 영상 정보를 추출하는 단계는,
상기 제 1 시간 동안에, 상기 제 1 감지부로부터 감지된 가시광의 광량을 검출하는 단계;
상기 검출된 가시광의 광량을 전기적 신호로 변환하는 단계; 그리고,
상기 가시광으로부터 컬러 영상 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 처리 방법. - 제 14 항에 있어서, 상기 제 2 시간 동안에, 상기 깊이 영상 정보를 추출하는 단계는,
상기 제 2 시간 동안에, 상기 제 1 감지부 및 제 2 감지부로부터 감지된 적외광의 광량을 검출하는 단계;
상기 검출된 적외광의 광량을 전기적 신호로 변환하는 단계;
상기 제 1 감지부로부터 감지된 적외광으로부터 제 1 깊이 영상 정보를 추출하고, 상기 추출된 제 1 깊이 영상 정보의 노이즈를 제거하는 단계;
상기 제 2 감지부로부터 감지된 적외광으로부터 제 2 깊이 영상 정보를 추출하는 단계;
상기 노이즈가 제거된 제 1 깊이 영상 정보와 제 2 깊이 영상 정보를 합성하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 처리 방법. - 제 17 항에 있어서, 상기 제 1 깊이 영상 정보의 노이즈를 제거하는 단계는,
상기 제 1 감지부로부터 감지된 적외광에 대한 노이즈를 제거하여, 노이즈가 제거된 깊이값을 산출하는 단계;
상기 노이즈가 제거된 깊이값이 상기 제 1 감지부의 물리적 노이즈값보다 더 큰지를 비교하는 단계;
상기 비교 결과, 상기 노이즈가 제거된 깊이값이 상기 제 1 감지부의 물리적 노이즈값보다 더 크다면, 상기 노이즈가 제거된 깊이값을 상기 제 1 깊이 영상 정보에 대한 최종 깊이값으로 결정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 처리 방법. - 제 18 항에 있어서, 상기 노이즈가 제거된 깊이값을 산출하는 단계는,
상기 제 1 시간 동안에, 상기 제 1 감지부로부터 감지된 적외광에 대한 제 1 노이즈값과 상기 제 2 시간 동안에, 상기 제 1 감지부로부터 감지된 적외광에 대한 제 2 노이즈값을 추출하는 단계;
상기 추출된 제 2 노이즈값으로부터 상기 제 1 노이즈값을 감산한 차값을 산출하는 단계;
상기 산출된 차값에 가중치를 곱하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 처리 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130067950A KR20140145470A (ko) | 2013-06-13 | 2013-06-13 | 3차원 영상 처리 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130067950A KR20140145470A (ko) | 2013-06-13 | 2013-06-13 | 3차원 영상 처리 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20140145470A true KR20140145470A (ko) | 2014-12-23 |
Family
ID=52675243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130067950A KR20140145470A (ko) | 2013-06-13 | 2013-06-13 | 3차원 영상 처리 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20140145470A (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160095824A (ko) * | 2015-02-04 | 2016-08-12 | 엘지전자 주식회사 | 디지털 디바이스 및 그의 컬러 영상 획득 방법 |
| WO2016137239A1 (en) * | 2015-02-26 | 2016-09-01 | Dual Aperture International Co., Ltd. | Generating an improved depth map usinga multi-aperture imaging system |
| WO2016137238A1 (en) * | 2015-02-26 | 2016-09-01 | Dual Aperture International Co., Ltd. | Processing multi-aperture image data |
| WO2016137237A1 (en) * | 2015-02-26 | 2016-09-01 | Dual Aperture International Co., Ltd. | Sensor for dual-aperture camera |
| CN109040566A (zh) * | 2018-09-14 | 2018-12-18 | 深圳阜时科技有限公司 | 图像传感器、图像获取装置、身份识别装置及电子设备 |
| CN113542712A (zh) * | 2020-04-16 | 2021-10-22 | 钰立微电子股份有限公司 | 多深度信息的处理方法与处理系统 |
-
2013
- 2013-06-13 KR KR1020130067950A patent/KR20140145470A/ko not_active Application Discontinuation
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160095824A (ko) * | 2015-02-04 | 2016-08-12 | 엘지전자 주식회사 | 디지털 디바이스 및 그의 컬러 영상 획득 방법 |
| WO2016137239A1 (en) * | 2015-02-26 | 2016-09-01 | Dual Aperture International Co., Ltd. | Generating an improved depth map usinga multi-aperture imaging system |
| WO2016137238A1 (en) * | 2015-02-26 | 2016-09-01 | Dual Aperture International Co., Ltd. | Processing multi-aperture image data |
| WO2016137237A1 (en) * | 2015-02-26 | 2016-09-01 | Dual Aperture International Co., Ltd. | Sensor for dual-aperture camera |
| CN109040566A (zh) * | 2018-09-14 | 2018-12-18 | 深圳阜时科技有限公司 | 图像传感器、图像获取装置、身份识别装置及电子设备 |
| CN109040566B (zh) * | 2018-09-14 | 2024-04-02 | 深圳阜时科技有限公司 | 图像传感器、图像获取装置、身份识别装置及电子设备 |
| CN113542712A (zh) * | 2020-04-16 | 2021-10-22 | 钰立微电子股份有限公司 | 多深度信息的处理方法与处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20140145470A (ko) | 3차원 영상 처리 장치 및 방법 | |
| JP7021885B2 (ja) | 距離測定装置 | |
| US9491440B2 (en) | Depth-sensing camera system | |
| KR102400992B1 (ko) | 깊이 정보 추출 장치 및 방법 | |
| KR102086509B1 (ko) | 3차원 영상 획득 방법 및 장치 | |
| KR101966975B1 (ko) | 스테레오 매칭장치 | |
| US20110298909A1 (en) | Image processing apparatus, image processing method, program and electronic apparatus | |
| JP4346634B2 (ja) | 目標物検出装置 | |
| US20190295279A1 (en) | Method and Apparatus for Capturing Images and Associated 3D Model Based on a Single Image Sensor and Structured-Light Patterns in the Visible Spectrum | |
| EP2853919B1 (en) | Apparatus generating color and depth images | |
| US9103663B2 (en) | Depth sensor, method of calculating depth in the same | |
| EP3270587A1 (en) | Image processing device, image processing method, and program | |
| US20150358592A9 (en) | Imaging Device, Image Processing Device, Image Processing Method, and Image Processing Program | |
| JP6467516B2 (ja) | 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法 | |
| US10931895B2 (en) | Image processing method, image processing device, and storage medium | |
| US20130051617A1 (en) | Method for sensing motion and device for implementing the same | |
| EP3270586A1 (en) | Image processing device, image processing method, and program | |
| WO2017168477A1 (ja) | 撮像装置および画像処理方法 | |
| US20090123061A1 (en) | Depth image generating method and apparatus | |
| US9871969B2 (en) | Image processing device, imaging device, image processing method, and image processing program | |
| JP2010063065A (ja) | 画像入力装置 | |
| US10187592B2 (en) | Imaging device, image signal processing method, and image signal processing program | |
| JPWO2016174778A1 (ja) | 撮像装置、画像処理装置および画像処理方法 | |
| KR102553308B1 (ko) | 이미지 검출 장치 및 이를 이용한 이미지 검출 방법 | |
| US11010895B2 (en) | Processor for electronic endoscope and electronic endoscope system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |