KR102241706B1 - 3차원 카메라 및 그 제어 방법 - Google Patents

Abstract

3차원 카메라 및 그 제어 방법이 개시된다. 본 발명은, 소정의 패턴이 부가된 IR 광을 생성하여 송출하는 송광부, RGB 광과 상기 송출된 IR 광의 반사광을 감지하는 수광부 및 상기 송광부와 상기 수광부를 제어하고, 상기 감지된 RGB 광과 상기 감지된 IR 광의 반사광을 이용하여 3차원 영상을 생성하는 제어부를 포함한다. 본 발명에 의하면, RGB 광과 IR 광을 감지함에 있어서 RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다.

Description

3차원 카메라 및 그 제어 방법{3 DIMENSIONAL CAMERA AND METHOD FOR CONTROLLING THE SAME}

본 발명은 3차원 카메라에 관한 것으로, 보다 상세하게는, IR 광과 RGB 광을 이용하여 3차원 영상을 생성할 수 있도록 하는 3차원 카메라 및 그 제어 방법에 관한 것이다.

종래의 카메라는 2 차원 이미지 센서를 이용하여 영상을 획득하는 것이었으므로 3 차원 정보인 물체까지의 거리(depth) 정보를 얻을 수 없었다. 그러나 최근에는 전방 물체까지의 거리 정보를 획득하기 위한 방법으로 다양한 기술이 개발되어 사용되고 있다. 이러한 전방 물체에 대한 거리 정보를 획득하는 방식에는 구조광 방식, TOF(Time Of Flight) 방식, RGBIR 방식, 스테레오 카메라 방식 등이 있다.

먼저, 구조광 방식은 특정 패턴이 코팅된 레이저 광을 물체에 조사하고, 그에 기초하여 되돌아오는 반사광을 획득한 다음, 패턴의 쉬프트 량을 계산하고 그에 기초하여 전방 물체에 대한 거리 정보를 획득하는 방식을 말한다.

다음으로, TOF 방식은 광을 조사한 다음 조사된 광에 대한 반사광이 수신되는 시간에 기초하여 물체까지의 거리를 산출하는 방식을 말한다.

그리고, RGBIR 방식은 1개의 카메라에 RGB 색상 정보를 획득하는 RGB 센서와 거리 정보 측정용 IR 센서를 모두 포함하여 2차원 영상과 물체까지의 거리 정보를 함께 획득하는 방식을 말한다.

상술한 거리 정보 획득 방식들 중에서 RGBIR 방식의 경우 2차원 영상과 물체까지의 거리 정보를 함께 획득할 수 있는 장점이 있으나, 센서의 IR 픽셀에 대해서는 RGB 광이, RGB 픽셀에 대해서는 IR 광이 광노이즈로 작용하여 성능이 저하되는 문제점이 있다.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있도록 하는 3차원 카메라 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.

또 다른 목적은 영상을 압축 센싱(compressive sensing) 방법으로 획득하는 경우, 압축된 정보로 감지된 영상을 빠르게 복원할 수 있는 3차원 카메라 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 소정의 패턴(pattern)이 부가된 IR 광(infrared light)을 생성하여 송출하는 송광부, RGB 광(RGB light)과 상기 송출된 IR 광의 반사광(reflected light)을 감지하는 수광부 및 상기 송광부와 상기 수광부를 제어하고, 상기 감지된 RGB 광과 상기 감지된 IR 광의 반사광을 이용하여 3차원 영상을 생성하는 제어부를 포함하는 3차원 카메라를 제공한다.

상기 수광부는 상기 RGB 광과 상기 IR 광의 반사광을 집광하는 렌즈, 상기 렌즈에서 집광된 광을 제1 경로와 제2 경로로 반사하는 반사 거울(reflection mirror), 상기 제1 경로로 반사되는 광에서 상기 RGB 광을 감지하는 RGB 센서 및 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광을 감지하는 IR 센서를 포함할 수 있다.

상기 반사 거울은 상기 제어부의 제어에 따라 입사되는 광의 반사 경로를 조절하는 액티브 미러(active mirror)일 수 있다.

상기 수광부는 상기 제1 경로로 반사되는 광을 집광하는 제1 렌즈 및 상기 제1 렌즈에서 집광된 광에서 상기 IR 광의 반사광을 차단하는 IR 광 차단 필터(IR cut filter)를 상기 제1 경로 상에 더 포함할 수 있다. 상기 수광부는 상기 제2 경로로 반사되는 광을 집광하는 제2 렌즈 및 상기 제2 렌즈에서 집광된 광에서 상기 IR 광의 반사광만 통과시키는 IR 광 통과 필터(IR band pass filter)를 제2 경로 상에 더 포함할 수 있다.

상기 제1 경로와 상기 제2 경로는 상기 반사 거울을 중심으로 대칭을 이루도록 형성될 수 있고, 상기 RGB 센서는 상기 제1 경로에 위치하고, 상기 IR 센서는 상기 제2 경로에 위치할 수 있다.

상기 수광부는 상기 렌즈와 상기 반사 거울 사이에 위치하는 엑스 프리즘(X-prism)을 더 포함할 수 있고, 상기 제1 경로와 상기 제2 경로는 상기 엑스 프리즘을 통과하여 상기 반사 거울의 반사면과 평행하게 형성될 수 있다.

상기 반사 거울은 회전 중심을 기준으로 회전이 가능할 수 있고, 상기 제어부는 상기 제1 경로와 상기 제2 경로가 형성되도록 상기 회전 중심을 기준으로 상기 반사 거울의 회전을 제어할 수 있다.

상기 RGB 센서와 상기 IR 센서는 각각 1개의 감지기로 이루어질 수 있고, 상기 RGB 센서는 상기 제1 경로로 반사되는 광에서 상기 RGB 광에 대한 압축된 정보를 감지하고, 상기 IR 센서는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지할 수 있다. 상기 제어부는 상기 감지된 RGB 광에 대한 압축된 정보와 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 3차원 영상을 생성할 수 있다.

상기 RGB 센서는 각각 R광을 감지하는 1개의 R광 감지기, G광을 감지하는 1개의 G광 감지기, B광을 감지하는 1개의 B광 감지기로 이루어질 수 있고, 상기 IR 센서는 1개의 감지기로 이루어질 수 있다. 상기 R광 감지기, 상기 G광 감지기 및 상기 B광 감지기는 상기 제1 경로로 반사되는 광에서 상기 R광, 상기 G광 및 상기 B광에 대한 압축된 정보를 각각 감지하고, 상기 IR 센서는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지할 수 있다. 상기 제어부는 상기 감지된 R광, G광 및 B광 각각에 대한 압축된 정보와 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 3차원 영상을 생성할 수 있다.

상기 제1 경로와 상기 제2 경로는 동일한 제3 경로로 형성될 수 있고, 상기 수광부는 상기 제3 경로로 반사되는 광을 집광하는 제3 렌즈, 상기 제3 렌즈에서 집광된 광에서 상기 IR 광의 반사광을 차단하는 IR 광 차단 필터 및 상기 제3 렌즈에서 집광된 광에서 상기 IR 광의 반사광만 통과시키는 IR 광 통과 필터를 제3 경로 상에 더 포함할 수 있다.

상기 제3 렌즈는 상기 제3 경로로 반사되는 광이 상기 IR 광 차단 필터를 통과하도록 집광하는 렌즈와, 상기 제3 경로로 반사되는 광이 상기 IR 광 통과 필터를 통과하도록 집광하는 렌즈로 이루어질 수 있다.

상기 RGB 센서는 각각 R광을 감지하는 1개의 R광 감지기, G광을 감지하는 1개의 G광 감지기, B광을 감지하는 1개의 B광 감지기로 이루어질 수 있다. 상기 제3 렌즈는 상기 제3 경로로 반사되는 광이 상기 IR 광 차단 필터를 통과하여 상기 R광 감지기, 상기 G광 감지기 및 상기 B광 감지기 각각에 도달하도록 각각 집광하는 3개의 분리된 렌즈와, 상기 제3 경로로 반사되는 광이 상기 IR 광 통과 필터를 통과하도록 집광하는 렌즈로 이루어질 수 있다.

상기 제3 렌즈는 상기 제3 경로로 반사되는 광이 상기 IR 광 차단 필터를 통과하여 상기 R광 감지기, 상기 G광 감지기 및 상기 B광 감지기 각각에 도달하고, 상기 제3 경로로 반사되는 광이 상기 IR 광 통과 필터를 통과하도록, 상기 제3 렌즈의 표면에 블랙(black) 처리될 수 있다.

상기 수광부는 상기 R광 감지기, 상기 G광 감지기, 상기 B광 감지기 및 상기 IR 센서의 사이 각각에 위치하는 벽(barrier)을 더 포함할 수 있다.

상기 수광부는 상기 제3 경로로 반사되는 광이 상기 IR 광 차단 필터 및 상기 IR 광 통과 필터를 통과한 이후에 통과하도록 배치된 복수의 마이크로 렌즈를 더 포함할 수 있다.

상기 제3 렌즈는 상기 제3 렌즈에서 집광된 광이 상기 R광 감지기, 상기 G광 감지기 및 상기 B광 감지기와 상기 IR 센서에서 각각 감지되도록 표면에 복수의 홈이 형성될 수 있다.

상기 RGB 센서와 상기 IR 센서는 2개 이상이며 상기 반사 거울의 픽셀 수보다는 적은 수의 감지기로 각각 이루어질 수 있다. 상기 RGB 센서는 상기 제1 경로로 반사되는 광에서 상기 RGB 광에 대한 압축된 정보를 감지할 수 있고, 상기 IR 센서는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지할 수 있다. 상기 제어부는 상기 감지된 RGB 광에 대한 압축된 정보와 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 3차원 영상을 생성할 수 있다.

상기 RGB 센서와 상기 IR 센서는 상기 반사 거울의 픽셀 수보다 적은 수의 감지기로 각각 이루어질 수 있다. 상기 RGB 센서는 상기 제1 경로로 반사되는 광에서 상기 RGB 광에 대한 압축된 정보를 감지하고, 상기 IR 센서는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지할 수 있다. 상기 제어부는 상기 RGB 센서 및 상기 IR 센서에서 감지된 압축된 정보를 각 센서의 중심을 기준으로 사분면으로 나눈 4개의 영역으로 구분하여 복원하여 3차원 영상을 생성할 수 있다.

또한, 본 발명의 다른 측면에 따르면, 소정의 패턴이 부가된 IR 광을 생성하여 송출하는 단계, RGB 광과 상기 송출된 IR 광의 반사광을 렌즈를 이용하여 집광하는 단계, 상기 렌즈에서 집광된 광을 반사 거울을 이용하여 제1 경로와 제2 경로로 반사하는 단계, 상기 제1 경로로 반사되는 광에서 상기 RGB 광을 RGB 센서를 이용하여 감지하고, 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광을 IR 센서를 이용하여 감지하는 단계 및 상기 감지된 RGB 광과 상기 감지된 IR 광의 반사광을 이용하여 3차원 영상을 생성하는 단계를 포함하는 3차원 카메라의 제어방법을 제공한다.

본 발명에 따른 3차원 카메라 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.

본 발명의 실시 예들 중 적어도 하나에 의하면, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다는 장점이 있다.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 수광부에 포함된 구성 요소들의 배치 효율을 높일 수 있다는 장점이 있다.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, RGB 광과 IR 광을 수신하는 다양한 구조를 채택함으로써, 광노이즈를 더욱 효과적으로 차단할 수 있다는 장점이 있다.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, RGB 광과 IR 광의 반사광에 대한 압축된 정보를 감지함으로써, 센서의 구현 비용을 감소시킬 수 있다는 장점이 있다.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 영상을 압축 센싱 방법으로 획득하는 경우에 있어서, 압축된 정보로 감지된 영상을 빠르게 복원할 수 있다는 장점이 있다.

본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시 예에 따른 3차원 카메라의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 3차원 카메라의 제어 방법의 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 영상을 획득하는 것을 설명하기 위한 3차원 카메라의 블록도이다.
도 4 내지 도 6은 본 발명의 일 실시 예에 따른 RGB 광과 IR 광을 분리하여 감지하는 것을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 영상의 압축 센싱 방법의 흐름도이다.
도 8은 본 발명의 일 실시 예에 따른 영상의 압축 센싱 방법을 설명하기 위한 도면이다.
도 9 내지 도 15는 본 발명의 일 실시 예에 따른 영상의 압축 센싱 방법에서 RGB 광과 IR 광을 분리하여 감지하는 것을 설명하기 위한 도면이다.
도 16 내지 도 21은 본 발명의 일 실시 예에 따른 영상의 압축 센싱 방법에서 압축된 정보를 빠르게 복원하는 것을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하에서는 이와 같이 구성된 3차원 카메라에서 구현될 수 있는 제어 방법과 관련된 실시 예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.

도 1은 본 발명의 일 실시 예에 따른 3차원 카메라의 블록도이다.

도 1을 참조하면, 상기 3차원 카메라(100)는 송광부(110), 수광부(120), 제어부(130), 메모리(140) 및 출력부(150)를 포함한다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 3차원 카메라(100)는 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 가질 수도 있다.

이하, 상기 구성요소들에 대해 차례로 살펴본다.

상기 송광부(110)는 전방 물체까지의 거리를 산출하는데 이용되는 광을 발생하여 송출할 수 있다. 상기 수광부(120)에서 송출되는 광은 IR 레이저 광일 수 있다. 그러나 본 발명의 범위가 이에 한정되는 것은 아니다.

상기 송광부(110)의 상기 3차원 카메라(100)에서의 탑재 위치는 고정되어 있을 수도 있고, 변동될 수도 있다. 이때, 상기 송광부(110)는 상기 송광부(110)의 위치를 변동할 수 있는 구동력을 제어하는 위치 변경부를 포함할 수 있다.

상기 수광부(120)는 상기 송광부(110)에서 송출된 IR 광에 기초한 반사광을 수신할 수 있다. 또한, 상기 수광부(120)는 RGB 광을 수신할 수 있다. 상기 수광부(120)의 위치 역시 상기 송광부(110)와 마찬가지로 상기 3차원 카메라(100)에서의 탑재 위치가 고정되어 있을 수 있고, 변경될 수도 있다.

상기 제어부(130)는 상기 3차원 카메라(100)의 동작을 전반적으로 제어한다. 보다 구체적으로 상기 3차원 카메라(100)의 각 구성 요소들의 동작을 제어하며, 상기 제어부(130)는 상기 수광부(120)를 통하여 감지되는 RGB 광과 IR 광의 반사광을 이용하여 3차원 영상을 생성할 수 있다.

상기 메모리(140)는 상기 3차원 카메라(100)의 구동을 위한 각종 소프트웨어가 저장될 수 있고, 상기 3차원 카메라(100)의 동작 중에 생성되는 데이터, 외부로부터 수신되는 데이터 등을 일시적으로 또는 영구적으로 저장할 수 있다.

상기 출력부(150)는 시각적 정보, 청각적 정보, 또는 촉각적 정보를 사용자에게 제공할 수 있다. 여기서, 정보라 함은 상기 3차원 카메라(100)의 단순한 동작 상태일 수도 있고, 상기 3차원 카메라(100)의 동작 상태를 반영한 안내나 경고를 위한 정보일 수도 있다. 한편, 상기 출력부(150)는 시각적 정보 제공을 위한 디스플레이 수단, 청각적 정보를 제공하기 위한 음향 출력 수단 등을 포함할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 3차원 카메라의 제어 방법의 흐름도이다. 도 3은 본 발명의 일 실시 예에 따른 영상을 획득하는 것을 설명하기 위한 3차원 카메라의 블록도이다.

본 발명의 일 실시 예에 따른 3차원 카메라의 제어 방법은, 도 1을 참조하여 설명한 3차원 카메라(100)에서 구현될 수 있다. 이하 필요한 도면들을 참조하여, 본 발명의 일 실시 예에 따른 3차원 카메라의 제어 방법과, 이를 구현하기 위한 3차원 카메라(100)의 동작을 상세히 설명하기로 한다.

도 2를 참조하면, 송광부(110)는 제어부(130)의 제어에 따라, 소정의 패턴(pattern)이 부가된 IR 광(infrared light)을 생성하여 송출할 수 있다[S100].

도 3에 도시된 바와 같이, 송광부(110)는 IR 레이저(111), 렌즈(112), 패턴 소자(113)를 포함할 수 있다. IR 레이저(111)는 IR 광을 방출하는 광원에 해당할 수 있다. IR 레이저(111)에서 방출된 IR 광은 렌즈(112)를 통과하여 패턴 소자(113)를 통과할 수 있다.

상기 렌즈(112)는 상기 방출된 IR 광의 초점을 조절할 수 있다. 상기 패턴 소자(113)에서는 방출된 IR 광에 소정의 패턴을 부가할 수 있다. 제어부(130)는 IR 광에 부가된 패턴의 이동 값을 이용하여 IR 광이 반사된 객체까지의 거리 정보를 산출할 수 있다.

소정의 패턴이 부가된 IR 광의 송출이 가능한 송광부(110)에 대해서는 전술한 내용 이외에 공지의 기술에 따르므로, 여기서는 더 이상 구체적인 설명은 생략하기로 한다. 또한, 도 3에 도시된 송광부(110)는 구성요소들을 개략적으로 도시한 것으로, 송광부(110)는 다른 구성요소들을 더 포함할 수 있다.

다시 도 2를 참조하면, 수광부(120)는 제어부(130)의 제어에 따라, RGB 광(RGB light)과 상기 송출된 IR 광의 반사광(reflected light)을 렌즈(10)를 이용하여 집광할 수 있다[S110].

도 3에 도시된 바와 같이, 수광부(120)는 렌즈(10)를 포함할 수 있다. 송광부(110)에서 송출된 IR 광(실선으로 표시된)은 전방의 객체(200)에서 반사될 수 있다. 반사된 IR 광은 렌즈(10)를 통하여 수광부(120)의 내부로 입사할 수 있다.

또한, RGB 광(점선으로 표시된)도 렌즈(10)를 통하여 수광부(120)의 내부로 입사할 수 있다. 여기서 RGB 광은 일반적인 2차원 영상을 획득할 수 있는 광을 말하며, 일 예에 따라, 가시광의 의미로 사용될 수 있다.

다시 도 2를 참조하면, 제어부(130)는 렌즈(10)에서 집광된 광을 반사 거울(20)을 이용하여 제1 경로와 제2 경로로 반사할 수 있다[S120].

도 3에 도시된 바와 같이, 렌즈(10)에서 집광된 광(일점쇄선으로 표시된)은 반사 거울(20)로 진행될 수 있다. 일 예에 따라, 반사 거울(20)은 DMD(Digital Micro-Mirror Device)와 같은 액티브 미러로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 집광된 광의 경로를 분리할 수 있다면, 엑스 프리즘(X-prism)과 같은 패시브 미러 기타 다양한 방법으로 구현될 수 있다.

반사 거울(20)은 제어부(130)의 제어에 따라 제1 경로로 상기 집광된 광을 보낼 수 있다. 또한, 반사 거울(20)은 제어부(130)의 제어에 따라 제2 경로로 상기 집광된 광을 보낼 수 있다. 일 예에 따라, 제1 경로 또는 제2 경로로의 분리는 DMD의 미러 온/오프(on/off)를 제어하여 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 집광된 광의 경로를 분리할 수 있으면 어느 방법이나 적용될 수 있다.

다시 도 2를 참조하면, RGB 센서(40)는 상기 제1 경로로 반사되는 광에서 상기 RGB 광을 감지할 수 있다. IR 센서(30)는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광을 감지할 수 있다[S130].

도 3에 도시된 바와 같이, 제1 경로로 진행되는 광은 RGB 센서(40)에서 감지될 수 있다. RGB 센서(40)에서는 RGB 광(점선으로 표시된)을 감지하여 RGB 광에 대한 영상을 획득할 수 있다. 획득된 영상(이점쇄선으로 표시된)은 디지털 데이터로 변환되어 제어부(130)로 전송될 수 있다.

마찬가지로, 제2 경로로 진행되는 광은 IR 센서(30)에서 감지될 수 있다. IR 센서(30)에서는 IR 광의 반사광(실선으로 표시된)을 감지하여 IR 광의 반사광에 대한 영상을 획득할 수 있다. 획득된 영상(이점쇄선으로 표시된)은 디지털 데이터로 변환되어 제어부(130)로 전송될 수 있다.

RGB 센서(40) 및 IR 센서(30)에서 광노이즈 없이 영상을 획득하기 위하여 필터 등의 구성 요소를 더 포함할 수 있으며, 이에 대해서는 후술하기로 한다.

다시 도 2를 참조하면, 제어부(130)는 상기 감지된 RGB 광과 상기 감지된 IR 광의 반사광을 이용하여 3차원 영상을 생성할 수 있다[S140].

제어부(130)는 IR 광의 반사광을 감지하여 획득한 영상으로부터 IR 광이 반사된 객체까지의 거리를 산출할 수 있다. 이를 통하여, 제어부(130)는 영상에 포함된 객체들에 대한 3차원 정보를 획득할 수 있다.

제어부(130)는 RGB 광을 감지하여 획득한 영상으로부터 2차원 영상을 획득할 수 있다. 제어부(130)는 상기 2차원 영상에 상기 3차원 정보를 부가하여 3차원 영상을 생성할 수 있다. 이 경우, 제어부(130)는 메모리(140)에 저장된 3차원 영상 생성 알고리즘을 이용할 수 있다. 다만, 이에 한정되는 것은 아니며, 상기 복원 알고리즘은 다른 저장 매체나 외부 서버 등에서 수신할 수 있다.

IR 광에 의한 영상과 RGB 광에 의한 영상을 이용하여 3차원 영상을 획득하는 것은 공지의 알고리즘이 적용될 수 있다. 따라서, 여기에서는 더 이상 구체적인 설명은 생략하기로 한다. 다만, 공지의 알고리즘에 한정되는 것은 아니며 3차원 영상을 획득할 수 있는 알고리즘이라면 어느 것이나 적용될 수 있을 것이다.

이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다.

도 4 내지 도 6은 본 발명의 일 실시 예에 따른 RGB 광과 IR 광을 분리하여 감지하는 것을 설명하기 위한 도면이다.

도 4를 참조하면, 수광부(120)는 RGB 광과 IR 광의 반사광을 집광하는 렌즈(10)를 포함할 수 있다. 외부로부터 렌즈(10)를 통하여 집광된 광이 수광부(120)의 내부로 입사될 수 있다. 상기 집광된 광에는 RGB 광과 객체(200)에서 반사된 IR 광의 반사광이 포함될 수 있다.

또한, 수광부(120)는 상기 렌즈(10)에서 집광된 광을 제1 경로와 제2 경로로 반사하는 반사 거울(21)을 포함할 수 있다. 반사 거울(21)은 제어부(130)의 제어에 따라 입사되는 광의 반사 경로를 조절하는 액티브 미러(active mirror)일 수 있다.

일 예에 따라, 반사 거울(21)은 DMD(Digital Micro-Mirror Device)와 같은 액티브 미러로 구현될 수 있다. 상기 반사 거울(21)은 마이크로 미러의 배열로 이루어질 수 있다. 일 예에 따라, 제1 경로 또는 제2 경로로의 분리는 DMD의 마이크로 미러들을 온/오프(on/off) 제어에 의하여 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 집광된 광의 경로를 분리할 수 있으면 어느 방법이나 적용될 수 있다.

도 4에 도시된 바와 같이, 상기 제1 경로와 상기 제2 경로는 상기 반사 거울(21)을 중심으로 대칭을 이루도록 형성될 수 있다. 다만, 이에 한정되는 것은 아니다. 상기 제1 경로와 상기 제2 경로는 상기 반사 거울(21)을 중심으로 좌우로 분리되면 족하고, 대칭이 아닐 수 있다.

수광부(120)는 상기 제1 경로로 반사되는 광에서 상기 RGB 광을 감지하는 RGB 센서(41)를 포함할 수 있다. 상기 제1 경로 상에는 상기 제1 경로로 반사되는 광을 집광하는 제1 렌즈(70)가 위치할 수 있다. 상기 제1 렌즈(70)는 반사 거울(21)에서 반사되는 광을 RGB 센서(41)로 집광할 수 있다.

수광부(120)는 IR 광 차단 필터(IR cut filter, 80)를 상기 제1 경로 상에 더 포함할 수 있다. IR 광 차단 필터(80)는 상기 제1 렌즈(70)에서 집광된 광에서 상기 IR 광의 반사광을 차단할 수 있다. 따라서, RGB 센서(41)로 입사하는 광에는 IR 광이 차단되어 RGB 광에 대한 영상을 감지할 때 IR 광이 광노이즈로 작용하는 것을 방지할 수 있다.

RGB 센서(41)는 IR 광이 차단된 상태에서 RGB 광을 감지할 수 있다. RGB 센서(41)는 감지된 RGB 광에 대한 영상을 제어부(130)로 전송할 수 있다. 일 예에 따라, RGB 센서(41)의 해상도는 반사 거울(21)의 해상도와 동일할 수 있다. 즉, 반사 거울(21)의 각 마이크로 미러는 RGB 센서(41)의 각 픽셀에 대응될 수 있다. 이에 따르면, 제어부(130)는 RGB 광에 대한 영상을 실시간으로 신속하게 획득할 수 있다.

수광부(120)는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광을 감지하는 IR 센서(31)를 포함할 수 있다. 상기 제2 경로 상에는 상기 제2 경로로 반사되는 광을 집광하는 제2 렌즈(50)가 위치할 수 있다. 상기 제2 렌즈(50)는 반사 거울(21)에서 반사되는 광을 IR 센서(31)로 집광할 수 있다.

수광부(120)는 IR 광 통과 필터(IR band pass filter, 60)를 제2 경로 상에 더 포함할 수 있다. IR 광 통과 필터(60)는 상기 제2 렌즈(50)에서 집광된 광에서 상기 IR 광의 반사광만 통과시킬 수 있다. 따라서, IR 센서(31)로 입사하는 광에는 IR 광만이 포함되어 IR 광에 대한 영상을 감지할 때 RGB 광이 광노이즈로 작용하는 것을 방지할 수 있다.

IR 센서(31)는 RGB 광이 차단된 상태에서 IR 광을 감지할 수 있다. IR 센서(31)는 감지된 IR 광에 대한 영상을 제어부(130)로 전송할 수 있다. 일 예에 따라, IR 센서(31)의 해상도는 반사 거울(21)의 해상도와 동일할 수 있다. 즉, 반사 거울(21)의 각 마이크로 미러는 IR 센서(31)의 각 픽셀에 대응될 수 있다. 이에 따르면, 제어부(130)는 IR 광에 대한 영상을 실시간으로 신속하게 획득할 수 있다.

이후, 전술한 바와 같이, 제어부(130)는 IR 광에 대한 영상과 RGB 광에 대한 영상을 이용하여 3차원 영상을 생성할 수 있다.

도 4의 구조에 의하면, 렌즈(10)와 제1 렌즈(70) 및 제2 렌즈(50) 사이의 물리적 간섭을 피하기 위해, 수광부(120)의 크기가 커질 수 있다. 이하에서 수광부(120)의 크기를 줄일 수 있는 실시 예에 대하여 살펴보기로 한다.

도 5를 참조하면, 수광부(120)는 상기 렌즈(10)와 상기 반사 거울(21) 사이에 위치하는 엑스 프리즘(X-prism, 90)을 더 포함할 수 있다. 렌즈(10)에서 집광된 광과 반사 거울(21)에서 반사된 광은 엑스 프리즘(90)을 통과하면서 반사 거울(21)의 반사면과 평행하게 진행할 수 있다.

즉, 도 5에 도시된 바와 같이, 상기 제1 경로와 상기 제2 경로는 엑스 프리즘(90)을 통과하여 상기 반사 거울(21)의 반사면과 평행하게 형성될 수 있다. 도 5에 도시된 수광부(120)의 다른 구성들의 동작은 도 4에서 설명한 것과 동일하게 적용될 수 있으므로, 더 이상 구체적인 설명은 생략하기로 한다.

도 5와 같이, 상기 제1 경로와 상기 제2 경로를 반사 거울(21)의 반사면과 평행하게 함으로써, 도 4와 비교할 때 수광부(120)의 박형화가 가능할 수 있다. 또한, 반사각도도 최소화할 수 있어 회전 왜곡도 최소화할 수 있다.

전술한 도 5의 엑스 프리즘(90)을 적용한 실시 예는, 본 발명의 다른 실시 예에도 실질적으로 동일하게 적용될 수 있다.

도 6을 참조하면, 반사 거울(22)은 회전 중심(o)을 기준으로 회전이 가능할 수 있다. 제어부(130)는 상기 제1 경로와 상기 제2 경로가 형성되도록 상기 회전 중심(o)을 기준으로 상기 반사 거울(22)의 회전을 제어할 수 있다.

제어부(130)는 제1 경로로 광을 반사하기 위하여, 도면부호 22의 위치로 반사 거울(22)을 회전시킬 수 있다. 또한, 제어부(130)는 제2 경로로 광을 반사하기 위하여, 도면부호 22'의 위치로 반사 거울(22')을 회전시킬 수 있다.

이를 통하여, 반사 거울(22)의 반사각에 한정되지 않고 다양한 각도로 광의 반사 경로가 형성될 수 있다.

도 6에 도시된 수광부(120)의 다른 구성들의 동작은 도 4에서 설명한 것과 동일하게 적용될 수 있으므로, 더 이상 구체적인 설명은 생략하기로 한다.

전술한 도 6의 반사 거울(22)을 회전시키는 실시 예는, 본 발명의 다른 실시 예에도 실질적으로 동일하게 적용될 수 있다. 또한, 예를 들어 RGB 센서가 R 감지기, G 감지기, B 감지기로 구성되는 경우를 생각해 보기로 한다. 이 경우, IR 감지기까지 총 4개의 감지기를 각각 다른 방향으로 배치하고, 반사 거울(22)을 회전시켜 4 방향의 경로로 광을 반사할 수 있다.

도 7은 본 발명의 일 실시 예에 따른 영상의 압축 센싱 방법의 흐름도이다. 도 8은 본 발명의 일 실시 예에 따른 영상의 압축 센싱 방법을 설명하기 위한 도면이다.

도 7을 참조하면, 송광부(110)에서 소정의 패턴이 부가된 IR 광을 생성하여 송출하는 단계[S200]는 도 2에서 설명한 [S100] 단계와 실질적으로 동일하게 적용될 수 있다. 또한, RGB 광과 상기 송출된 IR 광의 반사광을 렌즈(10)를 이용하여 집광하는 단계[S210]는 도 2에서 설명한 [S110] 단계와 실질적으로 동일하게 적용될 수 있다. 또한, 렌즈(10)에서 집광된 광을 반사 거울(20)을 이용하여 제1 경로와 제2 경로로 반사하는 단계[S220]는 도 2에서 설명한 [S120] 단계와 실질적으로 동일하게 적용될 수 있다. 따라서, 여기서는 더 이상 구체적인 설명을 생략하기로 한다.

다시 도 7을 참조하면, RGB 센서(40)는 상기 제1 경로로 반사되는 광에서 상기 RGB 광에 대한 압축된 정보를 감지할 수 있다. IR 센서(30)는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지할 수 있다[S230].

전술한 도 4의 설명에서는 반사 거울(21)의 해상도와 센서(31, 41)의 해상도가 동일한 경우를 전제로 설명하였다. 이 경우, 센서가 다수의 감지기로 구현되므로, 센서의 비용이 증가하게 된다.

이러한 비용을 감소하고자, 도 8과 같이 센서(35)를 1개의 감지기로 구현할 수 있다. 도 8을 참조하면, 반사 거울(25)에서 반사된 광은 렌즈(55)에서 집광될 수 있다. 상기 집광된 광은 센서(35)를 이루는 1개의 감지기로 포커싱될 수 있다.

반사 거울(25)은 상기 DMD로 구현될 수 있다. 복수의 DMD 패턴을 적용하여, 샘플을 만들고, 이를 1개의 감지기로 감지할 수 있다. 이 경우, 감지되는 광은 실제 영상이 아닌 압축된 정보를 가지게 된다.

이러한 압축된 정보를 이용하는 방법 자체는 영상 획득과 관련된 압축 센싱(compressive sensing) 방법으로 공지의 방법에 따르는 바, 더 이상 구체적인 설명은 생략하기로 한다.

다시 도 7을 참조하면, 제어부(130)는 상기 감지된 RGB 광에 대한 압축된 정보와 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 3차원 영상을 생성할 수 있다[S240].

제어부(130)는 상기 감지된 RGB 광에 대한 압축된 정보를 실제의 영상으로 복원할 수 있다. 또한, 제어부(130)는 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 실제의 영상으로 복원할 수 있다. 이 경우, 제어부(130)는 메모리(140)에 저장된 복원 알고리즘을 이용할 수 있다. 다만, 이에 한정되는 것은 아니며, 상기 복원 알고리즘은 다른 저장 매체나 외부 서버 등에서 수신할 수 있다.

제어부(130)는 IR 광의 반사광에 대한 압축된 정보를 복원하여 획득한 영상으로부터 IR 광이 반사된 객체까지의 거리를 산출할 수 있다. 이를 통하여, 제어부(130)는 영상에 포함된 객체들에 대한 3차원 정보를 획득할 수 있다.

제어부(130)는 RGB 광에 대한 압축된 정보를 복원하여 획득한 영상으로부터 2차원 영상을 획득할 수 있다. 제어부(130)는 상기 2차원 영상에 상기 3차원 정보를 부가하여 3차원 영상을 생성할 수 있다.

이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다. 또한, RGB 광과 IR 광의 반사광에 대한 압축된 정보를 감지함으로써, 센서의 구현 비용을 감소시킬 수 있다.

이하에서는 도 9 내지 도 15를 참조하여 구체적인 실시 예를 설명하기로 한다. 도 9 내지 도 15는 본 발명의 일 실시 예에 따른 영상의 압축 센싱 방법에서 RGB 광과 IR 광을 분리하여 감지하는 것을 설명하기 위한 도면이다.

도 9를 참조하면, 수광부(120)는 1개의 감지기로 이루어진 RGB 센서(42)와 1개의 감지기로 이루어진 IR 센서(32)를 포함할 수 있다. 렌즈(10)에서 집광된 광은 반사 거울(21)을 통하여 상기 제1 경로와 상기 제2 경로로 반사될 수 있다.

상기 제1 경로에는 제1 렌즈(70)와 IR 광 차단 필터(80)가 위치할 수 있으며, 그 동작은 전술한 도 4의 설명과 실질적으로 동일하므로 여기서는 구체적인 설명은 생략하기로 한다.

1개의 감지기로 이루어진 RGB 센서(42)는 상기 제1 경로로 반사되는 광에서 상기 RGB 광에 대한 압축된 정보를 감지할 수 있다. 상기 압축된 정보의 감지는 도 7 및 도 8에서 전술한 압축 센싱 방법에 따를 수 있다.

상기 제2 경로에는 제2 렌즈(50)와 IR 광 통과 필터(60)가 위치할 수 있으며, 그 동작은 전술한 도 4의 설명과 실질적으로 동일하므로 여기서는 구체적인 설명은 생략하기로 한다.

1개의 감지기로 이루어진 IR 센서(32)는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지할 수 있다. 상기 압축된 정보의 감지는 도 7 및 도 8에서 전술한 압축 센싱 방법에 따를 수 있다.

제어부(130)는 상기 감지된 RGB 광에 대한 압축된 정보를 복원하여 RGB 광에 대한 영상을 생성할 수 있다. 또한, 제어부(130)는 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 IR 광의 반사광에 대한 영상을 생성할 수 있다. 제어부(130)는 RGB 광에 대한 영상과 IR 광의 반사광에 대한 영상을 이용하여 3차원 영상을 생성할 수 있다.

이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다. 또한, RGB 광과 IR 광의 반사광에 대한 압축된 정보를 감지함으로써, 센서의 구현 비용을 감소시킬 수 있다.

도 10을 참조하면, RGB 센서는 각각 R광을 감지하는 1개의 R광 감지기(42a), G광을 감지하는 1개의 G광 감지기(42b), B광을 감지하는 1개의 B광 감지기(42c)로 이루어질 수 있다. IR 센서(32) 및 다른 구성 요소는 도 9의 실시 예와 동일한 바, 구체적인 설명은 생략하기로 한다.

R광 감지기(42a)는 반사 거울(21)에서 반사된 RGB 광 중 R광에 대한 압축된 정보를 감지할 수 있다. 마찬가지로, G광 감지기(42b)는 반사 거울(21)에서 반사된 RGB 광 중 G광에 대한 압축된 정보를 감지할 수 있다. 마찬가지로, B광 감지기(42c)는 반사 거울(21)에서 반사된 RGB 광 중 B광에 대한 압축된 정보를 감지할 수 있다.

제어부(130)는 R광, G광, B광에 대한 각각의 압축된 정보를 복원하여 RGB 광에 대한 영상을 생성할 수 있다. 다른 일 예에 따라, 제어부(130)는 R광, G광, B광에 대한 각각의 영상을 생성할 수 있다. 이후, 제어부(130)는 R광, G광, B광에 대한 각각의 영상을 이용하여 RGB 광에 대한 영상을 생성할 수 있다.

제어부(130)는 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 IR 광의 반사광에 대한 영상을 생성할 수 있다. 제어부(130)는 RGB 광에 대한 영상과 IR 광의 반사광에 대한 영상을 이용하여 3차원 영상을 생성할 수 있다.

이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다. 또한, RGB 센서를 각각의 감지기로 구현하여, 3차원 영상 생성시 RGB 광을 정밀하게 조절할 수 있다.

도 11을 참조하면, 상기 제1 경로와 상기 제2 경로는 동일한 제3 경로로 형성될 수 있다. 제어부(130)는 렌즈(10)에서 집광된 광이 제3 경로로 반사되도록 반사 거울(21)을 제어할 수 있다.

이 경우, 1개의 제3 렌즈(51)는 반사 거울(21)에서 반사된 광을 집광할 수 있다. 도 11에 도시된 바와 같이, IR 광 차단 필터(80)와 IR 광 통과 필터(60)는 서로 겹쳐지지 않게 위치될 수 있다.

R광 감지기(42a), G광 감지기(42b), B광 감지기(42c)는 IR 광 차단 필터(80)를 통과한 광에서 각각 R광, G광, B광을 감지할 수 있다. 또한, 1개의 감지기로 이루어진 IR 센서(32)는 IR 광 통과 필터(60)를 통과한 광에서 IR광을 감지할 수 있다.

일 예에 따라, 1개의 제3 렌즈(51)를 이용하므로, R광 감지기(42a), G광 감지기(42b), B광 감지기(42c)와 IR 센서(32)는 포커싱 위치에 따라 반사 거울(21)로부터의 거리가 다르게 위치할 수 있다. 이 경우, 수광부(120)는 제3 렌즈(51)를 이동시켜 포커싱 위치를 조절할 수 있는 액추에이터(actuator)를 더 포함할 수 있다.

도 11에 도시된 실시 예의 경우, 제3 경로에 따른 차이 이외에 구성 요소들의 동작은 전술한 도 9의 설명과 동일하므로, 구체적인 설명은 생략하기로 한다.

이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다. 또한, 각 센서를 단일 경로에 위치시켜 수광부(120)의 크기를 줄이고, 렌즈에 대한 비용을 감소시킬 수 있다.

도 12를 참조하면, 제3 렌즈는 상기 제3 경로로 반사되는 광이 IR 광 차단 필터(80)를 통과하도록 집광하는 렌즈(72)와, 상기 제3 경로로 반사되는 광이 IR 광 통과 필터(60)를 통과하도록 집광하는 렌즈(52)로 이루어질 수 있다.

상기 렌즈(72)는 반사 거울(21)에서 반사된 광이 R광 감지기(42a), G광 감지기(42b), B광 감지기(42c)에서 감지되도록 집광할 수 있다. 또한, 상기 렌즈(52)는 반사 거울(21)에서 반사된 광이 1개의 감지기로 이루어진 IR 센서(32)에서 감지되도록 집광할 수 있다.

일 예에 따라, 수광부(120)는 각 렌즈(52, 72)의 위치를 이동시킬 수 있는 액추에이터를 더 포함할 수 있다.

도 12에 도시된 실시 예의 경우, 제3 렌즈(52, 72)에 따른 차이 이외에 구성 요소들의 동작은 전술한 도 11의 설명과 동일하므로, 구체적인 설명은 생략하기로 한다.

이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다. 또한, 각 센서를 단일 경로에 위치시켜 수광부(120)의 크기를 줄일 수 있다.

도 13을 참조하면, 제3 렌즈는 상기 제3 경로로 반사되는 광이 상기 IR 광 차단 필터(80)를 통과하도록 집광하는 3개의 분리된 렌즈(72a, 72b, 72c)를 포함할 수 있다. 상기 3개의 분리된 렌즈(72a, 72b, 72c)를 통과한 광은 상기 R광 감지기, 상기 G광 감지기 및 상기 B광 감지기 각각에 도달할 수 있다.

또한, 제3 렌즈는 상기 제3 경로로 반사되는 광이 상기 IR 광 통과 필터(60)를 통과하도록 집광하는 렌즈(52)를 포함할 수 있다.

일 예에 따라, 수광부(120)는 각 렌즈(52, 72a, 72b, 72c)의 위치를 이동시킬 수 있는 액추에이터를 더 포함할 수 있다.

도 13에 도시된 실시 예의 경우, 제3 렌즈(52, 72a, 72b, 72c)에 따른 차이 이외에 구성 요소들의 동작은 전술한 도 11의 설명과 동일하므로, 구체적인 설명은 생략하기로 한다.

이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다. 또한, 각 센서에 대하여 각각의 렌즈를 대응시켜 정밀한 영상을 획득할 수 있다.

도 14을 참조하면, 상기 제3 렌즈(53)는 표면에 블랙(black) 처리(53a, 53b, 53c)될 수 있다. 상기 블랙 처리는 제3 렌즈(53)의 표면의 일부를 검게 처리하여 광이 통과할 수 없게 하는 것을 의미할 수 있다. 제3 렌즈(53)의 표면의 일부에서 광이 통과할 수 없게 할 수 있다면, 상기 블랙 처리는 어떠한 방법이라도 적용될 수 있다.

도 14에 도시된 바와 같이, 상기 블랙 처리가 되지 않은 부분을 통하여 상기 제3 경로로 반사되는 광은 IR 광 차단 필터(80)를 통과하여 상기 R광 감지기(42a), 상기 G광 감지기(42b) 및 상기 B광 감지기(42c) 각각에 도달할 수 있다. 또한, 상기 블랙 처리가 되지 않은 부분을 통하여, 상기 제3 경로로 반사되는 광이 상기 IR 광 통과 필터(60)를 통과하여 IR 센서(32)에서 감지될 수 있다.

일 예에 따라, 수광부(120)는 도 14와 같이, R광 감지기(42a), G광 감지기(42b), B광 감지기(42c) 및 IR 센서(32)의 사이 각각에 위치하는 벽(barrier, b1, b2, b3)을 더 포함할 수 있다. 상기 벽(b1, b2, b3)은 각 감지기(32, 42a, 42b, 42c)간의 광 간섭을 막아줄 수 있다.

상기 벽(b1, b2, b3)은 특정 물질 또는 특정 형태로 제한되는 것은 아니다. 각 감지기(32, 42a, 42b, 42c)간의 광 간섭을 방지할 수 있는 것이라면, 상기 벽(b1, b2, b3)의 형태나 성분은 필요에 따라 다르게 형성될 수 있다.

일 예에 따라, 수광부(120)는 상기 제3 경로로 반사되는 광이 IR 광 차단 필터(80) 및 IR 광 통과 필터(60)를 통과한 이후에 통과하도록 배치된 복수의 마이크로 렌즈(L1 내지 L4)를 더 포함할 수 있다. 필요에 따라, 상기 복수의 마이크로 렌즈(L1 내지 L4)는 각 감지기(32, 42a, 42b, 42c)의 앞에 위치할 수 있다.

상기 제3 경로로 반사되는 광은 상기 복수의 마이크로 렌즈(L1 내지 L4)를 통과하면서 보다 집광되어 각 감지기(32, 42a, 42b, 42c)로 입사될 수 있다. 이를 통하여, 각 감지기(32, 42a, 42b, 42c)로의 입사각에 따른 간섭을 막을 수 있다.

도 14에 도시된 실시 예의 경우, 상기한 차이 이외에 구성 요소들의 동작은 전술한 도 11의 설명과 동일하므로, 구체적인 설명은 생략하기로 한다.

이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다. 또한, 다양한 구성 요소를 부가하여 광노이즈를 더욱 확실하게 제거할 수 있다.

도 15를 참조하면, 제3 렌즈(54)는 상기 제3 렌즈(54)에서 집광된 광이 상기 R광 감지기(42a), 상기 G광 감지기(42b) 및 상기 B광 감지기(42c)와 상기 IR 센서(32)에서 각각 감지되도록 표면에 복수의 홈(54a, 54b, 54c)이 형성될 수 있다.

도 14에 도시된 바와 같이, 상기 복수의 홈(54a, 54b, 54c)이 없는 부분을 통하여 상기 제3 경로로 반사되는 광은 IR 광 차단 필터(80)를 통과하여 R광 감지기(42a), G광 감지기(42b) 및 B광 감지기(42c) 각각에 도달할 수 있다. 또한, 상기 복수의 홈(54a, 54b, 54c)이 없는 부분을 통하여, 상기 제3 경로로 반사되는 광이 상기 IR 광 통과 필터(60)를 통과하여 IR 센서(32)에서 감지될 수 있다.

도 15에 도시된 실시 예의 경우, 상기한 차이 이외에 구성 요소들의 동작은 전술한 도 14의 설명과 동일하므로, 구체적인 설명은 생략하기로 한다.

이를 통하여, 렌즈에서 집광된 RGB 광과 IR 광을 분리하여 감지함으로써, RGB 광과 IR 광이 서로에 대하여 광노이즈로 작용하는 것을 해소할 수 있다. 또한, 다양한 구성 요소를 부가하여 광노이즈를 더욱 확실하게 제거할 수 있다.

도 16 내지 도 21은 본 발명의 일 실시 예에 따른 영상의 압축 센싱 방법에서 압축된 정보를 빠르게 복원하는 것을 설명하기 위한 도면이다.

도 8에서는 설명한 압축 센싱의 경우, 센서(35)가 1개의 감지기로 구현되어 높은 압축률로 압축된 정보를 획득하였다. 이 경우, 센서(35)를 이루는 감지기의 비용이 낮아지는 장점이 있으나, 높은 압축률에 의하여 압축된 정보로부터 영상을 복원하는 시간이 오래 걸릴 수 있다.

영상을 복원하는 시간을 감소하기 위하여, 도 16에 도시된 바와 같이, RGB 센서(41')와 IR 센서(31')는 2개 이상이며 상기 반사 거울의 픽셀 수보다는 적은 수의 감지기로 각각 이루어질 수 있다. 예를 들어, 반사 거울의 픽셀 수가 도 18과 같다고 할 때, 센서(36)는 도 17과 같이, 반사 거울의 픽셀 수보다 적은 16개의 감지기로 구현될 수 있다.

이와 같이, 센서(36)가 2개 이상이며 상기 반사 거울의 픽셀 수보다는 적은 수의 감지기로 구성되는 경우, 압축률이 감지기가 1개인 경우보다 낮은 압축된 정보를 센서(36)에서 감지할 수 있다. 도 19를 참조하면, 반사 거울(25)에서 반사된 광이 렌즈(55)에서 집광될 때의 단위 면적에 대응되는 센서들(37a 내지 37d)이 도시되어 있다.

즉, 1개의 감지기로 포커싱되는 경우 1개의 감지기로 이루어진 센서(37a)가 적용될 수 있다. 이 경우, 압축률은 가장 높게 된다. 다음으로 M1에 포커싱되는 경우, 센서(37a)보다 많은 개수의 감지기로 이루어진 센서(37b)가 적용될 수 있다. 이 경우, 압축률은 센서(37a)보다 낮아지게 되어 복원 속도는 더 빨라지게 된다.

마찬가지로, M2에 포커싱되는 경우, 센서(37b)보다 많은 개수의 감지기로 이루어진 센서(37c)가 적용될 수 있다. 이 경우, 압축률은 센서(37b)보다 낮아지게 되어 복원 속도는 더 빨라지게 된다.

마찬가지로, M3에 포커싱되는 경우, 센서(37c)보다 많은 개수의 감지기로 이루어지고 반사 거울(25)과 동일한 픽셀을 갖는 센서(37d)가 적용될 수 있다. 이 경우, 센서(37d)에서 감지되는 영상은 압축되지 않은 영상으로 복원 과정이 필요 없이 실질적으로 실시간으로 영상을 획득할 수 있다.

도 20 및 도 21은 광 압축 시의 지역성을 이용하여 압축된 정보를 더 빠른 복원을 수행하는 것을 설명하기 위한 도면이다. 도 20에 도시된 센서(38a)로 감지하는 광을 더 압축하여, 도 21에 도시된 센서(38b)로 감지하는 경우를 생각해보기로 한다. 도 21은 비교의 편의를 위하여, 센서(38b)과 센서(38a)를 같이 도시한 것이다.

센서(38a)에서 감지되는 영역 1에 있는 a픽셀에 대한 정보는, 센서(38b)로 감지하는 경우, 센서(38b)의 p1 영역에서 감지된다. 즉, 도 19와 같이, 광이 압축되면 중심은 그대로 유지되면서 영역이 줄어들게 된다.

따라서, 센서(38a)에서 감지되는 영역 1에 포함된 정보는 센서(38b)의 p1 영역에만 포함될 수 있다. 즉, 상기 영역 1에 포함된 정보는 압축률이 올라가는 경우에 센서(38b)의 p2, p3, p4 영역에는 어떠한 영향을 미치지 않을 수 있다.

이러한 광 압축 시의 지역성을 이용하여, 제어부(130)는 상기 RGB 센서 및 상기 IR 센서에서 감지된 압축된 정보를 각 센서의 중심을 기준으로 사분면으로 나눈 4개의 영역으로 구분하여 복원할 수 있다. 일반적으로 압축률이 증가할수록 압축된 정보를 복원하는 시간은 더 빠르게 증가하게 된다. 따라서, 4분의 1로 감소된 영역을 4번 복원하는데 걸리는 시간이 전체 영역을 1번 복원하는데 걸리는 시간보다 감소하게 되어, 제어부(130)는 압축된 정보를 더 빠르게 복원할 수 있다.

이를 통하여, 제어부(130)는 더 빨리 3차원 영상을 생성할 수 있다.

도 22는 광 압축 시의 시간적 압축을 설명하기 위한 도면이다. 반사 거울(39)은 중심을 기준으로 사분면으로 나눈 4개의 영역(39_1 내지 39_4)으로 구분될 수 있다. 이후, 각 영역에서 반사되는 광을 시간별로 센서에서 감지할 수 있다.

예를 들어, 영역(39_1)은 임의의 시간 t1에서 t2까지의 시간 동안 동작하여 광을 반사할 수 있다. 마찬가지로 다른 영역(39_2 내지 39_4)에서도 시간 순서(t2에서 t5까지)대로 동작할 수 있다. 이를 이용하면, 센서의 크기가 반사 거울의 4분의 1이면 되므로 감지기의 수를 줄일 수 있다.

이를 통하여, 센서에 대한 비용을 줄일 수 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 3차원 카메라의 제어부(130)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

100: 3차원 카메라 110: 송광부
120: 수광부 130: 제어부
140: 메모리 150: 출력부

Claims (18)

1. 소정의 패턴(pattern)이 부가된 IR 광(infrared light)을 생성하여 송출하는 송광부;
   RGB 광(RGB light)과 상기 송출된 IR 광의 반사광(reflected light)을 감지하는 수광부; 및
   상기 송광부와 상기 수광부를 제어하고, 상기 감지된 RGB 광과 상기 감지된 IR 광의 반사광을 이용하여 3차원 영상을 생성하는 제어부;
   를 포함하며,
   상기 수광부는
   상기 RGB 광과 상기 IR 광의 반사광을 집광하는 렌즈,
   상기 렌즈에서 집광된 광을 제1 경로와 제2 경로로 반사하는 반사 거울(reflection mirror),
   상기 제1 경로로 반사되는 광에서 상기 RGB 광을 감지하는 RGB 센서 및
   상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광을 감지하는 IR 센서를 포함하고,
   상기 RGB 센서와 상기 IR 센서는 각각 1개의 감지기로 이루어지고,
   상기 RGB 센서는 상기 제1 경로로 반사되는 광에서 상기 RGB 광에 대한 압축된 정보를 감지하고, 상기 IR 센서는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지하고,
   상기 제어부는 상기 감지된 RGB 광에 대한 압축된 정보와 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 3차원 영상을 생성하는 것을 특징으로 하는 3차원 카메라.
2. 제 1 항에 있어서,
   상기 반사 거울은 상기 제어부의 제어에 따라 입사되는 광의 반사 경로를 조절하는 액티브 미러(active mirror)인 것을 특징으로 하는 3차원 카메라.
3. 제 1 항에 있어서,
   상기 수광부는
   상기 제1 경로로 반사되는 광을 집광하는 제1 렌즈 및 상기 제1 렌즈에서 집광된 광에서 상기 IR 광의 반사광을 차단하는 IR 광 차단 필터(IR cut filter)를 상기 제1 경로 상에 더 포함하고,
   상기 제2 경로로 반사되는 광을 집광하는 제2 렌즈 및 상기 제2 렌즈에서 집광된 광에서 상기 IR 광의 반사광만 통과시키는 IR 광 통과 필터(IR band pass filter)를 제2 경로 상에 더 포함하는 것을 특징으로 하는 3차원 카메라.
4. 제 1 항에 있어서,
   상기 제1 경로와 상기 제2 경로는 상기 반사 거울을 중심으로 대칭을 이루도록 형성되며,
   상기 RGB 센서는 상기 제1 경로에 위치하고, 상기 IR 센서는 상기 제2 경로에 위치하는 것을 특징으로 하는 3차원 카메라.
5. 제 1 항에 있어서,
   상기 수광부는 상기 렌즈와 상기 반사 거울 사이에 위치하는 엑스 프리즘(X-prism)을 더 포함하고,
   상기 제1 경로와 상기 제2 경로는 상기 엑스 프리즘을 통과하여 상기 반사 거울의 반사면과 평행하게 형성되는 것을 특징으로 하는 3차원 카메라.
6. 제 1 항에 있어서,
   상기 반사 거울은 회전 중심을 기준으로 회전이 가능하고,
   상기 제어부는 상기 제1 경로와 상기 제2 경로가 형성되도록 상기 회전 중심을 기준으로 상기 반사 거울의 회전을 제어하는 것을 특징으로 하는 3차원 카메라.
7. 삭제
8. 소정의 패턴(pattern)이 부가된 IR 광(infrared light)을 생성하여 송출하는 송광부;
   RGB 광(RGB light)과 상기 송출된 IR 광의 반사광(reflected light)을 감지하는 수광부; 및
   상기 송광부와 상기 수광부를 제어하고, 상기 감지된 RGB 광과 상기 감지된 IR 광의 반사광을 이용하여 3차원 영상을 생성하는 제어부;
   를 포함하며,
   상기 수광부는
   상기 RGB 광과 상기 IR 광의 반사광을 집광하는 렌즈,
   상기 렌즈에서 집광된 광을 제1 경로와 제2 경로로 반사하는 반사 거울(reflection mirror),
   상기 제1 경로로 반사되는 광에서 상기 RGB 광을 감지하는 RGB 센서 및
   상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광을 감지하는 IR 센서를 포함하고,
   상기 RGB 센서는 각각 R광을 감지하는 1개의 R광 감지기, G광을 감지하는 1개의 G광 감지기, B광을 감지하는 1개의 B광 감지기로 이루어지고,
   상기 IR 센서는 1개의 감지기로 이루어지고,
   상기 R광 감지기, 상기 G광 감지기 및 상기 B광 감지기는 상기 제1 경로로 반사되는 광에서 상기 R광, 상기 G광 및 상기 B광에 대한 압축된 정보를 각각 감지하고, 상기 IR 센서는 상기 제2 경로로 반사되는 광에서 상기 IR 광의 반사광에 대한 압축된 정보를 감지하고,
   상기 제어부는 상기 감지된 R광, G광 및 B광 각각에 대한 압축된 정보와 상기 감지된 IR 광의 반사광에 대한 압축된 정보를 복원하여 3차원 영상을 생성하는 것을 특징으로 하는 3차원 카메라.
9. 제 1 항에 있어서,
   상기 제1 경로와 상기 제2 경로는 동일한 제3 경로로 형성되고,
   상기 수광부는
   상기 제3 경로로 반사되는 광을 집광하는 제3 렌즈,
   상기 제3 렌즈에서 집광된 광에서 상기 IR 광의 반사광을 차단하는 IR 광 차단 필터 및
   상기 제3 렌즈에서 집광된 광에서 상기 IR 광의 반사광만 통과시키는 IR 광 통과 필터를 제3 경로 상에 더 포함하는 것을 특징으로 하는 3차원 카메라.
10. 제 9 항에 있어서,
    상기 제3 렌즈는 상기 제3 경로로 반사되는 광이 상기 IR 광 차단 필터를 통과하도록 집광하는 렌즈와, 상기 제3 경로로 반사되는 광이 상기 IR 광 통과 필터를 통과하도록 집광하는 렌즈로 이루어지는 것을 특징으로 하는 3차원 카메라.
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제

Images