KR20160120534A - 전자 제어식 가림 마스크 어레이를 이용한 라이트 필드 카메라 - Google Patents

Abstract

전자 제어식 가림 마스크 어레이를 이용한 라이트 필드 카메라가 개시된다. 본 발명의 일 면에 따른 전자 제어식 가림 마스크 어레이를 이용한 라이트 필드 카메라는, 초점면에 피사체에 대한 광학적 영상을 형성하는 메인 렌즈; 상기 광학적 영상을 전기적 영상으로 변환하는 이미지 센서; 상기 메인 렌즈 주변에 배치되고, 전자 제어식으로 여닫힘 제어되는 다수의 가림 마스크들을 구비하는 가림 마스크 어레이; 및 상기 가림 마스크 어레이에 구비된 다수의 가림 마스크들의 여닫힘을 개별적으로 제어하여 피사체에 대한 촬영을 반복 제어하는 카메라 제어부를 포함한다.

Description

전자 제어식 가림 마스크 어레이를 이용한 라이트 필드 카메라{LIGHT FIELD CAMERA USING ELECTOR-CONTROLLED OCCULUSION MASK ARRAY}

본 발명은 라이트 필드 카메라에 관한 것으로서, 보다 상세하게는 전자 제어식 가림 마스크 어레이를 이용한 라이트 필드 카메라에 관한 것이다.

깊이감 있는 영상을 표시할 수 있는 3D 디스플레이 장치의 발전 및 수요 증가와 함께 3D 컨텐츠의 중요성이 부각되고 있다. 이에 따라, 일반 사용자가 3D 컨텐츠를 직접 제작할 수 있는 다양한 3차원 영상 획득 장치가 연구되고 있다.

3차원 영상 획득 장치에서 물체까지의 거리 정보를 얻는 방법으로는 크게 능동(active) 방식과 수동(passive) 방식으로 나눌 수 있다. 능동 방식은, 예를 들어, 물체에 빛을 조사하고 물체로부터 반사되어 돌아온 빛을 감지하여 빛의 이동 시간을 알아내는 광시간비행법(Time-of-Flight; TOF)과 센서로부터 일정 거리에 있는 다수의 광원에 의해 조사되고 물체로부터 반사된 빛의 위치를 감지하여 거리를 계산하는 삼각 측량법(triangulation)이 대표적이다. 또한, 수동 방식으로는, 예를 들어, 빛을 조사하지 않고 2대 이상의 카메라로 촬영한 영상 정보만 을 이용하여 물체까지의 거리를 계산하는 스테레오 카메라 방식이 대표적이다. 그런데, 능동 방식은 빛을 물체에 조사하기 위한 별도의 광원과 광학계가 필요하고 스테레오 카메라 방식은 정확한 거리 정보를 얻기가 어렵다.

최근에는, 별도의 광원과 광학계를 사용하지 않으면서 정확한 거리 정보를 얻기 위하여 라이트 필드 영상 획득 방식이 제안되고 있다. 라이트 필드 영상 획득 방식은 다수의 마이크로 렌즈들을 이용하여 많은 시점의 영상들을 한꺼번에 취득한 후에, 각각의 영상들을 분석하여 깊이 정보를 추출하는 방식이다.

예를 들어, 마이크로 렌즈 어레이 내의 다수의 마이크로 렌즈들은 그 상대적인 위치에 따라 조금씩 서로 다른 시점들을 가지므로, 각각의 마이크로 렌즈들로부터 얻은 다수의 영상들은 서로 다른 깊이감을 가질 수 있다.

이렇게 획득된 영상을 기존 카메라와 같이 (x,y)평면에 방향성을 갖는 (u,v)정보를 포함하여 4D영상이라고 부른다. 따라서, 획득한 영상에서의 시점이동이 광학적으로 계산되고, 초점을 촬영 후에 맞출 수 있고, 다양한 위치에 초점을 맞출 수 있는 재초점 기능도 제공한다.

도 1은 종래 기술에에 따라 라이트 필드 카메라에서 라이트 필드 영상을 획득하는 과정을 설명하기 위한 개념도이다.

도 1을 참조하면, 메인 렌즈(미도시)는 이미지 센서(20)를 향해 입사광을 집광시킨다. 메인 렌즈와 이미지 센서(20) 사이의 거리는 메인 렌즈의 초점 거리보다 짧을 수 있다. 즉, 이미지 센서(20)는 메인 렌즈와 상기 메인 렌즈의 초점 사이에 위치할 수 있다.

마이크로 렌즈 어레이(10)는 메인 렌즈에 의해 집광되는 빛을 이미지 센서(20) 상에 포커싱한다. 메인 렌즈를 통해 여러 방향으로 입사되는 빛은 마이크로 렌즈 어레이(10), 보다 상세하게는 마이크로 렌즈 어레이 중 어느 하나의 렌즈를 통과해서 이미지 센서(20)의 여러 개의 셀(cell)에 포커싱된다.

여기서, 마이크로 렌즈 어레이(10)의 다수의 마이크로 렌즈들과 이미지 센서(20)의 다수의 셀(cell)을이 각각 1:1로 대응할 수 있다. 예를 들어, 각각의 화소마다 그에 대응하는 마이크로 렌즈가 하나씩 배치될 수 있다.

다른 예로, 마이크로 렌즈 어레이(10)의 마이크로 렌즈들과 다수의 셀은 n:1의 관계를 가질 수 있다. 이는 하나의 마이크로 렌즈를 중심으로 이미지 센서(20)의 상대적인 셀의 위치에 따라 빛이 들어오는 각도(방향 벡터)를 연산할 수 있다는 것을 의미한다. 빛이 들어오는 각도를 알 수 있으면, 다양한 초점에서의 이미지를 역으로 계산할 수 있게 된다.

이와 같이, 라이트 필드 카메라는 하나의 화소에 대응하는 이미지 센서의 셀을 다수 사용함으로써, 빛의 벡터 값을 보존하게 되어 다양한 초점의 이미지를 재구성할 수 있게 되지만, 전체적인 이미지의 해상도는 낮아지는 단점이 있다.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 영상획득 및 캘리브레이션의 어려움을 피하면서 센서의 해상도 전체를 사용할 수 있는 전자 제어식 가림 마스크 어레이를 이용한 라이트 필드 카메라를 제공하는 것을 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 전자 제어식 가림 마스크 어레이를 이용한 라이트 필드 카메라는, 초점면에 피사체에 대한 광학적 영상을 형성하는 메인 렌즈; 상기 광학적 영상을 전기적 영상으로 변환하는 이미지 센서; 상기 메인 렌즈 주변에 배치되고, 전자 제어식으로 여닫힘 제어되는 다수의 가림 마스크들을 구비하는 가림 마스크 어레이; 및 상기 가림 마스크 어레이에 구비된 다수의 가림 마스크들의 여닫힘을 개별적으로 제어하여 피사체에 대한 촬영을 반복 제어하는 카메라 제어부를 포함한다.

이상 상술한 바와 같은 본 발명에 따르면, 일반 카메라에 마스크 어레이만 추가하여 라이트 필드 카메라를 제작할 수 있으며, 렌즈 어레이나 마이크로 렌즈 어레이를 사용하는 방법과는 달리, 각 방향의 영상 해상도가 센서 해상도 전체를 사용할 수 있어, 고해상도의 라이트 필드 영상을 획득할 수 있다.

도 1은 종래 기술에에 따라 라이트 필드 카메라에서 라이트 필드 영상을 획득하는 과정을 설명하기 위한 개념도.
도 2는 본 발명의 실시예에 따른 전자 제어식 가림 마스크 어레이를 이용한 라이트 필드 카메라를 도시한 블록도.
도 3은 본 발명의 실시예에 따른 전자 제어식 가림 마스크 어레이를 이용한 라이트 필드 카메라의 예시도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.

도 2는 본 발명의 실시예에 따른 전자 제어식 가림 마스크 어레이를 이용한 라이트 필드 카메라를 도시한 블록도이고, 도 3은 본 발명의 실시예에 따른 전자 제어식 가림 마스크 어레이를 이용한 라이트 필드 카메라의 예시도이다.

도면을 참조하면, 본 발명의 실시예에 따른 전자 제어식 가림 마스크 어레이를 이용한 라이트 필드 카메라는 메인 렌즈(100), 가림 마스크 어레이(200), 카메라 제어부(300), 이미지 센서(400)를 포함하여 이루어진다. 도 2 및 도 3에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들은 갖는 라이트 필드 카메라가 구현될 수도 있다.

이하, 상기 구성요소들에 대해 차례로 살펴본다.

메인 렌즈(100)는 광원부에서 발생하고 피사체에서 반사된 빛을 수광하여, 피사체에 대한 광학적 영상을 형성한다.

이미지 센서(400)는 빛을 포획하고 전기적 영상신호로 전환하는 디지털 장치로서, 전하의 축적과 전송을 이용한 전하결합소자(CCD: Charge Coupled Device)일 수 있다.

한편, 본 발명의 실시예에 따른 라이트 필드 카메라는 전자 제어식으로 여닫힘 제어되는 다수의 가림 마스크들을 구비하는 가림 마스크 어레이(200)를 사용한다.

상기 가림 마스크 어레이(200)는 상기 메인 렌즈(100) 주변에 배치되어 상기 메인 렌즈(100)에서 집광된 각 방향 별 빛을 획득하고, 개별적으로 전자 제어 가능하며, 카메라 셔터 및 센서 인터페이스와 동기화된다.

도 3에는 상기 가림 마스크 어레이(200)가 상기 메인 렌즈(100)의 후면(피사체를 기준으로)에 배치되는 것으로 도시되었지만, 본 발명의 실시예에는 이에 한정되지 아니한다. 예컨대, 상기 가림 마스크 어레이(200)는 상기 메인 렌즈(100)의 전면에 배치될 수 있으며, 혹은 상기 메인 렌즈(100) 중앙에 삽입되는 형식으로 구현될 수 있다.

한편, 상기 가림 마스크 어레이(200)를 구성하는 가림 마스크들은 nxm개의 2차원적으로 배열되고, 각각의 가림 마스크들은 개별적으로 여닫힘 제어된다. 도 3에는 5개의 개별 가림 마스크들로 구성되는 것으로 도시되어 있으나, 이는 측면에서 바라본 형상이기 때문이며, 실질적으로 가림 마스크들은 2차원으로 배열되며, 개별 마스크 개수에 따라 최대 구분 가능한 빛의 방향성분의 개수가 결정되게 된다.

카메라 제어부(300)는 상기 가림 마스크 어레이(200)에 구비된 다수의 가림 마스크들의 여닫힘을 개별적으로 제어하여 피사체에 대한 촬영을 반복 제어한다.

도 3에 도시된 바를 참조하면, 상기 가림 마스크 어레이(200)를 구성하는 5개의 개별 가림 마스크들 중에 최 상측에 배치된 가림 마스크만 열려 있고, 나머지 가림 마스크들은 닫혀있다. 이에 따라, 상기 메인 렌즈(100)에서 집광된 빛은 최 상측에 열려 있는 가림 마스크 영역을 통해서만 이미지 센서(400)로 전달되고, 상기 이미지 센서(400)는 전달된 빛의 방향 성분에 해당하는 상을 전기적 영상신호로 전환한다.

상기 카메라 제어부(300)는 상기 가림 마스크 어레이(200)의 가림 마스크들의 여닫힘을 개별적으로 제어하여, 즉 열려 있는 가림 마스크들을 변경해가면서 영상을 촬영하는 과정을 반복한다.

이와 같이, 열려 있는 가림 마스크를 변경해가면서 피사체의 촬영을 반복하면, 상기 메인 렌즈(100)에 집광된 빛의 방향 성분이 개별적으로 상기 이미지 센서(400)로 전달되므로, 라이트 필드 영상을 촬영할 수 있다.

본 발명에 따르면, 일반 카메라에 마스크 어레이만 추가하여 라이트 필드 카메라를 제작할 수 있으며, 렌즈 어레이나 마이크로 렌즈 어레이를 사용하는 방법과는 달리, 특정 빛의 방향 성분에 해당하는 영상을 개별적으로 획득하기 때문에 이미지 센서의 전체 해상도를 각 방향 성분 별 영상에 사용할 수 있어 고해상도의 라이트 필드 영상을 획득할 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 메인 렌즈
200 : 가림 마스크 어레이
300 : 카메라 제어부
400 : 이미지 센서

Claims (1)

1. 초점면에 피사체에 대한 광학적 영상을 형성하는 메인 렌즈;
   상기 광학적 영상을 전기적 영상으로 변환하는 이미지 센서;
   상기 메인 렌즈 주변에 배치되고, 전자 제어식으로 여닫힘 제어되는 다수의 가림 마스크들을 구비하는 가림 마스크 어레이; 및
   상기 가림 마스크 어레이에 구비된 다수의 가림 마스크들의 여닫힘을 개별적으로 제어하여 피사체에 대한 촬영을 반복 제어하는 카메라 제어부
   를 포함하는 전자 제어식 가림 마스크 어레이를 이용한 라이트 필드 카메라.

Images