KR101737085B1 - 3차원 카메라 - Google Patents

Abstract

3차원 카메라가 개시된다. 개시된 3차원 카메라는 제1 촬영렌즈부; 상기 제1 촬영렌즈부에 의해 결상된 피사체의 제1 영상정보를 획득하는 제1 이미지센서; 상기 제1 촬영렌즈부와 제1 이미지센서 사이의 광경로에 배치된 것으로, 광을 제1이미지센서를 향하는 제1경로와, 상기 제1경로와 다른 제2경로로 분할하는 빔분할부; 상기 제2경로 상에 배치된 제2 촬영렌즈부; 상기 제1 촬영렌즈부와 제2 촬영렌즈부에 의해 결상된 피사체의 제2 영상정보를 획득하는 제2 이미지센서; 상기 제1 영상정보와 제2 영상정보로부터 3차원 영상 정보를 생성하는 영상처리부;를 포함한다.

Description

3차원 카메라{3D camera}

3차원 영상 획득을 위한 3차원 카메라가 개시된다.

최근, 다양한 디지털 카메라 제품에 대한 수요가 증가하고 있으며, 또한, 3차원 영상을 촬영하는 3차원 카메라에 대해서도 관심이 집중되고 있다.

일반적인 2차원 카메라는 하나의 촬영렌즈와 하나의 이미지 센서를 이용하여 하나의 장면을 캡쳐(capture)한다. 이러한 영상을 2차원 영상이라고 한다.

3차원 영상을 캡쳐하기 위해서는 사람의 눈과 같이. 적어도 2개의 촬영렌즈와 2개의 이미지 센서가 필요하다. 사람이 두 눈으로 물체(object)를 바라볼 때, 두 눈은 서로 다른 광축을 갖는다. 따라서, 왼쪽 눈으로 본 2차원 영상과 오른쪽 눈으로 본 2차원 영상은 서로 다른 기하학적 배치를 가지며, 이 차이로부터 깊이감이 인지되는 것이다.

최근에는 기술의 발달로, 2차원 영상을 3차원 영상으로 변환하기도 하지만, 그 성능에는 한계가 있으며, 이에 따라 적어도 2이상의 서로 다른 시점(view point)의 영상을 캡쳐하기 위해 2이상의 촬영렌즈와 이미지 센서를 구비하는 3차원 카메라에 대한 다양한 설계안이 제시되고 있다.

본 개시는 컴팩트한 구조를 가지며, 2차원 영상 획득 겸용으로 사용될 수 있는 3차원 카메라를 제공하고자 한다.

일 유형에 따르면, 제1 촬영렌즈부; 상기 제1 촬영렌즈부에 의해 결상된 피사체의 제1 영상정보를 획득하는 제1 이미지센서; 상기 제1 촬영렌즈부와 제1 이미지센서 사이의 광경로에 배치된 것으로, 광을 제1이미지센서를 향하는 제1경로와, 상기 제1경로와 다른 제2경로로 분할하는 빔분할부; 상기 제2경로 상에 배치된 제2 촬영렌즈부; 상기 제1 촬영렌즈부와 제2 촬영렌즈부에 의해 결상된 피사체의 제2 영상정보를 획득하는 제2 이미지센서; 상기 제1 영상정보와 제2 영상정보로부터 3차원 영상 정보를 생성하는 영상처리부;를 포함하는 3차원 카메라가 제공된다.

상기 빔분할부는 입사된 광의 일부를 투과시키고 일부는 반사시키는 하프미러로 구성될 수 있다.

상기 제1경로와 상기 제2경로는 대략 직각이 되도록 상기 빔분할부가 배치될 수 있다.

상기 제1촬영렌즈가 형성하는 광학계와, 상기 제1 및 제2촬영렌즈가 형성하는 광학계 중 어느 하나는 사람의 시야에 해당하는 화각을 가지도록 구성되고, 나머지 하나는 이보다 넓은 화각을 가지도록 구성될 수 있다.

상기 영상처리부는 광각 왜곡 분석에 의해 화소별 깊이를 연산하여 3차원 영상정보를 생성할 수 있다.

또한, 일 유형에 따르면, 제1 촬영렌즈부; 상기 제1촬영렌즈부에 의해 결상된 피사체의 제1 영상정보를 획득하는 제1 이미지센서; 상기 제1 촬영렌즈부와 제1 이미지센서 사이에 마련된 것으로, 3차원 모드에서는, 상기 제1 촬영렌즈부와 제1 이미지센서 사이의 광경로에 배치되어, 광을 제1 이미지센서를 향하는 제1경로와, 상기 제1경로와 다른 제2경로로 분할하고, 2차원 모드에서는, 상기 제1 촬영렌즈부와 제1 이미지센서 사이의 광경로에서 제거되도록 제어되는 빔분할부; 상기 제2경로 상에 배치된 제2 촬영렌즈부; 상기 제1 촬영렌즈부와 제2 촬영렌즈부에 의해 결상된 피사체의 제2 영상정보를 획득하는 제2 이미지센서; 상기 제1 영상정보와 제2 영상정보로부터 3차원 영상 정보를 생성하는 영상처리부;를 포함하는 2차원/3차원 겸용 카메라가 제공된다.

상기 빔분할부는 입사된 광의 일부를 투과시키고 일부는 반사시키는 하프미러로 구성될 수 있다.

상기 빔분할부는 상기 빔분할부의 일측 모서리를 축으로 하여 회전 구동될 수 있으며, 상기 제1경로와 제2경로가 대략 직각을 이루도록, 3차원모드에서 상기 빔분할부의 회전 구동이 제어될 수 있다.

또한, 일 유형에 따르면, 복수 시점의 영상을 획득할 수 있도록 제1 촬영렌즈부와 제1 이미지센서, 제2 촬영렌즈부와 제2 이미지센서 및 빔분할부를 구비하는 3차원카메라의 동작방법에 있어서, 카메라 모드를 2차원 모드 또는 3차원 모드로 선택하는 단계; 상기 선택에 따라, 2차원 모드에서는 제1 촬영렌즈부와 제1 이미지센서에 의한 제1 영상정보가 획득되고, 3차원 모드에서는 제1 촬영렌즈부와 제1 이미지센서에 의한 제1영상정보의 획득과, 제1 촬영렌즈부, 제2 촬영렌즈부 및 제2 이미지센서에 의해 제2영상정보의 획득이 이루어지도록 빔분할부의 위치를 제어하는 단계; 3차원 모드가 선택된 경우, 상기 제1 영상정보와 제2 영상정보로부터 3차원 영상정보를 생성하는 단계;를 포함하는 방법이 제공된다.

2차원 모드에서는 상기 빔분할부가 상기 제1 촬영렌즈부와 상기 제1 이미지센서 사이의 광경로에서 제거되고, 3차원 모드에서는 제1 촬영렌즈부와 제1이미지센서 사이의 광경로상에 배치되어, 광이 제1 이미지센서를 향하는 제1경로와 제2 촬영렌즈를 향하는 제2경로로 분할되도록 상기 빔분할부가 위치 제어될 수 있다.

상술한 3차원 카메라는 두 세트의 촬영렌즈와 이미지센서를 이용하는 것으로, 컴팩트한 광학계 배치 구성을 가지고 있어, 외관상 2차원 카메라와 유사하며, 또한, 2차원/3차원 겸용의 영상 획득에 사용될 수 있다.

도 1은 실시예에 따른 3차원 카메라의 개략적인 구성을 보인다.
도 2는 도 1의 3차원 카메라가 3차원 모드로 작동되는 광경로 및 영상처리부의 영상처리 프로세스를 보인다.
도 3a 및 도 3b는 서로 다른 두 시점에서 획득된 영상의 예를 보인다.
도 4는 도 1의 3차원 카메라가 2차원 모드로 작동되는 광경로를 보인다.
도 5는 실시예의 3차원 카메라의 작동 단계를 설명하는 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100... 3차원 카메라 112...제1 촬영렌즈부
114...제1 이미지센서 122...제2 촬영렌즈부
124...제2 이미지센서 132...빔분할부
134...구동부 136...제어부
140...영상처리부

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다.

도 1은 실시예에 따른 3차원 카메라(100)의 개략적인 구성을 보인다. 3차원 카메라(100)는 3차원 영상 정보를 생성하기 위해, 적어도 2이상의 서로 다른 시점(view point)의 영상을 캡쳐하는 방식을 사용하고 있다. 이에 따라, 3차원 카메라(100)를 구성하는 광학계는 크게, 제1 촬영렌즈부(112)와 제1 이미지센서(114)로 이루어진 광학계와, 제1 촬영렌즈부(112), 제2 촬영렌즈부(122) 및 제2 이미지센서(124)로 이루어진 광학계로 나뉜다. 실시예에서 이러한 두 광학계는 카메라 본체(B)내에 컴팩트하게 배치되어, 외관상 2차원 카메라와 차이가 거의 없도록 배치되고 있다.

도 1을 참조하면, 3차원 카메라(100)는 제1 촬영렌즈부(112), 제1 촬영렌즈부(112)에 의해 결상된 피사체의 제1 영상정보를 획득하는 제1 이미지센서(114), 제1 촬영렌즈부(112)와 제1 이미지센서(114) 사이에 배치된 빔분할부(132), 제1 촬영렌즈부(112)와 제2 촬영렌즈부(122)에 의해 결상된 피사체의 제2 영상정보를 획득하는 제2 이미지센서(124)를 포함한다.

빔분할부(132)는 구동부(134)에 의해 위치 구동되게 배치될 수 있는데, 즉, 제1촬영렌즈부(112)와 제1이미지센서(113) 사이의 광경로상에 배치되거나 또는 이 광경로에서 제거되도록 그 배치 위치가 구동될 수 있다. 이러한 구동은 3차원 영상 또는 2차원 영상을 획득하기 위한 작동을 위해 선택되며, 예를 들어, 사용자의 입력 신호에 따라 제어부(136)가 구동부(134)를 제어하게 된다. 빔분할부(132)는 예를 들어, 입사광의 일부를 투과시키고 일부를 반사시키는 하프미러(half mirror)로 구성될 수 있다. 빔분할부(132)는 빔분할부(132)의 일측 모서리를 축으로 하여 회전 구동되는 형태를 가질 수 있다. 구동부(134)로는 모터, 액츄에이터등의 일반적으로 알려진 구동수단이 채용될 수 있다.

제1 이미지센서(114), 제2 이미지센서(124)로는 광학상을 전기적 신호로 변환하여 영상 정보를 얻는 것으로, CCD (Charge Coupled Device)나 CMOS (Complementary Metal-Oxide Semiconductor)와 같은 촬상 소자가 채용될 수 있다.

제1 촬영렌즈부(112)는 제1 이미지센서(114)에 피사체의 상을 결상하기 위해 마련되는 것이다. 도면에는 하나의 렌즈로 도시되었으나, 이는 예시적인 것이며, 복수의 렌즈를 포함하여 구성될 수 있다. 제2 촬영렌즈부(122)는 제1 촬영렌즈부(112)와 함께, 제2 이미지센서(124)에 피사체의 상을 결상하기 위해 마련되는 것이며, 마찬가지로, 복수의 렌즈를 포함하여 구성될 수 있다.

제1 촬영렌즈부(112)가 형성하는 광학계와 제1 촬영렌즈부(112) 및 제2촬영렌즈부(122)가 형성하는 광학계는 서로 다른 초점거리를 가진다. 예를 들어, 제1 촬영렌즈부(112)가 형성하는 광학계와, 제1 촬영렌즈부(112) 및 제2 촬영렌즈부(122)가 형성하는 광학계 중 어느 하나는 사람의 시야에 해당하는, 대략 초점거리 50mm에 대응하는 화각을 가지도록 구성되고, 나머지 하나는 이보다 넓은 화각을 가지도록 구성될 수 있다. 이러한 구성에 따라, 따라서, 제1 이미지센서(114)와 제2 이미지센서(124)에는 동일한 피사체에 대해 서로 다른 시점의 영상 정보가 획득되게 된다.

영상처리부(140)는 제1 이미지센서(114)와 제2 이미지센서(124)에서 획득된 서로 다른 시점의 두 영상 정보를 분석, 연산하여 3차원 영상 정보를 생성한다.

이하, 도 2 내지 도 4를 참조하여, 3차원 카메라(100)의 작동 과정을 상세히 살펴보기로 한다.

도 2는 도 1의 3차원 카메라가 3차원 모드로 작동되는 광경로 및 영상처리부(400)의 영상처리 프로세스를 보인다. 도 3a 및 도 3b는 서로 다른 두 시점에서 획득된 영상의 예를 보인다.

3차원 모드로 동작될 때, 빔분할부(132)는 제어부(136)로부터의 제어 신호에 따라 구동부(134)에 의해 구동되어, 제1 촬영렌즈부(112)와 제1 이미지센서(113) 사이의 광경로상에 배치되도록 위치 제어된다. 이러한 배치에서, 피사체(OBJ)로부터의 광은 제1 촬영렌즈부(112)를 지난 후, 서로 다른 두 경로로 분할되는데, 도시된 바와 같이, 제1 이미지센서(114)를 향하는 제1경로와 제2 이미지센서(124)를 향하는 제2경로로 분할될 수 있다. 제1경로와 제2경로는 대략 직각이 되도록 빔분할부(132)의 위치가 제어될 수 있으며, 이와 같은 경우, 카메라 본체(B)내에 보다 컴팩트하게 배치되기 용이해진다.

제1 이미지센서(122)에는 제1 촬영렌즈부(112)에 의해 피사체가 결상된 제1 영상이 획득되고, 제2 이미지센서(124)에는 제1 촬영렌즈부(112) 및 제2 촬영렌즈부(122)에 의해 피사체가 결상된 제2영상이 획득된다. 제1영상과 제2영상은 서로 다른 시점의 영상으로서, 예를 들어, 도 3a 및 도 3b에 도시된 바와 같이, 원근에 따른 크기 비율이 서로 다르다. 도 3a는 초점거리 24mm인 경우, 도 3b는 초점거리 50mm인 경우이다. 화각이 큰 도 3a의 경우, 화각이 상대적으로 작은 도 3b에 비해, 동일한 거리에 위치한 동일한 물체가 더 작게 나타난다. 이러한 현상은 동일한 위치에 대한 깊이감이 화각에 따라 다르게 나타나기 때문이다. 일반적으로, 사람의 시각과 다르게 나타나는 깊이감 현상을 광각 왜곡(wide angle distortion)이라 하며, 실시예에서는 광각 왜곡 분석을 통해, 3차원 영상 정보 생성을 위한 깊이를 연산하게 된다.

영상처리부(140)는 제1 이미지센서 및 제2 이미지센서에 획득된 영상에 대해 일련의 연산과정을 거쳐 3차원 영상정보를 생성한다. 구체적으로, 살펴보면, 먼저, 각 영상의 구성요소를 물체, 서브물체 단위로 분류한다. 다음. 두 영상에 대해, 광각 왜곡 분석 과정으로서, 각각 구분지어진 단위를 매칭시켜 크기 비율을 연산한다. 연산된 결과로부터, 화소별로 깊이를 계산하고, 이로부터 3차원 영상 정보, 예를 들어, 좌안 영상정보와 우안 영상정보를 생성한다.

도 4는 도 1의 3차원 카메라가 2차원 모드로 작동되는 광경로를 보인다. 2차원 모드에서, 빔분할부(132)는 제1 촬영렌즈부(112)와 제1 이미지센서(114) 사이의 광경로에 놓이지 않도록 위치 제어된다. 따라서, 피사체(OBJ)로부터의 광은 제1 촬영렌즈부(112)를 지나 제1 이미지센서(114)에 결상되며, 제2 이미지센서(124)로는 향하지 않는다. 영상처리부(140)는 제1 이미지센서(112)에 획득된 정보를 2차원 영상으로 처리한다.

도 5는 실시예의 3차원 카메라의 작동 방법를 설명하는 흐름도이다. 실시예의 작동 방법은 사용자에 의해, 복수 시점의 영상을 획득할 수 있도록 제1 촬영렌즈부와 제1 이미지센서, 제2 촬영렌즈부와 제2 이미지센서 및 빔분할부를 구비하는 3차원 카메라의 작동 방법에 관한 것으로, 도 1에서 설명한 구조는 이러한 방법을 구현할 수 있는 예시적인 구조이다.

사용자의 선택에 의해, 2차원 모드와 3차원 모드가 선택되며(S303), 3차원 모드가 선택된 경우 빔분할부는 제1위치로 제어된다(S305). 제1위치는 제1이미지센서와 제2이미지센서 모두에 피사체가 결상되게 하는 광학적 배치이다. 즉, 피사체로부터의 광이 두 이미지센서를 향해 분할되도록, 빔분할부가 배치되게 되며, 예를 들어, 제1 이미지센서와 제2 이미지센서 사이의 광경로상에 빔분할부가 배치된다.

이에 따라, 제1 이미지센서 및 제2 이미지센서에서 서로 다른 시점의 제1영상 및 제2영상이 획득된다(S307).

영상처리부는 제1 이미지센서 및 제2 이미지센서에 획득된 영상에 대해 일련의 연산과정을 거쳐 3차원 영상정보를 생성한다. 예를 들어, 각 영상의 구성요소를 물체, 서브물체 단위로 분류하고(S309), 각각 구분지어진 단위를 매칭시켜 크기 비율을 연산하는 광각 왜곡 분석(S311)을 수행한다. 계산 결과로부터, 화소별 깊이를 연산하고, 3차원 영상 정보를 생성한다.

2차원모드가 선택된 경우 빔분할부는 제2위치로 제어된다(S304). 제2위치는 제1 이미지센서에만 피사체가 결상되게 하는 광학적 배치로서, 예를 들어, 피사체로부터의 광이 제1 이미지센서 및 제2 이미지센서를 향해 분할되지 않도록, 빔분할부가 제1 이미지센서 및 제2 이미지센서 사이의 광경로에서 제거된다. 이에 따라 제1이미지센서에서 영상이 획득되고(S306), 일반적인 2차원 영상이 된다.

이러한 본원 발명은 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

Claims (14)

1. 제1 촬영렌즈부;
   상기 제1 촬영렌즈부에 의해 결상된 피사체의 제1 영상정보를 획득하는 제1 이미지센서;
   상기 제1 촬영렌즈부와 제1 이미지센서 사이의 광경로에 배치된 것으로, 광을 제1이미지센서를 향하는 제1경로와, 상기 제1경로와 다른 제2경로로 분할하는 빔분할부;
   상기 제2경로 상에 배치된 제2 촬영렌즈부;
   상기 제1 촬영렌즈부와 제2 촬영렌즈부에 의해 결상된 피사체의 제2 영상정보를 획득하는 제2 이미지센서;
   상기 제1 영상정보와 제2 영상정보로부터 3차원 영상 정보를 생성하는 영상처리부;를 포함하며,
   상기 제1촬영렌즈부가 형성하는 광학계와, 상기 제1 및 제2촬영렌즈부가 형성하는 광학계 중 어느 하나는 사람의 시야에 해당하는 화각을 가지도록 구성되고, 나머지 하나는 이보다 넓은 화각을 가지도록 구성되며,
   상기 영상처리부는 상기 제1 및 제2 이미지 센서에서 획득된 두 영상의 구성요소를 분류하고, 각각 분류된 단위를 매칭시켜 크기 비율을 연산하는 광각 왜곡 분석에 의해 화소별 깊이를 연산하여 3차원 영상정보를 생성하는, 3차원 카메라.
2. 제1항에 있어서,
   상기 빔분할부는 입사된 광의 일부를 투과시키고 일부는 반사시키는 하프미러로 구성되는 3차원 카메라.
3. 제1항에 있어서,
   상기 제1경로와 상기 제2경로는 직각이 되도록 상기 빔분할부가 배치되는 3차원 카메라.
4. 삭제
5. 삭제
6. 제1 촬영렌즈부;
   상기 제1 촬영렌즈부에 의해 결상된 피사체의 제1영상정보를 획득하는 제1 이미지센서;
   상기 제1 촬영렌즈부와 제1이미지센서 사이에 마련된 것으로
   3차원 모드에서는, 상기 제1 촬영렌즈부와 제1 이미지센서 사이의 광경로에 배치되어, 광을 제1 이미지센서를 향하는 제1경로와, 상기 제1경로와 다른 제2경로로 분할하고,
   2차원 모드에서는, 상기 제1 촬영렌즈부와 제1 이미지센서 사이의 광경로에서 제거되도록 제어되는 빔분할부;
   상기 제2경로 상에 배치된 제2 촬영렌즈부;
   상기 제1 촬영렌즈부와 제2 촬영렌즈부에 의해 결상된 피사체의 제2 영상정보를 획득하는 제2 이미지센서;
   상기 제1 영상정보와 제2 영상정보로부터 3차원 영상 정보를 생성하는 영상처리부;를 포함하며,
   상기 제1촬영렌즈부가 형성하는 광학계와, 상기 제1 및 제2촬영렌즈부가 형성하는 광학계 중 어느 하나는 사람의 시야에 해당하는 화각을 가지도록 구성되고, 나머지 하나는 이보다 넓은 화각을 가지도록 구성되며,
   상기 영상처리부는 상기 제1 및 제2 이미지 센서에서 획득된 두 영상의 구성요소를 분류하고, 각각 분류된 단위를 매칭시켜 크기 비율을 연산하는 광각 왜곡 분석에 의해 화소별 깊이를 연산하여 3차원 영상정보를 생성하는, 2차원/3차원 겸용 카메라.
7. 제6항에 있어서,
   상기 빔분할부는 입사된 광의 일부를 투과시키고 일부는 반사시키는 하프미러로 구성되는 2차원/3차원 겸용 카메라.
8. 제6항에 있어서,
   상기 빔분할부는 상기 빔분할부의 일측 모서리를 축으로 하여 회전 구동되는 2차원/3차원 겸용 카메라.
9. 제6항에 있어서,
   상기 제1경로와 제2경로가 직각을 이루도록, 3차원모드에서 상기 빔분할부의 회전 구동이 제어되는 2차원/3차원 겸용 카메라.
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제

Images