KR101069209B1

KR101069209B1 - 평행축 방식의 입체 카메라에서의 주시각 제어 장치 및 방법

Info

Publication number: KR101069209B1
Application number: KR1020080131534A
Authority: KR
Inventors: 이형근; 최낙진; 박강호; 한상준; 김종호; 이용범
Original assignee: (주)브이쓰리아이; 한국전자통신연구원
Priority date: 2008-12-22
Filing date: 2008-12-22
Publication date: 2011-09-30
Also published as: KR20100072963A

Abstract

본 발명은 평행축 방식의 입체 카메라에서 자동으로 주시각을 제어할 수 있는 장치 및 방법에 관한 것이다. 본 발명의 주시각 제어 장치는 렌즈와 영상 센서를 각각 구비하는 좌우 카메라를 포함하는 입체 카메라부와, 초점 거리에 따른 주시각 제어값이 포함된 룩업 테이블을 저장하는 메모리와, 자동 초점 기능에 의해 특정 물체에 대한 초점 거리를 검출하는 초점 거리 검출부와, 상기 좌우 카메라의 초점 거리가 결정되면, 상기 룩업 테이블을 통해 상기 초점 거리에 따른 주시각 제어값을 결정하는 주시각 제어부와, 상기 결정된 주시각 제어값에 따라 상기 좌우 카메라의 영상을 보정하는 영상 처리부와, 상기 보정된 영상을 표시하는 표시부를 포함함을 특징으로 한다.

입체 카메라, 평행축 방식, 주시각 제어, 영상 센서

Description

평행축 방식의 입체 카메라에서의 주시각 제어 장치 및 방법{METHOD AND APPARATUS FOR CONTROLLING CONVERGENCE IN PARALLEL AXIS TYPED STEROCAMERA}

본 발명은 두 개의 카메라를 이용하는 입체카메라의 주시각 제어 장치 및 방법에 관한 것으로, 특히 평행축 방식의 입체 카메라에서 자동으로 주시각을 제어할 수 있는 장치 및 방법에 관한 것이다.

본 발명은 지식경제부 및 정보통신연구진흥원의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호 : 2006-S-006-03, 과제명 : 유비쿼터스 단말용 부품 모델]

일반적으로 3차원 입체영상 구현을 위해서는 상호간에 유효한 시차를 갖는 2장 이상의 2차원 영상이 필요하며, 상기와 같은 2장 이상의 2차원 영상을 획득하기 위해 사용되는 카메라를 입체 카메라라고 한다.

상기 입체 카메라는 그 방식에 따라 단일 카메라를 활용하는 방법, 양안 카메라를 활용하는 방법, 그리고 다시점 카메라를 활용하는 방법 등이 있으나, 양안 카메라를 활용하는 방법을 주로 사용한다. 상기 양안 입체 카메라는 사람의 눈과 같이 두 개의 카메라를 이용하여 좌우 영상으로 구성되는 2차원 영상을 동시 또는 순차적으로 획득하여 3차원 영상을 촬영하는 장치이며, 지금까지 사용되어온 가장 일반적인 입체 카메라가 상기 양안 입체 카메라이다.

또한, 상기 양안 입체 카메라는 두 개의 영상 센서의 배열방법에 따라 평행축 방식(parallel axis)과 교차축(cross axis) 방식 그리고 평행 이동축(parallel moving axis) 방식이 사용된다.

이러한 방식중 상기 평행축 방식은 두 개의 카메라가 고정되므로 구조가 간단하여 자주 사용되는 방식이다.

그러나 입체 카메라에서는 단안 카메라와 달리 두 개의 카메라를 이용하므로 줌, 포커스 이외에 카메라의 주시각을 정확히 제어할 수 있어야 양질의 입체 영상을 구현할 수 있게 된다.

여기서 상기 주시각 제어란 두개의 카메라가 일정 간격으로 떨어져 있음으로 인해 좌우 카메라의 영상이 차이가 나게 되는데 이러한 좌우 카메라의 영상이 차이(시차)가 나지 않도록 제어하는 것을 의미한다.

일반적으로 상기 평행축 방식의 입체 카메라에서는 두 개의 카메라가 고정되어 있는 구조이어서, 실질적으로 주시각을 제어할 수가 없다. 이를 해결하기 위해서 사용자가 별도의 기계적 장치를 이용하여 주시각을 제어하게 된다. 즉 사용자가 별도의 기계적 장치를 이용하여 각 좌우 카메라를 직접 좌우측으로 변경하여 주시각을 제어하게 된다. 이러한 방식에서는 영상 촬영시마다 주시각을 수동적으로 변경하여야 하므로 번거롭다는 단점이 발생한다.

따라서 본 발명의 목적은 평행축 방식의 입체 카메라에서 미리 설정된 룩업 테이블을 이용하여 자동으로 주시각을 제어할 수 있는 장치 및 방법을 제공함에 있다.

상술한 바를 달성하기 위한 본 발명의 평행축 방식의 입체 카메라에서의 주시각 제어 장치는 렌즈와 영상 센서를 각각 구비하는 좌우 카메라를 포함하는 입체 카메라부와, 초점 거리에 따른 주시각 제어값이 포함된 룩업 테이블을 저장하는 메모리와, 자동 초점 기능에 의해 특정 물체에 대한 초점 거리를 검출하는 초점 거리 검출부와, 상기 좌우 카메라의 초점 거리가 결정되면, 상기 룩업 테이블을 통해 상기 초점 거리에 따른 주시각 제어값을 결정하는 주시각 제어부와, 상기 결정된 주시각 제어값에 따라 상기 좌우 카메라의 영상을 보정하는 영상 처리부와, 상기 보정된 영상을 표시하는 표시부를 포함한다.

상기 룩업 테이블은 좌우 카메라 각각이 포함하는 렌즈와 영상 센서간의 초점 거리와, 상기 초점 거리에 따라 특정 물체와 상기 렌즈간의 거리와, 상기 특정 물체와 상기 렌즈간의 거리에 따른 주시각 제어값을 포함한다.

상기 영상 처리부는 상기 주시각 제어부의 제어하에 상기 좌 카메라의 영상을 상기 주시각 제어값만큼 우측으로 이동시키며, 상기 상기 우 카메라의 영상을 상기 주시각 제어값만큼 좌측으로 이동시켜 상기 좌우 카메라의 영상을 보정한다.

상술한 바를 달성하기 위한 본 발명의 평행축 방식의 입체 카메라에서의 주시각 제어 방법은 초점 거리에 따른 주시각 제어값이 포함된 룩업 테이블을 미리 설정하는 단계와, 좌우 카메라를 포함하는 입체 카메라의 주시각을 제어하기 위해 에지 검출 윈도우를 설정하는 단계와, 상기 설정된 에지 검출 윈도우를 기준으로 특정 물체에 대한 자동 초점 기능을 수행하여 상기 특정 물체의 초점 거리를 검출하는 단계와, 상기 룩업 테이블을 통해 상기 검출된 초점 거리에 따른 주시각 제어값을 결정하는 단계와, 상기 주시각 제어값에 따라 상기 입체 카메라의 영상을 보정하는 단계를 포함한다.

상기 룩업 테이블을 설정하는 단계는 상기 입체 카메라에 대한 입출력 영상 해상도, 영상 센서 사양, 영상 센서 간격, 및 초점 거리에 대한 초기값을 설정하는 단계와, 상기 초기값과 입출력 영상 해상도에 따른 주시각 제어 범위를 계산하는 단계와, 상기 주시각 제어 범위내에서 특정 물체와의 거리에 따라 변경되는 초점 거리와, 상기 초점 거리에 따른 초기 주시각 제어값을 계산하는 단계를 포함한다.

상기 주시각 제어 범위를 계산하는 단계는 상기 특정 물체와 렌즈간의 거리가 무한대일때의 입출력 해상도의 제1 화각 및 제어 범위의 제2 화각을 계산하는 단계와, 상기 제2 화각 및 상기 영상 센서 간격을 기준으로 주시각 제어 가능한 최소 중심 거리(Lmin)를 계산하는 단계를 포함한다.

여기서 상기 주시각 제어 방법은 상기 초점 거리에 따른 주시각 제어값의 측정 오차를 하는 단계와, 상기 계산된 측정 오차를 상기 계산된 초기 주시각 제어값 에 반영하여 주시각 제어값을 계산하는 단계를 더 포함한다.

상기 에지 검출 윈도우는 좌우 각 카메라의 주시각 제어를 위한 이동 방향으로 설정된다.

상기 주시각 제어값에 따라 상기 입체 카메라의 영상을 보정하는 단계는 상기 좌 카메라의 영상을 상기 주시각 제어값만큼 우측으로 이동시키는 단계와, 상기 우 카메라의 영상을 상기 주시각 제어값만큼 좌측으로 이동시키는 단계를 포함한다.

상술한 바와 같이 본 발명은 특정 물체에 대해 자동 초점 기능을 수행하여 초점 거리를 검출한 후 미리 설정된 룩업 테이블을 이용하여 전자적으로 주시각을 제어할 수 있어 자동적 제어할 수 있는 효과가 있다.

또한 상기 룩업 테이블은 렌즈와 영상 센서간의 초점 거리에 따라 카메라와 특정 물체까지의 거리를 정확히 검출할 수 있는 효과가 있다.

이하 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다. 하기 설명에서 구체적인 특정사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해 제공된 것 이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 발명은 평행축 방식의 입체 카메라에서 특정 물체에 대한 검출할 경우 렌즈와 영상 센서간의 초점 거리에 따라 자동으로 주시각을 제어할 수 있는 장치 및 방법을 제안한다.

이를 위해 우선 본 발명의 평행축 방식의 입체 카메라에서의 주시각 제어 장치를 설명한 후 이에 따른 주시각 제어 방법을 설명하기로 한다.

도 1은 본 발명에 따라 평행축 방식의 입체 카메라에서의 주시각 제어 장치를 나타낸 도면이다.

도 1을 참조하면, 주시각 제어 장치(100)는 입체 카메라부(21), 초점 거리 검출부(23), 주시각 제어부(24), 영상 처리부(22), 표시부(25) 및 메모리(26)를 포함한다.

상기 입체 카메라부(21)는 두 개의 좌우 카메라로 구성되며, 상기 좌우 카메라 각각은 렌즈와 영상 센서로 구성된다. 평행축 방식의 입체 카메라는 상기 렌즈와 상기 영상 센서는 일체형으로 구현되어 있다. 상기 영상 센서는 CMOS 형태로 구현될 수 있다.

상기 초점 거리 검출부(23)는 자동 초점(Auto Focusing) 기능에 의해 특정 물체에 대한 초점 거리를 검출한다. 여기서 상기 초점 거리는 상기 렌즈와 상기 영상 센서간의 거리를 의미한다.

상기 주시각 제어부(24)는 상기 좌우 카메라의 초점 거리가 결정되면, 미리 설정한 룩업 테이블을 통해 상기 초점 거리에 따른 주시각 제어값을 결정하며, 상기 결정된 주시각 제어값에 따라 상기 영상 처리부(220)에서 상기 좌우 카메라에서 입력된 영상을 보정하도록 제어한다.

상기 룩업 테이블은 좌우 카메라의 사양에 따라 초점 거리와 상기 초점 거리에 따라 특정 물체와 상기 렌즈간의 거리와, 상기 특정 물체와 상기 렌즈간의 거리에 따른 주시각 제어값을 포함하고 있다. 이러한 파라미터를 포함한 상기 룩업 테이블은 별도의 메모리(26)에 미리 저장된다.

상기 영상 처리부(22)는 상기 주시각 제어부(24)에서 결정된 주시각 제어값을 입력받으면, 좌 카메라의 입력 영상을 상기 주시각 제어값만큼 오른쪽으로 이동시키며, 상기 우 카메라의 입력 영상을 상기 주시각 제어값만큼 왼쪽으로 이동시키게 된다.

상기 표시부(25)는 상기 영상 처리부(22)에서 주시각 제어된 좌우 영상을 표시한다.

본 발명에 따른 입체 카메라(100)는 사용자에 의해 필요한 에지 검출 윈도우가 설정된 후, 상기 설정된 에지 검출 윈도우에서 존재하는 특정 물체가 검출되는 경우, 자동 초점 기능에 의해 초점 거리를 계산하고, 미리 설정된 룩업 테이블을 통해 상기 계산된 초점 거리에 따른 주시각 제어값을 결정하여 자동으로 주시각을 제어하게 된다.

즉 본 발명에서는 자동으로 주시각 제어를 하기위해 상기 룩업 테이블을 구 비하여야한다. 이하에서는 도면을 이용하여 상기 룩업 테이블을 설정하는 방법을 설명하겠다. 상기 룩업 테이블을 설정하는 방법은 입체 카메라의 사양에 따라 결정되는 주시각 제어 범위를 결정하고, 물체와 렌즈간의 거리(L)에 따라 입체 카메라의 영상 센서와 렌즈 사이의 초점 거리(F) 및 주 시각 제어 값을 계산하는 과정을 포함한다.

그러면, 이하 도면을 이용하여 상기 룩업 테이블을 설정하는 방법을 다음의 도 2 내지 도 4를 이용하여 설명하기로 한다.

도 2는 본 발명의 입체 카메라에서 특정 물체(201)와 렌즈간의 거리(L)가 무한대일 때 표시되는 영상을 나타낸 도면이다.

도 2를 살펴보면, 두 개의 좌우 카메라(21a, 21b)로 구성되며, 각 좌우 카메라는 렌즈(201)와 영상 센서(202)를 구비한다. 상기 좌우 카메라(21a, 21b) 각각은 영상 센서에 입력되는 영상(I_L, I_R)과 상기 입력된 영상(I_L, I_R)중 표시부(25)에 출력되는 영상(O_L, O_R)은 상이하다. 여기서 상기 영상 센서(202)에 입력되는 영상(I_L, I_R)을 입력 영상이라 칭하며, 상기 표시부(25)에 출력되는 영상(O_L, O_R)의 해상도를 출력 영상이라 칭하기로 한다.

도 2에서 상기 좌우 카메라(21a, 21b) 각각에서 실선으로 표시된 부분은 입력 영상(I_L ,I_R)을 나타내며, 점선으로 표시된 부분은 출력 영상(O_L ,O_R)을 나타낸 부분이다. 상기 좌 카메라(21a)는 상기 입출력 영상의 해상도 차이가 C2만큼 발생한다. 이러한 C2의 해상도 차이는 상기 좌 카메라(21a)가 주시각을 제어할 수 있는 범위가 된다. 또한 상기 우 카메라(21b)도 입출력 영상의 해상도 차이로 인해 C1만큼의 발생되며, 상기 C1의 해상도 차이만큼 주시각을 제어할 수 있는 범위를 갖게 된다.

즉, 본 발명에서는 상기 입출력 영상의 해상도 차이에 의해 발생되는 여유 영상을 이용하여 주시각을 제어할 수 있는 범위가 결정된다. 예를 들어 입력 영상(I_L ,I_R)의 해상도가 800*600이며, 출력 영상(O_L ,O_R)의 해상도가 640*480인 경우, 주시각을 제어할 수 있는 범위는 (800-640)/2= 80 이다. 이에 따라 상기 좌우 카메라(21a, 21b)는 80 픽셀 범위에서 주시각을 제어할 수 있게 된다. 즉 본 발명의 입체 카메라부(21)는 상기 좌 카메라(21a)의 입력 영상(I_L)을 광축(203) 기준으로 오른쪽 방향으로 80픽셀까지 이동시킨 출력 영상(O_L)을 나타낼 수 있으며, 상기 우 카메라(21b)의 입력 영상(I_R)을 광축(203) 기준으로 왼쪽 방향으로 80픽셀까지 이동시켜 출력 영상(O_R)을 나타낼 수 있다. 따라서 이러한 경우 상기 주시각은 80픽셀 범위내에서 제어가 가능하다.

도 3은 본 발명의 입체 카메라(100)에서 주시각 제어가 가능한 최소 거리를 나타낸 도면으로, 좌우 카메라의 출력 영상(O_L ,O_R)을 나타내었다.

상기 주시각 제어가 가능한 최소 거리는 주시각 제어가 가능한 범위내에서 물체(201)와 렌즈(201)간의 최소 거리를 나타낸 것으로, 이를 최소 중심 거리(Lmin)라 한다.

도 3을 살펴보면, 최소 중심 거리(Lmin)는 상기 도 2에서 좌 카메라(21a)의 입력 영상(I_L)이 주시각 제어 가능 범위인 C2만큼 오른쪽으로 이동하고, 상기 우 카메라(21b)의 입력 영상(I_R)이 C1만큼 이동했을 때의 거리임을 알 수 있다.

도 4는 본 발명의 입체 카메라에서 물체와 렌즈간의 거리(L)가 제어 가능한 범위에 있을 때 초점 거리에 따라 주시각제어가 된 출력 영상 출력 영상(O_L ,O_R)을 나타낸 도면이다.

도시된 바와 같이, 상기 좌 카메라(21a)는 미리 설정된 룩업 테이블을 통해 결정된 주시각 제어값에 따라 입력 영상을 광축(203) 기준으로 오른쪽 방향으로 이동시키며, 우 카메라(21b)는 미리 설정된 룩업 테이블을 통해 결정된 주시각 제어값에 따라 입력 영상을 광축(203) 기준으로 왼쪽 방향으로 이동시켜 주시각을 제어하게 된다.

다음으로 본 발명의 따른 주시각 제어 방법을 설명하기로 한다.

도 5는 도 1의 주시각 제어 장치(100)에서의 주시각 제어 방법을 나타낸 도면이다.

도 5를 참조하면, 상기 주시각 제어 장치(100)는 501 단계에서 초점 거리(F)에 따른 주시각 제어값이 포함된 룩업 테이블을 미리 설정하여 메모리(26)에 저장한다. 그런후 503 단계에서 입체 카메라의 주시각을 제어하기 위해 에지 검출 윈도우를 설정한다. 상기 에지 검출 윈도우는 좌우 카메라(21a, 21b)에 각각 설정한다.

이러한 상기 에지 검출 윈도우는 도 6와 같이 설정할 수 있다.

도 6의 (a)는 좌 카메라(21a)의 입출력 영상을 나타내었으며, 도 6의 (b)는 우 카메라(21b)의 입출력 영상을 나타내었다. 여기서 상기 입력 영상(601, 603)은 800*600의 해상도이며, 상기 출력 영상(611, 613)은 640*480의 해상도를 갖는 일례를 이용한다.

상기 좌 카메라(21a)는 주시각을 오른쪽 방향으로만 제어하기 때문에, 에지 검출 윈도우(605)는 광축(203)을 기준으로 오른쪽 부분에 설정된다. 이에 대한 상기 에지 검출 윈도우(605)의 크기는 주시각 제어에 필요한 물체에 따라 결정될 수 있다. 즉 인물과 같은 물체에 대해서는 좁은 범위의 에지 검출 윈도우를 설정하고, 원거리에 위치한 산과 같은 물체에 대해서는 넓은 범위의 에지 검출 윈도우를 설정할 수 있다.

상기 우 카메라(21a)는 주시각을 왼쪽 방향으로만 제어하기 때문에, 이에 대한 상기 에지 검출 윈도우(615)는 광축(203)을 기준으로 왼쪽 부분에 설정된다. 상기 에지 검출 윈도우(615)의 크기는 주시각 제어에 필요한 물체에 따라 결정된다.

다시 도 5를 이용하여 주시각 제어 방법을 다시 설명하면, 상기 좌우 카메라(21a, 21b)는 505단계에서 상기 에지 검출 윈도우내에 검출된 물체에 대해 자동 초점(Auto Focusing) 기능이 동작하도록 제어하고, 상기 자동 초점 기능이 제어되었을 때의 초점 거리(F)를 검출한다. 그런후 상기 주시각 제어부(24)는 507 단계에 서 상기 초점 거리(F)가 변경되었는지 확인한다.

상기 초점 거리(F)가 변경되면, 상기 주시각 제어부(24)는 509 단계에서 미리 설정된 룩업 테이블에서 상기 초점 거리(F)에 따라 물체와 렌즈까지의 거리(L)를 계산한다. 이후 511 단계에서 상기 계산된 거리(L)에 대한 주시각 제어값을 결정하여 주시각 제어를 수행한다.

본 발명의 주시각 제어 장치(100)는 501단계에서와 상기 룩업 테이블을 설정하는 단계를 도 7을 이용하여 설명한다.

도 7를 참조하면, 미리 룩업 테이블을 설정하기 위해 701단계에서 우선 상기 입체 카메라에 따른 사양을 근거로 주시각 제어를 위한 초기값을 설정한다. 상기 입체 카메라 사양의 초기값은 입출력 영상 해상도, 센서 사양, 센서 간격, 및 초점 거리를 포함한다.

상기 초기값이 설정되면, 703 단계에서 상기 특정 물체와 렌즈간의 거리(L)가 무한대일때의 입출력 해상도의 화각 및 제어 범위의 화각을 계산하여 상기 특정 물체가 카메라에 가장 근접할 때의 거리인 최소 중심 거리(Lmin)를 계산하게 된다.

도 8에 나타낸 입체 카메라의 사양을 일례로 상기 초기값을 설명하면, 입력 영상의 해상도(Hs, Hv)는 800*600이며, 출력 영상의 해상도(Ho, Vo)는 640*480이며, 센서 사양(w, d)은 (4.73mm, 3.52mm)이며, 센서 간격(s)는 60 mm 이며, 초점 거리(F)는 4.55mm 내지 4.7mm 의 범위를 갖는다.

여기서, 상기 센서 사양(w,d), 입출력 해상도 및 센서 간격(s), 초점 거리(F)에 의해 주시각 제어가 가능한 제어 범위가 결정된다. 상기 주시각 제어 범위의 픽셀(Hc)는 다음의 <수학식 1>과 같이 계산되며, 상기 특정 물체와 렌즈간의 거리가 무한대일때의 입출력 해상도의 화각(θ, Ψ) 및 주시각 제어 범위의 화각(δ)은 다음의 <수학식 2>와 같이 계산된다.

<수학식 1>

Hc = (입력 영상의 수평 해상도 - 출력 영상의 수평해상도)/2

<수학식 2>

AOV(θ, Ψ, δ)= 2 * ATAN[w/(2*F∞)]

여기서, 상기 w는 영상 센서의 가로 크기, 상기 렌즈사양 F∞ 는 물체까지의 거리가 무한대인 경우의 초점 거리이다.

도 8과 같은 일례에서는 상기 주시각 제어가 가능한 제어 범위의 픽셀은 수평으로 80픽셀이며, 화각은 수평으로 5.76mm 로 계산된다.

이후 703 단계에서 상기 화각(δ)과 영상 센서 간격(s)를 기준으로 주시각 제어의 최소 중심 거리(Lmin)은 계산하며, 상기 최소 중심 거리(Lmin)는 다음의 <수학식 3>과 같이 계산된다.

<수학식 3>

L min = (S/2) / TAN(δ)

상기 도 8의 일례에서 상기 최소 중심 거리(Lmin)은 297mm 로 계산된다.

그런 후, 상기 705 단계에서 상기 주시각 제어 범위내에서 특정 물체와의 거리(L)에 따라 변경되는 초점 거리를 계산한다. 마지막으로 707 단계에서 상기 거리 거리(L)에 따른 주시각 제어값을 계산하여 룩업 테이블을 구성한다.

도 9는 도 8의 일례에서의 룩업 테이블을 나타낸 도면이다.

도 9를 살펴보면, 상기 룩업 테이블은 최소 중심 거리(Lmin)에서부터 주시각이 제어 가능한 거리까지의 주시각 제어값이 저장된다. 그리고 상기 주시각 제어값은 다수의 파라미터들을 이용하여 계산된다.

각 파라미터들의 의미와 계산 방법은 다음과 같다.

1) 물체거리에 따른 주 시각제어 거리(Cd) = L * TAN(δ)

2) 물체거리에 따른 픽셀의 크기(Pd) = Cd / Hc

3) 물체거리에 따른 1[mm]의 픽셀 수(Dp) = Hc / Cd

4) 물체거리에 따른 주 시각제어 픽셀(Cp) = S / Dp

5) 측정오차(E) = Cp-Mp

6) 측정 오차에 따른 최종 주시각 제어값(Cpc) = Cp - E

상기 파라미터들을 살펴보면, 계산된 주시각 제어값인 주시각 제어 픽셀(Cp)는 이론치이며, 실제 입체 카메라에서는 제조 공정등에서 오차가 발생할 수 있다. 이에 따라 상기 룩업 테이블에는 실제 측정에 따라 발생되는 측정오차(E)를 감안하여 최종 주시각 제어값(Cpc)에 반영하여야 한다.

상술한 바와 같이 평행축 방식의 입체 카메라에서는 카메라 사양에 따른 입출력 영상의 해상도 차이를 이용하여 주시각 제어를 하며, 상기 주시각 제어값은 룩업 테이블에 미리 저장하여 사용하므로 자동으로 주시각을 제어할 수 있게 된다. 또한 상기 룩업 테이블에는 거리(L)값도 저장될 수도 있어, 본 발명의 주시각 제어 기술은 입체 카메라를 사용하는 로봇 기술에서 특정 물체와 거리 측정 및 정확한 위치 인식에서도 응용이 가능하다.

한편 본 발명의 상세한 설명에서는 하나의 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 대역에서의 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐 아니라 이 특허청구의 범위와 균등한 것들에 의해서 정해져야 한다.

도 1은 본 발명에 따라 평행축 방식의 입체 카메라에서의 주시각 제어 장치를 나타낸 도면

도 2는 본 발명의 입체 카메라에서 물체와 렌즈간의 거리(L)가 무한대일 때 표시되는 영상을 나타낸 도면

도 3은 본 발명의 입체 카메라에서 주시각 제어가 가능한 물체와 렌즈간의 최소 거리일 때 표시되는 영상을 나타낸 도면

도 4는 본 발명의 입체 카메라에서 물체와 렌즈간의 거리(L)가 제어 가능한 범위에 있을 때 표시되는 영상을 나타낸 도면

도 5는 도 1의 주시각 제어 장치에서의 주시각 제어 방법을 나타낸 도면

도 6은 에지 검출 윈도우를 설정하는 원리를 나타낸 도면

도 7은 본 발명의 룩업 테이블을 설정하는 단계를 나타낸 도면

도 8은 입체 카메라 사양의 일례를 나타낸 도면

도 9는 도 8의 입체 카메라에서의 룩업 테이블의 일례를 나타낸 도면

<도면의 주요 부분에 대한 부호의 설명>

21 : 입체 카메라부 21a, 21b : 좌 카메라, 우 카메라

22 : 영상 처리부 23 : 초점거리 검출부

24 : 주시각 제어부 25 : 표시부

26 : 메모리 605 : 좌 카메라의 에지 검출 윈도우

615 : 우 카메라의 에지 검출 윈도우

Claims

렌즈와 영상 센서를 각각 구비하는 좌우 카메라를 포함하는 입체 카메라부와,

초점 거리에 따른 주시각 제어값이 포함된 룩업 테이블 - 상기 룩업 테이블의 주시각 제어값은 주시각 제어 범위내에서 특정 물체와의 거리에 따라 변경되는 초점 거리에 따라 결정되며, 상기 주시각 제어 범위는 주시각 제어범위의 화각(δ) 및 영상 센서 간격을 기준으로 주시각 제어가능한 최소 중심 거리(Lmin)를 계산함으로써 구해지며, 상기 최소 중심 거리(Lmin)는 L min = (S/2) / TAN(δ) (여기서 S는 영상 센서 간격이며, δ 는 상기 주시각 제어범위의 화각)에 따라 계산됨-을 저장하는 메모리와,

자동 초점 기능에 의해 특정 물체에 대한 초점 거리를 검출하는 초점 거리 검출부와,

상기 좌우 카메라의 초점 거리가 결정되면, 상기 룩업 테이블을 이용하여 상기 초점 거리에 따른 주시각 제어값을 결정하는 주시각 제어부와,

상기 결정된 주시각 제어값에 따라 상기 좌우 카메라의 영상을 보정하는 영상 처리부와,

상기 보정된 영상을 표시하는 표시부를 포함하는 평행축 방식의 입체 카메라에서의 주시각 제어 장치.
제 1항에 있어서, 상기 룩업 테이블은,

좌우 카메라 각각이 포함하는 렌즈와 영상 센서간의 초점 거리와,

상기 초점 거리에 따라 특정 물체와 상기 렌즈간의 거리와,

상기 특정 물체와 상기 렌즈간의 거리에 따른 주시각 제어값을 포함하는 평 행축 방식의 입체 카메라에서의 주시각 제어 장치.
제 1항에 있어서, 상기 영상 처리부는,

상기 주시각 제어부의 제어하에

상기 좌 카메라의 영상을 상기 주시각 제어값만큼 우측으로 이동시키며, 상기 상기 우 카메라의 영상을 상기 주시각 제어값만큼 좌측으로 이동시켜 상기 좌우 카메라의 영상을 보정하는 평행축 방식의 입체 카메라에서의 주시각 제어 장치.
렌즈와 영상 센서를 각각 구비하는 좌우 카메라를 포함하는 평행축 방식의 입체 카메라에서 주시각 제어를 수행하는 방법에 있어서, 상기 방법은,

초점 거리에 따른 주시각 제어값이 포함된 룩업 테이블을 미리 설정하는 단계 - 상기 룩업 테이블을 설정하는 단계는 상기 입체 카메라의 사양에 따라 설정된 초기값과 입출력 영상의 해상도에 따른 주시각 제어 범위를 계산하는 단계 및 상기 주시각 제어 범위내에서 특정 물체와의 거리에 따라 변경되는 초점 거리에 따른 초기 주시각 제어값을 계산하는 단계를 포함하고, 상기 주시각 제어 범위는 주시각 제어범위의 화각(δ) 및 영상 센서 간격을 기준으로 주시각 제어가능한 최소 중심 거리(Lmin)를 계산함으로써 구해지며, 상기 최소 중심 거리(Lmin)는 L min = (S/2) / TAN(δ) (여기서 S는 영상 센서 간격이며, δ 는 상기 주시각 제어범위의 화각)에 따라 계산됨-와,

상기 입체 카메라의 주시각을 제어하기 위해 에지 검출 윈도우를 설정하는 단계와,

상기 설정된 에지 검출 윈도우를 기준으로 상기 특정 물체에 대한 자동 초점 기능을 수행하여 상기 특정 물체의 초점 거리를 검출하는 단계와,

상기 룩업 테이블을 이용하여 상기 검출된 초점 거리에 따른 주시각 제어값을 결정하는 단계와,

상기 주시각 제어값에 따라 상기 입체 카메라의 영상을 보정하는 단계

를 포함하는 평행축 방식의 입체 카메라에서의 주시각 제어 방법.
제 4항에 있어서, 상기 입체 카메라의 사양에 따라 설정된 초기값은 상기 입체 카메라에 대한 입출력 영상 해상도, 영상 센서 사양, 영상 센서 간격, 및 초점 거리에 대한 초기값을 포함하는 평행축 방식의 입체 카메라에서의 주시각 제어 방법.
제 4항에 있어서, 상기 주시각 제어 범위를 계산하는 단계는 상기 특정 물체와 렌즈간의 거리가 무한대일때의 입출력 해상도의 화각 및 상기 주시각 제어 범위의 화각을 계산하는 단계를 포함하는 평행축 방식의 입체 카메라에서의 주시각 제어 방법.
제 4항에 있어서,

상기 초점 거리에 따른 주시각 제어값의 측정 오차를 계산하는 단계와,

상기 계산된 측정 오차를 상기 계산된 초기 주시각 제어값에 반영하여 주시각 제어값을 계산하는 단계를 더 포함하는 평행축 방식의 입체 카메라에서의 주시각 제어 방법.
제 6항에 있어서, 상기 주시각 제어 범위의 화각(δ)은,

AOV(δ) = 2 * ATAN[w/(2*F∞)]

(여기서 상기 w는 영상 센서의 가로 크기, 상기 F∞는 무한거리에서의 초점 거리)

로 계산되는 평행축 방식의 입체 카메라에서의 주시각 제어 방법.
삭제
제 4항에 있어서, 상기 에지 검출 윈도우는,

좌우 각 카메라의 주시각 제어를 위한 이동 방향으로 설정되는 평행축 방식의 입체 카메라에서의 주시각 제어 방법.
제 4항에 있어서, 상기 주시각 제어값에 따라 상기 입체 카메라의 영상을 보정하는 단계는,

상기 좌 카메라의 영상을 상기 주시각 제어값만큼 우측으로 이동시키는 단계와,

상기 우 카메라의 영상을 상기 주시각 제어값만큼 좌측으로 이동시키는 단계를 포함하는 평행축 방식의 입체 카메라에서의 주시각 제어 방법.