KR20070118875A

KR20070118875A - 스테레오 방식 거리 측정 장치 및 방법

Info

Publication number: KR20070118875A
Application number: KR1020060053132A
Authority: KR
Inventors: 남동경; 유호준; 홍선기
Original assignee: 삼성전자주식회사
Priority date: 2006-06-13
Filing date: 2006-06-13
Publication date: 2007-12-18

Abstract

스테레오 방식 거리 측정 장치 및 방법이 제공된다. 스테레오 방식 거리 측정 스테레오 카메라를 통해 촬영된 두 영상에서 사용자로부터 선정된 목표 대상체의 부분 영상을 추출하는 영상 추출부, 추출된 영상을 수퍼 샘플링하는 수퍼 샘플링부, 수퍼 샘플링 된 영상을 픽셀 단위로 매칭하여 영상의 픽셀 편차를 계산하는 서브 픽셀 매칭부, 영상축에 대한 목표 대상체의 각도를 계산하는 각도 계산부 및 계산된 픽셀 편차와 계산된 각도를 기초로 목표 대상체의 거리를 계산하는 거리 계산부를 포함한다.

스테레오, 수퍼 샘플링, 거리 측정

Description

스테레오 방식 거리 측정 장치 및 방법{Stereo-type distance measuring apparatus and method}

도 1은 일반적인 스테레오 카메라의 구성을 도시한 도면이다.

도 2는 스테레오 카메라를 이용하여 거리를 측정하는 2차원 모델을 도시한 도면이다.

도 3은 스테레오 카메라를 이용하여 거리를 측정하는 보다 일반화된 경우를 도시한 도면이다.

도 4는 스테레오 카메라를 이용하여 3차원에서 영상을 촬영한 경우, 거리 계산을 도시한 도면이다.

도 5는 본 발명의 실시예에 다른 스테레오 방식 거리 측정 장치의 구성을 도시한 블록도이다.

도 6은 본 발명의 실시예에 따른 영상 처리부의 구성을 도시한 블록도이다.

도 7은 본 발명의 실시예에 따른 스테레오 방식 거리 측정 장치의 전체 구성을 도시한 블록도이다.

도 8은 피사체의 영역과 픽셀의 관계를 도시한 도면이다.

도 9a 내지 도 9b는 실제의 영상의 밝기 프로파일(intensity profile)을 일정 크기의 픽셀로 받아 들였을 때, 픽셀이 가지는 값을 나타낸 도면이다.

도 10a 내지 도 10b는 도 9a 내지 도 9b에 도시한 두 영상의 편차를 0.01 픽셀 단위로 전수 탐색(Full search)을 하여 찾은 결과를 도시한 도면이다.

도 11은 목표 대상체의 2차원 영상에 대한 수퍼 샘플링의 효과를 도시한 도면이다.

도 12는 본 발명의 실시예에 따른 메인 카메라와 서브 카메라를 이동 통신 단말기에 장착한 실시예를 도시한 도면이다.

도 13은 본 발명의 실시예에 따른 스테레오 방식 거리 측정 방법을 도시한 흐름도이다.

<도면의 주요 부분에 관한 부호의 설명>

520 : 영상 처리부

521 : 이미지 프레임 버퍼

522 : 윈도우 설정부

523 : 영상 추출부

524 : 수퍼 샘플링부

525 : 서브 픽셀 매칭부

526 : 각도 계산부

본 발명은 스테레오 방식 거리 측정 장치 및 방법에 관한 것으로서, 더욱 상 세하게는 이동 디지털 기기의 스테레오 방식 거리 측정에 있어서, 측정 정밀도 및 측정 거리의 한계를 높이기 위해 수퍼 샘플링(Super sampling)을 이용하여 서브 픽셀 매칭을 구현하는 스테레오 방식 거리 측정 장치 및 방법에 관한 것이다.

이동 디지털 기기의 스테레오 방식 거리 측정에 있어서 종래에는 두 대의 카메라를 이동 디지털 기기에 설치하여 삼각 측량을 통해 거리를 측정하거나, 이동 디지털 기기에서 하나의 카메라로 스테레오 방식의 거리 측정을 하기 위해서 카메라를 회전축을 중심으로 회전시켜 두 번 이상 촬영함으로써 두 대의 카메라가 있는 효과를 주는 장치 및 방법을 사용하고 있다.

또한 일반적인 스테레오 카메라의 구성은 도 1에서 보는 것처럼 교차식(Crossing Method)과 평행식(Parallel Method)으로 분류된다.

교차식은 두 카메라 축과 렌즈축이 교차하도록 서로를 향해 안쪽으로 회전하는 카메라를 가지고 있으며 평행식에 비해 인간의 시각 시스템과 비슷하여 로봇 비젼(Vision)분야에 많이 사용되고 있지만, 안쪽으로 회전하는 카메라의 각도를 측정하는 장비가 고가일 뿐 아니라, 점차 소형화 되는 이동 디지털 기기에 장착되기에는 많은 어려움이 있다.

평행식은 두 카메라 축과 렌즈축이 같은 방향으로 정렬된 두 대의 카메라를 이용하여 동일 대상체를 촬영한 후 두 영상의 영상 편차(Image disparity)를 이용하여 두 대의 카메라가 영상을 바라보는 각도를 구하고, 두 대의 카메라가 떨어진 위치와 이 각도 정보를 이용하여 카메라에서 대상체까지 거리를 계산하게 된다.

이 방법은 삼각 측량의 한 가지 방법이며, 오래 전부터 거리 측정에 많이 사 용되고 있다.

상술한 스테레오 방식 거리 측정은 대상체를 수동 측정할 수 있다는 장점을 가지고 있지만, 카메라의 픽셀 해상도에 영향을 받게 되어 측정 거리에 한계가 있어 가까운 거리에서만 널리 사용되고 있다.

이를 극복하여 더 먼 거리를 위해서는 두 대의 카메라 간의 거리를 넓히거나, 카메라의 픽셀 해상도를 늘리거나, 카메라 렌즈의 시야각(FOV, Field of View)을 줄이는 방법이 있지만, 카메라 간의 거리를 넓히는 것은 스테레오 카메라가 모바일 기기와 같은 소형 장치에 부착되어 있는 경우에 실질적으로 가능하지 않으며, 카메라의 픽셀 해상도를 늘리는 것은 카메라의 가격을 상승시킨다.

또한 렌즈의 시야각을 조정하는 것은 특수한 렌즈를 요구하기에 범용적이지 않은 문제점이 있다.

본 발명은 스테레오 방식 거리 측정 장치 및 방법을 통해 측정 거리를 증가시키는데 그 목적이 있다.

본 발명의 다른 목적은 스테레오 방식 거리 측정 장치 및 방법을 통해 거리 측정 정밀도를 향상시키는 것이다.

본 발명의 또 다른 목적은 스테레오 방식 거리 측정 장치 및 방법을 통해 기존의 디지털 카메라에 디지털 줌(Digital zoom) 기능이 적용된 경우, 수퍼 샘플링을 통해 고해상도 영상을 생성하는데 추가적인 기구가 필요 없도록 하여 제조 비용을 감소시키는 것이다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 스테레오 방식 거리 측정 장치는 스테레오 방식 거리 측정 스테레오 카메라를 통해 촬영된 두 영상에서 사용자로부터 선정된 목표 대상체의 부분 영상을 추출하는 영상 추출부, 추출된 영상을 수퍼 샘플링하는 수퍼 샘플링부, 수퍼 샘플링 된 영상을 픽셀 단위로 매칭하여 영상의 픽셀 편차를 계산하는 서브 픽셀 매칭부, 영상축에 대한 목표 대상체의 각도를 계산하는 각도 계산부 및 계산된 픽셀 편차와 계산된 각도를 기초로 목표 대상체의 거리를 계산하는 거리 계산부를 포함한다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 스테레오 방식 거리 측정 방법은 스테레오 카메라를 통해 촬영된 두 영상에서 사용자로부터 선정된 목표 대상체의 부분 영상을 추출하는 영상 추출 단계, 추출된 영상을 수퍼 샘플링하는 수퍼 샘플링 단계, 수퍼 샘플링 된 영상을 픽셀 단위로 매칭하여 영상의 픽셀 편차를 계산하는 서브 픽셀 매칭 단계, 영상축에 대한 목표 대상체의 각도를 계산하는 각도 계산 단계 및 계산된 픽셀 편차와 상기 계산된 각도를 기초로 상기 목표 대상체의 거리를 계산하는 거리 계산 단계를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도 2는 스테레오 카메라를 이용하여 거리를 측정하는 2차원 모델을 도시한 도면으로, 대상체가 메인 카메라의 중앙에 위치하고 있음을 가정하고 있다.

두 대의 카메라가 동일한 스펙을 가지며 둘 사이의 거리가 h 떨어져 있으며, 두 카메라의 시야각이 모두 θ이고, 카메라의 픽셀 해상도가 R이라고 할 때, 두 카메라로 촬영한 대상이 P 만큼의 영상 편차를 가진다면, 두 카메라가 위치한 평면에서 수직 방향 거리 do는 다음과 같이 나타난다.

[수학식 1]

θM, θS가 각각 메인 카메라와 서브 카메라에서 목표 대상체를 본 각도를 나타내고, 이 때 각도는 각각의 카메라의 법선에서 시계 방향으로 측정된 값이다. 참고로, 법선에서 반시계 방향의 각도는 음의 값을 가진다.

이 때,

이고

로부터,

임을 알 수 있다.

이 때, 메인 카메라의 중심에서 대상체 까지 픽셀 변위를 PM, 서브 카메라의 중심에서 대상체 까지 픽셀 변위를 PS라 하면,

가 된다.

여기에서 θx는 x 방향에 대한 시야각, Rx는 x 방향 해상도의 크기를 나타낸다.

따라서, 메인 카메라에서 목표 대상체까지 수직 거리 do는 다음과 같다.

이는 도 1을 통해 설명한 [수학식 1]과 같은 결과이다.

카메라의 시야각이 θ, 카메라의 대각 방향 해상도가 Rd라고 하고, 메인 카메라에서 대상체 까지 수직 거리를 do, 메인 영상에서 대상체가 영상 중심(카메라 중심 축)과 이루는 각을 θD, 메인 영상에서 대상체와 영상 중심의 픽셀 거리를 D라고 하면,

이고,

메인 카메라에서 목표 대상체까지 수직 거리는 앞에서 구한 바와 같이,

이므로,

메인 카메라에서 목표 대상체까지 실제 거리 d는,

임을 알 수 있다.

여기서, Rx는 카메라의 가로방향 해상도, Rd는 카메라의 대각 방향 해상도, θ는 카메라의 시야각, h는 카메라 사이의 거리이고 이 값은 미리 알고 있는 값이 므로, 영상 처리 부에서 영상 편차 P와 대상체 와 중심까지의 픽셀 거리 D를 알면 메인 카메라에서 대상체까지 거리를 구할 수 있다.

스테레오 카메라로 거리를 구하는 공식은 앞에서 계산한 대로 다음과 같다.

[수학식 2]

여기서 제곱근 내부의 항은 측정 목표 대상체가 중심에 있지 않을 경우에

발생하는 항이므로 대상체가 중앙에 위치하고 있을 때는 고려하지 않는다.

따라서 거리 측정 범위를 넓히기 위해서는, x-방향 해상도(Rx)를 높이거나, 카메라 사이의 거리(h)를 넓히거나, 카메라의 시야각(θ)을 좁히거나, 스테레오 영상의 픽셀 편차(P)를 줄여야 한다.

하지만 해상도를 높이거나 카메라의 시야각을 좁히는 것은 기구적인 변경이 필요하고 높은 비용이 필요하며, 카메라 사이의 거리를 넓히는 것은 효율적인 방법이지만, 모바일 기기와 같이 공간에 제약이 있는 경우는 가능하지 않다.

또한 픽셀 편차는 기본적으로 정수이므로 줄이는 데 한계가 발생한다.

본 발명에서는 픽셀 편차를 소수점을 포함하는 실수로 구하여 거리 측정 범위를 넓히는 장치 및 방법을 제안하며, 이 장치 및 방법은 큰 기구 변경이 필요하지 않은 대신에, 이미지 프로세싱을 처리해야 하는 문제가 있지만, 최근 나오고 있는 대부분의 카메라에서는 높은 수준의 이미지 프로세싱을 지원하고 있기 때문에 제조 및 실현에 큰 어려움이 없다.

본 발명의 실시예에 다른 스테레오 방식 거리 측정 장치(500)는 스테레오 카메라로 대상체를 촬영하는 카메라 부(510), 촬영된 영상에서 거리 계산 정보를 추출하는 영상 처리 부(520), 추출된 거리 계산 정보를 기초로 대상체의 거리를 계산하는 거리 계산 부(530), 계산 된 대상체의 거리를 이동 디지털 기기의 화면에 표시하는 거리 표시부(540)를 포함한다.

본 발명의 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다.

그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다.

'~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.

따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.

구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.

먼저 카메라부(510)는 메인 카메라(511)와 서브 카메라(512) 두 대의 스테레오 카메라로 구성되어 있으며, 두 카메라(511, 512)는 영상 축이 동일한 방향을 가지도록 제작되어 있다.

이 때, 다소간 영상 축이 동일한 방향을 가지지 않을 수 있는데, 이것은 카메라 보정(camera calibration)을 통해 수정하게 된다.

영상 처리부(520)는 스테레오 카메라에서 동시에 촬영된 영상을 각각 저장하는 이미지 프레임 버퍼(521), 사용자로부터 거리를 알고 싶은 해당 목표 대상체를 입력 받는 윈도우 설정부(522), 사용자가 선정한 목표 대상체의 부분 영상을 추출하는 영상 추출부(523), 추출된 영상을 수퍼 샘플링하는 수퍼 샘플링부(524), 수퍼 샘플링 된 영상을 픽셀 단위로 매칭하여 영상의 픽셀 편차를 계산하는 서브 픽셀 매칭부(525), 영상축에 대한 목표 대상체의 각도를 계산하는 각도 계산부(526)를 포함한다.

거리 계산부(530)는 카메라부(510)의 두 카메라(511, 512)가 동일한 영상축이 아닐 때 이를 보정하는 스테레오 카메라 보정부(531), 영상처리부(520)의 서브 픽셀 매칭부(525)와 각도 계산부(526)에서 전달받은 거리 계산 정보를 기초로 목표 대상체의 거리를 계산하는 목표 대상체 거리 계산부(532)를 포함한다.

카메라부(510)의 스테레오 카메라(511, 512)에서 동시에 촬영된 영상은 각각 이미지 프레임 버퍼(521)에 저장되며, 메인 영상(521a)은 소정의 크기로 축소되어 화면에 디스플레이된다.

사용자는 화면에 디스플레이된 영상을 보고 거리를 알고 싶은 목표 대상체를 결정하는 입력을 사용자 입력부(미도시)를 통해 전달한다.

이 입력은 사용자가 터치나 버튼, 또는 그 외 다양한 방법으로 장치에 전달 될 수 있으며, 사용자로부터 입력이 없이 항상 가운데 위치한 대상체를 목표 대상체로 선택할 수도 있다.

거리를 알고자 하는 목표 대상체가 결정되면, 영상 처리부(520)의 윈도우 설정부(522)는 대상체 주변에 소정의 영역을 갖는 윈도우를 설정하고, 영상 추출부(523)는 윈도우 설정부(522)에서 설정한 윈도우의 영상을 메인 영상(521a)에서 추출한다.

추출된 영상은 수퍼 샘플링부(524)로 전달되어 보다 높은 해상도의 영상으로 변환된다.

또한 이 때의 해상도 변환에 따라 서브 영상(521b)도 수퍼 샘플링이 수행되며, 거리 영역 및 거리 해상도에 따른 사용자 선택이 있으면, 이 값에 따라 해상도 변환이 수행될 수 있다.

수퍼 샘플링을 통해 해상도가 변환된 메인 영상(524a)과 서브 영상(524b)은 서브 픽셀 매칭부(525)에서 비교되어, 목표 대상체의 영상 편차를 계산하게 된다.

계산된 영상 편차는 수퍼 샘플링 시의 해상도 변환 비에 따라 다시 서브 픽셀 단위로 변환되는데 이때 영상 편차가 정수가 아닌 실수 값으로 변환되어 거리 계산부(530)로 전달된다.

각도 계산부(526)에서는 메인 영상(521a)에서 사용자가 선택한 목표 대상체가 영상의 중심점에서 얼마나 떨어져 있는 지를 계산하여 픽셀 거리로 전달하며, 이 때 메인 영상(521a) 자체를 수퍼 샘플링하여 값을 전달할 수도 있다.

거리 계산부(530)의 스테레오 카메라 보정부(531)는 스테레오 카메라 간의 차이, 예를 들어 수직 방향 축 맞춤(Axis align), 수평 방향 축 맞춤, 시야각의 차이, 촬상 소자 규격의 차이, 카메라 간의 떨어진 거리 오차등을 보정하고 이 보정 값을 목표 대상체 거리 계산부(532)에 전달하여 정확한 거리 측정이 가능하도록 한다.

목표 대상체 거리 계산부(532)는 영상 처리부(520)의 서브 픽셀 매칭부(525)에서 전달된, 스테레오 카메라의 영상 편차와 각도 계산부(526)에서 전달된 메인 영상(521a)에서 목표 대상체가 카메라 중심에서 벗어난 각도 정보를 전달 받아, 메인 카메라(511)에서 목표 대상체까지 거리를 계산한다.

계산된 거리 값은 거리 표시부(540)를 통해 화면에 디스플레이되어 사용자에게 알려진다.

이하 도 8 내지 도 11을 통해 수퍼 샘플링을 이용한 영상 매칭에 대해서 더 상세하게 설명하도록 한다.

일반적으로 디지털 카메라는 렌즈를 통해 모아진 빛의 양을 수광 소자에서 전하 변화로 변화시켜서 이것을 다시 전압/전류 변화로 변화시키고, 최종적으로 이 값을 아나로그-디지털변환(ADC:Analog to Digital Conversion)을 통해 디지털화 한 다.

이 때, 카메라에서 하나의 수광 소자는 하나의 픽셀로 변환된다.

이 경우, 도 8에 나타나 있듯이, 하나의 픽셀이 받아 들이는 빛은 피사체의 영역(Area)이 되므로 결국 픽셀의 값은 피사체의 작은 영역의 빛의 합 또는 평균값이 되며, 이는 칼라 영상일 경우도 마찬가지이다.

실제 영상 프로파일이 실선이라고 할 때, 카메라의 픽셀이 표현하는 것은 실제 영상의 부분 평균값이 된다고 볼 수 있으며, 그림에서 흰색 막대 그래프로 표현된다.

도 9b는 도 9a에서 카메라가 0.4 픽셀만큼 왼쪽으로 움직였을 경우의 받아 들인 픽셀 프로파일이다. 이 경우 위의 경우와 상당히 다른 형태가 됨을 알 수 있다.

즉, 카메라가 영상을 촬영할 때 있어, 픽셀은 실제 영상에 대한 영역 샘플링(Area sampling) 값을 가지게 되므로, 서브 픽셀로 화면이나 카메라가 움직였을 때, 각각의 픽셀이 가지는 값은 움직이기 전과는 많은 차이를 보일 수 있다. 이는 영상이 보다 세밀해 질수록 더 큰 영향을 미친다.

스테레오 카메라로 촬영한 두 영상이 이와 같이 서브 픽셀 단위의 편차를 가질 때, 픽셀 프로파일을 직접 비교하는 매칭 기법을 사용하면 정확한 값을 구하기 어려우며, 비록 비교를 실수 단위로 수행한다고 했을 때도 잘못된 결과를 줄 가능 성이 높다.

도 10a를 보면 두 영상의 편차는 0.01로 나타나, 원래의 픽셀 편차인 -0.4와는 상당히 다른 값을 가짐을 알 수 있다.

이와 같은 문제를 해결하기 위해서, 본 발명에서는 주어진 픽셀 프로파일에서 샘플링을 통하여 보다 높은 해상도의 영상을 미리 구한 후에, 이것을 비교하는 방법을 사용한다.

주어진 영상에서 보다 고해상도 영상을 만들기 위해서 흔히 사용되는 방법으로는 1) Nearest Neighbor Interpolation, 2) Bi-linear Interpolation, 3) Bi-cubic Interpolation, 4) Cubic-Spline Interpolation 등이 있다.

이와 같은 수퍼 샘플링 방법은 기존의 디지털 카메라에 디지털 줌(Digital zoom)으로 적용되어 있기 때문에, 고해상도 영상을 생성하는데 추가적인 기구가 필요하지 않다.

도 9a 내지 도 9b에서 파선은 수퍼 샘플링을 통하여 주어진 픽셀 프로파일을 100배 고해상도로 변환한 밝기 프로파일을 나타낸다.

카메라 이동 전(도 9a)과 이동 후(도 9b)를 비교해 보면, 영상 이동 전후의 프로파일의 전이(shift)는 관찰되지만, 프로파일 자체의 형태가 바뀌지는 않음을 확인할 수 있다.

도 10b는 수퍼 샘플링 된 영상을 이용하여 픽셀 편차를 계산한 것이다. 0.01 픽셀 단위로 전수 탐색을 한 결과값은 -0.44로 원래의 이동 값인 -0.4에 매우 유사함을 알 수 있다.

30 X 30 픽셀인 원래 이미지를 300 X 300 픽셀로 수퍼 샘플링 했을 때 원래 이미지보다 부드럽고 선명하게 보이는 이미지를 얻을 수 있다.

수퍼 샘플링 되어 원래 이미지 보다 선명해진 메인 이미지와 서브 이미지를 픽셀 단위로 매칭시키면 픽셀 편차를 줄일 수 있고, 이는 [수학식 2]를 통해 알 수 있는 것처럼 결과적으로 더 긴 거리의 목표 대상체를 파악할 수 있게 된다.

메인 카메라와 서브카메라의 위치가 표시되어 있고, 이동 통신 단말기의 화면 오른쪽 하단에는 목표 대상체의 거리(327M)가 표시되어 있다.

카메라부(510)의 스테레오 카메라(511, 512)에서 동시에 촬영된 영상은 각각 이미지 프레임 버퍼(521)에 저장되며, 메인 영상(521a)은 적절히 축소되어 화면에 디스플레이된다(S1301).

사용자는 화면에 디스플레이된 영상을 보고 거리를 알고 싶은 목표 대상체를 결정하는 입력을 사용자 입력부(미도시)를 통해 전달한다(S1302).

S1302 후, 거리를 알고자 하는 목표 대상체가 결정되면, 영상 처리부(520)의 윈도우 설정부(522)는 대상체 주변에 소정의 영역을 갖는 윈도우를 설정하고(S1303), 영상 추출부(523)는 윈도우 설정부(522)에서 설정한 윈도우의 영상을 메인 영상(521a) 및 서브 영상(521b)에서 추출한다(S1304).

추출된 영상은 수퍼 샘플링부(524)로 전달되어 보다 높은 해상도의 영상으로 변환된다(S1305).

수퍼 샘플링을 통해 해상도가 변환된 메인 영상(524a)과 서브 영상(524b)은 서브 픽셀 매칭부(525)에서 비교되어, 목표 대상체의 영상 편차를 계산하게 된다(S1306).

S1306 후, 각도 계산부(526)에서는 메인 영상(521a)에서 사용자가 선택한 목표 대상체가 영상의 중심점에서 얼마나 떨어져 있는 지를 계산하여 거리 계산부(530)에 전달하며(S1307), 이때 전달된 각도는 픽셀 거리로 표현된다.

S1307 후, 거리 계산부(530)의 목표 대상체 거리 계산부(532)는 영상 처리부(520)의 서브 픽셀 매칭부(525)에서 전달된, 스테레오 카메라의 영상 편차와 각도 계산부(526)에서 전달된 메인 영상(521a)에서 목표 대상체가 카메라 중심에서 벗어난 각도 정보를 전달 받아, 메인 카메라(511)에서 목표 대상체까지 거리를 계산한다(S1308).

S1308 후, 계산된 거리 값은 거리 표시부(540)를 통해 화면에 디스플레이된다(S1309).

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

상기한 바와 같은 본 발명의 스테레오 방식 거리 측정 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

목표 대상체의 측정 거리를 증가시키는 장점이 있다.

거리 측정 정밀도를 향상시키는 장점도 있다.

기존의 디지털 카메라에 디지털 줌(Digital zoom) 기능이 적용된 경우, 수퍼 샘플링을 통해 고해상도 영상을 생성하는데 추가적인 기구가 필요하지 않아 제조 비용을 감소시키는 장점도 있다.

Claims

스테레오 카메라를 통해 촬영된 두 영상에서 사용자로부터 선정된 목표 대상체의 부분 영상을 추출하는 영상 추출부;

상기 추출된 영상을 수퍼 샘플링하는 수퍼 샘플링부;

상기 수퍼 샘플링 된 영상을 픽셀 단위로 매칭하여 영상의 픽셀 편차를 계산하는 서브 픽셀 매칭부;

영상축에 대한 상기 목표 대상체의 각도를 계산하는 각도 계산부 및

상기 계산된 픽셀 편차와 상기 계산된 각도를 기초로 상기 목표 대상체의 거리를 계산하는 거리 계산부를 포함하는 스테레오 방식 거리 측정 장치.
제 1항에 있어서,

상기 각도 계산부는 픽셀 거리로 각도를 계산하는 스테레오 방식 거리 측정 장치.
제 1항에 있어서,

상기 수퍼 샘플링부는 사용자 선택에 따라 해상도 변환이 가능한 스테레오 방식 거리 측정 장치.
제 1항에 있어서,

상기 서브 픽셀 매칭부는 영상 편차를 실수값으로 변환하는 스테레오 방식 거리 측정 장치.
스테레오 카메라를 통해 촬영된 두 영상에서 사용자로부터 선정된 목표 대상체의 부분 영상을 추출하는 영상 추출 단계;

상기 추출된 영상을 수퍼 샘플링하는 수퍼 샘플링 단계;

상기 수퍼 샘플링 된 영상을 픽셀 단위로 매칭하여 영상의 픽셀 편차를 계산하는 서브 픽셀 매칭 단계;

영상축에 대한 상기 목표 대상체의 각도를 계산하는 각도 계산 단계 및

상기 계산된 픽셀 편차와 상기 계산된 각도를 기초로 상기 목표 대상체의 거리를 계산하는 거리 계산 단계를 포함하는 스테레오 방식 거리 측정 방법.
제 5항에 있어서

상기 각도 계산 단계는 픽셀 거리로 각도를 계산하는 단계를 포함하는 스테레오 방식 거리 측정 방법.
제 5항에 있어서,

상기 서브 픽셀 매칭 단계는 영상 편차를 실수값으로 변환하는 단계를 포함하는 스테레오 방식 거리 측정 방법.