KR101673000B1

KR101673000B1 - 3안 스테레오 이미지를 이용한 피사체 윤곽선 개선 시스템

Info

Publication number: KR101673000B1
Application number: KR1020150157834A
Authority: KR
Inventors: 이종훈; 황인규; 천준호
Original assignee: 공간정보기술 주식회사
Priority date: 2015-11-11
Filing date: 2015-11-11
Publication date: 2016-11-07

Abstract

본 발명은 폐색영역을 보정하는 스테레오 카메라에 관한 것으로, 동일선 상에 나란히 설치되며 중앙에 배치되는 2번 카메라 모듈을 기준으로 상기 2번 카메라 모듈의 좌측 편에 설치되는 1번 카메라 모듈과 상기 2번 카메라 모듈의 우측 편에 설치되는 3번 카메라 모듈; 상기 2번 카메라 모듈의 영상을 기준으로 상기 2번 카메라 모듈과 상기 3번 카메라 모듈의 영상을 매칭하여 제1 깊이지도를 생성하는 제1 깊이지도 생성부와, 상기 2번 카메라 모듈의 영상을 기준으로 상기 2번 카메라 모듈과 상기 1번 카메라 모듈의 영상을 매칭하여 제2 깊이지도를 생성하는 제2 깊이지도 생성부로 구성된 깊이지도 생성부; 및 상기 제1 깊이지도에서 상기 3번 카메라 모듈에 의해 피사체의 좌측 윤곽선 쪽으로 폐색영역이 생기는 경우 상기 제2 깊이지도의 정보를 이용하여 보정하고, 상기 제2 깊이지도에서 상기 1번 카메라 모듈에 의해 피사체의 우측 윤곽선 쪽으로 폐색영역이 생기는 경우 상기 제1 깊이지도의 정보를 이용하여 보정하는 폐색영역 보정부;를 포함하는 3안 스테레오 이미지를 이용한 피사체 윤곽선 개선 시스템을 제시한다.

Description

3안 스테레오 이미지를 이용한 피사체 윤곽선 개선 시스템{SYSTEM FOR IMPROVEMENT OF SUBJECT OUTLINE USING 3-LENS STEREO IMAGE}

본 발명은 측량 기술분야 중 스테레오 카메라에 관한 것으로 보다 자세하게는 세 개의 카메라 모듈을 사용하여 두 개의 깊이지도를 생성하고 각각의 깊이지도에서 발생하는 폐색영역에 대해 두 개의 깊이지도를 상호 보완적으로 사용함으로써 보정하는 3안 스테레오 이미지를 이용한 피사체 윤곽선 개선 시스템에 관한 것이다.

3차원 입체 영상이라 함은 2차원 영상이 가질 수 없는 깊이 및 공간 형성 정보를 더해서 영상 내의 사물에 입체감을 표현할 수 있는 이미지를 의미한다. 여기서, 입체감은 인간의 두 눈이 받아들이는 좌, 우 영상의 차이로 인해 나타나며, 두뇌의 합성과정을 통해 3차원 입체 영상으로 인식하게 된다. 이러한 3차원 입체형상을 촬영하기 위해서는 서로 연동되는 2개의 카메라가 장착된 스테레오 카메라가 필요하다.

일반적으로 스테레오 카메라 장치는 입체 영상을 생성하기 위한 장치를 의미하며, 입체 영상은 사람의 양안, 즉 우측눈과 좌측눈의 시각 차이를 이용하여 생성된다. 인간의 두 눈은 약간의 거리를 두고 위치해 있으며, 양안 시차는 인간의 좌측 눈의 시각에 따른 이미지와 우측 눈의 시각에 따른 이미지가 서로 다르기 때문에 발생한다. 따라서 사람의 눈을 통해 생성되는 것과 유사한 입체감을 가지는 영상을 생성하기 위해서는 사람의 눈과 같이 약간의 거리를 두고 위치한 좌, 우 두개의 카메라를 필요로 한다. 따라서 스테레오 카메라 장치는 적어도 두 개의 좌, 우 카메라를 포함하여 구성되고, 이러한 서로 다른 위치에서 이미지를 촬영하는 좌, 우 카메라를 이용하여 사람의 양안 시차로부터 생성되는 입체 영상과 비슷한 입체 영상을 생성한다.

여기서, 두 개의 좌,우 카메라는 일정한 간격(baseline)을 두고 이격되고 이러한 위치 차이에 따른 양안 시차 즉, 각각의 카메라를 통해 촬영된 좌, 우 영상을 비교하여 동일한 지점을 찾고 그 지점의 좌, 우 시차를 이용하여 깊이 값을 계산하게 되는데, 일반적으로 카메라를 통해 촬영되는 영상에는 배경을 포함하여 배경 앞쪽으로 피사체 즉 전경이 위치하게 된다.

이때, 카메라의 촬영 관점에서 보면 전경이 되는 피사체에 의해 후방의 배경이 가려지게 되는데, 전술한대로 두 개의 좌,우 카메라는 정해진 베이스라인만큼 이격되어 있어 어느 한쪽의 카메라에서는 촬영되는 배경이 다른 한쪽의 카메라에서는 피사체에 의해 가려져 촬영되지 않는 영역이 발생하게 되고, 그 결과 그 영역에 대해서는 좌, 우 영상의 동일 지점을 찾을 수 없어 깊이 값을 계산할 수 없게 되는 오류 즉, 폐색영역이 생기는 단점이 있다.

대한민국 특허 공개번호 2014-0061089호(2014.05.21) "스테레오 카메라 제어 장치 및 그 방법"

본 발명은 상기의 문제점을 해결하기 위하여 창안된 것으로, 세 개의 카메라 모듈을 사용하여 두 개의 깊이지도를 생성함으로써 전경의 피사체에 의해 배경이 가려지는 부분이 있더라도 이로 인해 발생하는 폐색영역을 보정할 수 있는 3안 스테레오 이미지를 이용한 피사체 윤곽선 개선 시스템을 제공하는 것을 발명의 목적으로 한다.

상기와 같은 목적을 달성하기 위하여 창안된 본 발명은 동일선 상에 나란히 설치되며 중앙에 배치되는 2번 카메라 모듈을 기준으로 상기 2번 카메라 모듈의 좌측 편에 설치되는 1번 카메라 모듈과 상기 2번 카메라 모듈의 우측 편에 설치되는 3번 카메라 모듈; 상기 2번 카메라 모듈의 영상을 기준으로 상기 2번 카메라 모듈과 상기 3번 카메라 모듈의 영상을 매칭하여 제1 깊이지도를 생성하는 제1 깊이지도 생성부와, 상기 2번 카메라 모듈의 영상을 기준으로 상기 2번 카메라 모듈과 상기 1번 카메라 모듈의 영상을 매칭하여 제2 깊이지도를 생성하는 제2 깊이지도 생성부로 구성된 깊이지도 생성부; 및 상기 제1 깊이지도에서 상기 3번 카메라 모듈에 의해 피사체의 좌측 윤곽선 쪽으로 폐색영역이 생기는 경우 상기 제2 깊이지도의 정보를 이용하여 보정하고, 상기 제2 깊이지도에서 상기 1번 카메라 모듈에 의해 피사체의 우측 윤곽선 쪽으로 폐색영역이 생기는 경우 상기 제1 깊이지도의 정보를 이용하여 보정하는 폐색영역 보정부;를 포함하는 3안 스테레오 이미지를 이용한 피사체 윤곽선 개선 시스템을 제공한다.

본 발명의 3안 스테레오 이미지를 이용한 피사체 윤곽선 개선 시스템에 따르면, 기존의 스테레오 카메라 시스템에서 필연적으로 발생하는 폐색영역을 복잡한 연산없이 용이하게 보정함으써 높은 정확도의 3D영상을 생성할 수 있다.

도 1은 본 발명에 따른 3안 스테레오 이미지를 이용한 피사체 윤곽선 개선 시스템을 개략적으로 나타낸 블록도이다.
도 2는 본 발명에 포함된 1번 내지 3번 카메라 모듈의 촬영 모식도이다.
도 3은 본 발명에서 생성되는 제1 깊이지도에서의 폐색영역을 설명하기 위한 도면이다.
도 4는 본 발명에서 생성되는 제2 깊이지도에서의 폐색영역을 설명하기 위한 도면이다.
도 5는 피사체가 포함된 백그라운드 영상을 나타낸 도면이다.
도 6은 도 5의 깊이지도를 나타낸 도면이다.
도 7은 본 발명에 포함된 1번 카메라 모듈의 촬영 영상을 나타낸 도면이다.
도 8은 본 발명에 포함된 2번 카메라 모듈의 촬영 영상을 나타낸 도면이다.
도 9는 본 발명에 포함된 3번 카메라 모듈의 촬영 영상을 나타낸 도면이다.
도 10은 본 발명에 포함된 2,3번 카메라 모듈 쌍에 의한 제1 깊이지도를 나타낸 도면이다.
도 11은 본 발명에 포함된 2,1번 카메라 모듈 쌍에 의한 제2 깊이지도를 나타낸 도면이다.
도 12는 본 발명에 따라 생성되는 윤곽선이 보정된 최종 상태의 깊이지도를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따라 다섯 개로 구성된 카메라 모듈의 촬영 영역의 나타낸 도면이다.
도 14는 도 13에서 1번 카메라 모듈과 2번 카메라 모듈의 촬영 영역만을 나타낸 도면이다.
도 15는 도 13에서 1번 카메라 모듈과 3번 카메라 모듈의 촬영 영역만을 나타낸 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 기술 등은 첨부되는 도면들과 함께 상세하게 후술되어 있는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 본 실시 예는 본 발명의 개시가 완전하도록 함과 더불어, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공될 수 있다.

본 명세서에서 사용된 용어들은 실시 예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 다수형도 포함한다. 또한, 본 명세서에서 언급된 구성요소, 단계, 동작은 하나 이상의 다른 구성요소, 단계, 동작의 존재 또는 추가를 배제하지 않는다.

한편, 도면의 구성요소는 반드시 축척에 따라 그려진 것은 아니고, 예컨대, 본 발명의 이해를 돕기 위해 도면의 일부 구성요소의 크기는 다른 구성요소에 비해 과장될 수 있다. 또한, 각 도면에 걸쳐 표시된 동일 참조 부호는 동일 구성 요소를 지칭하고, 도시의 간략화 및 명료화를 위해, 도면은 일반적 구성 방식을 도시하고 있다, 또한, 본 발명의 설명된 실시 예의 논의를 불필요하게 불명료하도록 하는 것을 피하기 위해 공지된 특징 및 기술의 상세한 설명은 생략될 수 있다.

이하에서는 본 발명을 구현하기 위한 구체적인 실시예에 대하여 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명에 따른 3안 스테레오 이미지를 이용한 피사체 윤곽선 개선 시스템을 개략적으로 나타낸 블록도이다.

도 1을 참조하면, 본 발명에 따른 3안 스테레오 이미지를 이용한 피사체 윤곽선 개선 시스템(100)은 크게 세 개의 카메라 모듈(101,102,103)과 깊이지도 생성부(110), 그리고 폐색영역 보정부(120)를 포함한다.

상기 세 개의 카메라 모듈(101,102,103)은 3차원 깊이지도를 생성하기 위한 스테레오 이미지를 촬영하는 카메라로서 동일선 상에 기설정된 베이스라인(baseline)에 따라 이격되어 설치된다. 여기서, 중앙에 배치되는 카메라 모듈을 임의상 2 카메라 모듈(102)로 칭하고, 상기 2번 카메라 모듈(102)을 기준으로 그 좌측 편에 설치되는 카메라 모듈은 1번 카메라 모듈(101), 그리고 2번 카메라 모듈(102)의 우측 편에 설치되는 카메라 모듈은 3번 카메라 모듈(103)로 칭하기로 한다. 물론, 이러한 카메라 모듈의 순번은 발명의 이해를 돕기 위해 임의적으로 부여한 것일 뿐이며 순번에 큰 의미가 있는 것은 아님을 밝혀 둔다.

상기 1번 내지 3번 카메라 모듈(103)은 각각 개별 렌즈와 이미지 센서가 구비된 디지털 카메라 혹은 아날로그 카메라가 될 수 있으며, 각각의 위치에서 광축이 서로 평행하도록 배치되어 입체 영상이 생성되는 영역을 공유한다. 다시 말해서, 예컨대 1번 카메라 모듈(101)과 2번 카메라 모듈(102)에서 촬영한 영상 중에서 같은 점이 몇 픽셀 떨어져 있는지 즉, 공유 영상에서 각 카메라모듈의 시차를 계산함으로써 촬영 대상과의 깊이 값을 판단하고 이를 통해 3차원의 깊이지도를 생성하게 된다.

깊이지도를 생성하기 위한 일련의 데이터 처리 과정은 깊이지도 생성부(110)에서 이루어지며, 보다 구체적으로 상기 깊이지도 생성부(110)는 2번 카메라 모듈(102)의 영상을 기준으로 2번 카메라 모듈(102)과 3번 카메라 모듈(103)의 영상을 매칭하여 제1 깊이지도를 생성하는 제1 깊이지도 생성부(111)와, 2번 카메라 모듈(102)의 영상을 기준으로 2번 카메라 모듈(102)과 1번 카메라 모듈(101)의 영상을 매칭하여 제2 깊이지도를 생성하는 제2 깊이지도 생성부(112)로 구성된다. 즉, 제1 깊이지도는 2번 카메라 모듈(102)에서 촬영된 영상 중에서 3번 카메라 모듈(103)에서 촬영된 영상과 공유하는 영역의 시차에 따라 깊이 값이 계산되고, 마찬가지로 제2 깊이지도는 2번 카메라 모듈(102)에서 촬영된 영상 중에서 1번 카메라 모듈(101)에서 촬영된 영상과 공유하는 영역의 시차에 따라 깊이 값이 계산된다.

이처럼 본 발명의 3안 스테레오 이미지를 이용한 피사체 윤곽선 개선 시스템(100)은 기존의 스테레오 카메라와 달리 제1 깊이지도 생성부(111)와 제2 깊이지도 생성부(112)를 통해 두 개의 깊이지도를 생성하는데, 각각의 깊이지도 즉 2,3번 카메라 모듈(102,103) 쌍에 의한 제1 깊이지도와 2,1번 카메라 모듈(101) 쌍에 의한 제2 깊이지도는 각각의 깊이지도에서 발생하는 폐색영역(Occlusion)을 보정함에 있어 상호 보완적으로 사용된다.

이하에서는 제1 및 제2 깊이지도에서 발생하는 폐색영역과 폐색영역을 보정하는 과정에 대해 자세히 살펴보기로 한다.

카메라의 촬영 방향을 기준으로 후방에 위치하는 백그라운드(background)와 전방에 위치하는 피사체 즉 전경(foreground, 이하에서 '피사체'는 전경과 같은 의미로 사용)을 촬영한다고 가정하였을 때, 2번 카메라 모듈(102)에서는 촬영되나 3번 카메라 모듈(103)에서는 전방에 위치하는 피사체로 인하여 촬영되지 않는 백그라운드 영역이 생기고 이는 제1 깊이지도에서 폐색영역이 된다. 마찬가지로, 2번 카메라 모듈(102)에서는 촬영되나 1번 카메라 모듈(101)에서는 전방의 피사체로 인하여 촬영되지 않는 백그라운드 영역이 생기고 이는 제2 깊이지도에서 폐색영역이 된다.

도 2는 1번 내지 3번 카메라 모듈(101,102103)의 촬영 모식도이고, 도 3은 제1 깊이지도에서의 폐색영역을 설명하기 위한 도면, 그리고 도 4는 제2 깊이지도에서의 폐색영역을 설명하기 위한 도면이다.

도 2 내지 도 4를 참조하면, 3번 카메라 모듈(103)은 2번 카메라 모듈(102)의 우측 편에 설치됨으로써 전방에 위치하는 피사체의 좌측 편 백그라운드 일부가 피사체에 의해 가려지게 되고, 따라서 3번 카메라 모듈(103)과 피사체의 좌측 가장자리를 연결한 가상의 선이 백그라운드와 만나는 지점에서부터 2번 카메라 모듈(102)과 피사체의 좌측 가장자리를 연결한 가상의 선이 백그라운드와 만나는 지점까지의 영역은 3번 카메라 모듈(103)에서 촬영되지 않고 제1 깊이지도 생성 시 폐색영역(A)으로 남게 된다(도 3).

마찬가지로, 1번 카메라 모듈(101)은 2번 카메라 모듈(102)의 좌측 편에 설치됨으로써 전방에 위치하는 피사체의 우측 편 백그라운드 일부가 피사체에 의해 가려지게 되고, 따라서 1번 카메라 모듈(101)에서 피사체의 우측 가장자리를 연결한 가상의 선이 백그라운드와 만나는 지점에서부터 2번 카메라 모듈(102)과 피사체의 우측 가장자리를 연결한 가상의 선이 백그라운드와 만나는 지점까지의 영역은 1번 카메라 모듈(101)에서 촬영되지 않고 제2 깊이지도 생성 시 폐색영역(B)으로 남게 된다(도 4).

도 5는 피사체가 포함된 백그라운드 영상을 나타낸 도면이고, 도 6은 도 5의 깊이지도로서 폐색영역을 설명하기 위한 도면이다. 여기서, 도 6은 2,3번 카메라 모듈(102,103) 쌍에 의한 제1 깊이지도이고 촬영 대상과의 깊이 값 즉 거리에 따라 색이 구분된다.

전술한대로 제1 깊이지도에서는 피사체의 왼쪽 편으로 폐색영역(A)이 발생하므로, 도 5의 빨간색 영역에 대응되는 도 6의 빨간색 영역에서 보듯이 피사체(사람)의 좌측 윤곽선이 우측 윤곽선에 비해 매끈하지 못하고 백그라운드와 색상이 명확히 구분되지 않음을 확인할 수 있다.

상기 폐색영역 보정부(120)는 이러한 폐색영역에 대해 보정을 가하는 기능을 수행한다. 구체적으로, 2,3번 카메라 모듈(102,103) 쌍에 의한 제1 깊이지도에서 발생하는 폐색영역(A)에 대해서는 2,1번 카메라 모듈(101) 쌍에 의한 제2 깊이지도의 정보를 이용하여 보정하고, 반대로 2,1번 카메라 모듈(101) 쌍에 의한 제2 깊이지도에서 발생하는 폐색영역(B)에 대해서는 2,3번 카메라 모듈(102,103) 쌍에 의한 제1 깊이지도의 정보를 이용하여 보정한다.

도 2를 보면 3번 카메라 모듈(103)에서 촬영되지 않는 폐색영역(A)는 1번 카메라 모듈(101)에서 촬영되므로 2,1번 카메라 모듈(101) 쌍에 의한 제2 깊이지도에서는 피사체의 왼쪽 윤곽선이 백그라운드와 명확하게 구분되고, 따라서 제2 깊이지도에서 제1 깊이지도의 폐색영역(A)에 매칭되는 영역을 제1 깊이지도와 합성하면 제1 깊이지도에서의 폐색영역(A)는 보정된다.

마찬가지로, 도 2를 보면 1번 카메라 모듈(101)에 의해 촬영되지 않는 폐색영역(B)는 3번 카메라 모듈(103)에서 촬영되므로 2,3번 카메라 모듈(102,103) 쌍에 의한 제1 깊이지도에서는 피사체의 오른쪽 윤곽선이 백그라운드와 명확하게 구분되고, 따라서 제1 깊이지도에서 제2 깊이지도의 폐색영역(B)에 매칭되는 영역을 제2 깊이지도와 합성하면 제2 깊이지도에서의 폐색영역(B)는 보정된다.

도 7 내지 도 9는 각각 1번 카메라 모듈(101), 2번 카메라 모듈(102), 3번 카메라 모듈(103)의 촬영 영상을 나타낸 도면이고, 도 10은 2,3번 카메라 모듈(102,103) 쌍에 의한 제1 깊이지도를 나타낸 도면, 도 11은 2,1번 카메라 모듈(101) 쌍에 의한 제2 깊이지도를 나타낸 도면, 그리고 도 12는 윤곽선이 보정된 최종 상태의 깊이지도를 나타낸 도면이다.

깊이지도 생성 시 기준이 되는 도 8의 촬영 이미지 즉, 2번 카메라 모듈(102)의 촬영 영상과 비교하면 1번 카메라의 촬영 영상(도 7)에서는 전방에 위치하는 피사체의 우측 백그라운드 일부가 피사체에 가려지고, 3번 카메라의 촬영 영상(도 9)에서는 피사체의 좌측 백그라운드 일부가 피사체에 가려져 있다. 이에 따라 2,3번 카메라 모듈(102,103) 쌍에 의한 제1 깊이지도에서는 전술한 폐색영역(A)에 의해 피사체의 좌측 윤곽선이 백그라운드와 명확하게 구분되지 못하고 있으며(도 10), 2,1번 카메라 모듈(101) 쌍에 의한 제2 깊이지도에서는 전술한 폐색영역(B)에 의해 피사체의 우측 윤곽선이 백그라운드와 명확하게 구분되지 않는다(도 11). 다만, 반대로 제1 깊이지도에서는 피사체의 우측 윤곽선이 백그라운드와 명확하게 구분되고 있으며 제2 깊이지도에서는 피사체의 좌측 윤곽선이 백그라운드와 명확하게 구분되고 있으므로, 상기 폐색영역 보정부(120)에 의해 제1 깊이지도와 제2 깊이지도가 상호 보완되어 각각의 폐색영역이 보정되면 최종 완성되는 깊이지도에서의 피사체는 도 12에 도시된 것처럼 윤곽선 전체가 백그라운드와 명확하게 구분된다.

지금까지 세 개의 카메라 모듈을 예시로 설명하였으나, 본 발명은 세 개 이상의 카메라 모듈에서도 상기와 같은 방식으로 폐색영역을 보정할 수 있다.

예컨대, 도 13은 다섯 개로 구성된 카메라 모듈의 촬영 모식도로서, 이 경우 촬영 영역이 중복되는 카메라의 조합에 따라 복수의 깊이지도를 생성할 수 있다. 즉, 서로 인접한 한 쌍의 카메라 모듈 예컨대, 도 14에 도시된 것처럼 1,2번 카메라 모듈 쌍에 의한 깊이지도 뿐만 아니라 도 15에 도시된 것처럼 1번 카메라 모듈의 촬영 영역과 3번 카메라 모듈의 촬영 영역이 중복되므로 1,3번 카메라 모듈 쌍에 의한 깊이지도도 생성될 수 있으며, 이와 같이 카메라 모듈의 조합에 의한 복수의 깊이지도에서 발생한 폐색영역에 대해서는 해당 폐색영역이 발생하지 않은 다른 깊이지도의 정보를 이용하여 보정하게 된다.

이때, 스테레오 이미지 즉, 깊이지도를 생성하는데 사용되는 두 카메라 모듈의 거리(baseline)에 따라 측정할 수 있는 최소거리가 달라지고, 이하의 수학식 1에 따라 거리 정확도가 달라지기 때문에 촬영 대상이 되는 피사체와의 거리에 따라 가까운 피사체에 대해서는 짧은 베이스라인의 카메라 모듈 쌍(예컨대, 도 14의 1,2번 카메라 모듈 쌍)을 사용하고, 먼 거리의 피사체에 대해서는 긴 베이스라인의 의 카메라 모듈 쌍(예컨대, 도 15의 1,3번 카메라 모듈 쌍)을 사용하는 것이 바람직하다.

(여기서, Disparity는 동일 지점에 대한 두 카메라 모듈의 시차 값, Focallength는 카메라모듈에 포함된 렌즈와 이미지센서 간의 거리, Pixelsize는 카메라 모듈에 사용되는 이미지센서의 픽셀 크기)

이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한, 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내고 설명하는 것에 불과하며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉, 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 전술한 실시 예들은 본 발명을 실시하는데 있어 최선의 상태를 설명하기 위한 것이며, 본 발명과 같은 다른 발명을 이용하는데 당업계에 알려진 다른 상태로의 실시, 그리고 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서, 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한, 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.

100: 3안 스테레오 이미지를 이용한 피사체 윤곽선 개선 시스템
101: 1번 카메라 모듈 102: 1번 카메라 모듈
103: 3번 카메라 모듈 110: 깊이지도 생성부
111: 제1 깊이지도 생성부 112: 제2 깊이지도 생성부
120: 폐색영역 보정부

Claims

동일선 상에 나란히 설치되며 중앙에 배치되는 2번 카메라 모듈을 기준으로 상기 2번 카메라 모듈의 좌측 편에 설치되는 1번 카메라 모듈과 상기 2번 카메라 모듈의 우측 편에 설치되는 3번 카메라 모듈로 구성되되, 상기 1 내지 3번 카메라 모듈은 각각의 위치에서 광축이 서로 평행하도록 배치되어 각각의 카메라 모듈의 시차를 계산하여 촬영 대상과의 깊이 값을 판단하고;
상기 2번 카메라 모듈이 단독 촬영한 영상을 기준으로 상기 2번 카메라 모듈과 상기 3번 카메라 모듈이 동시 촬영한 영상을 매칭하여 제1 깊이지도를 생성하는 제1 깊이지도 생성부와, 상기 2번 카메라 모듈이 단독 촬영한 영상을 기준으로 상기 2번 카메라 모듈과 상기 1번 카메라 모듈이 동시 촬영한 영상을 매칭하여 제2 깊이지도를 생성하는 제2 깊이지도 생성부로 구성된 깊이지도 생성부; 및
상기 제1 깊이지도에서 상기 3번 카메라 모듈에 의해 피사체의 좌측 윤곽선 쪽으로 폐색영역이 생기는 경우 상기 제2 깊이지도의 정보를 이용하여 보정하고, 상기 제2 깊이지도에서 상기 1번 카메라 모듈에 의해 피사체의 우측 윤곽선 쪽으로 폐색영역이 생기는 경우 상기 제1 깊이지도의 정보를 이용하여 보정하는 폐색영역 보정부;를 포함하되,
상기 깊이지도생성부는 상기 1번과 2번 카메라 모듈쌍, 상기 2번과 3번 카메라 모듈쌍이 각각 깊이지도를 생성하는데 있어서 측정할 수 있는 최소거리는 하기의 수학식 1 에 의하여 계산하는 것을 특징으로 하는 3안 스테레오 이미지를 이용한 피사체 윤곽선 개선 시스템.

Baseline은 두 카메라 모듈의 거리
Disparity는 동일 지점에 대한 두 카메라 모듈의 시차 값,
Focallength는 카메라모듈에 포함된 렌즈와 이미지센서 간의 거리,
Pixelsize는 카메라 모듈에 사용되는 이미지센서의 픽셀 크기.