KR101593316B1 - 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치 - Google Patents

Abstract

본 발명은 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치를 개시한다. 본 발명의 일 실시예에 따르면, 3차원 모델 재구성 장치로서, 스테레오 카메라에서 촬상된 제1 이미지 및 제2 이미지를 수신하여 제1 및 제2 이미지 내에 포함된 객체의 윤곽(edge)을 검출하는 윤곽 처리부; 상기 윤곽에 대한 윤곽 디스패리티(disparity) 맵을 생성하는 디스패리티 맵 생성부; 상기 윤곽 디스패리티 맵을 이용하여 상기 윤곽의 외곽 점을 검색하는 외곽 점 검색부; 및 상기 검색된 외곽 점을 이용하여 3차원 모델을 재구성하는 모델링부를 포함하는 3차원 모델 재구성 장치가 제공된다.

Description

스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치{METHOD AND APPARATUS FOR RECONTRUCTING 3-DIMENSION MODEL USING STEREO CAMERA}

본 발명은 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치에 관한 것이다.

영상으로부터 3차원 모델을 복원하는 기법은, 컴퓨터 비전 영역에서 매우 오래된 연구 주제이다. 그 대표적인 기술로서 빛과 그림자의 관계로부터 3차원 정보를 복원하는 기법(shape from shading), 물체 표면 패턴으로부터 3차원 정보를 복원하는 기법(shape from texture) 및 윤곽선 정보로부터 3차원 정보를 복원하는 기법(visual hull) 등이 있다.

특히, 윤곽선 정보로부터 3차원 정보를 복원하는 기법(visual hull)은 매우 간단하면서도 효율적으로 3차원 모델을 복원할 수 있어 최근 많은 연구가 이루어졌다.

한국특허공개공보 제2007-0009899호(발명의 명칭: 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그 방법)에 따르면, 여러 개의 카메라로 사진을 찍은 뒤에 물체의 외곽만으로 3차원 모델을 복원한다.

그러나 많은 카메라를 필요로 하기 때문에 카메라의 개수가 적어지면 적어질수록 3차원 모델 복원의 정확도가 낮아진다. 게다가 고정된 위치에서 많은 카메라를 이용하므로 이동이 불가능하다.

또한, 기존에 출시된 3D 스캐너들은 많은 데이터를 사용하기 때문에 간단한 물체라도 많은 데이터를 사용하여 표현해야 하는 문제점이 있다.

한국특허공개공보 제2007-0009899호 (발명의 명칭: 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그 방법)

상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 적은 수의 데이터를 이용하여 3차원 모델을 재구성할 수 있는 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치를 제안하고자 한다.

상기한 기술적 과제를 해결하기 위해, 본 발명의 바람직한 일 실시예에 따르면, 3차원 모델 재구성 장치로서, 스테레오 카메라에서 촬상된 제1 이미지 및 제2 이미지를 수신하여 제1 및 제2 이미지 내에 포함된 객체의 윤곽(edge)을 검출하는 윤곽 처리부; 상기 윤곽에 대한 윤곽 디스패리티(disparity) 맵을 생성하는 디스패리티 맵 생성부; 상기 윤곽 디스패리티 맵을 이용하여 상기 윤곽의 외곽 점을 검색하는 외곽 점 검색부; 및 상기 검색된 외곽 점을 이용하여 3차원 모델을 재구성하는 모델링부를 포함하는 3차원 모델 재구성 장치가 제공된다.

상기 디스패리티 맵 생성부는 상기 제1 이미지 및 제2 이미지 중 하나를 기준 이미지로 하여 상기 기준 이미지와 다른 이미지 간 윤곽을 구성하는 점간의 거리를 계산할 수 있다.

상기 디스패리티 맵 생성부는 미리 설정된 사이즈의 윈도우를 이용하여 상기 윈도우의 중심점에 상기 기준 이미지의 윤곽이 위치하는 경우, 다른 이미지에서의 대응점과의 거리를 계산할 수 있다.

상기 디스패리티 맵 생성부는 누락된 윤곽에 대해 주변 픽셀을 이용하여 상기 누락된 윤곽에 대한 디스패리티 값을 계산할 수 있다.

상기 윤곽 디스패리티 맵을 벡터화하여 윤곽을 구성하는 점의 좌표 및 점과 점의 연결선에 관한 정보를 생성하는 벡터화부를 더 포함할 수 있다.

상기 외곽 점 검색부는, 상기 윤곽의 중심점에서 최외곽에 위치하는 점을 시작점으로 하여 상기 시작점과 연결된 다른 점들간의 각도를 이용하여 외곽 점을 검색할 수 있다.

상기 외곽 점이 검색된 이후, 상기 외곽 점의 내부에 위치하는 내부 다각형을 검색하는 내부 다각형 검색부를 더 포함할 수 있다.

상기 내부 다각형 검색부는, 상기 윤곽의 중심점에서 최외곽에 위치하는 점을 시작점으로 하여 상기 시작점과 연결된 다른 점들간의 각도를 이용하여 내부 다각형을 검색할 수 있다.

본 발명의 다른 측면에 따르면, 컴퓨팅 장치에서 수행되는 3차원 모델 재구성 방법으로서, (a) 스테레오 카메라에서 촬상된 제1 이미지 및 제2 이미지를 수신하는 단계; (b) 상기 제1 및 제2 이미지 내에 포함된 객체의 윤곽(edge)을 검출하는 단계; (c) 상기 윤곽에 대한 윤곽 디스패리티(disparity) 맵을 생성하는 단계; (d) 상기 윤곽 디스패리티 맵을 이용하여 상기 윤곽의 외곽 점을 검색하는 단계; 및 (e) 상기 검색된 외곽 점을 이용하여 3차원 모델을 재구성하는 단계를 포함하는 3차원 모델 재구성 방법이 제공된다.

본 발명의 또 다른 측면에 따르면 상기한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.

본 발명에 따르면, 윤곽에 대해서만 디스패리티 맵을 구성하기 때문에 빠른 시간 내에 3차원 객체를 모델링을 할 수 있는 장점이 있다.

도 1은 본 발명의 바람직한 일 실시예에 따른 3차원 모델 재구성 장치의 블록도.
도 2는 본 발명의 바람직한 일 실시예에 따른 좌우 이미지를 도시한 도면.
도 3은 본 발명의 바람직한 일 실시예에 따른 중심 픽셀을 포함하는 구형 윈도우를 도시한 도면.
도 4는 본 발명의 바람직한 일 실시예에 따른 누락된 윤곽 픽셀의 디스패리티 값을 구하기 위한 윈도우를 도시한 도면.
도 5는 본 발명의 바람직한 일 실시예에 따른 누락된 윤곽 픽셀의 보상 전 후의 디스패리티 맵을 도시한 도면.
도 6 내지 도 8은 본 발명의 바람직한 일 실시예에 따른 폴리곤에서 외곽 점 및 내부 다각형 검색 과정을 설명하기 위한 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 3차원 모델 재구성 장치의 블록도이다.

본 발명의 일 실시예에 따른 3차원 모델 재구성 장치는 2개의 카메라(100,102)로부터 입력된 이미지를 처리하여 이미지 내에 포함된 객체에 대한 3차원 모델을 재구성하는 장치로서, 컴퓨터일 수 있다.

도 1에 도시된 바와 같이, 본 실시예에 따른 3차원 모델 재구성 장치는 제1 윤곽 처리부(110-1) 제2 윤곽 처리부(110-2), 디스패리티 맵 생성부(112), 벡터화부(114), 외곽 점 검색부(116), 내부 다각형 검색부(118), 분할부(120) 및 모델링부(122)를 포함할 수 있다.

윤곽 처리부(110)는 2대의 스테레오 카메라(100,102)에서 촬상된 제1 이미지 및 제2 이미지를 수신하며, 도 2에 도시된 바와 같이, 제1 이미지 및 제2 이미지 각각에 포함된 객체의 윤곽(edge)을 검출한다. 여기서, 제1 이미지 및 제2 이미지는 양안 시차를 갖는 좌우 이미지이다.

객체의 윤곽 검출은 디지털 이미지의 밝기를 이용하여 수행될 수 있으며, 예를 들어, 밝기가 낮은 값에서 높은 값으로 또는 높은 값에서 낮은 값으로 변하는 지점을 윤곽으로 검출할 수 있다.

본 발명의 일 실시예에 따르면, 제1 윤곽 처리부(110-1)는 제1 카메라(100)를 통해 촬상된 제1 이미지에서 윤곽을 검출하고, 제2 윤곽 처리부(110-2)는 제2 카메라(102)를 통해 촬상된 제2 이미지에서 윤곽을 검출한다.

디스패리티 맵(disparity map) 구성부(112)는 제1 이미지의 윤곽 및 제2 이미지의 윤곽에 대한 윤곽 디스패리티 맵을 생성한다.

본 발명의 일 실시예에 따르면, 디스패리티 맵 구성부(112)는 국부(local) d알고리즘을 기반으로 윈도우(window)를 이용하여 제1 이미지의 윤곽 및 제2 이미지의 윤곽에 대해, 대응점의 거리 차이를 계산하여 윤곽 디스패리티 맵을 생성한다.

도 3에 도시된 바와 같이, 본 실시예에 따른 디스패리티 맵 구성부(112)는 중심 픽셀(p)을 포함하는 구형 윈도우(spacial window)를 이용하여 제1 이미지 및 제2 이미지의 윤곽 사이의 차이를 계산한다.

바람직하게, 본 실시예에 따른 디스패리티 맵 구성부(112)는 제1 이미지 및 제2 이미지 중 하나의 이미지를 기준 이미지로 하여 기준 이미지와 다른 이미지 간 윤곽을 구성하는 점간의 거리를 계산한다.

보다 상세하게, 디스패리티 맵 구성부(112)는 윈도우를 순차적으로 이동시키면서 윈도우의 중심 픽셀이 기준 이미지의 윤곽에 위치하는 경우에 중심 픽셀에 있는 점과 다른 이미지의 대응점과의 거리를 계산한다.

이처럼 본 발명은 윤곽을 중심으로 대응점들 간의 디스패리티 맵을 구성하기 때문에 계산 시간을 한층 줄일 수 있다.

그러나, 상기한 바와 같이, 윈도우의 중심 픽셀이 기준 이미지의 윤곽에 위치하는 경우에만 대응점들 간의 차이를 계산하는 경우, 일부 대응점을 찾지 못하는 경우가 발생할 수 있다.

이를 방지하기 위해, 본 발명은 아래와 같이 소정 사이즈의 윈도우를 이용하여 누락한 윤곽에 대한 픽셀의 디스패리티 값을 계산한다.

도 4에 도시된 바와 같이, 5×5 윈도우를 이용할 수 있으며, 여기서 누락된 윤곽 픽셀을 A₃₃이라 가정할 때, A₃₃는 아래의 수식과 같이 주변 픽셀을 이용하여 계산할 수 있다.

만일 윤곽이면 A_ij>0이고, 윤곽이 아니면 A_ij=0이며, N은 윈도우 내의 픽셀의 수이다.

이와 같이 누락된 윤곽 픽셀에 대한 디스패리티 값을 계산하는 경우, 도 5의 왼쪽에 도시된 바와 같이, 비어 있는 윤곽에 대해 도 5의 오른쪽에 도시된 바와 같이, 윤곽이 보상된 디스패리티 맵을 획득할 수 있다.

벡터화부(114)는 디스패리티 맵을 벡터화하여 윤곽을 구성하는 점의 좌표 및 점과 점의 연결선에 관한 정보를 생성한다.

이후 외곽 점 검색부(116)는 윤곽 디스패리티 맵을 이용하여 객체의 외곽 점(외곽 꼭지점)을 검색한다.

벡터화를 통해 도 6과 같은 폴리곤이 얻어진 경우를 예로 들어 설명한다.

도 6과 같은 폴리곤에서 외곽 점 검색부(116)는 중심에서 최외곽에 위치하는 점(A)를 시작점으로 하여 시작점과 연결된 다른 점들간의 각도를 이용하여 외곽 점을 검색한다.

예를 들어, A에서 시작하는 경우, A와 연결된 점은 H, I 및 B이며, 이 중 가장 큰 각도를 갖는 ∠HAB를 기준으로 다른 외곽점 H 및 B를 검색한다.

외곽 점 검색을 시계방향으로 수행하는 경우, B를 기준으로 B에 연결되는 A, I 및 C에 있어서, ∠ABC 및 ∠ABI 중 중심점 기준으로 ∠ABC가 180도를 넘는 큰 값을 가지므로 다른 외곽점 C를 검색한다.

외곽 점 검색부(116)는 이와 같은 방식으로 객체의 윤곽을 구성하는 모든 외곽 점을 검색한다.

외곽 점 검색 이후, 내부 다각형 검색부(118)는 외곽 점 내부에 위치하는 점들로 구성하는 다각형을 검색한다.

내부 다각형 검색은 외곽 점 검색과 마찬가지로 중심에서 최외곽 위치하는 점(도 6의 A) 시작점으로 한다.

내부 다각형 검색부(118)는 상기한 최외곽의 점을 중심으로 내부에 위치하는 점들을 탐색하며, 이렇게 탐색된 점들이 하나의 다각형을 형성한다.

도 6을 참조하면, A를 시작점으로 하여, A에 연결된 B, I, H와 H에 연결된 G로 이루어진 내부 다각형을 검색한다.

상기한 점들에 의해 더 이상 다각형이 형성되지 않는 경우, 도 7 내지 도 8과 같이 현재 탐색된 내부 다각형은 제거하고, 나머지 점들에 대해 마찬가지의 방법으로 내부 다각형을 검색한다.

분할부(120)는 검색된 내부 다각형을 삼각형으로 분할한다.

삼각형으로의 분할은 3차원 모델링을 용이하게 하기 위한 것으로서, 본 실시예에 따른 분할부(120)는 Y축과 수평한 선을 바탕으로 사다리꼴을 만들고 그 사다리꼴을 삼각형으로 만들게 된다.

모델링부(122)는 상기와 같이 생성된 삼각형을 이용하여 객체에 대한 3차원 모델을 생성한다.

상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (12)

1. 3차원 모델 재구성 장치로서,
   스테레오 카메라에서 촬상된 제1 이미지 및 제2 이미지를 수신하여 제1 및 제2 이미지 내에 포함된 객체의 윤곽(edge)을 검출하는 윤곽 처리부;
   상기 윤곽에 대한 윤곽 디스패리티(disparity) 맵을 생성하는 디스패리티 맵 생성부;
   상기 윤곽 디스패리티 맵을 이용하여 상기 윤곽의 외곽 점을 검색하는 외곽 점 검색부;
   상기 외곽 점이 검색된 이후, 상기 외곽 점의 내부에 위치하는 내부 다각형을 검색하는 내부 다각형 검색부; 및
   상기 검색된 외곽 점을 이용하여 3차원 모델을 재구성하는 모델링부를 포함하되,
   상기 디스패리티 맵 생성부는 누락된 윤곽 픽셀에 대해, 미리 설정된 사이즈의 윈도우 내에 포함되는 주변 픽셀이 윤곽인지 여부를 이용하여 상기 누락된 윤곽에 대한 디스패리티 값을 계산하며,
   상기 외곽 점 검색부는,
   상기 윤곽의 중심점에서 최외곽에 위치하는 점을 시작점으로 하여 상기 시작점과 연결된 다른 점들간의 각도를 이용하여 외곽 점을 검색하고,
   상기 내부 다각형 검색부는,
   상기 윤곽의 중심점에서 최외곽에 위치하는 점을 시작점으로 하여 상기 시작점과 연결된 다른 점들간의 각도를 이용하여 내부 다각형을 검색하는 3차원 모델 재구성 장치.
2. 제1항에 있어서,
   상기 디스패리티 맵 생성부는 상기 제1 이미지 및 제2 이미지 중 하나를 기준 이미지로 하여 상기 기준 이미지와 다른 이미지 간 윤곽을 구성하는 점간의 거리를 계산하는 3차원 모델 재구성 장치.
3. 제2항에 있어서,
   상기 디스패리티 맵 생성부는 미리 설정된 사이즈의 윈도우를 이용하여 상기 윈도우의 중심점에 상기 기준 이미지의 윤곽이 위치하는 경우, 다른 이미지에서의 대응점과의 거리를 계산하는 3차원 모델 재구성 장치.
4. 삭제
5. 제1항에 있어서,
   상기 윤곽 디스패리티 맵을 벡터화하여 윤곽을 구성하는 점의 좌표 및 점과 점의 연결선에 관한 정보를 생성하는 벡터화부를 더 포함하는 3차원 모델 재구성 장치.
6. 삭제
7. 삭제
8. 삭제
9. 컴퓨팅 장치에서 수행되는 3차원 모델 재구성 방법으로서,
   (a) 스테레오 카메라에서 촬상된 제1 이미지 및 제2 이미지를 수신하는 단계;
   (b) 상기 제1 및 제2 이미지 내에 포함된 객체의 윤곽(edge)을 검출하는 단계;
   (c) 상기 윤곽에 대한 윤곽 디스패리티(disparity) 맵을 생성하는 단계;
   (d) 상기 윤곽 디스패리티 맵을 이용하여 상기 윤곽의 외곽 점을 검색하는 단계;
   (e) 상기 외곽 점이 검색된 이후, 상기 외곽 점의 내부에 위치하는 내부 다각형을 검색하는 단계; 및
   (f) 상기 검색된 외곽 점을 이용하여 3차원 모델을 재구성하는 단계를 포함하되,
   상기 (c) 단계는 누락된 윤곽 픽셀에 대해, 미리 설정된 사이즈의 윈도우 내에 포함되는 주변 픽셀이 윤곽인지 여부를 이용하여 상기 누락된 윤곽에 대한 디스패리티 값을 계산하며,
   상기 (d) 단계는,
   상기 윤곽의 중심점에서 최외곽에 위치하는 점을 시작점으로 하여 상기 시작점과 연결된 다른 점들간의 각도를 이용하여 외곽 점을 검색하고,
   상기 (e) 단계는,
   상기 윤곽의 중심점에서 최외곽에 위치하는 점을 시작점으로 하여 상기 시작점과 연결된 다른 점들간의 각도를 이용하여 내부 다각형을 검색하는 3차원 모델 재구성 방법.
10. 제9항에 있어서,
    상기 (b) 단계는 상기 제1 이미지 및 제2 이미지 중 하나를 기준 이미지로 하여 상기 기준 이미지와 다른 이미지 간 윤곽을 구성하는 점간의 거리를 계산하는 3차원 모델 재구성 방법.
11. 제10항에 있어서,
    상기 (b) 단계는 미리 설정된 사이즈의 윈도우를 이용하여 상기 윈도우의 중심점에 상기 기준 이미지의 윤곽이 위치하는 경우, 다른 이미지에서의 대응점과의 거리를 계산하는 3차원 모델 재구성 방법.
12. 제9항에 따른 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
    
    
    

Images