KR20180094554A - 3d 이미지 생성 장치 및 방법 - Google Patents

Abstract

동일 대상물을 촬상하는 복수의 촬상 장치로부터 수신한 이미지 특징 정보로부터 촬상 장치의 자세를 추정하고 각 촬상 장치의 배치를 평가하는 배치 평가부, 배치가 완료된 복수의 촬상 장치로부터 수신한 이미지 관련 점군들을 정렬하는 점군 정렬부, 및 정렬된 점군들을 이용해 3D 이미지를 생성하는 3D 모델 생성부를 포함하는 이미지 생성 장치가 개시된다. 본 발명에 따른 이미지 생성 장치에 따르면 휴대 가능한 스마트폰을 이용하여 재촬영의 번거로움 없이 단시간에 단 한번으로 최적의 위치에서 대상물을 촬영하여 3D 모델을 재구성할 수 있다.

Description

3D 이미지 생성 장치 및 방법{APPARATUS AND METHOD FOR RECONSTRUCTING 3D IMAGE}

본 발명은 3D 이미지 생성 장치 및 방법에 관한 것으로, 더욱 상세하게는 이동 가능한 복수의 카메라를 이용하여 3D 모델을 재구성하는 3D 이미지 생성 장치 및 방법에 관한 것이다.

최근 3D영상 서비스에 대한 관심이 증대되면서 입체영상 생성 및 제공 관련 기술이 지속적으로 연구 개발되고 있다. 이러한 입체 영상을 제작하는 방법은 여러가지가 있으나 그 중 하나가 전용 카메라를 활용해 제작하는 방식이다. 하지만, 전용 카메라를 활용하는 경우 고가의 장비 및 기술이 요구된다는 점에서 일반적인 보급이 어려운 단점이 있다.

다른 접근 방식으로, 동일 물체에 대한 여러 장의 이미지로부터 3D 이미지 또는 3D 모델을 재구성하는 방식이 활용된다. 이때, 여러 장의 이미지를 획득하는 방법 중에는 하나의 카메라로 이동해 가면서 스냅샷 이미지를 찍는 방법, 여러 대의 카메라로 동시에 찍는 방법 등이 이용될 수 있다.

여러 대의 카메라로 동시에 찍어 이미지를 획득하는 방식의 장점은 동시에 찍기 때문에 통제가 불가능한 애완 동물이나 미묘하게 떨리는 사람의 얼굴 등도 3D 모델로 정확한 복원이 가능하다. 또한 일반적으로 이 방식에서는 카메라들을 미리 최적의 위치로 고정시켜 놓고 한 번만 촬영하면 되기 때문에 짧은 시간 내에 작업이 끝난다.

이런 방식의 단점은 카메라가 고정되어 있기 때문에 촬영 장소를 바꾸기가 쉽지 않고, 고가의 카메라 여러 대와 네트워크 장치가 필요하기 때문에 개인이 구축하고 운용하기가 어렵다는 점이다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 이미지 생성 장치를 제공하는 데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 상기 이미지 생성 장치에 의해 이용될 수 있는 이미지 생성 방법을 제공하는 데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은 복수의 촬상 장치 및 이미지 생성 서버를 포함하는 이미지 생성 시스템을 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이미지 생성 장치는, 동일 대상물을 촬상하는 복수의 촬상 장치로부터 수신한 이미지 특징 정보로부터 촬상 장치의 자세를 추정하고 각 촬상 장치의 배치를 평가하는 배치 평가부, 배치가 완료된 복수의 촬상 장치로부터 수신한 이미지 관련 점군들을 정렬하는 점군 정렬부, 및 정렬된 점군들을 이용해 3D 이미지를 생성하는 3D 모델 생성부를 포함할 수 있다.

본 발명에 따른 이미지 생성 장치는 또한, 동일 대상물을 촬상하는 상기 복수의 촬상 장치를 포함하는 클라이언트 그룹을 관리하는 클라이언트 그룹 관리부를 더 포함할 수 있다.

상기 배치 평가부는 배치가 적절하지 않은 촬상 장치에 대해 배치 관련 보정 정보를 제공하여, 이 때, 상기 배치 관련 보정 정보는 최적 자세 정보 및 에러 값을 포함할 수 있다.

상기 배치 평가부는 제1 촬상 장치의 자세를 이상적인 배치와 비교하여 제1 촬상 장치의 배치를 평가하며, 상기 이상적인 배치는 동일 클라이언트 그룹에 포함된 복수의 촬상 장치의 중심점을 중앙으로 하여 설정되는 동심원 상에 상기 복수의 촬상 장치가 등간격으로 배치되고, 각 촬상 장치가 지면과 일정한 각도를 유지하는 구조일 수 있다.

상기 배치 평가부는 또한, 동일 클라이언트 그룹에 포함된 복수의 촬상 장치의 중심점과 제1 촬상 장치 간의 거리 및 제1 촬상 장치가 이상적인 방향까지 회전해야 할 각도에 따라 상기 제1 촬상 장치의 배치를 평가할 수 있다.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 포함하는 3D 이미지 생성 방법은, 동일 대상물을 촬상하는 복수의 촬상 장치로부터 수신한 이미지 특징 정보로부터 촬상 장치의 자세를 추정하고 각 촬상 장치의 배치를 평가하는 단계, 배치가 완료된 복수의 촬상 장치로부터 수신한 이미지 관련 점군들을 정렬하는 단계, 및 정렬된 점군들을 이용해 3D 이미지를 생성하는 단계를 포함할 수 있다.

상기 3D 이미지 생성 방법은 동일 대상물을 촬상하는 상기 복수의 촬상 장치를 포함하는 클라이언트 그룹을 관리하는 단계를 더 포함할 수 있다.

상기 각 촬상 장치의 배치를 평가하는 단계는, 배치가 적절하지 않은 촬상 장치에 대해 배치 관련 보정 정보를 제공하는 단계를 포함할 수 있으며, 여기서, 배치 관련 보정 정보는 최적 자세 정보 및 에러 값을 포함할 수 있다.

상기 각 촬상 장치의 배치를 평가하는 단계는 또한, 제1 촬상 장치의 자세를 이상적인 배치와 비교하여 상기 제1 촬상 장치의 배치를 평가하는 단계를 포함할 수 있고, 상기 이상적인 배치는 동일 클라이언트 그룹에 포함된 복수의 촬상 장치의 중심점을 중앙으로 하여 설정되는 동심원 상에 상기 복수의 촬상 장치가 등간격으로 배치되고, 각 촬상 장치가 지면과 일정한 각도를 유지하는 자세일 수 있다.

한편, 상기 제1 촬상 장치의 자세를 이상적인 배치와 비교하여 상기 제1 촬상 장치의 배치를 평가하는 단계는, 동일 클라이언트 그룹에 포함된 복수의 촬상 장치의 중심점과 제1 촬상 장치 간의 거리 및 제1 촬상 장치가 이상적인 방향까지 회전해야 할 각도에 따라 상기 제1 촬상 장치의 배치를 평가하는 단계를 포함할 수 있다.

본 발명의 또 다른 목적을 달성하기 위한 3D 이미지 생성 시스템은, 동일 대상물을 촬상하는 복수의 촬상 장치 및 동일 대상물을 촬상하는 복수의 촬상 장치로부터 수신한 이미지 특징 정보로부터 촬상 장치의 자세를 추정하고 각 촬상 장치의 배치를 평가하여, 배치가 적절하지 않은 촬상 장치에 대해 배치 관련 보정 정보를 제공하며, 배치가 완료된 복수의 촬상 장치로부터 수신한 이미지를 이용해 3D 이미지를 생성하는 서버를 포함한다.

이때, 상기 촬상 장치는 이동 가능한 단말에 포함된 형태일 수 있다.

상기 서버는, 배치가 완료된 복수의 촬상 장치로부터 수신한 이미지 관련 점군들을 정렬하고 정렬된 점군들을 이용해 3D 이미지를 생성할 수 있다.

여기서, 각 촬상 장치는 서버로부터 수신한 카메라 배치 관련 보정 정보를 디스플레이하는 표시부를 포함할 수 있다.

상기 표시부는, 상기 배치 관련 보정 정보에 포함된 최적 자세 정보 및 에러 값에 따라 촬상 장치의 위치와 관련한 이동 명령 및 촬상 장치의 방향과 관련한 회전 명령을 디스플레이할 수 있다.

상기와 같은 본 발명의 실시예들에 따라 누구나 휴대 가능한 스마트폰을 이용하여 대상 물체의 사진을 촬영하여 3D 모델을 생성함으로써, 재촬영의 번거로움 없이 단시간에 단 한번으로 최적의 위치에서 대상물을 촬영할 수 있다.

도 1은 하나의 카메라를 이용하여 3D 이미지를 생성하는 장치의 개념도이다.
도 2은 본 발명의 일 실시예에 따른 3D 이미지 생성 시스템의 개념도이다.
도 3은 본 발명의 일 실시예에 따른 촬상 장치의 블록 구성도도이다.
도 4는 본 발명의 일 실시예에 따른 이미지 생성 서버의 블록 구성도이다.
도 5는 본 발명의 일 실시예에 따른 3D 이미지 생성 방법의 동작 흐름도이다.
도 6a는 본 발명의 일 실시예에 따른 촬상 대상 물체의 이미지를 나타낸 도면이며, 도 6b은 본 발명의 일 실시예에 따른 대상 이미지 상에 복수의 특징점들을 표시한 도면이다.
도 7은 본 발명의 따른 최적 카메라 배치의 일 실시예를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 클라이언트 표시부의 사용자 제공 화면을 나타낸 도면이다.
도 9는 본 발명에 따른 3D 이미지 생성 방법에 의해 재구성된 3D 이미지를 일 예를 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 하나의 카메라를 이용하여 3D 이미지를 생성하는 장치의 개념도이다.

도 1은 하나의 카메라를 이용하여 3D 이미지를 생성하는 경우의 예를 나타낸다. 하나의 카메라를 이용하여 3D 모델을 생성하는 어플리케이션의 예로는 AutoDesk 123D Catch 를 들 수 있다. 123D 어플리케이션은 스마트폰이나 태블릿에 탑재되어, 피사체를 여러 위치, 각도에서 하나씩 하나씩 사진을 찍어서 획득한 복수의 이미지들로부터 3D 모델을 복원한다.

도 1에 도시된 바와 같이 하나의 카메라를 이용해 복수 회 촬상하는 방법의 장점은 카메라가 한 대만 있어도 되기 때문에 비용이 저렴하고 장소에도 구애를 받지 않는다는 것이다. 반대로, 이 방식의 단점은 시차를 두고 이미지를 획득하기 때문에 작업 시간이 길고, 움직이는 물체 (e.g. 애완 동물, 사람 얼굴)의 경우 촬상 시마다 달라지는 피사체의 위치 및 자세 때문에 해당 물체를 복원하기도 힘들다는 점이다.

특히, 이러한 방법의 경우 도 1에 도시된 바와 같이 동일 피사체를 시차를 두고 한번에 하나씩 촬상하기 때문에 카메라의 위치가 매우 중요한 요소가 되며, 카메라 화면을 통해 사용자에게 카메라 배치 관련 가이드를 제공한다 하더라도 매 촬상 시점마다 최적의 배치에 일치하도록 촬상하기 힘들다. 따라서, 3D 모델 복원에 필요한 복수의 이미지 중 하나라도 잘못 촬상하는 경우, 해당 파트는 실패하게 되고 처음부터 다시 작업을 반복해야 하는 번거로움이 있다.

도 2은 본 발명의 일 실시예에 따른 3D 이미지 생성 시스템의 개념도이다.

도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 3D 이미지 생성 시스템은, 복수의 클라이언트(100-1, 100-2, 100-3, ~ 100-n) 및 서버(200)를 포함하여 구성될 수 있다. 복수의 클라이언트(100-1, 100-2, 100-3, ~ 100-n) 및 서버(200)는 유선 또는 무선 네트워크를 통해 연결될 수 있으며, 이때의 네트워크는 통신 네트워크 및 인터넷을 포함하는 개념이다.

본 발명의 일 실시예에 따른 클라이언트(100)는 대상 물체의 이미지를 캡쳐하고, 사용자에게 해당 이미지 또는 정보를 제공하며, 대상 이미지로부터 특징 추출, 점군(point cloud) 추출 등의 기능을 수행할 뿐 아니라 본 발명에 따른 이미지 생성 서버(200)와 통신한다. 클라이언트(100)는 일반적으로 스마트폰이나 스마트패드와 같이 카메라와 디스플레이, 무선랜, CPU, 메모리 등을 탑재한, 일반적인 스마트폰이나 태블릿의 형태를 포함한다.

다시 말해, 본 발명에 따른 클라이언트(100)은 이동 가능한 단말로서 촬상 장치를 포함하는 기기 또는 장치라면 어떠한 형태라도 가능하다. 즉, 본 발명에서 사용하는 '클라이언트'는 기지국과 통신 가능한 이동국(MS; Mobile Station), 사용자 장비(UE; User Equipment), 사용자터미널(UT; User Terminal), 무선 터미널, 액세스 터미널(AT; Access Terminal), 터미널, 가입자 유닛(SU; Subscriber Unit), 가입자 스테이션(SS; Subscriber Station) 및 모바일 터미널(mobile terminal), 스테이션(station), 가입자 스테이션(subscriber station), 모바일 스테이션(mobile station), 휴대 가입자 스테이션(portable subscriber station), 노드(node), 다바이스(device)뿐 만 아니라 사물통신 장치(IoT: Internet of Thing), 탑재 장치(mounted module/device/terminal 또는 on board device/terminal 등) 등 무선 통신 디바이스(Wireless Communication Device) 등을 통칭하는 용어로 사용할 수 있다.

본 발명에 따른 클라이언트는 또한, WiFi, Bluetooth 등 근거리 무선망을 통해 AP(Access Point) 또는 기타 중계장치와 통신하는 단말, 태블릿(tablet) PC 형태를 포함할 수 있으며, 촬상 장치 즉, 카메라를 포함한다.

도 3은 본 발명의 일 실시예에 따른 촬상 장치의 블록 구성도도이다.

도 3에 도시된 본 발명에 따른 촬상 장치(100)는 클라이언트 내에 포함되는 구성일 수도 있고, 클라이언트와 동일한 요소로 이해될 수도 있다.

본 발명의 일 실시예에 따른 촬상 장치(100)는 이미지 취득부(110), 특징 추출부(120), 점군 추출부(130) 및 표시부(140)를 포함할 수 있다.

이미지 취득부(110)는 사용자의 명령(예를 들어, 버튼 클릭)에 의해 또는 프리뷰 모드에서 영상을 취득하는 역할을 수행한다.

특징 추출부(120)는 이미지 취득부(110)가 촬상한 이미지를 분석하여 해당 이미지에서 복수의 특징점을 추출한다. 이때, 특징 추출에는 Haar-like 특징 추출 기법, 가버(Gabor) 필터를 이용한 기법, 액티브 쉐이프 모델(Active Shape Model)을 활용한 기법 등 다양한 방식이 활용될 수 있다.

점군 추출부(130)는 주어진 자신의 이미지와 오른쪽 이미지 및 각각의 특징점, 카메라 자세 정보를 기반으로 점군을 추출한다.

표시부(140)는 촬상을 위해 렌즈로부터 입력된 이미지를 사용자에게 제공하며, 이미지 생성 서버(200)로부터 수신한 카메라 배치 관련 보정 정보를 사용자에게 디스플레이하는 역할을 수행한다.

좀더 구체적으로 표시부(140)는, 배치 관련 보정 정보에 포함된 최적 자세 정보 및 에러 값에 따라 촬상 장치의 위치와 관련한 이동 명령 및 촬상 장치의 방향과 관련한 회전 명령을 디스플레이한다.

본 발명에 따른 촬상 장치는 촬상한 이미지 및 이미지로부터 추출한 특징점, 점군 등 이미지 관련 정보를 전송하고 서버(200)로부터 배치 관련 보정 정보를 수신하는 송수신부(미도시)를 더 포함할 수 있다.

도 4는 본 발명의 일 실시예에 따른 이미지 생성 서버의 블록 구성도이다.

본 발명의 일 실시예에 따른 이미지 생성 서버(200)는 복수의 클라이언트가 획득한 복수의 이미지 및 관련 정보를 수신하고, 복수의 클라이언트, 즉 카메라 그룹의 자세를 추정하고 배치의 최적성을 평가하며 평가 결과를 클라이언트에 보고한다.

본 발명에 따른 이미지 생성 서버(200)는 데이터 센터에 위치한 고성능 서버일 수 있다. 본 발명에 따른 이미지 생성 서버(200)는 또한 스마트폰일 수도 있다. 즉, 본 발명에서 스마트폰은 클라이언트의 역할뿐 아니라 서버로서의 역할도 수행할 수 있다. 본 발명에 따른 이미지 생성 서버(200)는 이미지 생성 장치로도 지칭될 수 있다.

도 4에 도시된 본 발명의 일 실시예에 따른 이미지 생성 서버(200)는 동일 대상물을 촬상하는 상기 복수의 촬상 장치를 포함하는 클라이언트 그룹을 관리하는 클라이언트 그룹 관리부(210), 동일 대상물을 촬상하는 복수의 촬상 장치로부터 수신한 이미지 특징 정보로부터 촬상 장치의 자세를 추정하고 각 촬상 장치의 배치를 평가하는 배치 평가부(220), 배치가 완료된 복수의 촬상 장치로부터 수신한 이미지 관련 점군들을 정렬하는 점군 정렬부(230), 및 정렬된 점군들을 이용해 3D 이미지를 생성하는 3D 모델 생성부(240)를 포함할 수 있다.

클라이언트 그룹 관리부(210)는 특정 사물에 대한 3D 모델 생성에 관여하는 복수의 클라이언트 그룹을 관리하고 클라이언트(100)와 통신한다.

카메라 배치 평가부(220)는 각 클라이언트로부터 수신한 카메라 내부 파라미터 및 이미지 정보를 바탕으로 각 클라이언트의 카메라의 자세(위치와 방향)를 파악한다. 카메라 배치 평가부(220)는 또한, 각 클라이언트, 즉 카메라 위치를 이용하여 카메라들의 상대적인 순서(자신의 좌측 및 우측에 위치하는 카메라가 몇번 카메라인지 지정)를 결정한다. 카메라 배치 평가부(220)는 또한, 해당 클라이언트 그룹의 배치를 이상적인 카메라 배치와 비교하고, 비교 결과에 따라 각 클라이언트에게 이상적인 카메라 위치를 알려준다.

점군 정렬부(230)는 각 클라이언트(100)로부터 수신한 점군들을 카메라 자세를 이용해 글로벌 좌표계로 변환하여 정렬한다.

3D 모델 생성부(240)는 좌표 변환된 점군들을 이용하여 최종 3D 메시(mesh)를 생성한다.

도 5는 본 발명의 일 실시예에 따른 3D 이미지 생성 방법의 동작 흐름도이다.

도 5에 도시된 3D 이미지 생성 방법은 도 2에 도시된 복수의 촬상 장치(100-1, 100-2, 100-3, ~ 100-n), 서버(200) 각각에 의해 이루어지는 동작 및 그리고 이들 상호 간에 이루어지는 동작을 포함하여 도시되어 있다.

촬상 장치(100)는 우선 대상 이미지를 획득하고(S510), 획득한 이미지의 특징을 추출한다(S511). 촬상 장치(100)는 추출한 특징점 집합 정보를 이미지 생성 서버(200)로 제공한다(S521). 복수의 촬상 장치(100)로부터 대상 이미지 관련 특징점 집합 정보를 수신한 이미지 생성 서버(200)는 각 촬상 장치(100)가 획득한 이미지의 특징점 집합 정보를 비교 분석하여 각 촬상 장치(100)의 자세를 추정한다(S530). 이미지생성 서버(200)는 또한 추정된 카메라 자세로부터 촬상 장치 그룹의 카메라 배치를 평가한다(S531). 각 촬상 장치, 즉 카메라 별로 배치가 적절한지 판단하고(S532), 위치 보정이 필요한 촬상 장치에게는 배치 관련 보정 정보를 전송한다(S522).

이미지 생성 장치의 관점에서 수행되는 이미지 생성 방법을 정리하면, 동일 대상물을 촬상하는 복수의 촬상 장치로부터 수신한 이미지 특징 정보로부터 촬상 장치의 자세를 추정하고 각 촬상 장치의 배치를 평가하는 단계, 배치가 완료된 복수의 촬상 장치로부터 수신한 이미지 관련 점군들을 정렬하는 단계, 및 정렬된 점군들을 이용해 3D 이미지를 생성하는 단계를 포함하며, 동일 대상물을 촬상하는 상기 복수의 촬상 장치를 포함하는 클라이언트 그룹을 관리하는 단계를 더 포함할 수 있다.

아래에서는 도 5에 개락적으로 도시된 본 발명에 따른 이미지 생성 방법의 각 단계를 구체적인 예를 들어 상세히 설명한다.

촬상 장치(100)는 촬상 대상에 대한 이미지를 취득하고(S510) 카메라 내부 파라미터를 이용하여 카메라 왜곡을 제거한다. 촬상 장치(100)는 이후, 카메라 왜곡이 제거된 취득 이미지에 대해 특징점 추출을 수행한다(S511).

도 6a는 본 발명의 일 실시예에 따른 촬상 대상 물체의 이미지를 도시한다.

즉, 도 6a는 3D 이미지 생성의 대상이 되는 캡쳐할 물체의 일 예를 보여준다. 캡쳐에 참여할 복수의 촬상 장치들은 촬상 대상을 중심에 두고 대략 동심원으로 배치된다. 이때, 참여하는 촬상 장치들은 미리 서버 (200)에 한 그룹으로 등록되어 있고, 각 클라이언트의 카메라의 내부 파라미터 (예를 들어, 카메라 계수, 초점 거리 등)는 미리 계산해 둔 것으로 가정한다.

도 6b은 본 발명의 일 실시예에 따른 대상 이미지 상에 복수의 특징점들을 표시한 도면이다.

각 촬상 장치(100)는 추출된 특징점 집합을 이미지 생성 서버(200)로 제공한다(S521).

하나의 그룹을 이루는 복수의 촬상장치 각각에 대한 특징점 집합 정보를 수신한 이미지 생성 서버(200)는, 특징점 집합 정보를 이용하여 각 클라이언트 카메라의 자세를 추정한다(S530). 여기서, 카메라 자세 추정 기법은 컴퓨터 비젼에서의 멀티플 뷰 기하학 "Multiple View Geometry in Computer Vision)을 활용할 수 있다.

이미지 생성 서버(200)는, 각 카메라의 위치를 이용하여 첫번째 클라이언트의 카메라를 1번이라고 했을 때, 바로 왼쪽에 위치한 카메라는 1번, 다음 왼쪽은 2번, 그 다음은 3번과 같이 카메라 번호를 부여하는 방식으로 카메라 배치를 완성시킨다.

여기서, 카메라의 자세는 카메라의 3차원 좌표로 구성된 위치와 사원수(quaternion)로 정의되는 방향을 포함하여 구성될 수 있다. 여기서, 사원수는 복소수의 확장으로 일종의 벡터로서, 주로 회전을 표현하기 위해 사용된다.

만약 스캔 대상체를 벗어나 엉뚱한 장면을 찍는 카메라가 있는 경우 해당 대상체의 특징 매칭에 실패하게 된다. 이 경우 해당 카메라에 대해서는 자세를 산출할 수 없기 때문에 해당 클라이언트에게 대상 물체를 제대로 된 방향에서 다시 촬상하라는 메시지를 디스플레이한다.

각 카메라에 대한 자세 추정이 완료되면, 이미지 생성 서버(200)는 각 카메라의 배치를 평가한다(S531). 구체적으로, 이미지 생성 서버(200)는 각 카메라의 현재 자세와 이상적인 자세를 비교하게 되는데, 이때 비교를 보다 용이하게 할 수 있도록 이상적인 자세를 현재 자세를 원점으로 하는 좌표계로 변환한다.

예를 들어, 이상적인 자세의 위치를

, 방향은 사원수로

이라고 하자. 또한, 하나의 그룹을 형성하는 복수의 카메라들의 중심점과 제1 카메라와의 거리를

라고 하자. 이때 제1 카메라의 위치 에러 E _T 는 아래 수학식 1과 같이 정의될 수 있다.

이미지 생성 서버(200)는 위치 에러가 특정 임계치보다 작으면 최적 위치라고 판단할 수 있다. 위치 에러 관련 임계치는 예를 들어, 0.05(최적 거리의 5%)로 설정될 수 있다.

한편, 방향 에러 E _R 은 아래 수학식 2와 같이 정의될 수 있으며 이상적인 방향까지 회전해야 할 각도를 의미한다.

이미지 생성 서버(200)는 방향 에러가 특정 임계치보다 작으면 최적 방향이라고 판단할 수 있다. 위치 에러 관련 임계치는 예를 들어, 5도 (이상적인 방향과 5도 차이)로 설정될 수 있다.

도 7은 본 발명의 따른 최적 카메라 배치의 일 실시예를 나타낸다.

도 7은 클라이언트가 12개일 경우의 이상적인 카메라 또는 클라이언트의 배치를 도시한다. 즉, 도 7의 최적 카메라 배치는 일 실시예일뿐이며, 클라이언트의 개수가 달라지는 경우 최적의 카메라 배치 또한 달라진다.

도 7과 같이 카메라가 12개일 경우, 위에서 내려다 봤을 때 카메라 간 각도는 30도가 최적이다. 즉, 360도를 클라이언트의 개수만큼 나눈 각도가 카메라 간 최적의 각도가 된다.

또한, 측면에서 클라이언트를 바라보았을 때는, 지면과 카메라가 이루는 각도가 10도 내지 30도 사이가 바람직하다. 도 7의 실시예에서는 지면과 카메라 간 최적의 각도를 20도로 표시하였다.

피사체와 카메라 간의 가장 이상적인 거리는 일률적으로 규정할 수 없지만, 경험적으로 스캔 대상체로부터 30cm에서 1미터 사이가 적당하다. 하지만, 실제로 피사체와 카메라 간 거리를 측정할 수 없는 경우가 대부분이므로, 동심원의 원주 상에 배치되는 전체 카메라들의 중심점이 스캔 대상체의 위치와 동일하다고 보고 해당 중점과 첫번째 카메라와의 거리가 최적이라고 가정한다.

즉, 본 발명에 따른 촬상 장치들 또는 카메라들의 이상적인 배치의 일 실시예에 따르면, 동일 클라이언트 그룹에 포함된 복수의 촬상 장치의 중심점을 중앙으로 하여 설정되는 동심원 상에 복수의 촬상 장치가 등간격으로 배치되고, 각 촬상 장치가 지면과 일정한 각도를 유지하는 구조라고 할 수 있다.

도 7의 실시예를 통해 살펴본 바와 같은 조건 및 가정을 토대로 본 발명에 따른 최적의 카메라 배치가 계산될 수 있다.

다시 도 5로 돌아가 카메라 배치 평가가 완료되면, 각 카메라에 대한 카메라 배치가 적절한지 판단한다(S532). 모든 클라이언트 카메라가 최적 자세인 것으로 판단되면 각 클라이언트에 카메라 자세 정보와 이웃 카메라 이미지 및 특징 정보를 전송하고 (미도시), 3D 이미지 생성을 위한 상세 절차들을 수행한다(S533 내지 S535). 카메라 배치가 적절하지 않은 촬상 장치에 대해서는 최적 자세 정보 및 에러값을 포함하는 배치 관련 보정 정보를 전송한다(S522).

배치 관련 보정 정보를 수신한 촬상 장치(100)는 배치 관련 보정 정보에 포함된 최적 자세 정보와 에러값을 사용자에게 제공한다.

도 8은 본 발명의 일 실시예에 따른 클라이언트 표시부의 사용자 제공 화면을 나타낸다.

도 8에 도시된 메시지를 살펴보면, 화면의 상단에는 카메라 배치와 관련한 현재 상태를 나타내고 있으며, 화면 하단에서 이동 명령, 회전 명령 등으로 구분된 보정 명령 메시지를 디스플레이한다.

사용자는 해당 메시지를 인식하고 보정 명령에 따라 카메라의 위치를 이동시켜 카메라를 재배치한다(S512). 보정 명령에 따라 카메라가 재배치되면 촬상 장치(100)는 대상 이미지 획득(S510) 및 특징 추출(S511) 단계를 재수행하고 다시 추출된 특징점 집합 정보를 이미지 생성 서버(200)로 전송한다(S521).

새로 수집된 카메라 특징점 집합 정보에 따라 카메라 배치가 적절한 것으로 판단되면, 이미지 생성 서버(200)는 획득한 이미지 및 특징 정보를 이용해 점군을 추출한다(S533). 이미지 생성 서버(200)는 각 카메라 자세를 이용하여 각 촬상 장치로부터 수신한 점군들을 모두 특정 카메라(예를 들어, 제1 카메라)의 좌표계로 변환시킴으로써 점군들을 정렬한다(S534).

점군 정렬이 완료되면 이미지 생성 서버(200)는 정렬된 점군을 기반으로 3D 이미지를 생성한다(S535). 이때, 3D 이미지 생성에는, 예를 들어 포아송 복원(Poisson Reconstruction), 볼 피보팅 표면 재구성(Ball Pivoting Surface Reconstruction) 등의 기법이 사용될 수 있다.

도 9는 본 발명에 따른 3D 이미지 생성 방법에 의해 재구성된 3D 이미지의 일 예를 도시한다.

본 발명의 실시예에 따른 이미지 생성 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.

또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.

실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.

이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 촬상 장치 110: 이미지 취득부
120: 특징 추출부 130: 점군 추출부
140: 표시부 200: 이미지 생성 서버
210: 클라이언트 그룹 관리부 220: 배치 평가부
230: 점군 정렬부 240: 3D모델 생성부

Claims (20)

1. 동일 대상물을 촬상하는 복수의 촬상 장치로부터 수신한 이미지 특징 정보로부터 촬상 장치의 자세를 추정하고 각 촬상 장치의 배치를 평가하는 배치 평가부;
   배치가 완료된 복수의 촬상 장치로부터 수신한 이미지 관련 점군들을 정렬하는 점군 정렬부; 및
   정렬된 점군들을 이용해 3D 이미지를 생성하는 3D 모델 생성부를 포함하는 이미지 생성 장치.
2. 청구항 1에 있어서,
   동일 대상물을 촬상하는 상기 복수의 촬상 장치를 포함하는 클라이언트 그룹을 관리하는 클라이언트 그룹 관리부를 더 포함하는, 이미지 생성 장치.
3. 청구항 1에 있어서,
   상기 배치 평가부는 배치가 적절하지 않은 촬상 장치에 대해 배치 관련 보정 정보를 제공하는, 이미지 생성 장치.
4. 청구항 1에 있어서,
   상기 배치 관련 보정 정보는 최적 자세 정보 및 에러 값을 포함하는, 이미지 생성 장치.
5. 청구항 1에 있어서,
   각 촬상 장치는 이동 가능한 단말에 포함된, 이미지 생성 장치.
6. 청구항 1에 있어서,
   상기 배치 평가부는,
   제1 촬상 장치의 자세를 이상적인 배치와 비교하여 상기 제1 촬상 장치의 배치를 평가하는, 이미지 생성 장치.
7. 청구항 6에 있어서,
   상기 이상적인 배치는,
   동일 클라이언트 그룹에 포함된 복수의 촬상 장치의 중심점을 중앙으로 하여 설정되는 동심원 상에 상기 복수의 촬상 장치가 등간격으로 배치되고, 각 촬상 장치가 지면과 일정한 각도를 유지하는 구조인, 이미지 생성 장치.
8. 청구항 6에 있어서,
   상기 배치 평가부는,
   동일 클라이언트 그룹에 포함된 복수의 촬상 장치의 중심점과 제1 촬상 장치 간의 거리 및 제1 촬상 장치가 이상적인 방향까지 회전해야 할 각도에 따라 상기 제1 촬상 장치의 배치를 평가하는, 이미지 생성 장치.
9. 이미지 생성 장치에 의해 수행되는 3D 이미지 생성 방법으로서,
   동일 대상물을 촬상하는 복수의 촬상 장치로부터 수신한 이미지 특징 정보로부터 촬상 장치의 자세를 추정하고 각 촬상 장치의 배치를 평가하는 단계;
   배치가 완료된 복수의 촬상 장치로부터 수신한 이미지 관련 점군들을 정렬하는 단계; 및
   정렬된 점군들을 이용해 3D 이미지를 생성하는 단계를 포함하는 3D 이미지 생성 방법.
10. 청구항 9에 있어서,
    동일 대상물을 촬상하는 상기 복수의 촬상 장치를 포함하는 클라이언트 그룹을 관리하는 단계를 더 포함하는, 3D 이미지 생성 방법.
11. 청구항 9에 있어서,
    상기 각 촬상 장치의 배치를 평가하는 단계는,
    배치가 적절하지 않은 촬상 장치에 대해 배치 관련 보정 정보를 제공하는 단계를 포함하는, 3D 이미지 생성 방법.
12. 청구항 11에 있어서,
    상기 배치 관련 보정 정보는 최적 자세 정보 및 에러 값을 포함하는, 3D 이미지 생성 방법.
13. 청구항 9에 있어서,
    상기 각 촬상 장치의 배치를 평가하는 단계는,
    제1 촬상 장치의 자세를 이상적인 배치와 비교하여 상기 제1 촬상 장치의 배치를 평가하는 단계를 포함하고, 3D 이미지 생성 방법.
14. 청구항 13에 있어서,
    상기 이상적인 배치는,
    동일 클라이언트 그룹에 포함된 복수의 촬상 장치의 중심점을 중앙으로 하여 설정되는 동심원 상에 상기 복수의 촬상 장치가 등간격으로 배치되고, 각 촬상 장치가 지면과 일정한 각도를 유지하는 자세인, 3D 이미지 생성 방법.
15. 청구항 13에 있어서,
    상기 제1 촬상 장치의 자세를 이상적인 배치와 비교하여 상기 제1 촬상 장치의 배치를 평가하는 단계는,
    동일 클라이언트 그룹에 포함된 복수의 촬상 장치의 중심점과 제1 촬상 장치 간의 거리 및 제1 촬상 장치가 이상적인 방향까지 회전해야 할 각도에 따라 상기 제1 촬상 장치의 배치를 평가하는 단계를 포함하는, 3D 이미지 생성 방법.
16. 동일 대상물을 촬상하는 복수의 촬상 장치; 및
    동일 대상물을 촬상하는 복수의 촬상 장치로부터 수신한 이미지 특징 정보로부터 촬상 장치의 자세를 추정하고 각 촬상 장치의 배치를 평가하여, 배치가 적절하지 않은 촬상 장치에 대해 배치 관련 보정 정보를 제공하며, 배치가 완료된 복수의 촬상 장치로부터 수신한 이미지를 이용해 3D 이미지를 생성하는 서버를 포함하는 3D 이미지 생성 시스템.
17. 청구항 16에 있어서,
    상기 촬상 장치는 이동 가능한 단말에 포함된, 3D 이미지 생성 시스템.
18. 청구항 16에 있어서,
    상기 서버는, 배치가 완료된 복수의 촬상 장치로부터 수신한 이미지 관련 점군들을 정렬하고 정렬된 점군들을 이용해 3D 이미지를 생성하는, 3D 이미지 생성 시스템.
19. 청구항 16에 있어서,
    각 촬상 장치는,
    상기 서버로부터 수신한 카메라 배치 관련 보정 정보를 디스플레이하는 표시부를 포함하는, 3D 이미지 생성 시스템.
20. 청구항 19에 있어서,
    상기 표시부는,
    상기 배치 관련 보정 정보에 포함된 최적 자세 정보 및 에러 값에 따라 촬상 장치의 위치와 관련한 이동 명령 및 촬상 장치의 방향과 관련한 회전 명령을 디스플레이하는, 3D 이미지 생성 시스템.

Images