KR101399236B1 - 신뢰도 스코어에 기반한 3차원 모델의 통합 - Google Patents

신뢰도 스코어에 기반한 3차원 모델의 통합 Download PDF

Info

Publication number
KR101399236B1
KR101399236B1 KR1020137024779A KR20137024779A KR101399236B1 KR 101399236 B1 KR101399236 B1 KR 101399236B1 KR 1020137024779 A KR1020137024779 A KR 1020137024779A KR 20137024779 A KR20137024779 A KR 20137024779A KR 101399236 B1 KR101399236 B1 KR 101399236B1
Authority
KR
South Korea
Prior art keywords
voxel
distance
dimensional model
dimensional
distance value
Prior art date
Application number
KR1020137024779A
Other languages
English (en)
Other versions
KR20130131444A (ko
Inventor
브렛 알렌
알렉세이 골로빈스키
틸만 레인하트
마이클 홍마이 린
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20130131444A publication Critical patent/KR20130131444A/ko
Application granted granted Critical
Publication of KR101399236B1 publication Critical patent/KR101399236B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

실시예에서, 방법은 다른 뷰포인트를 갖는 카메라의 영상들로부터 각각 생성된 복수의 3차원 모델을 통합한다. 복수의 복셀에서 각 복셀마다, 복수의 거리값이 결정된다. 결정된 각 거리값은 상기 복셀로부터, 3차원 모델을 생성하는데 사용된 카메라 모델의 퍼스펙티브를 따라 상기 복수의 3차원 모델 중의 상기 3차원 모델까지의 거리이다. 상기 결정된 거리값 중 적어도 하나가 상기 복셀과 상기 3차원 모델 사이의 거리가 임계치를 초과하고 상기 복셀이 상기 대응하는 3차원 모델 위에 위치함을 나타내면, 상기 대응하는 3차원 모델의 카메라 모델의 퍼스펙티브가 상기 복셀과 대향하도록 배향된 정도를 나타내는 신뢰도 스코어가 결정된다. 상기 결정된 신뢰도 스코어에 기초하여, 상기 복셀이 통합된 3차원 모델에 들어갈지 결정된다.

Description

신뢰도 스코어에 기반한 3차원 모델의 통합{MERGING THREE-DIMENSIONAL MODELS BASED ON CONFIDENCE SCORES}
본 발명의 실시예는 일반적으로 3차원 모델링에 관한 것이다.
포토그래퍼(Photographers)는 흔히 고도(altitude)에서, 이를 테면 항공기에서 지구의 영상을 촬영한다. 이러한 항공 사진은 서로 다른 퍼스펙티브(perspective)에서 촬영될 수 있다. 이러한 항공 사진으로부터, 예를 들어 스테레오 매칭(stereo matching)을 이용하여 3차원 모델(three-dimensional models)이 구축될 수 있다. 스테레오 매칭을 이용하여 구축된 모델은 완전히 정확하지는 않을 수 있다. 예를 들어, 기본 영상들(underlying images)의 변화, 카메라 퍼스펙티브(perspective)의 부정확성, 및 스테레오 매칭 알고리즘의 한계로 인해 부정확성이 발생될 수 있다.
구축된 3차원 모델은 연관된 퍼스펙티브를 가질 수 있다. 예를 들어, 3차원 모델은 연관된 퍼스펙티브에서 얻은 깊이 맵들(depth maps)로 표현될 수 있다. 각 깊이 맵은 개념적 "카메라"와 장면(scene)의 표면 간의 픽셀 당 거리(per-pixel distance)를 제공할 수 있다. 깊이 맵은 자신과 연관된 퍼스펙티브에서 또렷이 보이는 표면들의 3차원 특징들을 묘사할 수 있지만, 깊이 맵은 자신의 퍼스펙티브에서 잘 보이지 않는 3차원 특징들을 묘사하지 못할 수 있다. 이런 이유로, 3차원 장면을 완벽하게 묘사하기 위해서는 서로 다른 퍼스펙티브를 갖는 다수의 깊이 맵이 필요할 수 있다.
본 발명의 실시예는 서로 다른 뷰포인트(viewpoints)를 이용하여 생성된 복수의 깊이 맵(depth map)을 통합한다. 실시예에서, 방법은 각각 서로 다른 뷰포인트(viewpoint)를 갖는 카메라의 영상들로부터 생성된 복수의 3차원 모델(three-dimensional model)을 통합한다. 상기 방법은 3차원 공간에서 복수의 복셀(voxel)을 결정하는 단계를 포함한다. 상기 복수의 복셀에서 각 복셀마다, 복수의 거리값(distance value)이 결정된다. 결정된 각 거리값은 상기 복셀에서 3차원 모델을 생성하는데 사용된 카메라 모델의 퍼스펙티브(perspective)를 따라 상기 3차원 모델까지의 거리에 해당한다. 상기 결정된 거리값들 중 적어도 하나가 상기 복셀과 상기 대응하는 3차원 모델 사이의 거리가 임계치(threshold) 내에 있거나 상기 복셀이 상기 대응하는 3차원 모델 위에 위치함을 나타내면, 상기 대응하는 3차원 모델의 카메라 모델의 퍼스펙티브가 상기 복셀과 대향하도록 배향된 정도를 나타내는 신뢰도 스코어(confidence score)가 결정되며, 적어도 부분적으로 상기 결정된 신뢰도 스코어에 기초하여, 상기 복셀에 대응하는 포인트(point)를 통합(merged) 3차원 모델에 포함시킬지 여부가 결정된다.
또한, 시스템 및 컴퓨터 프로그램 제품의 실시예가 개시된다.
본 발명의 여러 실시예의 구성 및 동작뿐만 아니라, 본 발명의 다른 실시예, 특징, 및 이점은 첨부의 도면을 참조하여 이하에서 상세히 설명된다.
본 명세서에 포함되고 본 명세서의 일부를 형성하는 첨부의 도면은 본 발명을 예시하고, 또한 상세한 설명과 함께 본 발명의 원리를 설명하고 당업자가 본 발명을 만들고 이용 가능하게 하는 기능을 한다.
도 1은 서로 다른 뷰포인트에서 구축된 장면의 깊이 맵을 예시하는 도면이다.
도 2는 본 발명의 실시예에 따라, 깊이 맵을 통합하는 방법을 예시하는 흐름도이다.
도 3은 도 1의 장면의 복셀 그리드(voxel grid)를 예시하는 도면이다.
도 4a 및 도 4b는 복셀 그리드를 이용한 거리 측정을 예시하는 도면이다.
도 5는 거리 측정을 위한 신뢰도 스코어(confidence score)를 결정하는 방법을 예시하는 도면이다.
도 6은 부호 거리장(signed distance field)으로부터 통합된 3차원 모델을 구축하는 것을 예시하는 도면이다.
도 7은 실시예에 따라, 깊이 맵을 통합하는 시스템을 예시하는 도면이다.
구성 요소가 처음 나오는 도면은 일반적으로 대응 참조 부호에서 가장 왼쪽의 숫자 또는 숫자들로 나타낸다. 도면에서, 유사한 참조 부호는 동일하거나 기능적으로 유사한 구성 요소를 나타낼 수 있다.
전술한 바와 같이, 3차원 장면(three-dimensional scene)을 완벽하게 묘사하기 위해서는 서로 다른 퍼스펙티브(perspective)를 갖는 다수의 깊이 맵(depth maps)이 필요할 수 있다. 3차원 장면 전체를 표현하기 위해, 다수의 깊이 맵은 단일의 3차원 표현으로 통합(merged)될 필요가 있을 수 있다. 다수의 깊이 맵을 더 많이 통합하는 한가지 방법은 교차점(intersection)을 취하는 것일 수 있다. 교차점을 취하기 위해, 측정된 어떤 깊이값(depth value) 위의 모든 복셀(voxel)은 제거될 것이다. 그러나, 이러한 기술은 문제를 일으킬 수 있다. 특히, 깊이 맵에서 3차원 특징이 실제보다 깊다는 것을 나타내는 어떤 오류 측정치(erroneous measurements)가 통합 깊이 맵으로 전파될 수 있다.
깊이 맵에서 노이즈를 설명하기 위해, 다른 기술이 측정치를 평균화하여 깊이 맵을 통합할 수 있다. 그러나, 전술한 바와 같이, 깊이 맵은 단지 자신과 연관된 퍼스펙티브에서 또렷이 보이는 3차원 특징만 묘사할 수 있다. 잘 보이지 않는 3차원 특징들은 깊이 맵에 전혀 표현되지 않을 수 있다. 유사하게, 깊이 맵의 퍼스펙티브로 향하지 않는 특징들은 깊이 맵에 단지 저해상도로만 표현될 수 있다. 깊이 맵으로부터 3차원 특징을 더 직접 관찰(direct view)하여 측정한 이러한 깊이 맵 측정치를 평균화하면 통합 깊이 맵의 정확도가 떨어질 수 있다.
이러한 단점을 적어도 부분적으로 처리하기 위해, 본 발명의 실시예는 그러한 측정치와 연관된 신뢰도(confidence level)에 기초하여 최종 3차원 모델에 통합할 깊이 맵 측정치를 선택한다.
일 실시예에서, 복수의 복셀(voxels)을 포함하는 부호 거리장(signed distance field)을 결정하기 위해 다양한 깊이 맵이 사용될 수 있다. 부호 거리장 내의 각 복셀이 평가될 수 있고, 평가가 어떤지에 따라, 해당 픽셀에 대해 통합된 3차원 모델을 결정하는데 도움이 되는 세 가지 동작중 하나가 선택될 수 있다. 첫째. 임계 거리(threshold distance) "t"가 주어진 경우, 부호 거리값들 중 적어도 하나가 -t보다 작으면, 해당 복셀은 빈 상태(empty)로 유지될 수 있다(예컨대, 이에 큰 음의 값을 할당할 수 있다). 해당 복셀을 빈 상태로 유지하는 것은 해당 복셀을 통합된 3차원 모델에서 제외(carve)할 수 있다. 둘째, 만일 부호 거리값들 중 어떤 것이 -t와 t 사이에 있으면, 해당 복셀의 부호 거리는 이들 값들의 평균치로 설정될 수 있다. 두 값의 평균치를 취함으로써, 그 복셀에서 두 통합 깊이 맵이 통합될 수 있다. 셋째, 만일 부호 거리값들 중 어떤 것이 t보다 크면, 해당 복셀은 채워질 수 있다(즉, 이에 큰 양의 값을 할당할 수 있다). 이러한 방식으로, 각 복셀은 통합된 3차원 모델에서 대응하는 복셀을 결정하기 위해 제외되거나, 통합되거나, 또는 채워질 수 있다.
다음의 실시예의 상세한 설명에서, "일 실시예", "실시예", "예시적인 실시예" 등의 언급은 설명된 실시예가 특정한 특징, 구조, 또는 특성을 포함할 수 있지만, 모든 실시예가 반드시 그러한 특정한 특징, 구조, 또는 특성을 포함하지는 않을 수도 있음을 의미한다. 더욱이, 그러한 문구는 반드시 동일한 실시예를 말하는 것은 아니다. 또한, 특정한 특징, 구조, 또는 특성이 실시예와 관련하여 기술된 경우, 그러한 특정한 특징, 구조, 또는 특성이 당업자의 지식 내에 있어 명시적으로 기술되든 그렇지 않든 다른 실시예와 관련해서도 그러한 특징, 구조, 또는 특성을 실현할 것으로 생각된다.
도면은 예시 목적상 2차원 단면을 예시하지만, 당업자는 그러한 단면이 3차원 요소도 표현할 수 있다는 것을 인식할 것이다.
도 1은 서로 다른 뷰포인트(viewpoints)에서 구축된 장면의 깊이 맵을 예시하는 도면(100)을 도시한다. 도면(100)은 가상 카메라(102)로 구축된 3차원 모델(112) 및 가상 카메라(104)로 구축된 3차원 모델(114)을 예시한다. 두 가지 3차원 모델(112 및 114)은 빌딩(130)을 표현할 수 있다.
3차원 모델(112 및 114)은 항공 또는 위성 영상으로부터 스테레오 재구성(stereo reconstructions)하여 생성한 것일 수 있다. 영상은 다양한 사선(oblique) 또는 천저(nadir) 퍼스펙티브에서 오버헤드(overhead) 카메라에 의해 촬영될 수 있다. 이러한 영상에서, 특징들이 검출되고 서로 상관될 수 있다. 알려진 퍼스펙티브 정보를 이용하면, 정합 특징들(matched features)로부터 3차원 공간 내의 포인트들이 삼각 측량(triangulated)된다. 이들 포인트는 두 영상으로부터 스테레오 메시(stereo mesh)를 결정하는데 사용될 수 있다. 이러한 방식으로, 2차원 영상으로부터 3차원 모델 정보가 결정될 수 있다.
그러나, 3차원 모델 정보는 또한 연관된 퍼스펙티브 정보를 가질 수 있다. 예를 들면, 3차원 모델 정보는 특정한 가상 카메라로부터 재구성될 수 있다. 실시예에서, 적어도 두 영상의 스테레오 재구성을 이용하여 결정된 스테레오 메시는 특정 카메라 뷰포인트에 다시 투영될 수 있다. 3차원 모델이 깊이 맵으로 표현되는 실시예에서, 투영에서 각 픽셀은 개념적 카메라 퍼스펙티브에서 그 픽셀에서의 스테레오 메시까지의 거리를 나타내는 값을 가질 수 있다. 3차원 모델이 고도장(height field)으로 표현되는 실시예에서, 투영에서 각 픽셀은 그 픽셀에서 스테레오 메시의 높이를 나타내는 값을 가질 수 있다. 어느 실시예에서든, 각 스테레오 메시 자체의 3차원 모델은 연관된 퍼스펙티브 정보를 갖는다. 3차원 모델은 부호 거리가 산출될 수 있는 어떤 다른 형태의 표면 예를 들어, 폐쇄형(closed) 메시, 또는 다른 부호 거리장일 수 있다.
도면(100)에서, 모델(112 및 114)의 퍼스펙티브 정보는 가상 카메라(102 및 104)에 의해 예시된다. 가상 카메라(102 및 104) 각각은 대응하는 깊이 맵 또는 고도장에 대한 퍼스펙티브 또는 뷰포인트를 특정하는데 필요한 모든 정보를 포함할 수 있다. 예를 들면, 각 가상 카메라 모델은 대응하는 위치(position), 방위(orientation), 및 시야(field of view)를 가질 수 있다. 더욱이, 각 가상 카메라 모델은 직교(orthographic) 또는 평행 투영(parallel projection)일 수 있다.
단일의 통합된 3차원 모델을 생성하기 위해, 실시예는 3차원 모델(112)과 3차원 모델(114)을 통합한다. 전술한 바와 같이, 모델(112 및 114)을 통합하는 한가지 방법은 두 모델의 교차점을 취하는 것일 수 있다. 그러나, 이러한 기술이 적용되면, 모델(112 및 114)에서 빌딩(130)이 실제보다 낮은 것으로 나타나는 어떤 오류가 최종 통합 모델로 전파될 것이다. 도면(100)에서, 예를 들면, 모델(114)은 영역(124)에서 빌딩(130)이 실제보다 낮은 것으로 나타난다. 만일 그 모델들이 교차되었다면, 그러한 오류는 최종 통합 모델로 전파될 것이다. 이러한 오류를 적어도 부분적으로 피하기 위해, 실시예는 측정과 연관된 신뢰도에 기초하여 어떤 깊이 맵 측정치를 최종 3차원 모델에 통합할지를 선택한다. 어떤 깊이 맵 측정치를 최종 3차원 모델에 통합할지를 결정하는 방법이 도 2에 예시된다.
도 2는 본 발명의 실시예에 따라, 깊이 맵을 통합하는 방법(200)을 예시하는 흐름도이다. 방법(200)은 도 3 내지 도 6에 예시된 각 예들과 함께 설명된다.
방법(200)은 단계(202)에서 복셀 그리드(voxel grid)를 구축하는 것으로 시작한다. 복셀 그리드는 부호 거리장일 수 있다. 복셀 그리드는 입력된 3차원 모델 데이터의 해상도 또는 통합된 3차원 모델의 원하는 해상도에 따라 구축될 수 있다. 입력된 또는 원하는 출력 3차원 모델의 해상도가 높아짐에 따라, 복셀 그리드는 더 정교할 수 있다. 일례의 복셀 그리드가 도 3과 관련하여 예시된다.
도 3은 도 1의 장면의 복셀 그리드를 예시하는 도면(300)이다. 복셀 그리드에서 각 복셀은 3차원 공간에서 연관된 위치를 가질 수 있다. 복셀들은 3차원 환경 전체에 걸쳐 일정한 간격을 유지할 수 있다. 복셀 그리드에서 각 복셀은 그 복셀이 통합된 3차원 모델의 일부인지 여부와 상관없이 평가될 수 있다.
도면(300)의 복셀 그리드에서 복셀들은 지속적인 해상도를 갖는 규칙적 공간인 것으로 도시된다. 그러나, 숙련자는 다른 실시예는 적응적인 해상도를 포함할 수 있다는 것을 인식할 것이다. 적응적인 해상도를 갖고, 규칙적으로 간격을 둔 복셀들을 샘플링하는 대신, 샘플링 포인트들을 표면에 가까운 곳에서는 더 조밀하게 하지만, 표면에서 떨어진 곳에서는 덜 조밀하게 할 수 있다. 본 실시예는 더 적은 메모리 사용으로 더 자세하게 제공할 수 있다. 다시 도 2를 참조하면, 방법(200)의 단계(204)에서 각 복셀 또는 샘플링 포인트의 평가를 시작한다.
단계(204)에서, 입력된 각각의 3차원 모델마다 거리값을 결정한다. 구체적으로, 거리값은 복셀 그리드 내의 복셀과 3차원 모델 사이의 거리를 나타낼 수 있다. 입력된 각각의 3차원 모델마다, 거리는 3차원 모델과 연관된 퍼스펙티브를 따라 측정된다. 좀 더 상세히 말하면, 거리는 광선(ray)을 따라 해당 복셀로부터 바로 가상 카메라를 향해 또는 바로 가상 카메라로부터 멀어져서 측정될 수 있다. 3차원 모델이 고도장 또는 깊이 맵으로 표현되면, 거리 결정은 간단한 룩업(lookup)을 포함하여, 고속 실행을 할 수 있다.
거리는 그 크기(절대값)가 그들 두 포인트 사이의 거리일 수 있지만, 이는 또한 양 또는 음일 수도 있음을 의미하는 부호 거리값일 수 있다. 예를 들면, 결정된 거리값은 해당 복셀이 가상 카메라의 퍼스펙티브에서 볼 때 3차원 모델 아래(또는 내)에 위치함을 나타내는 양일 수 있고, 음의 결정된 거리값은 해당 복셀이 가상 카메라의 퍼스펙티브에서 볼 때 3차원 모델 위(또는 외부)에 위치함을 나타낸다.
일단 각 깊이 맵마다 거리값이 결정되면, 단계(206)에서 복셀이 모델보다 훨씬 미달인 것으로 나타나는 모든 거리값을 폐기한다. 실시예에서, 복셀이 모델보다 훨씬 미달인지를 결정하기 위해, 거리값들은 이들이 임계값을 초과하는지를 알기 위해 평가될 수 있다. 3차원 모델의 퍼스펙티브가 주어지면 임계값을 초과하는 거리값들은 해당 복셀이 시야에서 잘 보이지 않음을 의미할 수 있기 때문에 그러한 거리값들은 폐기된다. 해당 물체가 3차원 모델의 한 퍼스펙티브의 시야에서 잘 보이지 않는 동안, 시야가 더 좋은 복셀의 각도에서 다른 모델들이 구축될 수 있다. 이런 이유로, 복셀이 모델 내 깊은 곳에 위치함을 나타내는 큰 거리값들은 유용한 정보를 제공할 수 없다. 이러한 단계는, 예를 들어, 도 4a와 관련하여 예시된다.
도 4a는 복셀에 대한 다양한 거리 측정을 예시하는 도면(400)을 도시한다. 도면(100) 및 도 1과 마찬가지로, 도면(400)은 대응하는 가상 카메라(102 및 104)를 갖는 3차원 모델(112 및 114)을 도시한다. 추가적으로, 도면(400)은 가상 카메라(406)의 퍼스펙티브에서 구축된 3차원 모델(416)을 도시한다. 도면(400)은 복셀(402)에 대해 생성된 3차원 모델들 각각에 대한 거리값을 예시한다.
특히, 도면(400)은 모델(112)에 대한 거리(432), 모델(114)에 대한 거리(434), 및 모델(416)에 대한 거리(436)를 도시한다. 예를 들어, 가상 임계 거리가 5m이었다고 가정해 보자. 도면(400)에 예시된 바와 같이, 거리(434)는 +7m로 측정되었으며, 이는 복셀(402)이 표면(114)보다 7m 미만에 있음을 의미한다. 이 예에서, 거리(434)는 방법(200)의 단계(206)에서 폐기될 것이다. 거리(436 및 432)에 대해서는 아래에서 좀 더 상세히 설명될 것이다.
다시 도 2를 참조하면, 단계(206)에서 모델 내부 깊은 곳에 있는 거리 측정치를 제거한 후, 결정 블록(208)에서 나머지 거리를 평가하여 그 거리가 복셀이 모델보다 훨씬 위에 있음을 나타내는지를 결정한다. 거리가 복셀이 모델보다 훨씬 위에 있음을 나타내는지를 결정하기 위해, 거리값들이 음의 임계값과 비교된다. 만일 거리가 음의 임계값 미만이면(그 크기가 임계치의 크기를 초과하면), 거리는 복셀이 대응 모델보다 훨씬 위에 있음을 나타낸다. 그렇지 않으면, 거리는 해당 복셀이 대응 모델보다 훨씬 위에 있다고 나타내지는 않는다. 만일 어떤 거리 측정치도 해당 복셀이 대응 모델보다 훨씬 위에 있다고 나타내지 않으면, 본 방법은 단계(214)로 진행하고, 표면보다, 예를 들어, 임계치보다 훨씬 아래에 있는 것으로 결정된 모든 측정치는 폐기될 수 있다. 이러한 측정치는 단순히 그 측정치에 대한 신뢰도를 제로로 설정함으로써 폐기될 수 있다. 그렇지 않으면, 본 방법은 단계(210)로 진행한다. 결정된 거리가 복셀이 모델보다 훨씬 위에 있음을 나타내는 예가 도 4b에 예시된다.
도 4b는 복셀에 대한 다양한 거리 측정을 예시하는 도면(450)을 도시한다. 도면(100) 및 도 1 및 도 4b의 도면(400)과 마찬가지로, 도면(450)은 대응하는 가상 카메라(102 및 104)를 갖는 3차원 모델(112 및 114)을 도시한다. 추가적으로, 도면(450)은 가상 카메라(458)의 퍼스펙티브에서 구축된 3차원 모델(468)을 도시한다. 도면(450)은 복셀(452)에 대해 생성된 3차원 모델들 각각에 대한 거리값을 예시한다.
특히, 도면(450)은 모델(112)에 대한 거리(486), 모델(114)에 대한 거리(434), 및 모델(416)에 대한 거리(438)를 도시한다. 예를 들어, 가상 임계 거리가 -4m이었다고 가정해 보자. 도면(400)에 예시된 바와 같이, 거리(486)는 -7m로 측정되었으며, 이는 복셀(402)이 표면(114)보다 7m 미만에 있음을 의미한다. 이 예에서, 거리(486)는 방법(200)의 단계(208)에서 복셀이 3차원 모델보다 훨씬 위에 있음을 나타낼 것이다. 그 결과, 방법(200)은 단계(210)로 진행할 것이다. 거리(436 및 432)에 대해 아래에서 좀 더 상세히 설명될 것이다.
단계(210)에서, 그 거리에 대한 신뢰도 스코어를 결정한다. 신뢰도 스코어는 깊이 맵에서 판독한 거리의 품질을 추정할 수 있다. 일반적으로, 특징을 더 똑바로 보는(direct, normal view) 것은 그 특징을 더 비스듬하게 보는(tangential view) 것보다 높은 해상도와, 아마도 더 우수한 품질을 가질 것이다. 그런 이유로, 신뢰도 스코어는 대응하는 3차원 모델에 대한 카메라 모델의 퍼스펙티브가 복셀 영역으로 향하도록 배향된 정도를 나타낼 수 있다. 신뢰도 스코어를 결정하는 방법에 대한 예가 도 5에서 예시된다.
도 5는 거리 측정에 대한 신뢰도 스코어를 결정하는 방법을 예시하는 도면(500)을 도시한다. 도면(500)은 복셀(452) 및 가상 카메라(458)로 구축된 3차원 모델(468)에 대해 측정된 거리(486)의 신뢰도를 결정하는 방법을 예시한다. 광선(570)은 가상 카메라(458)로부터 복셀(452)을 통해 연장되어 포인트(560)에서 3차원 모델(468)과 교차한다. 3차원 모델(468)이 깊이 맵 또는 고도장으로 표현되는 실시예에서, 위치(560)를 결정하는 것은 간단한 룩업을 포함할 수 있다. 광선(270)과 3차원 모델(468) 사이에서, 각도(552)가 결정될 수 있다. 결정된 각도(552)는 신뢰도 스코어를 결정하는데 사용될 수 있다. 각도(552)가 점점 둔각(obtuse)이 됨에 따라, 복셀(452)을 통합된 3차원 모델에 포함시킬 가능성이 높아질 수 있다. 유사하게, 각도(552)가 점점 예각(acute)이 됨에 따라, 복셀(452)을 통합된 3차원 모델에 포함시킬 가능성이 낮아질 수 있다. 이러한 방식으로, 3차원 모델에서 가상 카메라의 퍼스펙티브 간의 각도는 통합된 3차원 모델을 결정하는데 도움이 되도록 사용될 수 있다.
이러한 각도 외에, 주변 샘플링 포인트의 빈도수(frequency) 역시 통합된 3차원 모델을 결정하는데 사용될 수 있다. 도면(500)에서, 3차원 모델(468)은 포인트(560)에서 샘플링되었다. 포인트(560)에 인접한 샘플링 포인트가 결정될 수 있다. 샘플링 포인트들 간의 거리가 결정될 수 있고, 그 거리에 기초하여 신뢰도 스코어가 결정될 수 있다. 도면(500)에서, 포인트(560)는 샘플링 포인트(562)에 인접할 수 있다. 포인트(560 및 562) 간의 거리(554)가 측정될 수 있다. 측정된 거리(554)에 기초하여, 거리값(486)의 신뢰도를 나타내는 신뢰도 스코어가 결정될 수 있다. 거리(554)가 더 길어짐에 따라, 복셀(452)을 통합된 3차원 모델에 포함시킬 가능성이 낮아질 수 있다. 유사하게, 거리(554)가 더 짧아짐에 따라, 복셀(452)을 통합된 3차원 모델에 포함시킬 가능성이 높아질 수 있다. 이러한 방식으로, 거리(554) 및 각도(552) 둘 다가 측정된 거리(486)의 신뢰도를 결정하는데 사용될 수 있다.
다른 실시예에서, 스테레오 매칭의 품질 또한 신뢰도 스코어를 결정하는데 사용될 수 있다. 게다가, 신뢰도 스코어는 전술한 방법들 중 어떤 것의 조합을 이용하여 결정될 수 있다.
또 다른 예에서, 다수의 신뢰도 값들이 존재하는 경우 가중 평균치(weighted average)가 사용될 수 있다. 예를 들어, 도 4를 다시 참조하면, 만일 거리(482)가 신뢰도 값 0.2를 갖고, 거리(484)는 신뢰도 값 0.5를 갖고, 거리(46)는 신뢰도 값 0.1을 갖는다면, 복셀(452)의 복셀 그리드에 저장될 수 있는 총 부호 거리값은 (2*0.2+3*0.5-7*0.1)/(0.2+0.5+0.1)=1.5이다.
도 2를 다시 참조하면, 일단 단계(210)에서 신뢰도 스코어가 결정되면, 단계(212)에서 신뢰도 스코어를 이용하여 복셀을 통합된 3차원 모델에 포함시킬지를 결정한다. 실시예에서, 단계(212)는 가까운 거리와 먼 거리 둘 다에 대해 결정된 신뢰도 스코어들을 이용할 수 있다. 도 5와 관련하여 설명된 기술을 이용하여, 가까운 거리에 대해 값 Cclose가 결정될 수 있고, 먼 거리에 대해 값 Cfar가 결정될 수 있다. 다음의 방정식, 즉 Cclose<αCfar가 충족되면 단계(212)에서 해당 복셀을 포함시킬 수 있으며, 여기서 α는 사전 정의된 바이어스 값, 또는 다른 미리 정해진 정도(degree)이다. 이러한 방식으로, 방법(200)은 단계(212)에서 해당 복셀을 통합된 3차원 모델에 포함시킬지를 결정한다.
만일 해당 복셀이 포함되지 않는다면, 큰 음의 거리가 복셀 그리드에 저장될 수 있다. 그 값은 나중에, 해당 복셀을 통합된 3차원 모델에 포함시키지 않아야 한다는 알고리즘을 나타낼 수 있다. 만일 해당 복셀이 포함된다면(결정 블록(216)), 단계(214)에서 해당 복셀에 대한 부호 거리를 결정한다. 부호 거리 외에, 숙련자는 가중치가 사용될 수 있음을 인식할 것이다.
단계(214)에서, 해당 복셀에 대한 부호 거리를 결정한다. 부호 거리는, 예를 들어, 단계(206 및 208)에서 설명된 두 임계값들 사이에서 측정된 거리 측정치에 기초하여 결정될 수 있다. 그들 두 임계값들 간의 거리값은 대응하는 3차원 모델이 해당 복셀에 가깝다는 것을 나타낸다. 부호 거리는 예를 들어 해당 복셀에 충분히 가까운 나머지 거리값들을 평균화하거나, 그들의 가중 평균치를 취함으로써 결정될 수 있다. 단계(214)의 예는 도 4a에서 거리(432 및 436), 및 도 4b에서 거리(482 및 484)와 관련하여 예시된다.
도 4a에서, 거리(432 및 436)는 해당 복셀에 충분히 가깝다. 특히, 그들 거리는 단계(206 및 208)와 관련하여 전술한 임계치들 내에 있을 수 있다. 복셀(402)의 부호 거리를 결정하기 위해, 거리값들이 평균화될 수 있다. 도면(400)에 예시된 바와 같이, 거리(436)는 복셀(402)이 모델(416)보다 2미터 아래에 있음을 나타내므로, 거리값을 +2m로 한다. 유사하게, 거리(432)는 복셀(402)이 모델(416)보다 3미터 위에 있음을 나타내므로, 거리값을 -3m로 한다. 다음에, 각 부호 거리값들이 평균화되어, 결과적으로 복셀(402)의 가중치가 -0.5로 될 수 있다. 이와 같은 부호 거리(402)는 복셀 그리드 또는 부호 거리장에 저장될 수 있다.
유사하게, 도 4b에서, 거리(482 및 484)는 해당 복셀에 충분히 가깝다. 특히, 그들 거리는 단계(206 및 208)와 관련하여 전술한 임계치들 내에 있을 수 있다. 복셀(452)의 부호 거리를 결정하기 위해, 거리값들이 평균화될 수 있다. 도면(450)에 예시된 바와 같이, 거리(482)는 복셀(452)이 모델(416)보다 2미터 아래에 있음을 나타내므로, 거리값을 +2m로 한다. 유사하게, 거리(484)는 복셀(452)이 모델(416)보다 3미터 아래에 있음을 나타내므로, 거리값을 +3m로 한다. 다음에, 각 부호 거리값들이 평균화되어, 결과적으로 복셀(452)의 부호 거리가 +2.5로 될 수 있다. 이와 같은 부호 거리(402)는 복셀 그리드에 저장될 수 있다.
결정 블록(218)에서, 단계(202)에서 구축된 복셀 공간 내 각 복셀마다 단계(204-216)를 반복한다. 이러한 반복 결과, 복셀 그리드는 각 복셀마다 부호 거리값을 포함할 수 있다. 단계(220)에서 이와 같은 3차원 부호 거리 매트릭스를 이용하여 통합된 3차원 모델을 구축할 수 있다. 통합된 3차원 모델은 복셀 그리드 내의 값들에 기초하여 그의 엣지들(edges)을 규정함으로써 구축될 수 있다. 일례에서, 이러한 엣지들은 양의 값을 갖는 복셀들과 음의 값을 갖는 복셀들 사이에서 규정될 수 있다. 양 및 음의 복셀들 간의 위치 사이에서, 양 및 음의 값들의 상대적 크기에 기초하여 엣지들의 위치가 규정될 수 있다.
복셀 그리드로부터, 메시 표면을 추출하는데 여러 가지 방법이 있을 수 있다. 한가지 예는 마칭 큐브(marching cubes) 알고리즘을 이용하는 것이다. 단계(220)의 다른 예가 도 6에 예시된다.
도 6은 실시예에 따라, 부호 거리장의 매트릭스로부터 통합된 3차원 모델(602)을 구축하는 것을 예시하는 도면(600)을 도시한다. 특히, 도면(600)은 인접 복셀들(612 및 614)을 갖는 복셀 그리드를 예시한다. 복셀(612)이 연관된 양의 부호 거리(+3)를 갖고 복셀(614)이 연관된 음의 부호 거리(-1)를 갖기 때문에, 3차원 모델(602)은 대략 복셀(612 및 614) 사이에 구축되었다. 또한, 복셀(614)의 부호 거리(1)의 크기가 복셀(612)의 부호 거리(3)의 크기보다 작기 때문에, 3차원 모델(602)은 복셀(612)보다 복셀(614)에 더 가까워지도록 구축될 수 있다. 복셀(614)과 복셀(612) 사이의 3차원 모델(602)의 위치는 각 부호 거리에 선형으로 비례할 수 있다. 이러한 방식으로, 복셀 그리드를 이용하여 통합된 3차원 모델(602)이 결정될 수 있다.
도 7은 실시예에 따라, 깊이 맵을 통합하는 시스템(700)을 예시하는 도면이다. 실시예에서, 시스템(700)은 도 2의 방법에 따라 동작할 수 있다. 시스템(700)은 입력으로서 복수의 입력 깊이 맵(702)을 수신하는 처리 파이프라인(pipeline) 서버(710)를 포함한다. 입력 3차원 모델(702)이 깊이 맵으로 언급되지만, 당업자는 3차원 모델 데이터를 표현하는 다른 방법도 존재한다는 것을 인식할 것이다. 예를 들어, 3차원 모델(702)은 또한 고도장으로도 표현될 수 있다. 3차원 모델들(702) 각각은 특정 퍼스펙티브에서 스테레오 재구성한 것일 수 있다. 입력 3차원 모델들(702)로부터, 처리 파이프라인 서버(710)는 통합 모델(730)을 생성한다.
처리 파이프라인 서버(710)는 복셀 공간 모듈(712), 거리 테스트 모듈(714), 신뢰도 스코어 모듈(716), 포인트 선택기 모듈(718) 및 모델 구축 모듈(720)을 포함한다. 이들 모듈 각각에 대해 아래에서 설명된다.
복셀 공간 모듈(712)은 3차원 공간에서 복수의 복셀을 결정하도록 구성된다. 복셀들은 3차원 환경 전체에 걸쳐 일정한 간격을 유지할 수 있다. 복셀 그리드에서 각 복셀은 그것이 통합된 3차원 모델의 일부인지 여부와 상관없이 평가될 수 있다. 복셀 공간 모듈(712)에 의해 생성될 수 있는 일례의 복셀 공간이 도 3에 예시된다.
거리 테스트 모듈(714)은 복수의 복셀에서 각 복셀의 복수의 거리값을 결정하도록 구성된다. 각 거리값은 하나의 복셀로부터, 3차원 모델을 생성하는데 사용된 카메라 모델의 퍼스펙티브를 따라 복수의 입력 깊이 맵(702) 중의 3차원 모델까지의 거리일 수 있다. 측정된 다양한 거리의 예가 도 4a 및 도 4b에 예시된다.
신뢰도 스코어 모듈(716)은 거리 테스트 모듈(714)에 의해 결정된 각 거리에 대한 신뢰도 스코어를 결정하도록 구성된다. 신뢰도 스코어는 대응하는 3차원 모델의 카메라 모델의 퍼스펙티브가 해당 복셀과 대향하도록 배향된 정도를 나타낼 수 있다. 신뢰도 스코어 모듈(716)은 3차원 모델과 입력 3차원 모델의 퍼스펙티브로부터 해당 복셀을 통해 연장되는 광선 사이의 각도에 기초하여 신뢰도 스코어를 결정하도록 구성될 수 있다. 유사하게, 신뢰도 스코어 모듈(716)은 해당 복셀에 따라 결정된 근접 영역(proximity area) 내에서 대응하는 3차원 모델의 샘플링들(samplings) 간의 거리에 기초하여 신뢰도 스코어를 결정하도록 구성될 수 있다. 근접 영역은 가상 카메라 정보에 따라 렌더링된(rendered) 경우 해당 복셀을 디스플레이하는 해당 픽셀에 인접한 픽셀들을 포함할 수 있다. 신뢰도 스코어 모듈(716)은 도 5와 관련하여 설명된 바와 같이 신뢰도 값을 결정할 수 있다.
포인트 선택기 모듈(718)은 적어도 부분적으로 결정된 신뢰도 스코어에 기초하여 해당 복셀에 대응하는 포인트를 통합된 3차원 모델에 포함시킬지를 결정하도록 구성된다.
모델 구축 모듈(720)은 제1 및 제2 거리값 둘 다에 따라 해당 복셀의 부호 거리를 결정하도록 구성된다. 또한, 모델 구축 모듈(720)은 인접한 2개의 복셀 사이에서, 그 인접한 2개의 복셀에 대해 결정된 부호 거리에 기초하여 통합된 3차원 모델의 엣지를 어디에 구성할지를 결정하도록 구성된다. 모델 구축 모듈의 동작은, 예를 들어, 도 6과 관련하여 설명된다.
처리 파이프라인 서버(710)는 어떤 컴퓨팅 장치에서도 구현될 수 있다. 이러한 컴퓨팅 장치는, 다음으로 한정되지 않지만, 개인용 컴퓨터, 모바일폰과 같은 모바일 장치, 워크스테이션, 임베디드 시스템, 게임 콘솔, 텔레비전, 셋탑 박스, 또는 어떤 다른 컴퓨팅 장치를 포함할 수 있다. 또한, 컴퓨팅 장치는, 다음으로 한정되지 않지만, 명령어를 실행하고 저장하는 프로세서 및 메모리를 갖는 장치를 포함할 수 있다. 소프트웨어는 하나 이상의 애플리케이션 및 운영 체제를 포함할 수 있다. 하드웨어는, 다음으로 한정되지 않지만, 프로세서, 메모리 및 그래픽 사용자 인터페이스 디스플레이를 포함할 수 있다. 컴퓨팅 장치는 또한 다중 프로세서 및 다중 공유 또는 개별 메모리 컴포넌트를 가질 수 있다. 예를 들면, 컴퓨팅 장치는 클러스터형(clustered) 컴퓨팅 환경 또는 서버 팜(farm)일 수 있다.
복셀 공간 모듈(712), 거리 테스트 모듈(714), 신뢰도 스코어 모듈(716), 포인트 선택기 모듈(718), 및 모듈 구축 모듈(720) 각각은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 어떤 조합으로 구현될 수 있다.
전술한 개요 및 요약서 섹션은 본 발명자(들)에 의해 계획된 본 발명의 전부는 아니지만 하나 이상의 예시적인 실시예를 기술할 수 있으며, 따라서 본 발명 및 첨부의 특허청구범위를 어떤 식으로든 한정하는 것으로 의도되지 않는다.
앞에서 본 발명은 특정 기능들의 구현 및 이들의 관계를 예시하는 기능적 구성 블록들의 도움을 받아 설명되었다. 이러한 기능적 구성 블록들의 경계는 본 명세서에서 설명의 편의상 임의로 규정되었다. 특정 기능들 및 이들의 관계가 적절히 수행되는 한 다른 경계도 규정될 수 있다.
전술한 특정 실시예의 설명은 본 발명의 일반적인 개념을 벗어남이 없이, 다른 사람들이 과도한 실험 없이 당업계 기술 내의 지식을 적용하여 그러한 특정 실시예를 다양한 응용에 맞게 쉽게 수정하고 및/또는 개조할 수 있다는 본 발명의 일반적인 특성을 충분히 보여 줄 것이다. 따라서, 그러한 개조 및 수정은 본 명세서에 제시된 가르침 및 안내를 기초로 한, 개시된 실시예의 등가물의 의미 및 범위 내에 속하는 것으로 의도된다. 본 명세서에서 문구 또는 용어는 설명 목적을 위한 것이지 제한을 위한 것이 아니므로, 본 명세서의 용어 또는 문구는 그러한 가르침 및 안내에 비추어 숙련자에 의해 해석되어야 한다는 것을 알아야 한다.
본 발명의 폭 및 범주는 전술한 예시적인 실시예들의 어떤 것에 의해서도 한정되지 않아야 하고, 오직 다음의 특허청구범위 및 그의 등가물에 따라서만 규정되어야 한다.

Claims (22)

  1. 서로 다른 뷰포인트(viewpoint)를 갖는 카메라의 영상들로부터 각각 생성된 복수의 3차원 모델(three-dimensional model)을 통합하는 방법으로서,
    (a) 3차원 공간에서 복수의 복셀(voxel)을 결정하는 단계;
    상기 복수의 복셀 내의 각각의 복셀들에 대하여,
    (b) 복수의 거리값(distance value)을 결정하는 단계 - 각각의 거리값은 상기 복셀로부터, 3차원 모델을 생성하는 데 사용된 카메라 모델의 퍼스펙티브(perspective)를 따라 상기 복수의 3차원 모델 중의 대응하는 상기 3차원 모델까지의 거리임 - ;
    (i) 상기 복수의 거리값 중 제1 거리값이, 상기 복셀과 상기 제1 거리값에 대응하는 3차원 모델 사이의 거리가 임계치 내에 있음을 나타내는 경우, 및 (ii) 상기 복수의 거리값 중 제2 거리값이, 상기 복셀이 상기 임계치를 벗어나고 상기 제2 거리값에 대응하는 3차원 모델 위에 있음을 나타내는 경우,
    (c) 상기 제1 거리값에 대응하는 3차원 모델의 카메라 모델의 퍼스펙티브가 상기 복셀과 대향하도록 배향된 정도를 나타내는 제1 신뢰도 스코어(confidence score)를 결정하는 단계;
    (d) 상기 제2 거리값에 대응하는 3차원 모델의 카메라 모델의 퍼스펙티브가 상기 복셀과 대향하도록 배향된 정도를 나타내는 제2 신뢰도 스코어를 결정하는 단계; 및
    (e) 상기 결정된 제1 신뢰도 스코어 및 제2 신뢰도 스코어에 적어도 부분적으로 기초하여 상기 복셀에 대응하는 포인트를 통합된 3차원 모델에 포함시킬지 여부를 결정하는 단계 - 상기 제2 신뢰도 스코어가 상기 제1 신뢰도 스코어보다 미리 정해진 정도만큼 큰 경우, 상기 복셀은 상기 통합된 3차원 모델에 포함되지 않음 -
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 결정하는 단계(c)는 상기 3차원 모델의 제1 샘플링 포인트와 제2 샘플링 포인트 간에 연장되는 선의 일부와 상기 카메라 모델의 퍼스펙티브로부터 상기 복셀을 향해 연장되는 광선(ray) 사이에서 정의되는 각도에 기초하여 신뢰도 스코어를 결정하는 단계를 포함하는 - 상기 제1 샘플링 포인트는 상기 광선과 상기 3차원 모델의 교차점에서 정의되고 상기 제2 샘플링 포인트는 상기 제1 샘플링 포인트에 인접함 - , 방법.
  3. 제1항에 있어서,
    상기 결정하는 단계(c)는 상기 복셀에 따라 결정된 근접(proximity) 내에서 상기 대응하는 3차원 모델의 샘플링들 간의 거리에 기초하여 상기 신뢰도 스코어를 결정하는 단계를 포함하는, 방법.
  4. 제1항에 있어서,
    (f) (i) 상기 (e)에서 상기 포인트가 통합된 3차원 모델 내에 포함된 것으로 결정되는 경우, 및 (ii) 상기 결정된 복수의 거리값 중 제3 거리값 및 제4 거리값 모두가, 상기 복셀과 각각의 3차원 모델들 사이의 거리들이 상기 임계치를 초과하지 않음을 나타내는 경우, 상기 제3 거리값 및 제4 거리값 모두에 따라 상기 복셀에 대한 가중치를 결정하는 단계; 및
    (g) 인접한 2개의 복셀에 대해 결정된 가중치들에 기초하여 상기 통합된 3차원 모델의 엣지(edge)를 상기 인접한 2개의 복셀 사이 중 어디에 구성할지를 결정하는 단계를 더 포함하는 방법.
  5. 제1항에 있어서,
    상기 복수의 3차원 모델 내의 각각의 3차원 모델은 깊이 맵(depth map)으로 표현되는 방법.
  6. 제1항에 있어서,
    상기 복수의 3차원 모델 내의 각각의 3차원 모델은 고도장(height field)으로 표현되는 방법.
  7. 제1항에 있어서,
    상기 복수의 3차원 모델 내의 각각의 3차원 모델은 스테레오 재구성(stereo reconstruction)인 방법.
  8. 서로 다른 뷰포인트를 갖는 카메라의 영상들로부터 각각 생성된 복수의 3차원 모델을 통합하는 시스템으로서,
    하나 이상의 프로세서;
    상기 하나 이상의 프로세서에 연결된 메모리;
    3차원 공간에서 복수의 복셀을 결정하도록 구성된 복셀 결정 모듈;
    상기 복수의 복셀 내의 각각의 복셀에 대해 복수의 거리값을 결정하도록 구성된 거리 테스트 모듈 - 각각의 거리값은 상기 복셀로부터, 3차원 모델을 생성하는 데 사용된 카메라 모델의 퍼스펙티브를 따라 상기 복수의 3차원 모델 중 하나의 3차원 모델까지의 거리이고, 상기 거리 테스트 모듈은 상기 하나 이상의 프로세서에서 구현됨 - ;
    신뢰도 스코어 모듈 - 상기 신뢰도 스코어 모듈은,
    (i) 상기 복수의 거리값 중 제1 거리값이, 상기 복셀과 상기 제1 거리값에 대응하는 3차원 모델 사이의 거리가 임계치 내에 있음을 나타내는 경우, 및 (ii) 상기 복수의 거리값 중 제2 거리값이, 상기 복셀이 상기 임계치를 벗어나고 상기 제2 거리값에 대응하는 3차원 모델 위에 있음을 나타내는 경우,
    상기 제1 거리값에 대응하는 3차원 모델의 카메라 모델의 퍼스펙티브가 상기 복셀과 대향하도록 배향된 정도를 나타내는 제1 신뢰도 스코어를 결정하고,
    상기 제2 거리값에 대응하는 3차원 모델의 카메라 모델의 퍼스펙티브가 상기 복셀과 대향하도록 배향된 정도를 나타내는 제2 신뢰도 스코어를 결정하도록 구성됨 - ; 및
    상기 결정된 제1 신뢰도 스코어 및 제2 신뢰도 스코어에 적어도 부분적으로 기초하여 상기 복셀에 대응하는 포인트를 통합된 3차원 모델에 포함시킬지 여부를 결정하도록 구성된 포인트 선택기 모듈 - 상기 제2 신뢰도 스코어가 상기 제1 신뢰도 스코어보다 미리 정해진 정도만큼 큰 경우에, 상기 복셀은 상기 통합된 3차원 모델에 포함되지 않음 -
    을 포함하는 시스템.
  9. 제8항에 있어서,
    상기 신뢰도 스코어 모듈은 상기 3차원 모델의 제1 샘플링 포인트 및 제2 샘플링 포인트 간에 연장되는 선의 일부와 상기 카메라 모델의 퍼스펙티브로부터 상기 복셀을 향해 연장되는 광선(ray) 사이에서 정의되는 각도에 기초하여 상기 신뢰도 스코어를 결정하도록 구성되는 - 상기 제1 샘플링 포인트는 상기 광선과 상기 3차원 모델의 교차점에서 정의되고 상기 제2 샘플링 포인트는 상기 제1 샘플링 포인트에 인접함 - , 시스템.
  10. 제8항에 있어서,
    상기 신뢰도 스코어 모듈은 상기 복셀에 따라 결정된 근접 내에서 상기 대응하는 3차원 모델의 샘플링들 간의 거리에 기초하여 상기 신뢰도 스코어를 결정하도록 구성되는, 시스템.
  11. 제8항에 있어서,
    모델 구축 모듈을 더 포함하며, 상기 모델 구축 모듈은,
    (i) 상기 포인트 선택기 모듈에 의해 상기 포인트가 상기 통합된 3차원 모델 내에 포함된 것으로 결정되고, 또한 상기 결정된 복수의 거리값 중 제3 거리값 및 제4 거리값 모두가, 상기 복셀과 각각의 3차원 모델들 사이의 거리들이 상기 임계치를 초과하지 않음을 나타내는 경우, 상기 제3 거리값 및 제4 거리값 모두에 따라 상기 복셀에 대한 가중치를 결정하고;
    (ii) 인접한 2개의 복셀에 대해 결정된 가중치들에 기초하여 상기 통합된 3차원 모델의 엣지를 상기 인접한 2개의 복셀 사이 중 어디에 구성할지를 결정하도록 구성되는, 시스템.
  12. 제8항에 있어서,
    상기 복수의 3차원 모델 내의 각각의 3차원 모델은 깊이 맵으로 표현되는 시스템.
  13. 제8항에 있어서,
    상기 복수의 3차원 모델 내의 각각의 3차원 모델은 고도장으로 표현되는 시스템.
  14. 제8항에 있어서,
    상기 복수의 3차원 모델 내의 각각의 3차원 모델은 스테레오 재구성인 시스템.
  15. 컴퓨팅 장치에 의해 실행되는 경우, 상기 컴퓨팅 장치로 하여금 서로 다른 뷰포인트를 갖는 카메라의 영상들로부터 각각 생성된 복수의 3차원 모델을 통합하는 동작들을 수행하게 하는 명령어들이 저장된 비일시적인(non-transitory) 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로서,
    상기 동작들은,
    (a) 3차원 공간에서 복수의 복셀을 결정하는 동작;
    상기 복수의 복셀 내의 각각의 복셀에 대해,
    (b) 복수의 거리값을 결정하는 동작 - 각각의 거리값은 상기 복셀로부터, 3차원 모델을 생성하는 데 사용된 카메라 모델의 퍼스펙티브를 따라 상기 복수의 3차원 모델 중의 대응하는 상기 3차원 모델까지의 거리임 - ;
    (i) 상기 복수의 거리값 중 제1 거리값이, 상기 복셀과 상기 제1 거리값에 대응하는 3차원 모델 사이의 거리가 임계치 내에 있음을 나타내는 경우, 및 (ii) 상기 복수의 거리값 중 제2 거리값이, 상기 복셀이 상기 임계치를 벗어나고 상기 제2 거리값에 대응하는 3차원 모델 위에 있음을 나타내는 경우,
    (c) 상기 제1 거리값에 대응하는 3차원 모델의 카메라 모델의 퍼스펙티브가 상기 복셀과 대향하도록 배향된 정도를 나타내는 제1 신뢰도 스코어를 결정하는 동작;
    (d) 상기 제2 거리값에 대응하는 3차원 모델의 카메라 모델의 퍼스펙티브가 상기 복셀과 대향하도록 배향된 정도를 나타내는 제2 신뢰도 스코어를 결정하는 동작; 및
    (e) 상기 결정된 제1 신뢰도 스코어 및 제2 신뢰도 스코어에 적어도 부분적으로 기초하여 상기 복셀에 대응하는 포인트를 통합된 3차원 모델에 포함시킬지 여부를 결정하는 동작 - 상기 제2 신뢰도 스코어가 상기 제1 신뢰도 스코어보다 미리 정해진 정도만큼 큰 경우, 상기 복셀은 상기 통합된 3차원 모델에 포함되지 않음 -
    을 포함하는 컴퓨터 프로그램 제품.
  16. 제15항에 있어서,
    상기 결정하는 동작(c)은 상기 3차원 모델의 제1 샘플링 포인트 및 제2 샘플링 포인트 간에 연장되는 선의 일부와 상기 카메라 모델의 퍼스펙티브로부터 상기 복셀을 향해 연장되는 광선(ray) 사이에서 정의되는 각도에 기초하여 신뢰도 스코어를 결정하는 동작을 포함하는 - 상기 제1 샘플링 포인트는 상기 광선과 상기 3차원 모델의 교차점에서 정의되고 상기 제2 샘플링 포인트는 상기 제1 샘플링 포인트에 인접함 - , 컴퓨터 프로그램 제품.
  17. 제16항에 있어서,
    상기 결정하는 동작(c)은 상기 복셀에 따라 결정된 근접 내에서 상기 대응하는 3차원 모델의 샘플링들 간의 거리에 기초하여 상기 신뢰도 스코어를 결정하는 동작을 더 포함하는, 컴퓨터 프로그램 제품.
  18. 제17항에 있어서,
    상기 동작들은,
    (f) (i) 상기 (d)에서 상기 포인트가 통합된 3차원 모델 내에 포함된 것으로 결정되는 경우, 및 (ii) 상기 결정된 복수의 거리값 중 제3 거리값 및 제4 거리값 모두가, 상기 복셀과 각각의 3차원 모델들 사이의 거리들이 상기 임계치를 초과하지 않음을 나타내는 경우, 상기 제3 거리값 및 제4 거리값 모두에 따라 상기 복셀에 대한 가중치를 결정하는 동작; 및
    (g) 인접한 2개의 복셀에 대해 결정된 가중치들에 기초하여 상기 통합된 3차원 모델의 엣지를 상기 인접한 2개의 복셀 사이 중 어디에 구성할지를 결정하는 동작을 더 포함하는, 컴퓨터 프로그램 제품.
  19. 제15항에 있어서,
    상기 복수의 3차원 모델 내의 각각의 3차원 모델은 깊이 맵으로 표현되는 컴퓨터 프로그램 제품.
  20. 제15항에 있어서,
    상기 복수의 3차원 모델 내의 각각의 3차원 모델은 고도장으로 표현되는 컴퓨터 프로그램 제품.
  21. 제15항에 있어서,
    상기 복수의 3차원 모델 내의 각각의 3차원 모델은 스테레오 재구성인 컴퓨터 프로그램 제품.
  22. 삭제
KR1020137024779A 2012-05-01 2013-04-30 신뢰도 스코어에 기반한 3차원 모델의 통합 KR101399236B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/461,403 2012-05-01
US13/461,403 US8462155B1 (en) 2012-05-01 2012-05-01 Merging three-dimensional models based on confidence scores
PCT/US2013/038881 WO2013166023A1 (en) 2012-05-01 2013-04-30 Merging three-dimensional models based on confidence scores

Publications (2)

Publication Number Publication Date
KR20130131444A KR20130131444A (ko) 2013-12-03
KR101399236B1 true KR101399236B1 (ko) 2014-05-27

Family

ID=48538396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137024779A KR101399236B1 (ko) 2012-05-01 2013-04-30 신뢰도 스코어에 기반한 3차원 모델의 통합

Country Status (7)

Country Link
US (1) US8462155B1 (ko)
EP (1) EP2705500B1 (ko)
JP (1) JP5592039B2 (ko)
KR (1) KR101399236B1 (ko)
CN (1) CN103503033B (ko)
DE (1) DE202013012443U1 (ko)
WO (1) WO2013166023A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI441042B (zh) * 2011-07-01 2014-06-11 Pixart Imaging Inc 互動影像系統、互動控制裝置及其運作方法
US20130141433A1 (en) * 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US9767378B2 (en) * 2015-08-31 2017-09-19 Sony Corporation Method and system to adaptively track objects
US11830140B2 (en) * 2021-09-29 2023-11-28 Verizon Patent And Licensing Inc. Methods and systems for 3D modeling of an object by merging voxelized representations of the object
CN116310149B (zh) * 2023-05-18 2023-07-21 深圳优立全息科技有限公司 一种体素合并方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070009899A (ko) * 2005-07-14 2007-01-19 학교법인연세대학교 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
KR20080102826A (ko) * 2007-05-22 2008-11-26 광주과학기술원 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체
KR20080108430A (ko) * 2006-01-31 2008-12-15 유니버시티 오브 써던 캘리포니아 2ｄ 영상들로부터 3ｄ 안면 재구성

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912293B1 (en) 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
JP2001143057A (ja) * 1999-11-18 2001-05-25 Asia Air Survey Co Ltd 都市の３次元モデルを作成する方法
US7193633B1 (en) 2000-04-27 2007-03-20 Adobe Systems Incorporated Method and apparatus for image assisted modeling of three-dimensional scenes
US6868191B2 (en) * 2000-06-28 2005-03-15 Telefonaktiebolaget Lm Ericsson (Publ) System and method for median fusion of depth maps
JP2002074323A (ja) * 2000-09-01 2002-03-15 Kokusai Kogyo Co Ltd 三次元市街地空間モデル作成方法およびシステム
JP2002157576A (ja) 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
JP2003317081A (ja) * 2002-04-25 2003-11-07 Sony Corp ３次元モデル生成システム及び方法、並びにコンピュータ・プログラム
JP4206449B2 (ja) * 2002-10-09 2009-01-14 株式会社ジオ技術研究所 ３次元電子地図データの生成方法
US20050128212A1 (en) 2003-03-06 2005-06-16 Edecker Ada M. System and method for minimizing the amount of data necessary to create a virtual three-dimensional environment
US20050212794A1 (en) 2004-03-29 2005-09-29 Communications Research Laboratory, Independent Administrative Institution Method and apparatus for removing of shadows and shadings from texture images
JP5160643B2 (ja) * 2007-07-12 2013-03-13 トムソン ライセンシング ２次元画像からの３次元オブジェクト認識システム及び方法
US8531472B2 (en) 2007-12-03 2013-09-10 Pictometry International Corp. Systems and methods for rapid three-dimensional modeling with real façade texture
US8275194B2 (en) * 2008-02-15 2012-09-25 Microsoft Corporation Site modeling using image data fusion
US8350850B2 (en) 2008-03-31 2013-01-08 Microsoft Corporation Using photo collections for three dimensional modeling
KR101468267B1 (ko) * 2008-10-02 2014-12-15 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
US9330494B2 (en) 2009-10-26 2016-05-03 Pictometry International Corp. Method for the automatic material classification and texture simulation for 3D models
US8619122B2 (en) * 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US8773424B2 (en) 2010-02-04 2014-07-08 Microsoft Corporation User interfaces for interacting with top-down maps of reconstructed 3-D scences
US8885890B2 (en) * 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070009899A (ko) * 2005-07-14 2007-01-19 학교법인연세대학교 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
KR20080108430A (ko) * 2006-01-31 2008-12-15 유니버시티 오브 써던 캘리포니아 2ｄ 영상들로부터 3ｄ 안면 재구성
KR20080102826A (ko) * 2007-05-22 2008-11-26 광주과학기술원 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체

Also Published As

Publication number Publication date
EP2705500A1 (en) 2014-03-12
CN103503033A (zh) 2014-01-08
EP2705500A4 (en) 2015-09-23
US8462155B1 (en) 2013-06-11
WO2013166023A1 (en) 2013-11-07
DE202013012443U1 (de) 2016-11-08
JP5592039B2 (ja) 2014-09-17
KR20130131444A (ko) 2013-12-03
CN103503033B (zh) 2015-07-08
EP2705500B1 (en) 2017-06-07
JP2014514682A (ja) 2014-06-19

Similar Documents

Publication Publication Date Title
KR101399236B1 (ko) 신뢰도 스코어에 기반한 3차원 모델의 통합
US9646410B2 (en) Mixed three dimensional scene reconstruction from plural surface models
KR101554241B1 (ko) 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법
US8463024B1 (en) Combining narrow-baseline and wide-baseline stereo for three-dimensional modeling
WO2020039166A1 (en) Method and system for reconstructing colour and depth information of a scene
KR20170068462A (ko) 에지를 이용한 3차원 모델 생성
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN112184603B (zh) 一种点云融合方法、装置、电子设备和计算机存储介质
Alidoost et al. An image-based technique for 3D building reconstruction using multi-view UAV images
US10354444B2 (en) Resolution adaptive mesh that is generated using an intermediate implicit representation of a point cloud
KR20130126436A (ko) 3d 정보 처리 장치 및 방법
EP3304500B1 (en) Smoothing 3d models of objects to mitigate artifacts
US10719975B2 (en) Information processing apparatus and method of generating three-dimensional model
US9171393B2 (en) Three-dimensional texture reprojection
CN112258474A (zh) 一种墙面异常检测方法和装置
US9224368B2 (en) Merging three-dimensional models of varying resolution
CN111369680B (zh) 生成建筑物的三维图像的方法及装置
Wang et al. A new upsampling method for mobile lidar data
KR20160033551A (ko) 광선-노드 교차검사를 수행하는 방법 및 장치
US10861174B2 (en) Selective 3D registration
Bondarev et al. On photo-realistic 3D reconstruction of large-scale and arbitrary-shaped environments
AU2013219167B1 (en) Merging three-dimensional models based on confidence scores
Nair et al. Reflection modeling for passive stereo
Heimann et al. Frequency-Selective Geometry Upsampling of Point Clouds
CN117635875B (zh) 一种三维重建方法、装置及终端

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170508

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180509

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190516

Year of fee payment: 6