KR20150104073A - ２ｄ 이미지 시퀀스들로부터 ３ｄ 장면을 재구성하기 위한 방법 - Google Patents

Abstract

본 발명은 이용 가능한 데이터의 서브세트로부터 모델을 생성하고, 그 후, 부가적인 데이터를 사용하여 상기 모델을 정련함으로써 계산 요구들을 감소시키는 방식으로 상호 작용 및 반복 재구성을 위한 시스템 및 방법에 관한 것이다. 장면 재구성에 관한 예시적인 실시예들은 우선 2D 이미지들의 서브세트로부터 3D 장면의 모델을 생성함으로써 그 장면에 대한 다수의 2D 이미지들로부터 3D 장면을 재구성한다. 그 다음, 상기 모델은 서브세트 내의 다른 이미지들을 사용하여 계산된 서브세트 내의 각 이미지의 특정한 특성들을 사용하여 정련될 수 있다. 상기 모델은 원래 서브세트에 없는 이미지들을 사용하여 더 정련된다.

Description

２Ｄ 이미지 시퀀스들로부터 ３Ｄ 장면을 재구성하기 위한 방법{METHODOLOGY FOR 3D SCENE RECONSTRUCTION FROM 2D IMAGE SEQUENCES}

이 출원은 발명의 명칭이 METHODOLOGY FOR 3D SCENE RECONSTRUCTION FROM 2D IMAGE SEQUENCES이고 2007년 1월 26일 출원된 미국 실용신안 출원 11/627,414를 우선권 주장하고, 이 개시물은 여기에 전체적으로 참조로써 통합된다.

본 발명은 일반적으로 컴퓨터 재구성, 보다 구체적으로는, 2차원(2D)에서 3차원(3D) 전환을 사용하여 장면을 재구성하는 것에 관한 것이다.

사람들은 3차원 공간의 세계를 인지한다. 바람직하지 않게, 오늘날 생성된 대부분의 이미지들 및 비디오들은 사실상 2D이다. 만약 우리가 이들 이미지들 및 비디오들에 3D 정보를 제공하고, 그 기능을 증가시키면, 우리는 우리들의 즐거움을 크게 증가시킬 수 있다. 그러나, 2D 이미지들 및 비디오에 3D 정보를 제공하는 것은 종종 묘사된 본래 2D 데이터로부터 장면을 완전하게 재구성하는 것을 요구한다. 그 장면에 대해 실제로 다른 전망 이미지들을 생성할 수 있게 하는 장면 내 물체들의 모델들과 함께 관찰자 모델(충분한 정도의 세부묘사)을 생성하기 위하여 주어진 이미지들의 세트가 사용될 수 있다. 따라서 장면 모델은 장면 내 물체들에 대한 기하구조 및 연관된 이미지 데이터뿐 아니라 이들 이미지들을 캡쳐하기 위하여 사용된 카메라들에 대한 기하구조를 포함한다.

이들 장면들을 재구성할 때, 물체들의 에지들 같은 2D 이미지들의 특징들(feature)이 종종 추출될 필요가 있고 그 위치들은 카메라와 관련하여 조사된다. 다수의 이미지들에 대한 다른 카메라 위치들과 결합된, 다양한 물체 특징들의 3D 위치들의 차들은 2D 이미지들에서 캡쳐된 특징들의 2D 투영물들에 대한 3D의 상대적 차를 유발한다. 2D 이미지들의 특징들 위치를 결정하고, 다른 카메라 위치들로부터 얻어진 이미지들에서 이들 특징들의 상대적 위치들을 비교함으로써, 특징들의 3D 위치들은 결정될 수 있다.

카메라 캘리브레이션(camera calibration)으로서 알려진 하나의 기술은 장면의 다른 카메라 전망을 사용하여 캡쳐된 다수의 2D 이미지들을 사용한다. 한 세트의 포인트 대응물들은 발견될 수 있고, 이것은 각각의 이미지의 위치 및 방향 같은 기하구조 속성들을 계산할 수 있게 한다. 이것은 2D 이미지들에서 발견된 특징들에 대한 3D 좌표들의 결정을 유도한다. 로버트 비젼 및 위성 이미징 같은 많은 현재 카메라 캘리브레이션의 방법들은 완전 자동화쪽으로 조종된다. Nctherlands에서 제조되고, M. Pollefeys 등에 의한 2004년 9월 "Visual Modeling with a Hand-Held Camera, " International Journal of Computer Vision, wer Academic Publishers 번호 3 볼륨 59, 207-232쪽은 3D 장면을 재생성하기 위한 핸드헬드 비디오 카메라를 사용하는 과정을 기술한다. 이런 처리에서, 카메라 오퍼레이터는 카메라를 제어하고, 다수의 전망으로부터 물체의 이미지들을 수집한다. 그 다음 비디오 시퀀스의 이미지들은 입체시 3D 투영에 적당한 물체의 재구성을 얻기 위하여 처리된다.

그러나, 근본적인 문제들은 카메라 캘리브레이션 방법들에 여전히 존재한다. 예를 들어, 통상적인 모션 영상은 무관하거나 빈약한 광 이미지들을 포함할 수 있고, 전망에 부적당한 변화들을 가지며, 변화하는 기하구조 및 이미지 데이터를 가진 물체들을 포함하는, 매우 크고 미리 결정된 이미지 세트를 가질 것이다. 알려진 카메라 캘리브레이션 방법들은 다변의 빈약한 품질 이미지들을 사용하여 실시간으로 동작하면서 특정 관심 영역들에 대한 주의를 제한하고 분할된 물체들에 대한 이미지 데이터를 합성할 필요가 없는 로보트 네비게이션 애플리케이션들 같은 다른 애플리케이션들의 측면들을 제외하는 처리기의 장점을 가질 수 없다.

게다가, 종래 카메라 캘리브레이션 방법들은 장면 재구성을 위하여 이상적으로 적당하지 않다. 그 이유는 과도한 계산 부담, 장면 정련을 위한 부적당한 설비, 및 이미지들로부터 추출된 점 집단들이 라인들 및 평면들 같은 모델 특정 기하구조를 완전히 표현하지 못하는 것을 포함하기 때문이다. 과도한 계산 부담은 이들 방법들이 단일 단계에서 재구성을 위하여 사용된 모든 프레임들에 걸쳐 추출된 모든 특징들을 상관시키기 때문에 종종 발생한다. 부가적으로, 종래 방법들은 재구성을 개선하기 위한 장면 콘텐트의 사용자 지식을 상승시킬 수 있는 사용자와 부적당한 상호작용을 제공할 수 있다.

종래 기술들은 모션 영상들 같은 것들의 2D에서 3D 전환에 적당하지 않다. 종래 기술들은 통상적으로 동적 물체들을 책임질 수 없고, 종래 기술들은 렌더링에 적당하지 않은 모델들로서 점 집단들을 사용하고, 입력 이미지들의 매우 큰 세트들을 수용하지 못한다. 이들 기술들은 통상적으로 장면 기하구조의 세부묘사들의 가변 레벨들을 수용하지 못하고, 물체 또는 카메라 모델들상 부가적인 기하구조 제한들을 허용하지 못하고, 별개의 장면들(예를 들어, 동일한 세트, 다른 지주들) 사이의 공유된 기하구조를 이용하기 위한 수단을 제공하지 못하고, 장면 모델의 상호작용 정련을 가지지 못한다.

본 발명의 목적은 이용 가능한 데이터의 서브세트로부터 모델을 생성하고, 그 다음 부가적인 데이터를 사용하여 상기 모델을 정련함으로써 계산 요구들을 감소시키는 방식으로 상호작용 및 반복 재구성을 위한 시스템 및 방법을 제공하는 것이다. 장면 재구성에 관한 예시적인 실시예는 우선 2D 이미지들의 서브세트로부터 3D 장면의 모델을 생성함으로써 장면에 대한 다수의 2D 이미지들로부터 3D 장면을 재구성한다. 그 다음 상기 모델은 서브세트의 다른 이미지들을 사용하여 계산된 서브세트의 각각의 이미지의 특정 특성들을 사용하여 정련될 수 있다. 상기 모델은 원래 서브세트에 있지 않은 이미지들을 사용하여 추가로 정련된다.

하나의 도시된 실시예는 프레임들 내 감소된 수의 사용자 선택된 키 포인트들을 사용하여 보다 작은 수의 키 2D 프레임들에서 3D 장면 재구성을 위한 초기 계산들을 수행한다. 본 발명의 상기 실시예들은 정확도를 증가시키고 재구성 과정의 계산 요구들을 감소시킬 수 있는 다수의 반복 개선 측면들을 조장한다. 이들 개선들은 키 프레임들 및 초기 재구성에 사용된 키 정점들의 선택을 재고하기 위한 능력을 포함할 수 있다. 이들 개선들은 재구성 과정을 통하여 중간 프레임들을 위하여 계산되는 카메라 위치들을 또한 포함할 수 있다. 일실시예에서, 후방 교회법은 알려진 3D 기하구조의 관찰된 투영물에 기초한다. 이들 개선들은 3각 측량 과정을 통하여 부가될 수 있는 메쉬 세부 묘사를 더 포함할 수 있다. 일실시예에서, 3각 측량은 이들 프레임들의 세부 묘사중 관찰된 투영물 및 다른 프레임에서 계산된 카메라 기하구조에 기초한다.

본 발명의 실시예들은 모든 특징 포인트들을 자동으로 생성하는 소프트웨어를 가지는 것보다, 사용자가 대략의 삼각형 메쉬 형태, 또는 메쉬 정점들이 관심 특징들을 지정하는 임의의 메쉬의 특징 포인트들을 지정하게 한다. 자동 특징 검출 소프트웨어는 사용자보다 많은 특징들을 생성할 수 있고, 사용자는 관심있는 특징들의 세트를 지정할 수 있다. 이것은 계산 부담을 감소시킨다. 본 발명의 실시예들은 모든 프레임을 공평하게 웨이팅하기보다 초기 장면 평가를 위한 키 프레임들의 사용을 허용한다. 예를 들어, 키 프레임들은 상당한 카메라 기하구조 차이들에 의해 서로 오프셋되는 프레임들의 세트로부터 선택될 수 있다.

본 발명의 실시예들은 사용된 이미지들의 순서와 함께 어떤 프레임들이 재구성에 사용되는가 물체의 어떤 세부 묘사들이 재구성되는가의 선택을 사용자가 제어하게 할 수 있다. 게다가, 본 발명의 실시예들은 정적 및 동적 영역들로 이미지들의 분할을 허용하고, 여기서 상기 분할은 반복 계산들을 사용하여 추가로 개선될 수 있다.

상기에는 뒤따르는 본 발명의 상세한 설명이 보다 잘 이해될 수 있도록 본 발명의 특징들 및 기술적 장치들을 보다 넓게 기술되었다. 본 발명의 부가적인 특징들 및 장점들은 본 발명의 청구항들의 주제를 형성하도록 기술될 것이다. 개시된 개념 및 특정 실시예가 본 발명의 동일한 목적들을 수행하기 위한 다른 구조들을 변형하거나 설계하기 위한 기초로서 쉽게 사용될 수 있다는 것을 당업자는 이해하여야 한다. 등가 구성들이 첨부된 청구항들에 나타난 본 발명의 사상 및 범위에서 벗어나지 않고 구성되는 것을 당업자가 인식하여야 한다. 추가 목적들 및 장점들과 함께 동작 구성 및 방법 모두에 대해 본 발명의 특징으로 믿어지는 새로운 특징들은 첨부 도면들과 관련하여 고려될 때 다음 상세한 설명으로부터 보다 잘 이해될 것이다. 그러나, 각각의 도면들이 단지 도시 및 설명을 위하여 제공되고 본 발명의 제한들의 정의로서 의도되지 않는 것이 이해된다.

본 발명은 이용 가능한 데이터의 서브세트로부터 모델을 생성하고, 그 다음 부가적인 데이터를 사용하여 상기 모델을 정련함으로써 계산 요구들을 감소시키는 방식으로 상호작용 및 반복 재구성을 위한 시스템 및 방법을 제공하는 효과를 가진다.

본 발명의 보다 완전한 이해를 위하여 첨부 도면들과 관련하여 취해진 다음 상세한 설명들이 참조된다.

도 1은 다수의 카메라 위치들로부터 캡쳐된 예시적인 3차원 장면을 도시하는 도면.
*도 2는 예시적인 3차원 장면에 대한 다수의 이차원 이미지들을 도시하는 도면.
도 3은 본 발명의 일실시예에 따른 장면 재구성을 도시하는 흐름도.
도 4는 본 발명의 실시예에 따라 배열된 장면 재구성의 시스템을 도시하는 도면.

다른 위치들에서의 이동 카메라 또는 다수의 카메라들에 의해 캡쳐된 2D 이미지들의 시퀀스에서 시작할 때, 3D 장면 재구성은 통상적으로 카메라(들) 및 장면내 물체들 모두에 대한 기하구조를 생성할 카메라 캘리브레이션 및 물체 재구성을 결합하는 것을 포함한다. 예를 들어, 만약 카메라가 하나의 방의 다른 위치들로부터 다수의 이미지들을 캡쳐하였다면, 벽들, 가구들, 및 다른 물체들 같은 방의 특징들에 대한 카메라의 모션 및 3각 메쉬들을 나타내는 3D 기하구조는 통상적으로 결정될 필요가 있을 것이다.

도 1은 수정 곡선(100)으로 연결된 다수의 위치들(1001-1006)에서의 카메라(100)를 갖는 장면(10)을 도시한다. 장면(10)은 물체들(101 및 102)을 포함한다. 물체(101)는 각각 3각 메쉬에서 평면 및 라인으로서 표현될 수 있는 편평한 표면(1011) 및 에지(1012) 같은 특징들을 가진다. 물체(102)는 몇몇 위치들(1001-1006)에서 카메라(100)에 의해 캡쳐된 2D 이미지들에서 물체(101)에 의해 차단될 수 있는 특징들(1021)이다.

도 2a-2f는 각각 위치들(1001-1006)(도시되지 않음)에서 카메라(100)의 뷰들에 의해 캡쳐된 장면(10)의 이미지들(2001-2006)을 도시한다. 물체(102)의 다른 위치들은 각각의 이미지(2001-2006)에서 물체(101)에 의해 차단된다. 특징(1021)은 이미지들(2002,2003 및 2006)에서 부분적으로 차단되고 이미지들(2004 및 2005)에서 완전하게 차단되고, 이미지들(2001)에서 완전하게 보인다.

도 3은 하나의 도시된 실시예가 2D 이미지들의 세트로부터 3D 장면을 재구성하기 위하여 사용하는 단계들을 도시한다. 이들 단계들은 임의의 수의 단계들이 단일 반복으로 스킵될 수 있는 의도와 함께 정련 처리로서 반복적으로 수행될 수 있다. 간략화를 위하여 각각의 단계의 조건 성질은 도 3에 명시되지 않는다. 각각의 단계의 설명과 함께 상기 처리가 이미지들(2001-2006)을 사용하여 장면(10)의 도 2a-2f의 재구성에 어떻게 적용되는가의 설명도 이루어진다.

그러나, 개별 단계들을 고려하기 전에, 상기 처리의 간단한 설명은 보다 높은 수준에서 제공된다. 상기 처리의 목적은 장면의 각각의 구별되는 물체에 대한 모델과 함께 각각의 입력 이미지의 전망을 나타내는 카메라 모델을 형성하는 것이다. 이런 처리는 대응 카메라 모델에 따라 물체 모델을 렌더링함으로써 각각의 입력 이미지의 물체 외관이 고려되게 한다. 이런 처리는 정적 물체들의 모델들을 구성한다. 동적 물체들은 기하구조들이 변화하는 물체들이다. 정적 물체들은 동적 물체들의 상보 등급을 무시하면서, 장면 내의 기하구조가 이용 가능한 이미지들을 통하여 상당히 변화하지 않는 물체이다. 몇몇 실시예들에서, 동적 물체들의 재구성은 표준 모델링 및 애니메이션 기술들 같은 독립된 처리를 통하여 추후 통합될 수 있다.

물체의 카메라 모델은 장면 내 물체의 기하구조, 및 이용 가능한 이미지들 각각의 투영된 외관을 예시적으로 요약한다. 상기 모델의 도시된 표현은 파라미터 표면 메쉬이고, 각각의 정점은 장면 좌표에서 3D 위치, 및 대응 이미지 특징의 가시성 표시 및 보이는 특징의 2D 위치를 포함하는 시퀀스(이용 가능한 이미지당 하나)의 쌍들 모두를 가진다.

도면을 논의하기 위하여, 이미지들은 모든 카메라 위치들과 관련한 가장 간단한 곡선에 따라 이미지들이 순서적으로 캡쳐되었는지 여부, 및 이미지들이 단일 카메라에 의해 모두 캡쳐되었는지 여부가 순차적으로 번호가 매겨질 것이다. 예를 들어 도 1의 수집 곡선(110)은 카메라(100)가 수집 곡선(110)에 의해 도시된 아크 방향으로 이동되는지 여부의 가장 간단한 곡선 접속 위치들(1001-1006)이다. 시작 또는 끝으로서 수집 곡선의 라벨링 단부들은 다소 임의적일 수 있다. 즉, 시작 이미지는 실제로 첫 번째 수집된 이미지이거나, 만약 비디오 시퀀스가 반대로 되면, 최종 수집된 이미지거나, 다른 시간에서 수집될 수 있다. 중간 프레임들은 키 프레임들에 대응한 위치들 사이에 속하는 수집 곡선상 카메라 위치들로부터 캡쳐된 이미지들이다. 본 발명이 임의의 특정 이미지 획득 순서 또는 타이밍으로 제한되지 않고 획득 메카니즘을 위한 임의의 특정 경로로 제한되지 않는 것이 이해될 것이다.

물체 식별 프로세스 301와 구별되는 도 3을 다시 참조하여, 프로세스 301는 장면내 물체들이 명시적으로 모델링됨으로써 구별되는 것을 결정한다. 게다가, 프로세스 301는 최소 레벨의 세부 묘사로 구조를 근사하는 메쉬를 각각의 구별된 물체에 할당한다. 일실시예에서, 이런 할당된 초기 메쉬는 원형들의 라이브러리부터 얻어진다. 그러나, 사용자 상호작용 또는 자동화 기술들을 사용하여 관찰된 물체 특징들을 매칭시키기 위하여 특정하게 구성된 메쉬들 같은 다른 방법들은 사용될 수 있다.

메쉬 정점들에 의미 있는 좌표값들의 할당이 프로세스 301에서 발생하지 않는 것이 주의되어야 한다. 게다가, 모든 메쉬 구조들이 한번에 필요하지 않다. 대신 개별 반복들은 프레임들의 특정 세트 내에서 볼 수 있는 구조들을 통합하기 위하여 사용될 수 있다.

도 2a의 이미지들에 프로세스 301를 적용하여, 물체들(101 및 102)은 고려된 프레임(2001)에 의해 구별된 정적 물체들로서 식별될 수 있다. 이런 프레임에서 물체(101)에 대한 3각 메쉬는 6개의 면들 및 3개의 가시(visible) 측면들에 해당하는 7개의 정점들 및 물체의 7개의 가시 모서리들을 포함하는 것으로 특정될 수 있다. 물체(102)의 3각 메쉬는 좌측에 해당하는 2개의 면들 및 4개의 정점들 및 물체의 4개의 가시 모서리들을 포함하는 것으로 특정될 수 있다. 다음, 프레임(2006)을 고려하여, 도 2f에서, 물체(101)의 메쉬는 2개의 부가적인 면들 및 지금 가시적인 우측에 해당하는 부가적인 정점 및 우측의 하부 후면 모서리로 확장될 수 있다. 유사하게, 물체(102)의 메쉬는 6개의 새로운 면들 및 전면, 상부 및 우측에 대응하는 4개의 새로운 정점들 및 우측의 모서리들로 확장될 수 있다.

프로세스 302는 키 프레임들의 선택을 수행한다. 이런 논의를 위하여, 키 프레임들은 카메라 기하구조가 계산된 이용 가능한 이미지들이고, 비키 프레임들은 중간 프레임들이다. 키 프레임들의 세트는 바람직하게 각각의 키 프레임이 상당히 다른 카메라 전망을 나타내고 각각의 키 프레임이 몇몇 수의 다른 키 프레임들을 가진 충분한 이미지 정보(즉, 특징 대응물들)를 공유하도록 카메라 모션의 전체 범위를 나타내기 위하여 선택된다. 키 프레임들을 선택하는데 밸런스가 요구되는 것이 주의되어야 한다. 키 프레임들이 보다 많은 공유된 정보를 유발할수록, 결과들이 보다 우수해진다. 그러나, 이것은 계산 복잡성을 증가시키고, 빠르게 다룰 수 없게 된다.

본 발명의 몇몇 실시예들은 모션 분석에 기초하여 이용 가능한 프레임들의 세트로부터 키 프레임들의 서브세트를 선택하기 위하여 자동화된 선택 과정을 프로세스 302에서 사용한다. 다른 실시예들은 키 프레임들의 선택을 가이드하기 위하여 사용자 입력(그래픽 사용자 인터페이스 또는 다른 적당한 수단을 통하여 얻어짐)을 통하여 장면 콘텐트의 사용자 지식을 상승시킨다.

일실시예에서, 도 2a, 2d 및 2f에서, 이미지들(2001, 2004, 2006)은 각각 키 프레임들로서 지정되고, 도 2b, 2c 및 2e에서, 이미지들(2002, 2003, 2005)은 각각 중간 프레임들로서 지정된다. 이런 한정들을 사용하여, 이미지들(2002, 2003)은 키 프레임(2001)과 (2004)사이에 있고, 이미지(2005)는 키 프레임(2004)과 (2006) 사이에 있다. 카메라(100)가 수집 곡선(110)을 따라 이동할 때 이들 정의들이 비디오 시퀀스로부터 발생하는 이미지들(2001-2006)을 허용하는 동안, 정의들은 임의의 특정 캡쳐 시퀀스를 요구하지 않고, 캡쳐된 모든 이미지들을 가지도록 하나의 카메라를 요구하지 않는다. 도면들의 논의를 간략화하기 위하여, 이미지들의 시퀀스는 수집 곡선(110)을 따라 이동하는 단일 카메라(100)에 의해 수집되는 것이 가정될 것이다.

프로세스 303는 키 정점들의 특정화를 수행한다. 이런 논의를 위하여, 키 정점들은 장면 좌표값들이 프로세스 304에서 추후 계산되는 메쉬 정점들이라 불린다. 메쉬의 키 정점들은 최소 레벨의 상세 묘사에서 필수적인 메쉬 구조(즉, 중요 특징들)를 표현하는 기존 정점들의 서브세트이다. 그러나, 다른 정점들이 사용될 수 있다.

각각의 키 프레임(프레임들 2001,2003 및 2006 같은)에서, 각각의 키 정점은 물체 차단(동적 물체들 또는 다른 정적 물체들, 또는 물체 자체에 의해)으로 인해 가시적이거나 가시적이지 않을 수 있는 것으로 표시된다. 게다가, 각각의 키 프레임에서 가시적 키 정점들에 대한 이미지 좌표들은 대응 이미지 특징과 매칭하기 위하여 선택된다. 키 정점들을 나타내는 처리는 알고리즘으로, 사용자 상호작용을 통해, 또는 양쪽의 결합으로 수행될 수 있다.

도 2a-f의 이미지들에 프로세스 303를 적용하여, 물체들(101 및 102)에 할당된 초기 메쉬들의 모든 정점들은 키 정점들로서 지정될 수 있다. 도 2a에서, 프레임(2001)에서, 물체(102) 좌측의 4개의 정점들(2011,2012,2013,2014)은 가시적인 것으로 표시되고, 대응 이미지 특징들(즉, 모서리들)에 매칭하는 것으로 지정된 이미지 좌표들을 가지며, 물체(102)의 나머지 4개의 정점들은 가시적이지 않은 것으로 표현된다. 동일한 프레임에서, 물체(101)의 좌측, 정면 및 상부측에 속하는 7개의 정점들(2021-2027)은 가시적으로 표시되고 이미지 좌표들이 할당되며, 나머지 정점(2028)(도면에 도시되지 않음; 뒤쪽 우하부에 대응)는 가시적이지 않은 것으로 표시된다. 도 2d에서 키 프레임(2004) 앞, 양쪽 물체들(101 및 102)은 가시적인 것으로 표시된 8개의 정점들 중 7개를 가진다(좌하부 뒤쪽 모서리의 정점들 2012 및 2022만이 가시적이지 않음). 마지막으로, 키 프레임(2006) 앞, 도 2f의 물체(101)는 다시 이미지 좌표들이 할당되는 7개의 가시적 정점들의 동일한 세트를 가지며(도면에 표시되지 않음), 물체(102)는 가시적이지 않은 것으로 표시된 두 개의 뒤쪽 좌측 정점들(2011 및 2012)(도면에 표시되지 않음), 및 가시적인 것으로 표시되고, 이미지 좌표들이 할당된 나머지 6개의 정점들(2013-2018)(도 2d에 도시됨)을 가진다.

기본 카메라 캘리브레이션 및 장면 재구성 알고리듬은 프로세스 304에서 수행된다. 각각의 계산된 카메라를 통하여 각각 계산된 장면 포인트의 투영물이 가능한 한 정확하게 대응 이미지 좌표들과 매칭하도록, 완전한 수치 최적화 프로세스 304는 각각의 키 정점에 대한 각각의 키 프레임 및 3D 장면 좌표값들에 대한 카메라 기하구조를 계산한다. 이런 처리는 다음 식에 의해 표현될 수 있다:

Cf(Pv) = I(f,v) 식(1)

여기서 Cf는 프레임 f에서 카메라 매트릭스이고, Pv는 가시 정점(v)에 대한 동일한 좌표값이고, I(f,v)는 정점(v)에서 프레임에 대한 관찰된 이미지 좌표값이다.

몇몇 실시예들에서, 카메라 속성들 및 이전 반복에서 계산된 정점 좌표값들은 프로세스 304에 대한 초기 평가치로서 사용될 수 있다.

도 2a 및 2f의 실시예에 따라, 프로세스 304의 초기 애플리케이션은 키 프레임들(2001, 2004 및 2006)에 대한 계산된 카메라 기하구조를 유발하고, 양쪽 물체들(101 및 102)의 키 정점들 중 7개에 대한 장면 좌표값들이 계산된다. 각각의 물체(101 및 102)에서, 후면 좌하부 모서리 정점(2012 및 2022)은 키 프레임(2001)에서만 보여진다.

몇몇 실시예들에서, 이런 포인트에서 프로세스들 302 및 303은 키 프레임(2003) 또는 키 프레임(2002)에 의해 반복될 수 있다. 이것은 모든 키 정점들이 하나 이상의 키 프레임에서 가시적이고, 프로세스 304에 의해 장면 좌표들이 할당될 것이라는 것을 보장한다.

3각 측량을 통한 메쉬 상세 묘사의 부가는 프로세스 305에서 수행된다. 프로세스 305는 메쉬에 구조를 부가하고(즉, 정점들, 에지들 및 면들), 그 다음 카메라 기하구조가 이미 계산한(예를 들어, 키 프레임들) 프레임들의 세트를 참조하여 각각 새로운 정점의 위치를 3각 측량하는 것을 포함한다. 새로운 정점들은 선택된 프레임들 각각에 이미지 좌표들이 할당된다. 그 다음 기초가 되는 3D 장면 위치는 3각 측량을 통하여 계산된다. 이런 이미지 좌표들의 할당은 몇몇 실시예들에서 사용자 입력 또는 자동화 특징 검출의 애플리케이션 및 알고리즘 추적을 통하여 수행될 수 있다. 정점에 대한 관찰된 이미지 좌표들을 제공한 프레임들이 많을수록, 3각 측량된 장면 좌표 포인트의 정확도는 커진다는 것이 주의되어야 한다.

도 2에 따라, 몇몇 실시예들에서 물체(102)에 대한 메쉬는 전면의 직사각형 리세스(1021)를 나타내기 위한 구조를 부가함으로써 정련된다. 이런 부가적인 구조는 처음에 리세스(1021)의 전면 및 후면 모서리들에 대응하는 8개의 정점들로 구성된다.

리세스(1021)의 선택된 전면 좌측 정점들에 대한 장면 좌표 위치들은 프레임들(2001 및 2003)을 선택하고, 선택된 프레임들 각각에 선택된 정점들을 적절하게 배치하고, 그 다음 3각 측량 처리를 요구함으로써 얻어질 수 있다. 유사하게, 홀의 전면 우측 정점들에 대한 장면 좌표들은 프레임들(2004 및 2006)을 통하여 얻어질 수 있다.

4개의 후면 정점들이 임의의 이용 가능한 이미지들에서 가시적이지 않고 따라서 장면 좌표들의 위치들이 단계들(304 또는 305)과 무관하게 선택되는 것이 주의되어야 한다. 이런 처리는 몇몇 실시예들에서 사용자의 지식 또는 물체(102)의 도메인 지정 지식을 통하여 발생한다. 그러나, 다른 방법들은 사용될 수 있다.

후방 교회법을 통한 중간 프레임들에 대한 카메라 기하구조의 계산은 프로세스 306에서 수행된다. 후방 교회법을 위하여 선택된 중간 프레임에 대한 카메라 기하구조는 3D 장면 좌표들이 이미 계산된(즉, 키 정점들) 프레임에서 가시적인 정점의 세트를 선택하고, 그 다음 프레임에서 대응 특징들의 관찰된 투영물을 매칭하기 위하여 이들 정점들의 이미지 좌표들을 조절하는 것을 요구한다. 그 다음 프로세스 306는 키 프레임에서 카메라 파라미터들을 계산하기 위하여 알고리즘을 후방 교회하는 것을 요구한다.

일실시예에서, 초기 카메라 기하구조 평가는 인접한 키 프레임들에서 카메라 파라미터들을 보간함으로써 얻어질 수 있다. 이런 카메라 기하구조 평가는 선택된 정점들의 이미지 좌표들을 근사하기 위하여 사용될 수 있다. 이들 평가된 좌표들로부터 사용자 상호작용 또는 자동화 특징 검출/추적을 통한 정련은 발생할 수 있다. 포함된 정점들이 많고 나타난 깊이들의 범위가 클수록, 후방 교회된 카메라의 정확도가 커질 것이다.

중간 프레임(2002)에서 카메라 기하구조를 계산하는 것은 물체(101)의 7개의 가시적 정점들과 함께 물체(102)의 4개의 가시적 정점들을 선택함으로써 달성될 수 있다. 그 다음 대응 이미지 특징들을 매칭하기 위하여 이들 선택된 정점들을 배치하고 후방 교회 과정을 요구함으로써 카메라 기하구조는 계산될 수 있다.

결정(307)은 구성이 충분한 레벨의 상세 묘사 및 품질로 완료되었는지 또는 다른 반복이 추가 정련을 수행하여야 하는지를 결정한다. 만약 처리가 완료되지 않으면, 처리는 단계(301)로 복귀한다. 예를 들어, 장면은 다수의 의자들을 가진 긴 테이블을 포함할 수 있지만, 모든 의자들이 임의의 이미지들 중 하나에서 가시적이지 않을 수 있다. 프로세스 304는 프로세스 305에 사용하기 위한 몇몇 초기 키 프레임들을 선택할 수 있다. 프로세스 305에서, 사용자는 처음에 선택된 키 프레임들에서 몇몇 의자들에 대한 대략의 메쉬들을 지정한다. 장면에 몇몇 의자들만을 포함하는 메쉬들은 프로세스 306 동안 정련된다. 그 다음, 프로세스 305로 복귀할 때, 사용자는 이미 의자들을 나타내는 3D 모델들을 가진다. 또한, 프로세스 305로 복귀할 때, 사용자는 기존 메쉬들을 편집할 수 있다. 이것은 순차적으로 부가된 키 프레임들에서 임의의 새롭게 보여지는 의자들의 모델링을 간략화하기 위하여 이용된다. 게다가, 프로세스 306로 복귀할 때, 새롭게 부가된 키 프레임들은 이전에 처리된 키 프레임들과 공통으로 포인트들을 가진다. 이들 공통 포인트들의 3D 위치들이 알려졌기 때문에, 카메라 캘리브레이션 계산들은 간략화된다.

종래 카메라 캘리브레이션은 사용된 각각의 이미지에 적용되는 동일한 웨이팅과 함께 장면 및 카메라 기하구조를 자동으로 계산하고자 하였다. 그러나, 카메라 캘리브레이션을 포함하는 많은 타입의 계산들로 인해, 계산 부담은 다수의 알려지지 않은 것으로 인해 선형적으로 보다 빠르게 증가한다. 초기 모델들의 복잡성을 감소시킴으로써, 계산 부담은 상당히 감소될 수 있다. 그 다음, 보다 낮은 분해능 데이터의 결과들을 상승시킴으로써, 정련은 피해졌던 계산 부담을 덜 요구한다. 초기 계산들의 복잡성을 간략화시키고, 그 다음 보다 효과적인 처리에 의해 다시 상세 묘사를 부가하는 것의 순수 결과는 전체 계산 시간을 감소시킨다. 방법(30)은 종래 방법들과 비교하여 계산 부담을 감소시키고, 반복 장면 정련을 제공하고, 사용자 정의 메쉬들이 라인들 및 평면들 같은 모델 지정 기하구조를 표현하게 한다.

도 4는 실시예들과 연관된 소프트웨어를 저장 및/또는 실행함으로써 본 발명의 실시예들을 사용하기 위하여 제공된 컴퓨터 시스템(400)을 도시한다. 중앙 처리 유닛(CPU)(401)은 시스템 버스(402)에 결합된다. CPU(401)는 임의의 범용 CPU일 수 있다. 그러나, 본 발명의 실시예들은 CPU(401)가 여기에 기술된 바와 같이 본 발명의 동작들을 지원하는 한 CPU(401)의 아키텍쳐에 의해 제한되지 않는다. 버스(402)는 SRAM, DRAM, 또는 SDRAM일 수 있는 랜덤 액세스 메모리(RAM)(403)에 결합된다. 판독 전용 메모리(ROM)(404)는 PROM, EPROM 또는 EEPROM일 수 있는 버스(402)에 결합된다. RAM(403) 및 ROM(404)은 종래 기술에 알려진 바와 같이 사용자 및 시스템 데이터 및 프로그램들을 홀딩한다.

버스(402)는 입력/출력(I/O) 어댑터 카드(405), 통신 어댑터 카드(411), 사용자 인터페이스 카드(408), 및 디스플레이 어댑터 카드(409)에 결합된다. I/O 어댑터 카드(405)는 하나 이상의 하드 드라이브, CD 드라이브, 플로피 디스크 드라이브, 또는 테이프 드라이브 같은 저장 장치들(406)을 컴퓨터 시스템(400)에 접속한다. I/O 어댑터 카드(405)는 시스템이 도큐먼트들, 사진들, 논문들, 및 유사한 것들 같은 정보의 페이퍼 카피들을 프린트하게 할 프린터(도시되지 않음)에 접속된다. 프린터는 프린터(예를 들어, 도트 매트릭스, 레이저, 및 등등), 팩스 장치, 스캐너 또는 카피 머신일 수 있다. 통신 어댑터 카드(411)는 하나 이상의 전화 네트워크, 로컬 영역 네트워크(LAN) 및/또는 광역 네트워크(WAN), 이더넷 네트워크, 및/또는 인터넷 네트워크일 수 있는 네트워크(412)에 컴퓨터 시스템(400)을 결합한다. 사용자 인터페이스 어댑터 카드(408)는 키보드(413), 포인팅 장치(407), 및 등등 같은 사용자 입력 장치들을 컴퓨터 시스템(400)에 결합한다. 디스플레이 어댑터 카드(409)는 디스플레이 장치(410)상 디스플레이를 제어하기 위하여 CPU(401)에 의해 구동된다.

비록 본 발명 및 그의 장점들이 상세하게 기술되었지만, 다양한 변화들, 대체물들 및 변경물들이 첨부된 청구항들에 의해 정의된 바와 같이 본 발명의 사상 및 범위에서 벗어나지 않고 이루어질 수 있다는 것이 이해되어야 한다. 게다가, 본 출원의 범위는 처리, 머신, 제조, 자료 구성, 수단, 방법들 및 명세서에 기술된 단계들의 특정 실시예들로 제한되지 않는다. 당업자가 본 발명의 개시물로부터 명백하게 이해할 바와 같이, 처리, 머신들, 제조, 자료의 구성, 수단, 방법들, 또는 현재 존재하는 단계들 또는 여기에 기술된 대응 실시예들로서 동일한 결과를 실질적으로 달성하거나 동일한 기능을 실질적으로 수행하도록 추후 개발될 것은 본 발명에 따라 사용될 수 있다. 따라서, 첨부된 청구항들은 상기 범위내에 처리들, 머신들, 제조, 자료 구성, 수단, 방법들 또는 단계들을 포함하는 것으로 의도된다.

400 : 컴퓨터 시스템 401 : CPU
403 : RAM 404 : ROM
405 : I/O 어댑터 406 : 저장 장치
408 : 사용자 인터페이스 어댑터 409 : 디스플레이 어댑터
411 : 통신 어댑터

Claims (28)

1. 장면 재구성 방법에 있어서,
   장면의 적어도 두 개의 전망 뷰들(perspective views)을 나타내는 상기 장면의 다수의 이미지들을 얻는 단계;
   상기 이미지들의 제 1 서브세트를 사용하여 상기 장면의 모델을 생성하는 단계;
   상기 제 1 서브세트의 상기 이미지들을 사용하여 상기 제 1 서브세트 내 각각의 상기 이미지의 상기 전망들을 계산하는 단계; 및
   상기 계산된 전망들 및 상기 이미지들의 제 2 서브세트를 사용하여 상기 모델을 정련(refining)하는 단계로서, 상기 제 2 서브세트는 상기 제 1 서브세트에 없는 적어도 하나의 이미지를 포함하는, 상기 모델을 정련하는 단계를 포함하는, 장면 재구성 방법.
2. 제 1 항에 있어서,
   상기 다수의 이미지들의 상기 제 2 서브세트를 사용하여 상기 모델을 정련하는 단계; 및
   상기 정련된 모델을 사용하여 상기 장면을 정련하는 단계를 더 포함하는, 장면 재구성 방법.
3. 제 1 항에 있어서,
   상기 제 1 서브세트는,
   제 1 카메라 뷰로 캡쳐된 제 1 이미지; 및
   제 2 카메라 뷰로 캡쳐된 제 2 이미지를 포함하고,
   상기 제 2 서브세트는,
   제 3 카메라 뷰로 캡쳐된 제 3 이미지를 포함하고, 상기 제 3 뷰는 상기 제 1 뷰와 제 2 뷰 사이에 있는, 장면 재구성 방법.
4. 제 1 항에 있어서, 상기 제 2 서브세트에 없는, 상기 다수의 이미지들로부터의 하나 이상의 이미지들을 상기 제 2 서브세트에 반복적으로 부가하고, 상기 제 2 서브세트를 사용하여 상기 장면을 정련하는 단계를 더 포함하는, 장면 재구성 방법.
5. 제 1 항에 있어서, 상기 정련 단계는 반복되는, 장면 재구성 방법.
6. 제 5 항에 있어서,
   상기 제 2 서브세트는 하나 이상의 반복들을 위해 향상되고(enhanced), 상기 향상은, 상기 제 2 서브세트에 없는, 상기 다수의 이미지들로부터의 하나 이상의 이미지들을 상기 제 2 서브세트에 부가하는 단계를 포함하는, 장면 재구성 방법.
7. 제 1 항에 있어서, 상기 사용자 입력은 상기 제 1 및 제 2 서브세트들을 결정하기 위하여 사용되는, 장면 재구성 방법.
8. 제 1 항에 있어서, 상기 제 2 서브세트는 상기 제 1 서브세트를 포함하는, 장면 재구성 방법.
9. 3차원(3D) 장면의 재구성을 위한 시스템에 있어서,
   상기 장면의 다수의 2차원(2D) 이미지들을 캡쳐하기 위하여 구성된 이미지 캡쳐링 수단;
   상기 이미지들의 제 1 서브세트와 상기 이미지들의 제 2 서브세트를 구별하기 위하여 구성되는 이미지 선택 수단; 및
   상기 이미지들의 제 1 서브세트로부터 상기 3D 장면의 모델을 생성하기 위하여 구성되고, 또한 상기 제 2 서브세트를 사용하여 상기 모델을 정련하기 위하여 구성되는 처리 수단을 포함하는, 3차원 장면 재구성 시스템.
10. 제 9 항에 있어서, 상기 캡쳐링 수단은 단일의 카메라인, 3차원 장면 재구성 시스템.
11. 제 9 항에 있어서, 상기 캡쳐링 수단은 2 이상의 카메라들인, 3차원 장면 재구성 시스템.
12. 제 9 항에 있어서, 상기 캡쳐링 수단은 상기 3D 장면의 다수의 전망들을 캡쳐하는, 3차원 장면 재구성 시스템.
13. 제 9 항에 있어서, 사용자 입력을 획득하기 위하여 구성된 그래픽 사용자 인터페이스를 더 포함하는, 3차원 장면 재구성 시스템.
14. 3D 장면을 재구성하기 위한 방법에 있어서,
    2D 이미지들의 제 1 서브세트 각각에 대한 카메라 위치와, 상기 제 1 서브세트의 상기 이미지들 사이의 카메라 위치 변화를 나타내는 곡선을 계산하기 위하여 상기 3D 장면의 2D 이미지들의 제 1 서브세트를 사용하는 단계;
    상기 이미지들의 제 1 서브세트, 상기 계산된 카메라 위치들, 및 상기 계산된 곡선들로부터 상기 3D 장면에 대한 포인트들의 적어도 하나의 메쉬를 생성하는 단계; 및
    상기 메쉬에 적어도 하나의 새로운 특징을 부가하도록 상기 3D 장면의 2D 이미지들의 제 2 서브세트를 사용하는 단계를 포함하는, 3D 장면 재구성 방법.
15. 제 14 항에 있어서, 상기 새로운 특징들을 부가하는 것은 상기 새로운 특징들의 3각 측량 위치들을 포함하는, 3D 장면 재구성 방법.
16. 제 14 항에 있어서, 상기 새로운 특징들을 부가하는 것은 상기 적어도 하나의 메쉬를 수동으로 편집하는 것을 포함하는, 3D 장면 재구성 방법.
17. 제 14 항에 있어서, 상기 새로운 특징을 부가하는 것은 자동 특징 검출을 포함하는, 3D 장면 재구성 방법.
18. 제 14 항에 있어서, 상기 새로운 특징들을 부가하는 것은 카메라 위치들을 보간하는 것을 포함하는, 3D 장면 재구성 방법.
19. 제 14 항에 있어서, 상기 메쉬의 포인트들은 상기 제 2 서브세트 내에 있는 이미지 또는 이미지들의 포인트들에 상관되는, 3D 장면 재구성 방법.
20. 제 19 항에 있어서, 상기 상관은 수동인, 3D 장면 재구성 방법.
21. 제 19 항에 있어서, 상기 상관은 자동 특징 매칭(automatic feature matching)을 포함하는, 3D 장면 재구성 방법.
22. 장면 재구성 방법에 있어서,
    상기 장면의 이미지들의 제 1 서브세트로부터 상세(detail)의 제 1 레벨로 장면의 근사를 생성하는 단계; 및
    상세의 제 2 레벨을 생성하기 위하여 상기 장면의 이미지들의 제 2 서브세트로부터 상세를 부가하여 상기 근사를 정련하는 단계로서, 상기 상세의 제 2 레벨은 상기 상세의 제 1 레벨보다 많은 특징들을 가지는, 상기 근사를 정련하는 단계를 포함하는, 장면 재구성 방법.
23. 제 22 항에 있어서, 상기 장면을 생성하는 단계는 하나 이상의 특징들을 정의하기 위하여 사용자로부터 입력을 얻는 단계를 포함하는, 장면 재구성 방법.
24. 제 22 항에 있어서, 이미지들을 정적 영역들 및 동적 영역들로 분할하는 단계를 더 포함하는, 장면 재구성 방법.
25. 제 24 항에 있어서, 상기 정적 및 정적 및 동적 영역들은 정적 및 동적 기하구조에 대응하는, 장면 재구성 방법.
26. 제 25 항에 있어서, 상기 분할은 로토스코핑(rotoscoping)을 포함하는, 장면 재구성 방법.
27. 제 25 항에 있어서, 상기 정련은 윤곽부 추적(contour tracking)을 더 포함하는, 장면 재구성 방법.
28. 제 22 항에 있어서, 상기 이미지들의 제 1 서브세트 및 이미지들의 제 2 서브세트는 상이한, 장면 재구성 방법.

Images