KR102551077B1

KR102551077B1 - 2d 애셋으로부터의 3d 모델 구축

Info

Publication number: KR102551077B1
Application number: KR1020180051381A
Authority: KR
Inventors: 스티븐 엠 채프만; 메훌 파텔
Original assignee: 디즈니엔터프라이지즈,인크.
Priority date: 2017-05-08
Filing date: 2018-05-03
Publication date: 2023-07-03
Also published as: DE102018205551A1; US10453252B2; KR20180123443A; CN108876895A; US20180322695A1

Abstract

2 차원(2D) 이미지에서 캡처된 관심 오브젝트의 표면의 특징을 포인트 매칭에 사용하기 위해 식별하고 마킹하여 다수의 2D 이미지를 정렬하고, 사진 계측의 프로세스에서 오브젝트의 표면을 나타내는 포인트 클라우드를 생성한다. 오브젝트의 실제 표면 특징을 나타내는 특징은 이들의 식별을 용이하게 하도록 강화된 로컬 콘트라스트를 가질 수 있다. 오브젝트의 표면에서의 반사는 그러한 반사를, 예를 들어 관심 오브젝트와 연관이 없는 광원과 상관시킴으로써 억제되므로 사진 계측 중에 그러한 반사가 무시될 수 있어, 관심 오브젝트의 표현인 정확한 3D 모델이 생성된다. 로컬 콘트라스트 강화 및 반사 정보의 억제에 앞서, 관심 오브젝트의 식별 및 분리는 하나 이상의 필터링 프로세스를 통해 개선될 수 있다.

Description

2D 애셋으로부터의 3D 모델 구축{3D MODEL CONSTRUCTION FROM 2D ASSETS}

본 발명은 일반적으로 이미지 처리에 관한 것이다.

사진 계측(photogrammetry)은 사진으로부터 측정을 하는 과학을 지칭할 수 있다. 사진 계측 프로세스의 출력은 실제 세계의 오브젝트나 장면 등의 지도, 도면, 치수(measurement), 3 차원(3D) 모델을 생성하는 데 사용될 수 있다. 사진 계측은 항공 사진에 기원을 두고 있으며, 항공기가 비행 경로를 따라 비행함에 따라 지면을 향하는 항공기 탑재 카메라가 겹쳐지는 (2 차원) 사진을 찍게 된다. 사진은 스테레오 플로터(stereo-plotter)에서 처리되어 오퍼레이터가 스테레오 보기에서 한 번에 두 장의 사진을 볼 수 있게 하여, 지형 모델(terrain models) 또는 토포그래프 맵(topographic map)이 생성되도록 할 수 있다.

일 실시예에 따르면, 컴퓨터 구현 방법은 복수의 2 차원(2D) 이미지 각각에서 캡쳐된 오브젝트에 관련하여 로컬 콘트라스트 강화(local contrast enhancement) 및 스펙트럼 억제(spectral suppression) 중 적어도 하나를 수행하는 단계를 포함한다. 사진 계측은 로컬 콘트라스트 강화 및 스펙트럼 억제를 나타내는 정보에 기초하여 복수의 2D 이미지에 대해 수행될 수 있다. 또한, 사진 계측의 수행으로부터의 출력 정보에 기초하여, 오브젝트의 전산화된 3 차원(3D) 모델이 생성될 수 있다.

로컬 콘트라스트 강화를 수행하는 것은 오브젝트의 표면의 하나 이상의 특징(feature)을 식별 및 분리하는 것 및 실질적으로 하나 이상의 분리된 특징에 대한 영역에서 콘트라스트를 증가시키는 것을 포함한다. 오브젝트의 표면의 하나 이상의 특징은 오브젝트의 표면의 표면 알베도(albedo)에서의 하나 이상의 변화를 포함한다.

컴퓨터 구현 방법은 로컬 콘트라스트 강화의 수행에 후속하여 하나 이상의 분리된 특징을 태깅하는 단계를 더 포함할 수 있다. 사진 계측의 수행은 매칭 포인트로서 하나 이상의 분리된 특징을 사용하여 복수의 2D 이미지를 정렬하는 것을 포함한다. 사진 계측의 수행은 적어도 하나 이상의 분리된 특징에 기초하여 포인트 클라우드를 생성하는 것을 더 포함할 수 있다. 일부 실시예에서, 하나 이상의 특징은 고주파 신호와 연관된다.

일부 실시예에 따라, 컴퓨터 구현 방법은 증폭된 고주파 신호의 신호 대 잡음비가 1:1 비율을 초과하도록 하나 이상의 특징과 연관된 고주파 신호를 증폭하는 단계를 포함할 수 있다. 로컬 콘트라스트 강화의 수행은 오브젝트의 표면의 하나 이상의 특징이 검출 가능하도록 오브젝트의 표면의 일부를 포함하는 픽셀의 영역에서 콘트라스트를 증가시키는 것을 포함한다. 스펙트럼 억제의 수행은 오브젝트의 표면을 나타내는 하나 이상의 픽셀 값을 오브젝트와 분리된 광원의 반사와 상관시키는 것을 포함한다. 스펙트럼 억제의 수행은 사진 계측의 수행 중에 입력으로서 이용될 데이터 세트를 생성할 때 반사와 연관된 하나 이상의 주파수를 무시하는 것을 더 포함할 수 있다.

다른 실시예에 따르면, 컴퓨터 구현 방법은 미디어 콘텐트 내의 오브젝트를 식별하는 단계, 오브젝트가 존재하는 미디어 콘텐트를 나타내는 하나 이상의 2 차원(2D) 이미지를 검색하는 단계, 및 오브젝트를 가장 잘 나타내는 하나 이상의 2D 이미지의 서브세트를 획득하도록 하나 이상의 2D 이미지를 필터링하는 단계를 포함할 수 있다. 컴퓨터 구현 방법은 오브젝트의 표면 상에서 로컬 콘트라스트 강화 및 스펙트럼 억제 중 적어도 하나를 수행하는 단계를 더 포함할 수 있다. 컴퓨터 구현 방법은 로컬 콘트라스트 강화 및 스펙트럼 억제 중 적어도 하나의 수행을 통해 획득된 정보에 기초하여 하나 이상의 2D 이미지의 서브세트의 최적화된 버전을 생성하는 단계를 더 포함할 수 있다. 또한, 컴퓨터 구현 방법은 하나 이상의 2D 이미지의 서브세트의 최적화된 버전에 기초하여 오브젝트의 3 차원(3D) 모델을 생성하는 단계를 포함할 수 있다.

일부 실시예에서, 로컬 콘트라스트 강화의 수행은 오브젝트의 표면의 하나 이상의 특징을 식별 및 분리하고 실질적으로 하나 이상의 분리된 특징에 대한 영역에서 콘트라스트를 증가시키는 것을 포함한다. 로컬 콘트라스트 강화의 수행은 하나 이상의 분리된 특징을 태깅(tagging)하는 것 및 하나 이상의 분리된 특징에 관한 정보를 사진 계측의 수행에 대한 입력으로서 포함하는 것을 포함한다.

일부 실시예에서, 컴퓨터 구현 방법은 매칭 포인트로서 하나 이상의 분리된 특징을 사용하여 하나 이상의 2D 이미지의 서브세트 각각을 정렬하는 단계를 더 포함할 수 있다. 또한, 컴퓨터 구현 방법은 하나 이상의 2D 이미지의 서브세트 각각에 노이즈를 주입하여 오브젝트의 표면의 하나 이상의 특징의 식별 및 분리를 용이하게 하는 인공 텍스처가 오브젝트의 표면 상에 생성되도록 하는 단계를 포함할 수 있다.

일부 실시예에서, 하나 이상의 분리된 특징은 고주파 신호와 연관된다. 일부 실시예에서, 컴퓨터 구현 방법은 증폭된 고주파 신호의 신호 대 잡음비가 1:1 비율을 초과하도록 하나 이상의 분리된 특징와 연관된 고주파 신호를 증폭하는 단계를 더 포함한다. 로컬 콘트라스트 강화의 수행은 하나 이상의 분리된 특징을 나타내는 픽셀의 적색, 녹색, 청색(RGB) 값의 로컬 콘트라스트를 증가시키는 것을 포함한다. 스펙트럼 억제의 수행은 오브젝트의 표면을 나타내는 하나 이상의 픽셀 값을 오브젝트와 분리된 광원의 반사와 상관시키는 것을 포함한다. 일부 실시예에서, 스펙트럼 억제의 수행은 사진 계측의 수행 중에 입력으로서 이용될 데이터 세트를 생성할 때 반사와 연관된 하나 이상의 주파수를 무시하는 것을 더 포함한다.

본 발명은, 하나 이상의 다양한 실시예에 따라, 이하의 도면을 참조하여 상세하게 설명된다. 도면은 설명의 목적으로만 제공되며 단지 전형적인 또는 예시적인 실시예를 나타낸다.
도 1a는 다양한 실시예에 따라 2D 자산으로부터 3D 모델을 생성하기 위해 수행될 수 있는 예시적인 동작을 나타내는 흐름도이다.
도 1b는 다양한 실시예에 따른 스페큘라 억제 및/또는 로컬 콘트라스트 강화를 위한 픽셀 식별의 예를 도시한다.
도 2는 다양한 실시예에 따라 2D 애셋으로부터 3D 모델을 생성하기 위해 사진 계측에 대해 이미지를 최적화하도록 미디어 콘텐트를 전처리하기 위해 수행될 수 있는 예시적인 동작을 도시하는 흐름도이다.
도 3은 다양한 실시예에 따라 2D 애셋으로부터 3D 모델을 생성하기 위해 하나 이상의 사진 계측 전처리 연산이 수행되는 비디오 처리 파이프라인의 개략도이다.
도 4는 본 개시내용에서 설명된 실시예의 다양한 특징을 구현하는 데 사용될 수 있는 예시적인 컴퓨팅 컴포넌트이다.
본 명세서는 포괄적인 것은 아니며 본 발명을 개시된 정확한 형태로 제한하지 않는다.

전술한 바와 같이, 사진 계측은 2D 사진 또는 이미지에 기초하여 3D 모델을 생성하는 데 이용될 수 있다. 3D 모델링과 관련하여, 상이한 각도로부터 하나의 오브젝트(들) 또는 요소(들)를 캡쳐 또는 표시하는 복수의 2D 사진 또는 이미지가 사진 계측 소프트웨어/사진 계측 시스템으로 임포트될 수 있다. 오브젝트(들) 또는 요소(들)의 다양한 특징이 복수의 2D 사진 또는 이미지에 걸쳐 비교될 수 있고, 오브젝트(들) 또는 요소(들)의 텍스처화된 3D 모델이 생성될 수 있다.

특히, 2 차원 사진은 공통 포인트를 찾고 그들의 위치를 매칭시킴으로써 "정렬"될 수 있다. 더 많은 포인트가 발견되고 매칭됨에 따라 각 사진이 촬영된 위치를 결정할 수 있고, 저밀도 포인트 클라우드(sparse point cloud)를 만들 수 있다. 고밀도 포인트 클라우드(dense point cloud)는 보다 세부적인 사항을 추가할 사진을 사용하여 저밀도 포인트 클라우드의 포인트를 보간함으로써 생성될 수 있다. 고밀도 포인트 클라우드는 와이어 프레임 모델로 변환될 수 있으며, 메쉬를 생성하는 와이어 프레임 모델에서 표면(들)이 채워질 수 있다. 사진이 서로 블렌딩되어 표면 메쉬의 텍스처를 생성할 수 있으며, 전산화된 3D 모델을 생성하고, 이는 이후에 다른 소프트웨어, 3D 프린터 등으로 내보내질 수 있다. 그러나, 2D 사진 또는 이미지에서 캡처한 특정 오브젝트 또는 요소 또는 이미지는 사진 계측을 수행할 때 문제가 있을 수 있다. 예를 들어, 관심 오브젝트의 반사도가 매우 높다면, 사진 계측을 수행하는 것은 오브젝트 자체에 대한 정보가 아닌 관심 오브젝트가 이미지에서 반사하는 것 또는 반사에 관한 정보에 기초하여 부정확한 3D 모델이 생길 수 있다.

따라서, 본 명세서에 설명된 다양한 실시예는 사진 계측을 통해 3D 모델을 생성하는 데 사용되는 복수의 2D 이미지 중 하나 이상의 2D 이미지를 최적화할 수 있다. 이를 수행하기 위해, 다양한 실시예는 표면의 특징을 검출하고 이들을 강조하여 사진 계측의 매치(match) 검출 동작 중에 "밝기 강조(highlighted)"될 수 있다. 또한, 표면 픽셀 정보가 분석되어 정보가 단지 반사를 나타내는지 아니면 관심 오브젝트의 표면을 나타내는지 여부를 결정한다. 이러한 방법으로, 관련 오브젝트 정보는 사진 계측 중에 처리된다.

도 1a는 2D 이미지로부터 3D 모델을 생성하기 위해 수행될 수 있는 예시적인 동작을 도시하며, 2D 이미지 각각은 사진 계측 프로세스에 입력되기 전에 최적화될 수 있다. 동작(100)에서, 로컬 콘트라스트 강조 및 스펙트럼 억제 중 적어도 하나가 복수의 2D 이미지 각각에서 캡처된 오브젝트에 대해 수행된다.

본 명세서에서 사용된 "최적화", "최적" 등의 용어는 가능한 효과적으로 또는 완전하게 수행을 하게 하거나 성취하는 것을 의미하도록 사용될 수 있음에 유의해야 한다. 그러나, 이 문서를 읽는 당업자는, 항상 완전할 수는 없다는 점을 인식할 것이다. 따라서, 이들 용어는 가능한 양호하거나 효과적으로 또는 주어진 환경에서 실제적으로 수행 또는 달성하거나, 또는 다른 세팅 또는 파라미터로 달성될 수 있는 것보다 더 나은 수행 또는 달성이 이루어지는 것을 포함할 수 있다.

특히, 로컬 콘트라스트 강화는 표면 알베도의 임의의 작은 변화(표면에 입사하는 방사선으로 반사되는 방사선의 비율)에 대해 2D 이미지의 오브젝트를 분석하는 것을 포함할 수 있다. 이러한 변화는 오브젝트의 텍스처, 크롬 도금의 영역, 먼지 및/또는 고주파 사인(high frequency signature)에 의해 입증되는 다른 유사한 형상의 균열일 수 있다. 이러한 방식으로, 반사보다는 오히려 오브젝트를 실제로 나타내는 정보가 오브젝트의 표면(들)을 특성화하는 데 사용될 수 있다. 본 출원과 관련하여, "작은 변화"의 크기는 이미지에 따라 다를 수 있음에 유의해야 한다. 그러나, 다양한 실시예는 이미지의 신호 대 잡음비에 기초하여, 어떤 요소가 노이즈일 것이며 어느 요소가 이미지 자체를 나타내는 신호 또는 신호의 일부일 것이라는 점을 결정할 수 있다.

전술한 바와 같이, 사진 계측 시스템이 오브젝트의 3D 모델을 생성할 수 있는 정보를 출력하기 위해 복수의 2D 사진 또는 이미지가 사용된다. 오브젝트의 공통 포인트가 식별될 수 있으며, 이들의 위치가 2D 사진 또는 이미지를 정렬하도록 매칭될 수 있다. 이러한 작은 변화 또는 특징은 복수의 2D 사진 또는 이미지 전체에 걸쳐(소프트웨어를 이용한 메타포적 강조 표시를 통해) 식별되고, 분리되고, 복수의 2D 사진 또는 이미지를 통해 추적될 수 있으며, 공통 포인트를 매칭하여 2D 사진 또는 이미지를 정렬할 목적으로 사용된다. 다르게 설명하면, 다수의 사진 또는 이미지에 존재하도록 결정된 패턴이 정렬 기준(들)을 제공하는 데 사용될 수 있다.

또한, 식별되고 분리된 변형 또는 특징과 연관되거나 관련되는 로컬 콘트라스트가 강화된다. 즉, 변화 또는 특징에 적용될 수 있는 빛에서 어둠으로 전환되는 외관이 증가되거나 증폭된다. 예를 들어, 종래의 사진 계측 시스템에서, (인간의 눈에 거의 보이지 않는) 오브젝트의 표면 텍스처의 작은 균열과 같은 변화 또는 특징은 처리 중에 손실되거나 폐기될 수 있다. 이는 그러한 변화 또는 특징이 신호 대 잡음비(SNR) 이상으로 높아지지 않으므로 폐기되는 잡음으로 간주될 것이기 때문이다. 다양한 실시예에 따르면, 이러한 변화 또는 특징을 나타내는 RGB 픽셀 값의 로컬 콘트라스트가 증가하여, 약 1:1 이상의 SNR(노이즈보다 많은 신호를 나타냄) 이상으로 상승하는 변화 또는 특징의 신호 특성으로 이어진다. 이것은 차례로 그러한 변화 또는 특징이 처리 중에 폐기되지 않고, 대신에 예를 들어, 포인트(이로부터 저밀도 포인트 클라우드가 생성될 수 있음)로서 사용된다.

다양한 실시예에 따라, 로컬 콘트라스트 강화는 전술한 변화 또는 특징 중 하나 이상을 가질 가능성이 있는 픽셀의 특정 영역(들)에 적용될 수 있다는 점에 주의해야 한다. 즉, 로컬 콘트라스트가 강화될 수 있는 변화 또는 특징을 먼저 찾는 대신에, 변화 또는 특징을 잠재적으로 드러내게 하기 위해 오브젝트의 표면상의 특정 영역의 로컬 콘트라스트가 강화될 수 있다. 대부분의 경우 픽셀의 작은 영역에서 로컬 콘트라스트 강화를 수행하는 것은 더 나은 결과를 나타낼 수 있다. 이는 넓은 영역 또는 오브젝트의 특징의 콘트라스트를 증가시키기 때문에, 작은 변화 또는 특징의 콘트라스트가 영역이 더 커짐에 따라 "단계적으로(in step)" 변경되어 검출이 불명확해질 수 있기 때문입니다. 일 실시예에서, 관심 대상의 작은 영역을 식별하는 것은 표면 텍스처의 전체 특성을 결정하는 것 및 동일하거나 유사한 표면 텍스처 품질을 나타내는 표면 영역을 샘플링하는 것을 포함할 수 있다. 그러한 샘플은 유사한 속성에 대해 다른 샘플을 판단하는 데 사용될 수 있다. 일부 실시예에서, 사용자는 사용자 인터페이스를 통해 대표 샘플로서 세부 영역을 선택할 수 있다.

스페큘라 억제는 정반사(specular reflection)의 억제 또는 비 강조(de-emphasizing)를 지칭할 수 있다. 정반사는 예를 들어, 표면에서 입사각과 동일한 각도로 빛이 반사되는 것, 예를 들면 표면에서의 광파의 거울형 반사(mirror-like reflection)를 나타낼 수 있다. 다양한 실시예와 관련하여, 표면의 적색, 녹색, 청색(RGB) 이미지 픽셀 값은 픽셀이 정당한 오브젝트 표면 디테일을 나타내는지 아니면 반사 하이라이트만을 나타내는지를 결정하기 위해 분석된다. 반사는 오브젝트, 가상 및/또는 실제 카메라의 위치 및 반사를 일으키는 조명에 따라 달라질 수 있으므로, 이러한 반사는 오브젝트의 3D 표면 디테일을 나타내는 것으로 간주되어서는 안된다. 이러한 반사는 포인트 검출 알고리즘을 혼동시킬 수 있다. 이러한 반사는 광원의 색상 특성을 구현하고 해결되어야 하는 오브젝트의 표면을 반드시 구현해야 하는 것은 아니므로 2D 사진 또는 이미지에서 오브젝트가 캡처된 장면에서 전체 조명에 대한 지식이 그러한 반사를 억제하는 데 사용될 수 있다.

또한, 예를 들어 크리스마스 장식품과 같은 오브젝트는 자신의 표면에서 크리스마스 트리 조명을 반사할 수 있다. 스페큘라 억제(specular suppression)는 정반사를 포함하거나 나타낼 가능성이 있는 크리스마스 장식품 표면의 영역에 상응하는 RGB 픽셀 값을 분석함으로써 다양한 실시예에서 수행될 수 있다. 특정 영역의 크리스마스 장식의 RGB 픽셀 값이 청색 광을 나타내는 경우, 장면은 청색 광이 크리스마스 장식의 표면에 의해 반사되는 원인이 될 수 있는 청색 광의 소스에 대해 분석될 수 있다. 청색 광의 소스가 장면에서 발견되거나 또는 존재한다고 결정되면, 다양한 실시예는 청색 광에 대응하는 주파수를 무시함으로써, 그 정반사와 연관된 정보를 억제하도록 구성된다.

따라서, 다양한 실시예는 영화의 촬영 동안 존재하는 조건 또는 사진 또는 이미지가 생성되었을 때 존재하는 조건을 재-엔지니어링할 수 있고, 장면의 측면들과 그 장면 내의 오브젝트를 구별할 수 있다. 일부 실시예들에서, 스페큘라 억제는 오브젝트를 특성화하는 것과 대조적으로 오브젝트가 위치하는 장면(예를 들어, 배경의 하나 이상의 측면)을 특성화하는 데 사용될 수 있다는 점을 주의해야 한다. 예를 들어, 특정한 관심 대상이 아닌 오브젝트와 연관될 수 있는 장면/배경 요소의 하나 이상의 측면에서 식별된 정반사는 전술한 바와 동일한 방식으로 억제될 수 있다.

도 1b는 전술한 바와 같이 로컬 콘트라스트 강화 및/또는 스페큘라 억제를 위해 식별될 수 있는 이미지의 픽셀의 예시적인 표현을 도시한다. 도 1b는 표면(106)을 갖는 크리스마스 장식, 반사성 구(orb)의 이미지의 일부 및 반사성을 가질 수 있는 십자형 장식 요소(110)를 도시한다. 박스(108)에 의해 표시된 특정 "평가 영역" 내에서, (어두운/더 어두운 픽셀로 표시되는) 소정 픽셀은 환경 조명의 반사를 나타내는 것으로 결정될 수 있다. 더 밝은 픽셀(112)은 반사 "노이즈"가 아닌 크리스마스 장식 표면(106)의 실제 표면을 나타내는 것으로 결정된 패턴일 수 있다. 픽셀은 다수의 픽셀에 걸쳐 추적된 경로(십자형 장식 요소)를 따를 수 있으며, 그러한 픽셀을 여러 대응 이미지에 걸쳐 평가될 수 있는 로컬화된 패턴으로 만들 수 있다. 예를 들어, 픽셀(112)은 픽셀 경로(121-100-116)를 따르는 고유 색 공간의 픽셀일 수 있다(아래의 예시 매트릭스 참조). 픽셀(223)은 정의된 임계 값을 초과하는 것으로 결정될 수 있으며, 따라서 픽셀 경로(121-100-116)의 특징/특성과 동일한 특징/특성의 일부일 가능성이 없다.

동작(102)에서, 사진 계측은 로컬 콘트라스트 강화 및 스펙트럼 억제를 나타내는 정보에 기초하여 복수의 2D 이미지에 대해 수행될 수 있다. 전술한 바와 같이, 오브젝트의 표면을 나타내는 것으로 식별된 하나 이상의 포인트는 포인트 매칭에 사용될 수 있지만, 스펙트럼 반사와 연관된 주파수는 억제된다. 또한, 전술한 것처럼, 저밀도 및 고밀도 포인트 클라우드가 생성될 수 있으며 고밀도 포인트 클라우드에서 와이어 프레임과 메쉬가 오브젝트의 표면(들)을 나타내도록 생성될 수 있다. 동작(104)에서, 사진 계측의 수행으로부터 출력된 정보에 기초하여 오브젝트의 3D 모델이 생성될 수 있다. 일부 실시예에서, 3D 모델을 생성하는 데 사용될 2D 이미지가 2D 또는 3D 영화 또는 다른 미디어 콘텐트의 프레임과 같은 이미지인 일부 실시예에서, 소정의 전처리 동작이 수행되어 미디어 콘텐트로부터 최적의 2D 이미지를 추출할 수 있다. 도 2는 사진 계측에 사용될 2D 이미지를 최적화하기 위한 다양한 실시예에 따라 수행될 수 있는 다양한 동작을 나타내는 흐름도이다. 도 2가 도 3과 함께 설명되며, 이는 하나 이상의 사진 계측 전처리 동작이 다양한 실시예에 따라 2D 사진 또는 이미지로부터 3D 모델을 생성하도록 수행되는 프로세싱 파이프라인을 개략적으로 나타낸다.

동작(200)에서, 관심 오브젝트는 미디어 콘텐트에서 식별될 수 있다. 미디어 콘텐트는 임의의 시각적 미디어 콘텐트, 예를 들어, 디지털 무비 파일, 디지털 사진 또는 이미지 세트(예를 들어, 영화에서 추출된 프레임 또는 이로부터 획득된 이미지), 전자 게임 등일 수 있다. 도 3은 2D 필름(302)의 형태의 예시적인 미디어 콘텐트를 도시한다. 관심 오브젝트는 캐릭터, 배우, 장면에서 촬영되거나 캡처된 오브젝트 등일 수 있다. 도 3에서, 관심 오브젝트는 반사형 볼과 같은 오브젝트(304a)일 수 있다. 오브젝트의 식별 및 선택을 수행하기 위해 소프트웨어 및/또는 하드웨어가 이용될 수 있다. 예를 들어, 도 3의 시스템(300)은 서버, 컴퓨터 등과 같은 하나 이상의 프로세서 또는 컴퓨팅 요소가 본 명세서에서 설명된 기능을 실시하는 데 사용될 수 있는 독립형 시스템 또는 웹-액세스 가능 서비스로서 구현될 수 있다. 하나 이상의 알려진 또는 장래 개발될 얼굴 또는 오브젝트 인식 기술이 미디어 콘텐트에서 관심 오브젝트를 식별하는 데 사용될 수 있다. 최대 색 깊이 및 해상도 정보를 갖는 시각적 미디어 콘텐트의 사용이 필수적인 것은 아니지만 효과적일 수 있음을 주목해야 한다. 예를 들어, 표면 알베도 변화와 같은 변화 및/또는 특징은 보다 높은 해상도의 필름 영상에서보다 쉽게 검출될 수 있다.

동작(202)에서, 오브젝트가 존재하는 하나 이상의 이미지가 검색된다. 예를 들어, 다양한 실시예는 관심 오브젝트가 2D 사진 또는 이미지의 세트 중 하나 이상에 존재하는지 여부를 결정하기 위해 관련 미디어 콘텐트로부터의 2D 사진 또는 이미지의 세트를 분석할 수 있다. 도 3에 도시된 바와 같이, 오브젝트 이미지 필터 컴포넌트(306)는 관심 오브젝트를 포함하는 하나 이상의 이미지(306a)를 획득하기 위해 이용될 수 있다. 오브젝트 이미지 필터 컴포넌트(306)는 이미지 내의 오브젝트의 존재를 나타내는 것으로 간주되는 하나 이상의 특징을 2D 필름(302)의 이미지 또는 프레임과 비교하도록 구성된 비교 엔진을 포함할 수 있다.

동작(204)에서, 하나 이상의 이미지는 오브젝트를 가장 잘 나타내는 하나 이상의 이미지의 서브셋을 획득하기 위해 필터링된다. 이러한 기능은 캡처된 오브젝트의 하나 이상의 특성에 기초하여 사진 세트 또는 이미지 세트를 필터링하기 위해 다양한 기술 및/또는 알고리즘을 이용할 수 있는 대표 이미지 필터(308)에 의해 수행될 수 있다. 예를 들어, 관심 오브젝트가 장면의 75% 이상을 차지하는 영화의 이미지 또는 프레임은 관심 오브젝트를 가장 잘 나타내는 이미지(308a)를 추출하기 위해 대표 이미지 필터(308)에 의해 사용되는 하나의 기준일 수 있다. 예를 들어, 관심 오브젝트에 대한 특정 선예도 임계값을 만족하는 이미지 또는 프레임은 사진 계측에 사용되는 최적 이미지의 대표로 간주될 수 있다. 오브젝트 위치, 오브젝트 애스펙트(aspect), 시각적 상태 등을 포함하지만 이에 한정되지 않는 또 다른 기준이 사용될 수 있다. 예를 들어, 오브젝트의 위치는 다른 각도/측면으로부터 정보를 제공하는 데 사용될 수 있다. 예를 들어, 오브젝트의 특정 측면, 예를 들어, 캐릭터에 의해 착용된 특정 의상이 참조용으로 원하는 이미지 또는 프레임을 얻는 데 사용될 수 있다. 예를 들어, 특정 오브젝트의 시각적 상태(가령, 후속 이미지 또는 프레임에서의 임의의 변경 이전에 이미지 또는 프레임에서의 차량의 외관)이 참조로서 사용될 수 있다.

동작(206)에서, 오브젝트의 표면 상의 로컬 콘트라스트 강화 및 스펙트럼 억제 중 적어도 하나가 수행될 수 있다. 로컬 콘트라스트 강화 및/또는 스펙트럼 억제는 도 1a와 관련하여 상술한 알고리즘과 함께 동작하는 콘트라스트 강화/스펙트럼 억제 컴포넌트(310)를 통해 앞서 설명된 바와 같이 수행될 수 있다.

동작(208)에서, 이미지의 서브세트의 최적화된 버전이 로컬 콘트라스트 강화 및 스펙트럼 억제 중 적어도 하나에 기초하여 생성된다. 예를 들어, 이미지의 서브세트 각각은 로컬 콘트라스트 강화 및/또는 스펙트럼 억제에 노출될 수 있다. 도 3a에서, 이들 이미지는 최적화된 이미지(310a)로 표현된다. 일부 실시예에서, 예를 들어 매칭 포인트로서 사용될 수 있는 오브젝트의 측면을 강조하기 위해 이미지에 노이즈를 추가하여 "의사 텍스처(pseudo-texture)" 또는 인위적으로 생성된 텍스처를 생성할 수 있다. 일부 실시예에서, 일부 더 작은 서브세트는 로컬 콘트라스트 강화 및/또는 스펙트럼 억제를 수행할 수 있는 반면, 다른 서브세트는 그러하지 않을 수 있다. 이는, 예를 들어 최적화의 잠재적인 오류를 완화하기 위해 수행될 수 있다. 예를 들어, 로컬 콘트라스트 강화 또는 스펙트럼 억제의 수행은 사진 계측의 목적으로 하나 이상의 이미지를 저하시키는 결과를 가져올 수 있으며, 예를 들어, 스펙트럼 억제가 실수로 관심 오브젝트의 표면을 실질적으로 나타내는 픽셀 영역에 적용될 수 있다. 예를 들어, 로컬 콘트라스트 강화는 너무 커서 그 영향을 무효화시킬 수 있는 픽셀의 영역에 적용될 수 있다. 이러한 방식으로, 예를 들어 저밀도 포인트 클라우드를 생성하는 데 사용된 포인트가 계속 캡처되거나 탐지/식별될 수 있다. 즉, 디테일의 여러 "레벨"을 샘플링하여 다수의 가능한 재구성물을 작성할 수 있다. "최상의" 또는 "선호하는" 결과가 선택될 수 있고, 이는 모델을 형성하도록 결합될 수 있다.

동작(210)에서, 오브젝트의 3D 모델은 이미지의 서브세트의 최적화된 버전에 기초하여 생성될 수 있다. 즉, 전술한 바와 같은 사진 계측은 최적화된 이미지의 서브세트에 기초한 사진 계측 시스템(312)에 의해 수행될 수 있으며, 3D 모델(314)이 생성될 수 있다.

로토스코핑(rotoscoping)의 필요성을 대체 및/또는 무효화하기 위해 다양한 실시예가 사용될 수 있다는 점에 주의해야 한다. 즉, 이미지 최적화 및 특징 강화/스펙트럼 억제를 수행하면, 예를 들어 다른 배경에서 또는 다른 배경과 함께 사용하기 위해 추출될 수 있는 오브젝트를 정확하게 표현할 수 있다.

원래의 "애셋(asset)"(이로부터 3D 모델이 생성될 수 있음)은 2D 소스 물질에 한정되지 않는다는 점을 또한 주목해야 한다. 예를 들어, 다양한 실시예는 실제 2D 사진 또는 이미지뿐만 아니라 원래의 3D 컨텐트 또는 애셋(assets)의 2D 사진 또는 이미지로부터 오브젝트의 3D 모델을 생성하는 데 사용될 수 있다.

또한, 시각적인 미디어 콘텐트의 생성 및 카메라 렌즈의 배치에 사용되는 공지된 렌즈를 특징으로 하는 정보는 관심 오브젝트의 3D 모델 표현을 강화시키기 위해 사용될 수 있다. 예를 들어, 관련 렌즈 특성을 고려하지 않으면 관심 오브젝트의 3D 모델이 치수/각도에서만 정확하고 다른 것은 정확하지 않을 수 있다.

도 4는 도 2의 컴포넌트(202, 204, 206 및/또는 208)의 하나 이상의 측면의 전술한 특징 및 기능과 같이 본 명세서에 개시된 시스템 및 방법의 다양한 특징을 구현하는 데 사용될 수 있는 예시적인 컴퓨팅 컴포넌트를 도시한다.

본 명세서에 사용된 바와 같이, 컴포넌트라는 용어는 본 출원의 하나 이상의 실시예에 따라 수행될 수 있는 주어진 기능 단위를 기술할 수 있다. 본 명세서에 사용된 바와 같이, 컴포넌트는 임의의 형태의 하드웨어, 소프트웨어, 또는 이들의 조합을 이용하여 구현될 수 있다. 예를 들어, 컴포넌트를 구성하기 위해 하나 이상의 프로세서, 컨트롤러, ASIC, PLA, PAL, CPLD, FPGA, 논리 컴포넌트, 소프트웨어 루틴 또는 기타 메커니즘이 구현될 수 있다. 구현 시, 본 명세서에서 설명된 다양한 컴포넌트는 개별 컴포넌트로 구현될 수 있거나 설명된 기능 및 특징은 하나 이상의 컴포넌트 사이에서 부분적으로 또는 전체적으로 공유될 수 있다. 다르게 설명하면, 이러한 설명을 읽은 후에 당업자에게 명백한 바와 같이, 본 명세서에 설명된 다양한 특징 및 기능은 임의의 주어진 애플리케이션에서 구현될 수 있으며, 다양한 조합 및 순서로 하나 이상의 개별 컴포넌트 또는 공유 컴포넌트로서 구현될 수 있다. 다양한 기능 또는 기능 요소가 개별적으로 기술되거나 별도의 컴포넌트로서 청구될 수 있지만, 당업자는 이러한 특징 및 기능이 하나 이상의 공통 소프트웨어 및 하드웨어 요소 사이에서 공유될 수 있음을 이해할 것이며, 그러한 설명은 그러한 특징이나 기능을 구현하는 데 별도의 하드웨어 또는 소프트웨어 컴포넌트가 사용되는 것을 요구하거나 의미하는 것이 아니다.

컴포넌트 또는 애플리케이션의 컴포넌트가 소프트웨어를 사용하여 전체적으로 또는 부분적으로 구현되는 경우, 일 실시예에서, 이들 소프트웨어 엘리먼트는 그에 대해 설명된 기능을 수행할 수 있는 컴퓨팅 또는 프로세싱 컴포넌트로 동작하도록 구현될 수 있다. 하나의 그러한 예시적인 컴퓨팅 컴포넌트가 도 4에 도시된다. 이러한 예시적인 컴퓨팅 컴포넌트(400)의 관점에서 다양한 실시예가 설명된다. 이 설명을 읽은 후에, 다른 컴퓨팅 컴포넌트 또는 아키텍처를 사용하여 어떻게 애플리케이션을 구현하는 지는 당업자에게 명백해질 것이다.

이제 도 4를 참조하면, 컴퓨팅 컴포넌트(400)는 예를 들어 자기-조정 디스플레이, 데스크톱, 랩톱, 노트북 및 태블릿 컴퓨터 내에서 발견되는 컴퓨팅 또는 프로세싱 기능; 핸드헬드 컴퓨팅 장치(태블릿, PDA, 스마트 폰, 휴대폰, 팜톱 등); 워크 스테이션 또는 디스플레이가 있는 기타 장치; 서버; 또는 지정 애플리케이션 또는 환경에 대해 바람직하거나 적합할 수 있는 다른 유형의 전용 또는 범용 컴퓨팅 장치일 수 있다. 컴퓨팅 컴포넌트(400)는 또한 지정 장치 내에 내장되거나 그렇지 않고 이용 가능한 컴퓨팅 기능을 나타낼 수 있다. 예를 들어, 컴퓨팅 컴포넌트는, 예를 들어 내비게이션 시스템, 휴대형 컴퓨팅 장치, 및 일부 형태의 처리 기능을 포함할 수 있는 다른 전자 장치와 같은 다른 전자 장치에서 발견될 수 있다.

컴퓨팅 컴포넌트(400)는 예를 들어, 하나 이상의 프로세서, 제어기, 제어 컴포넌트, 또는 프로세서(404)와 같은 프로세싱 장치를 포함할 수 있다. 프로세서(404)는 예를 들어 마이크로 프로세서, 제어기 또는 다른 제어 로직과 같은 범용 또는 전용 프로세싱 엔진을 사용하여 구현될 수 있다. 도시된 예에서, 프로세서(404)는 버스(402)에 접속되지만, 컴퓨팅 컴포넌트(400)의 다른 컴포넌트와의 상호 작용을 용이하게 하거나 외부와 통신하기 위해 임의의 통신 매체가 사용될 수 있다.

컴퓨팅 컴포넌트(400)는 또한 본 명세서에서 메인 메모리(408)로 간단히 지칭되는 하나 이상의 메모리 컴포넌트를 포함할 수 있다. 예를 들어, 바람직하게는 랜덤 액세스 메모리(RAM) 또는 다른 동적 메모리가 프로세서(404)에 의해 실행될 정보 및 명령어를 저장하기 위해 사용될 수 있다. 또한, 메인 메모리(408)는 프로세서(404)에 의해 실행될 명령어의 실행 동안 임시 변수 또는 다른 중간 정보를 저장하기 위해 사용될 수 있다. 컴퓨팅 컴포넌트(400)는 마찬가지로 판독 전용 메모리("ROM") 또는 다른 정적 저장 장치를 포함할 수 있고, 이들은 프로세서(404)에 대한 정적 정보 및 명령어를 저장하기 위해 버스(402)에 결합된다.

컴퓨팅 컴포넌트(400)는 또한 예를 들어, 미디어 드라이브(412) 및 스토리지 유닛 인터페이스(420)를 포함할 수 있는 하나 이상의 다양한 형태의 정보 저장 메커니즘(410)을 포함할 수 있다. 미디어 드라이브(412)는 고정식 또는 이동식 저장 매체(414)를 지원하는 드라이브나 다른 메커니즘을 포함할 수 있다. 예를 들어, 하드 디스크 드라이브, 솔리드 스테이트 드라이브, 자기 테이프 드라이브, 광 디스크 드라이브, 콤팩트 디스크(CD) 또는 디지털 비디오 디스크(DVD) 드라이브(R 또는 RW), 또는 다른 이동식 또는 고정식 매체 드라이브가 제공될 수 있다. 따라서, 저장 매체(414)는 예를 들어 하드 디스크, 집적 회로 조립체, 자기 테이프, 카트리지, 광 디스크, CD 또는 DVD, 또는 매체 드라이브(412)에 의해 판독되거나 이에 기록되거나, 액세스되는 다른 고정식 또는 이동식 매체를 포함할 수 있다. 이러한 예는 저장 매체(414)가 컴퓨터 소프트웨어 또는 데이터가 저장된 컴퓨터 사용 가능한 저장 매체를 포함할 수 있다.

대안적인 실시예에서, 정보 저장 메커니즘(410)은 컴퓨터 프로그램 또는 다른 명령어나 데이터가 컴퓨팅 컴포넌트(400)에 로딩될 수 있게 하는 다른 유사한 수단을 포함할 수 있다. 이러한 수단은, 예를 들어 고정식 또는 이동식 저장 유닛(422) 및 인터페이스(420)를 포함할 수 있다. 그러한 저장 유닛(422) 및 인터페이스(420)의 예는 프로그램 카트리지 및 카트리지 인터페이스, 이동식 메모리(예를 들어, 플래시 메모리 또는 다른 이동식 메모리 컴포넌트) 및 메모리 슬롯, PCMCIA 슬롯 및 카드, 및 소프트웨어 및 데이터가 저장 유닛(422)으로부터 컴퓨팅 컴포넌트(400)로 전달될 수 있게 하는 다른 고정식 또는 이동식 저장 유닛(422) 및 인터페이스(420)를 포함할 수 있다.

컴퓨팅 컴포넌트(400)는 또한 통신 인터페이스(424)를 포함할 수 있다. 통신 인터페이스(424)는 소프트웨어 및 데이터로 하여금 컴퓨팅 컴포넌트(400)와 외부 디바이스 사이에서 전송되도록 하는 데 사용될 수 있다. 통신 인터페이스(424)의 예는 모뎀 또는 소프트모뎀, 네트워크 인터페이스(가령, 이더넷, 네트워크 인터페이스 카드, WiMedia, IEEE 802.11x 또는 다른 인터페이스), 통신 포트(예를 들어, USB 포트, IR 포트, RS232 포트 Bluetooth® 인터페이스 또는 다른 포트) 또는 기타 통신 인터페이스를 포함할 수 있다. 통신 인터페이스(424)를 통해 전송된 소프트웨어 및 데이터는 통상적으로 전자, 전자기(광을 포함함) 또는 지정 통신 인터페이스(424)에 의해 교환될 수 있는 다른 신호일 수 있는 신호로 운반될 수 있다. 이들 신호는 통신 인터페이스(424)에 채널(428)을 통해 제공될 수 있다. 이러한 채널(428)은 신호를 운반할 수 있고 유선 또는 무선 통신 매체를 사용하여 구현될 수 있다. 채널의 일부 예는 전화선, 셀룰러 링크, RF 링크, 광 링크, 네트워크 인터페이스, 로컬 또는 광역 네트워크, 및 다른 유선 또는 무선 통신 채널을 포함할 수 있다.

본 문서에서, "컴퓨터 프로그램 매체" 및 "컴퓨터 사용 가능 매체"라는 용어는 일반적으로, 예를 들어 메모리(408), 저장 유닛(420), 매체(414) 및 채널(428)과 같은 일시적 또는 비 일시적인 매체를 지칭하는 데 사용된다. 이러한 및 다른 다양한 형태의 컴퓨터 프로그램 매체 또는 컴퓨터 사용 가능 매체는 실행을 위해 처리 장치에 하나 이상의 명령어의 하나 이상의 시퀀스를 전달하는 것과 관련될 수 있다. 매체 상에 구현된 이러한 명령어는 일반적으로 "컴퓨터 프로그램 코드" 또는 "컴퓨터 프로그램 제품"(컴퓨터 프로그램 또는 다른 그룹화의 형태로 그룹화될 수 있음)으로 지칭된다. 실행될 때, 이러한 명령어는 컴퓨팅 컴포넌트(400)가 본 명세서에서 논의된 바와 같이 본 출원의 특징 또는 기능을 수행하게 할 수 있다.

다양한 예시적인 실시예 및 구현에 관하여 위에서 설명되었지만, 개별 실시예 중 하나 이상에서 설명된 다양한 특징, 측면 및 기능성은 이들이 설명된 특정 실시예에 대한 이들의 적용가능성에 제한되지 않으며, 대신에 단독으로 또는 다양한 조합으로, 그러한 실시예가 설명되었는지 여부 및 그러한 특징이 설명된 실시예의 일부로서 제시되었는지 여부와 상관없이, 다른 응용 실시예 중 하나 이상에 적용될 수 있다는 것을 이해해야 한다. 따라서, 본 출원의 범위 및 범주는 전술한 예시적인 실시예 중 어느 것에 의해서도 제한되어서는 안 된다.

본 명세서에서 사용된 용어 및 어구 및 그 변형은, 달리 명시적으로 언급되지 않는 한, 제한에 반대되는 것으로서 개방형 종결로서 해석되어야 한다. 전술한 예로서: "포함하는"이라는 용어는 "제한 없이 포함"을 의미하는 것 등으로 이해되어야 하고; "예시"라는 용어는 그 아이템의 배타적이거나 제한적인 열거가 아니라, 설명되는 아이템의 예시적인 경우를 제공하기 위해 사용되며; 용어 "하나의 (a 또는 an)"는 "적어도 하나", "하나 또는 그 이상" 등을 의미하는 것으로 이해되어야 하고; "통상적인", "전통적인", "정상적인", "표준적인", "알려진" 및 유사한 의미의 용어와 같은 형용사는 지정 기간에 대해 설명된 아이템 또는 지정 기간에 이용가능한 아이템으로 제한되는 것으로 해석되어서는 안 되며, 대신에 현재 또는 미래에 언제든지 이용 가능하거나 알려질 수 있는 통상적인, 전통적인, 정상적인 또는 표준적인 기법을 포괄하는 것으로 이해되어야 한다. 마찬가지로, 본 문서가 당업자에게 명백하거나 공지된 기술을 언급할 때, 그러한 기술은 당업자에게 현재 또는 미래에 언제든지 명백한 또는 공지된 기술을 포함한다.

일부 경우에 "하나 이상", "적어도", "그러나 이에 국한되지 않음" 또는 다른 유사한 문구와 같은 확장된 단어 및 구의 존재는 그러한 확장 구가 존재하지 않을 경우에는 더 좁은 케이스를 의도하거나 요구하는 것을 의미하는 것으로 이해되어서는 안 된다. "컴포넌트"라는 용어의 사용은 컴포넌트의 일부로서 기술되거나 주장된 측면 또는 기능이 모두 공통 패키지로 구성된다는 것을 의미하지는 않는다. 실제로, 제어 로직 또는 다른 컴포넌트에 관계없이, 컴포넌트의 다양한 측면 중 일부 또는 전부는 단일 패키지로 결합되거나 개별적으로 유지될 수 있고, 또한 다수의 그룹핑 또는 패키지 또는 다수의 위치에 걸쳐 추가 분산될 수 있다.

또한, 본 명세서에 설명된 다양한 실시예는 예시적인 블록도, 흐름도 및 다른 설명으로 기술된다. 본 문서를 읽은 후 당업자에게 명백히 이해될 바와 같이, 예시된 실시예 및 그의 다양한 대안이 도시된 예에 한정되지 않고 구현될 수 있다. 예를 들어, 블록도 및 그에 수반되는 설명은 특정 아키텍처 또는 구성을 지정하는 것으로 해석되어서는 안 된다.

Claims

컴퓨터로 구현되는 방법으로서,
복수의 2 차원(2D) 이미지 각각에 캡처된 오브젝트에 관련하여 상기 복수의 2D 이미지 각각 내의 상기 오브젝트를 나타내는 정보를 식별하는 로컬 콘트라스트 강화(local contrast enhancement) 및 스펙트럼 억제(spectral suppression)를 수행하는 단계와,
상기 오브젝트를 나타내는 신호가 상기 오브젝트의 실제 표면들을 나타내도록 상기 복수의 2D 이미지 각각의 상기 오브젝트 자체를 나타내지 않는 정보를 무시하면서 상기 오브젝트 자체를 나타내는 정보에 기초하여 상기 복수의 2D 이미지에 대한 사진 계측을 수행하는 단계와,
상기 사진 계측의 수행으로부터 얻어진 출력 정보에 기초하여 상기 오브젝트의 전산화된 3 차원(3D) 모델을 생성하는 단계를 포함하되,
상기 로컬 콘트라스트 강화의 수행은 상기 오브젝트의 표면의 하나 이상의 특징을 식별 및 분리(isolating)하고 실질적으로 상기 하나 이상의 분리된 특징에 관한 영역에서의 콘트라스트를 증가시키는 것을 포함하는
컴퓨터 구현 방법.
삭제
제 1 항에 있어서,
상기 하나 이상의 분리된 특징은 상기 오브젝트의 표면의 표면 알베도(surface albedo)에서의 하나 이상의 변화(variation)를 포함하는
컴퓨터 구현 방법.
제 1 항에 있어서,
상기 로컬 콘트라스트 강화의 수행에 후속하여 상기 하나 이상의 분리된 특징을 태깅하는 단계를 더 포함하는
컴퓨터 구현 방법.
제 3 항에 있어서,
상기 사진 계측을 수행하는 단계는 상기 하나 이상의 분리된 특징을 매칭 포인트로서 사용하여 상기 복수의 2D 이미지를 정렬하는 단계를 포함하는
컴퓨터 구현 방법.
제 1 항에 있어서,
상기 사진 계측을 수행하는 단계는 적어도 상기 하나 이상의 분리된 특징에 기초하여 포인트 클라우드를 생성하는 단계를 더 포함하는
컴퓨터 구현 방법.
제 1 항에 있어서,
상기 하나 이상의 분리된 특징은 하나 이상의 고주파 신호와 연관되는
컴퓨터 구현 방법.
제 7 항에 있어서,
상기 하나 이상의 분리된 특징과 연관된 고주파 신호를 증폭하여 상기 증폭된 고주파 신호의 신호 대 잡음비가 1:1 비율을 초과하게 하는 단계를 더 포함하는
컴퓨터 구현 방법.
제 1 항에 있어서,
상기 로컬 콘트라스트 강화의 수행은 상기 하나 이상의 분리된 특징이 검출 가능하도록 상기 오브젝트의 표면의 일부를 포함하는 픽셀 영역의 콘트라스트를 증가시키는 것을 포함하는
컴퓨터 구현 방법.
제 1 항에 있어서,
상기 스펙트럼 억제의 수행은 상기 오브젝트의 표면을 나타내는 하나 이상의 픽셀 값을 상기 오브젝트와 분리된 광원의 반사와 상관시키는 것을 포함하는
컴퓨터 구현 방법.
제 10 항에 있어서,
상기 오브젝트 자체를 나타내지 않는 정보는 상기 반사와 연관된 하나 이상의 주파수를 포함하며, 상기 오브젝트 자체를 나타내지 않는 정보를 무시하는 것은, 상기 사진 계측의 수행 중에 입력으로서 이용될 데이터 세트를 생성하는 경우 상기 반사와 연관된 상기 하나 이상의 주파수를 무시하는 것을 포함하는
컴퓨터 구현 방법.
컴퓨터 구현 방법으로서,
미디어 콘텐트 내의 오브젝트를 식별하는 단계와,
상기 오브젝트가 존재하는 상기 미디어 콘텐트를 나타내는 하나 이상의 2 차원(2D) 이미지를 검색하는 단계와,
상기 하나 이상의 2D 이미지를 필터링하여 상기 오브젝트를 나타내는 하나 이상의 2D 이미지의 서브세트를 획득하는 단계와,
상기 오브젝트의 표면상에 로컬 콘트라스트 강화 및 스펙트럼 억제를 수행하는 단계 - 상기 로컬 콘트라스트 강화 및 스펙트럼 억제는, 상기 오브젝트를 나타내는 신호가 상기 오브젝트의 실제 표면들을 나타내도록 상기 하나 이상의 2D 이미지각각의 상기 오브젝트 자체를 나타내는 정보를 식별하고, 상기 로컬 콘트라스트 강화의 수행은 상기 오브젝트의 표면의 하나 이상의 특징을 식별 및 분리하고 실질적으로 상기 하나 이상의 분리된 특징에 관한 영역에서의 콘트라스트를 증가시키는 것을 포함함 - 와,
상기 로컬 콘트라스트 강화 및 스펙트럼 억제의 수행을 통해 얻어지는 상기 하나 이상의 2D 이미지 각각의 상기 오브젝트 자체를 나타내지 않는 정보를 무시하면서 상기 오브젝트 자체를 나타내는 정보에 기초하여 상기 하나 이상의 2D 이미지의 서브세트의 최적화된 버전을 생성하는 단계와,
상기 하나 이상의 2D 이미지의 서브세트의 상기 최적화된 버전에 기초하여 상기 오브젝트의 3 차원(3D) 모델을 생성하는 단계를 포함하는
컴퓨터 구현 방법.
삭제
제 12 항에 있어서,
상기 로컬 콘트라스트 강화를 수행하는 것은 상기 하나 이상의 분리된 특징을 태깅하고, 상기 하나 이상의 분리된 특징에 관한 정보를 사진 계측의 수행의 입력으로 포함시키는 것을 더 포함하는
컴퓨터 구현 방법.
제 14 항에 있어서,
상기 하나 이상의 분리된 특징을 매칭 포인트로서 사용하여 상기 하나 이상의 2D 이미지의 서브세트 각각을 정렬하는 단계를 더 포함하는
컴퓨터 구현 방법.
제 12 항에 있어서,
상기 하나 이상의 2D 이미지의 서브세트 각각에 노이즈를 주입하여 상기 오브젝트의 표면의 상기 하나 이상의 특징의 식별 및 분리를 용이하게 하는 인공 텍스처(artificial texture)가 상기 오브젝트의 표면상에 생성되도록 하는 단계를 더 포함하는
컴퓨터 구현 방법.
제 12 항에 있어서,
상기 하나 이상의 분리된 특징은 고주파 신호와 연관되는
컴퓨터 구현 방법.
제 17 항에 있어서,
상기 하나 이상의 분리된 특징와 연관된 상기 고주파 신호를 증폭하여 상기 증폭된 고주파 신호의 신호 대 잡음비가 1:1 비율을 초과하게 하는 단계를 더 포함하는
컴퓨터 구현 방법.
제 12 항에 있어서,
상기 로컬 콘트라스트 강화의 수행은 상기 하나 이상의 분리된 특징을 나타내는 픽셀의 적색, 녹색, 청색(RGB) 값의 로컬화된 콘트라스트를 증가시키는 것을 포함하는
컴퓨터 구현 방법.
제 12 항에 있어서,
상기 스펙트럼 억제의 수행은 상기 오브젝트의 표면을 나타내는 하나 이상의 픽셀 값을 상기 오브젝트와 분리된 광원의 반사와 상관시키는 것을 포함하는
컴퓨터 구현 방법.
제 20 항에 있어서,
상기 오브젝트 자체를 나타내지 않는 정보는 상기 반사와 연관된 하나 이상의 주파수를 포함하며, 상기 오브젝트 자체를 나타내지 않는 정보를 무시하는 것은, 사진 계측의 수행 중에 입력으로서 이용될 데이터 세트를 생성하는 경우 상기 반사와 연관된 하나 이상의 주파수를 무시하는 것을 포함하는
컴퓨터 구현 방법.