KR20160070712A

KR20160070712A - 3d 모델링된 객체 텍스처링

Info

Publication number: KR20160070712A
Application number: KR1020150175273A
Authority: KR
Inventors: 엘루아 메르
Original assignee: 다솔 시스템므
Priority date: 2014-12-10
Filing date: 2015-12-09
Publication date: 2016-06-20
Also published as: US20160171765A1; EP3032495B1; CN105701857A; EP3032495A1; US10013801B2; JP6659336B2; CA2914020A1; JP2016119086A; CN105701857B

Abstract

실제 객체를 표현하는 3D 모델링된 객체를 설계하는 컴퓨터 구현 방법이, 실제 객체를 표현하는 3D 메시, 텍스처링 이미지 그리고 3D 메시의 정점들 및 텍스처링 이미지의 화소들 간의 매핑을 제공하는 단계 (S10); 그 후 다음 형태의 확률

를 최대화하는 단계 (S20) 를 포함한다:

. 최대화하는 단계는 3D 메시와 3D 메시의 정점들의 텍스처 좌표들에 연관된 화소 시프트들을 에너지

의 마르코프 랜덤 필드로서 보여주는 미리 결정된 이산 마르코프 랜덤 필드 최적화 체계로 수행된다. 그 방법은 그 후에 텍스처링 이미지에, 매핑에, 및 최대화하는 단계의 결과에 따라 3D 메시를 텍스처링하는 단계 (S30) 를 포함한다.
이는 실제 객체를 표현하는 3D 모델링된 객체를 설계하기 위한 개선된 해결책을 제공한다.

Description

3D 모델링된 객체 텍스처링{TEXTURING A 3D MODELED OBJECT}

본 발명은 컴퓨터 프로그램들 및 시스템들의 분야에 관한 것이고, 더 상세하게는 실제 객체를 표현하는 3D 모델링된 객체를 설계하는 방법, 시스템 및 프로그램에 관한 것이다.

다수의 시스템들 및 프로그램들이 객체들의 설계, 엔지니어링 및 제조를 위해 시중에 제공된다. CAD는 컴퓨터 지원 설계 (Computer-Aided Design) 의 영어 머리글자이며, 예컨대 객체를 설계하기 위한 소프트웨어 솔루션들에 관련된다. CAE는 컴퓨터 지원 엔지니어링 (Computer-Aided Engineering) 의 영어 머리글자이며, 예컨대 미래의 제품의 물리적 행동을 시뮬레이션하기 위한 소프트웨어 솔루션들에 관련된다. CAM은 컴퓨터 지원 제조 (Computer-Aided Manufacturing) 의 영어 머리글자이며, 예컨대 제조 프로세스들 및 오퍼레이션들을 정의하기 위한 소프트웨어 솔루션들에 관련된다. 이러한 컴퓨터 지원 설계 시스템들에서, 그래픽 사용자 인터페이스는 기법의 효율과 관련하여 중요한 역할을 담당한다. 이들 기법들은 제품 수명주기 관리 (Product Lifecycle Management; PLM) 시스템들 내에 내포될 수도 있다. PLM은 기업들이 확장 기업의 개념 전체에 걸쳐서, 제품 데이터를 공유하며, 공통 프로세스들을 적용하고, 제품들의 개발을 위한 기업의 지식에 구상에서부터 제품들의 수명의 끝까지 영향력을 행사하는 것을 돕는 경영 전략을 말한다.

다솔 시스템므 (Dassault Systemes) 에 의해 (CATIA, ENOVIA 및 DELMIA라는 상표들 하에서) 제공되는 PLM 솔루션들은, 제품 엔지니어링 지식을 편성하는 엔지니어링 허브, 제조 엔지니어링 지식을 관리하는 제조 허브, 그리고 엔지니어링 및 제조 허브들 양쪽 모두로의 기업 통합 및 연결을 가능하게 하는 기업 허브를 제공한다. 동시에 그 시스템은 최적화된 제품 정의, 제조 준비, 생산 및 서비스를 도출하는 동적인 지식 기반 제품 창작 및 결정 지원을 가능하게 하는 제품들, 프로세스들, 자원들을 연계하는 개방형 객체 모델을 제공한다.

이런 상황에서, 컴퓨터 비전 및 컴퓨터 그래픽의 분야는 점점 더 유용한 기술들을 제공한다. 사실, 이 분야는 3D 재구성 (reconstruction), 3D 모델들 텍스처링 (texturing), 가상 현실 그리고 입력들로서, 예를 들어, 사진들의 세트에서의 정보를 사용하여 정확한 기하구조를 갖는 3D 장면을 정확히 구축하는 것이 필요한 모든 도메인들에 대한 응용들을 갖는다. 3D 텍스처링이 텍스처링된 3D 모델들, 이를테면 심각한 (serious) 게이밍, 비디오 게임들, 건축, 고고학, 리버스 엔지니어링, 3D 자산 데이터베이스, 또는 가상 환경들의 생성을 수반하는 임의의 분야에서 사용될 수 있다. 비디오 스트림 및 사진들 세트 분석으로부터의 3D 재구성은 입력 데이터를 위해 사용되는 센서들의 유형에 의존하여, 두 개의 상이한 접근법들에서 최첨단으로 해결된다.

제 1 접근법은 "수신기" 센서들을 사용한다. 이는 특히 RGB 이미지들 분석으로부터의 3D 재구성에 관련된다. 여기서, 3D 재구성은 이미지 평면들의 각각에 포함된 RGB 컬러 정보의 멀티-뷰 분석에 의해 획득된다. 다음의 논문들은 이 접근법에 관련된다:

R. Hartley and A. Zisserman: Multiple View Geometry in Computer Vision, Cambridge Univ. Press 2004;

R. Szeliski: Computer Vision: Algorithms and Applications, Edition Springer 2010; 및

O. Faugeras: Three-Dimensional Computer Vision: A Geometric viewpoint, MIT Press 1994.

제 2 접근법은 "이미터-수신기" 센서들을 사용한다. 이는 RGB 깊이 이미지들 분석으로부터의 3D 재구성에 특히 관련된다. 센서들의 이 종류는 부가적인 깊이 데이터를 표준 RGB 데이터에 제공하고, 깊이 정보가 재구성 프로세스에서 주로 사용된다. 다음의 논문들은 이 접근법에 관련된다:

Yan Cui et al.: 3D Shape Scanning with a Time-of-Flight Camera, CVPR 2010;

RS. Izadi et al.: KinectFusion: Real-Time Dense Surface Mapping and Tracking, Symposium ISMAR 2011; 및

R. Newcombe et al.: Live Dense Reconstruction with a Single Moving Camera, IEEE ICCV2011.

더구나, 여러 학문적 및 산업적 플레이어들이, Acute3D, Autodesk, VisualSFM과 같이, RGB 이미지 분석에 의한, 또는 키넥트 (Kinect) 를 위한 마이크로소프트의 SDK 또는 ReconstructMe (등록 상표들임) 와 같이, RGB-깊이 분석에 의한 3D 재구성을 위한 소프트웨어 솔루션들을 이제 제공한다.

멀티-뷰 사진측량 (photogrammetry) 재구성 방법들은 장면의 3D 기하구조를 추정하기 위하여 비디오 시퀀스의 이미지 도면들 (image plans) (또는 일련의 스냅샷들) 에 포함된 단일 정보를 사용한다. 2D 뷰들 중 상이한 것들 간의 관심 지점들의 매칭은 카메라의 상대 포지션들이 산출되게 한다. 최적화된 삼각측량이 그 다음에 매칭 쌍에 대응하는 3D 포인트들을 컴퓨팅하기 위해 사용된다. 깊이-맵 분석 재구성 방법들은 디스패리티 맵들 또는 근사화된 3D 포인트 클라우드들에 기초한다. 그들 디스패리티 맵들은 스테레오비전 또는 구조화 광 (structured light) (예를 들어 '키넥트' 디바이스) 또는 'TOF (Time of Flight) ' 3D-카메라들을 사용하여 획득된다. 이들 최신 재구성 방법들은 그러면 실제 객체의 이산 3D 표현, 대개는 3D 메시를 보통 출력한다. 3D 모델은 결과적인 3D 포인트 클라우드를 막는 최종 (in fine) 볼륨으로부터 도출된다.

종래기술로부터 알려진 추가의 단계가 3D 메시 상의 각각의 다각형에 대해 텍스처를 생성하는 것이다. 포토-리얼리즘 (photo-realism) 을 보장하기 위하여, 종래기술은 동시에 장면을 캡처하는 고품질 디바이스들로부터의 표준 이미지들을 랜더링이 사용하는 것을 요구한다. 이는 T. Hanusch, A new texture mapping algorithm for photorealistic reconstruction of 3D objects, in ISPRS journal of photogrammetry and remote sensing 이라는 논문에서 설명되어 있다.

도 1은 잘 알려진 투영 텍스처 매핑 법인 사진으로 3D 모델을 텍스처링하는데 사용되는 보통의 접근법을 예시한다. 이 방법은, 예를 들어, P. Debevec, C. Taylor and J. Malik, Modeling and Rendering Architecture from Photographs: A hybrid geometry- and image-based approach, in SIGGRAPH 1996이라는 논문에서 설명되어 있다. 이 방법은 3D 모델로의 매핑을 컴퓨팅하기 위해 (3D 모델에 대하여) 2D 뷰에 연관된 이미지 투영 데이터를 사용한다. 도 1은 3D 메시화된 모델 (102) 및 교정된 이미지 (104) 에 대한 이러한 뷰 의존 3D 모델 텍스처링 원리를 도시하는데, 투영 텍스처 매핑 (묶음 106에 의해 표현되며, 카메라 투영 행렬로부터 컴퓨팅되고 광학적 중심 (108) 으로부터 출발함) 이 각각의 삼각형 정점에 대한 텍스처 좌표를 추정하기 위해 사용된다.

이제, 도 2에 예시된 바와 같이, 3D 모델 상으로의 투영에 의한 텍스처링 품질은 카메라 포즈 추정에 고도로 의존한다. 사실, 도 2는 문제가 있는 3D 모델 텍스처링을 예시하는데, 좌측에서는, 정확한 교정 데이터가 3D 모델 (102) 상의 투영에 의한 코히어런트 텍스처링 (104) 을 허용하는 반면, 우측에서는, 부정확한 교정 데이터가 3D 모델 (102) 에 관한 텍스처링 (104) 의 투영에서 드리프트 (drift) 를 유발한다. 다르게 말하면, 스냅샷의 시간에서의 카메라 회전 및 병진의 추정은 최종 텍스처링에 많은 영향을 미친다. 분명히, 카메라 포즈 상의 임의의 바이어스는 재-투영으로 옮겨지고 텍스처링 프로세스를 저하시킨다. 이러한 바이어스는 보통은 깊이-맵 분석 방법들의 경우에 특히 중요하다. 그것은 일반적으로 깊이 센서 및 RGB 센서 간의 동기화에 있어서의 시프트로부터 유래하여, 카메라 궤도 추정에 오류를 일으킨다. 하지만, 그것은, 깊이 센서에 대한 엄격한 의존성이 없기 때문에 3D 모델에 대한 상대 포지션이 충분한 정확도로 추정될 수 없는 독립적인 카메라로부터의 외부 숏 (shot); 부정확한 3D 모델들 및 카메라 포즈들로 이어지는, 잡음 있는 (noisy) 센서; 부정확한 3D 모델들로 이어지는, 3D 재구성 프로세스에서의 드리프트; 및/또는 3D 모델 상으로의 부정확한 텍스처 매핑으로 이어지는 왜곡된 이미지들로부터 또한 유래할 수도 있다.

이 상황 내에서, 실제 객체를 표현하는 3D 모델링된 객체를 설계하기 위한 개선된 방법에 대한 요구가 여전히 존재한다.

그러므로 실제 객체를 표현하는 3D 모델링된 객체를 설계하기 위한 컴퓨터 구현 방법이 제공된다. 그 방법은, 실제 객체를 표현하고 정점들을 갖는 3D 메시, 텍스처링 이미지 그리고 3D 메시의 정점들 및 텍스처링 이미지의 화소들 간의 매핑을 제공하는 단계; 그 후 다음 형태의 확률

를 최대화하는 단계를 포함한다:

.

은 3D 메시의 정점들의 수를 표시하고

는 3D 메시의 정점들을 표시한다.

는 텍스처링 이미지 상에 정점

를 매핑한 후에 적용될 그리고 미리 결정된 유한 세트 (L) 에서 선택될 화소 시프트를 표시한다.

.

는 3D 메시의 메시 타일들의 인덱스들의 세트들의 세트를 표시한다.

는 정점

에 연관되고 텍스처링 이미지 상에 정점

를 매핑한 후 정점

에 대해 선택된 화소 시프트를 적용한 결과가 3D 메시의 정점들 및 텍스처링 이미지의 화소들 간의 미리 결정된 관계를 준수하는 범위에 점감적으로 의존하는 비용 함수를 표시한다.

는 3D 메시의 타일 f에 연관되고 타일

의 정점들에 대해 선택된 화소 시프트들 간의 글로벌 차이에 의존하는 비용 함수를 표시한다. 최대화하는 단계는 미리 결정된 이산 마르코프 랜덤 필드 (Markov Random Field) 최적화 체계로 수행된다. 그 체계는 3D 메시와 3D 메시의 정점들의 텍스처 좌표들에 연관된 화소 시프트들을 다음 에너지의 마르코프 랜덤 필드로서 보여준다:

. 그 방법은 텍스처링 이미지에, 매핑에, 및 최대화하는 단계의 결과에 따라 3D 메시를 텍스처링하는 단계를 또한 포함한다.

그 방법은 다음들 중 하나 이상을 포함할 수도 있다:

- 비용 함수

는 형태

이며, 여기서

는 타일

의 정점들의 인덱스들의 쌍들의 세트를 표시하고, 미리 결정된 이산 마르코프 랜덤 필드 최적화 체계는 쌍방식 (pairwise) 의 이산 마르코프 랜덤 필드 최적화 체계이며;

-

는 형태

이며, 여기서

는 정극성의 (positive) 스칼라량을 표시하며;

- 3D 메시의 정점들 및 텍스처링 이미지의 화소들 간의 미리 결정된 관계는 3D 메시의 정점에 대한 3D 곡률 값들 및 텍스처링 이미지의 화소에 대한 텍스처링 이미지의 가장 가까운 윤곽까지의 거리 값들 간의 미리 결정된 관계에 해당하며;

- 미리 결정된 임계값 미만의 3D 곡률 값들은 모든 거리 값들과 미리 결정된 관계에 있고, 미리 결정된 임계값을 초과하는 3D 곡률 값들은 증가하는 일 대 일 대응에 따른 거리 값들과 미리 결정된 관계에 있으며;

-

는 형태

이며, 여기서

는 표시자 함수이며,

는 정점

의 최대 3D 곡률을 표시하고 c 는 정극성의 스칼라량을 표시하며,

는 정극성의 스칼라량을 표시하며,

는 텍스처링 이미지 상에 정점

를 매핑한 후, 정점

에 대해 선택된, 화소 시프트를 적용한 결과에서의 텍스처링 이미지의 거리 변환의 값을 표시하며, 거리 변환은 텍스처링 이미지의 윤곽 이미지에 대한 것이며;

- 윤곽 이미지는 텍스처링 이미지에 적용된 캐니 (Canny) 에지 검출기로 결정되며;

- 텍스처링 이미지의 거리 변환은 텍스처링 이미지의 윤곽 이미지에 대하여 텍스처링 이미지 상에 적용된 챔퍼 마스크로 결정되며; 그리고/또는

- 3D 메시, 텍스처링 이미지 및 매핑은 모두가 실제 객체 상에 적용된 미리 결정된 모션 기반 구조 분석 (structure-from-motion analysis) 체계에 의해 출력되며, 매핑은 모션 기반 구조 분석에서의 텍스처링 이미지에 대해 결정된 포즈 카메라 파라미터들에 대응한다.

그 방법을 수행하기 위한 명령들을 포함하는 컴퓨터 프로그램이 추가로 제공된다.

그 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 저장 매체가 추가로 제공된다.

메모리 및 그래픽 사용자 인터페이스에 커플링된 프로세서를 포함하며, 메모리는 컴퓨터 프로그램을 기록하고 있는 컴퓨터 시스템이 추가로 제공된다.

본 발명의 실시예들이 비제한적인 예로서 다음의 첨부 도면들을 참조하여 이제 설명될 것이다.
도 1과 도 2는 종래기술을 예시하며;
도 3은 본 방법의 일 실시예의 흐름도를 도시하며;
도 4는 시스템의 그래픽 사용자 인터페이스의 일 예를 도시하며;
도 5는 그 시스템의 일 예를 도시하며; 그리고
도 6 내지 도 15는 본 방법의 일 실시예를 예시한다.

도 3의 흐름도를 참조하여, 실제 객체를 표현하는 3D 모델링된 객체를 설계하기 위한 컴퓨터 구현 방법이 제안된다. 그 방법을 통해, 3D 모델링된 객체는 실제 객체를 상이한 방식들로, 즉, 먼저 그것의 기하구조를 3D 메시를 통해, 그리고 그 후 텍스처링된 기하구조를 그 방법에 의해 출력된 텍스처링된 3D 메시를 통해 표현하는 데이터를 표시한다. 그 방법은, 실제 객체를 표현하는 3D 메시 (예컨대 3D 포지션들에 의한 특히 정점들, 하지만 또한 그 정점들을 링크하는 에지들을 갖는 3D 메시, 이를테면 삼각형 또는 사각형 메시), 예컨대, 임의의 텍스처링을 갖지 않거나 또는 새로운 텍스처링 (즉, 그 방법에 의해 출력된 텍스처링) 에 의해 대체될 텍스처링을 갖는 3D 메시, 텍스처링 이미지 (2D 뷰, 예컨대 화소 로케이션들에서의, 그레이-레벨의 또는 RGB 값들과 같은 컬러들의 값들이 제공된 실제 객체의 사진과 같은 이미지, 본 방법의 예들을 나중에 설명할 도면들이 그레이-레벨 텍스처링 이미지들을 주로 보여주지만 본 방법의 모든 이들 예들은 필요한 부분만 약간 수정하여 또한 컬러 텍스처링 이미지, 예컨대 RGB 이미지에 명백히 적용할 수도 있음에 주의함) 및 3D 메시의 정점들 및 텍스처링 이미지의 화소들 간의 매핑 (즉, 3D 메시의 포지션들과 텍스처링 이미지의 2D 로케이션들, 예컨대 화소들, 이를테면 텍스처링 이미지가 제공된 카메라 포즈 파라미터들을 대응시키는 함수) 을 제공하는 단계 (S10) 를 포함한다. 물론, 3D 메시는 텍스처링 이미지 상에서 가시적인 실제 객체의 부분만을 표현할 수도 있다. 또한, 그 방법은 여러 텍스처링 이미지들로 반복될 수도 있다. 이러한 메시 "구획화 (partitioning)" 및 "반복" 특징들은 당업자에게 알려진 3D 메시 텍스처링에서의 구현 세부사항들이다.

그 방법은 그러면 확률 (또는 우도) 함수

를 최대화는 단계 (S20) 를 포함한다. 그 자체로 알려진 바와 같이, 컴퓨터-구현 관점에서, 이는 그 방법이 적어도, 상기 함수를 최대화하는 독립변수를 (적어도 실질적으로, 또는 의사-최적화 또는 휴리스틱의 사용의 경우에 적어도 대략적으로) 찾는 것에 수학적으로 해당하는 최적화 프로그램을 실행한다는 것을 의미한다. 상기 "최적의 독립변수 (optimal argument)"는 실제로 여기서 관심 있는 데이터이며, 상기 최적의 독립변수에서의 확률의 평가의 결과는 본 출원에 대해 특정 관심이 있지는 않다. 확률

는 다음의 형태이다:

. 실제로, 이전의 확률의 부극성의 로그 항을 포함하는 에너지가 사용에서 미리 결정된 최적화 체계들에 의해 실제로 최소화될 수도 있다 (하지만 이는 동일한 결과에 해당한다).

은 3D 메시의 정점들의 수를 표시하고

는 3D 메시의 정점들을 표시한다.

는 텍스처링 이미지 상에 정점

를 매핑한 후 적용될 화소 시프트를 표시하며, 모든 화소 시프트들은 미리 결정된 유한 세트 또는 리스트 (L), 예를 들어 L={(0,0), (0,1), (1,1), (1,0), (1,-1), (0,-1), (-1,-1), (-1,0), (-1,1)}에서 선택/정의되며 (즉, 취한 값들이며), (x,y) 는, 예컨대, 수평 방향 (예컨대 양의 값들에 적용되는 우측 방향) 으로의 x 화소들에서의 그리고 수직 방향 (예컨대 양의 값들에 적용되는 상측 방향) 으로의 y 화소들에서의 시프트를 나타낸다. L(V), 최적화 프로그램의 독립변수는 따라서, 최적화 프로그램에 의해 탐구되는 화소 시프트들의 세트 (기본적으로 양 및/또는 음의 정수들의 커플들) 를 표시하며, 최적의 독립변수는 텍스처링을 수행하기 전에 (이러한 정점들이 매핑에 따라 텍스처링 이미지에 투영될 때) 그 방법에 의해 정점들에 실제로 그리고 결국에는 적용되는 화소 시프트들을 표시한다 (즉, 단일 매핑에 의해 정의된 텍스처링 좌표들은, 최적화 단계 S20에 의해 출력된 이 화소 시프트의 덕분에, 그 방법에 의해 "정정" 또는 "개선"된다).

는 P의 값이 사실상 확률이 되도록 하는 것을 보장하는 정규화 항을 표시한다 (실제로, Z는 반드시 평가될 필요는 없다).

는 3D 메시의 메시 타일들 (즉, 면들) 의 인덱스 세트들의 세트를 표시한다.

는 정점

에 연관된 비용 함수를 표시한다. 비용 함수

는 특정 변수에 점감적으로 의존한다 (즉, 그것은 상기 변수의 감소 함수이다). 상기 변수는, 텍스처링 이미지 상에 (S10에서 제공된 매핑에 따라) 정점

를 매핑한 후, 정점

에 대해 선택된 화소 시프트 (즉, 최적화 동안의 독립변수 해의 탐구에서 정점

에 관계가 있고 최적화 프로세스에서

를 언급하지만 일단 프로그램이 해결되고 단일 화소 시프트가 유지되면 최종

로 언급될 수 있는 화소 시프트이며, 이러한 표기는 응용 수학 및 최적화의 분야에서 고전적임) 를 적용한 결과가, 3D 메시의 정점들 및 텍스처링 이미지의 화소들 간의 미리 결정된 관계를 준수하는 특정 범위이다 (이러한 범위를 측정/결정하는 방법의 예들은 나중에 제공됨). 다르게 말하면, 시스템에는 3D 메시의 정점들 및 텍스처링 이미지의 화소들 간의 미리 결정된 관계 (예컨대 3D 메시의 기하학적 특징들이 텍스처링 이미지의 그래픽 특징들에 대응해야한다는 미리 결정된 지식이며, 예컨대 이러한 대응은 S10에서 제공된 매핑과는 구별됨) 가 제공되고, 최대화 프로그램은 정점

가 이러한 관계를 가능한 한 많이 준수하게 하는 화소 시프트 L ^* 을 찾는 경향이 있다. 탐구된 화소 시프트가 미리 결정된 관계를 더 많이 참이 되게 하면, 그것의 값이 결국에는 최적으로 유지되게 할 경향이 있도록 최적화에서의 비용이 더 적어질 것이다.

는 유사하게 비용함수를 표시하지만, 이번에는 3D 메시의 타일

에 연관되고 타일

의 정점들에 대해 선택된 화소 시프트들 간의 글로벌 차이에 의존한다.

는 이러한 높은 글로벌 차이에게 불리하게 한다. 다르게 말하면, 최적화는 독립변수 해의 탐구에서, 가능한 한 많이, 각각의 개별 단일 타일

의 모든 정점들에 대해 동일한 화소 시프트들에 도달하는 경향이 있다. 이러한 항은 그것이 3D 메시로서 재구성된 실제 객체의 텍스처링 이미지가 제공되는 방법의 상황 (예컨대 모션 기반 구조 분석 콘텍스트) 에서 텍스처링 드리프트들에서의 글로벌 코히어런시의 가정에 의존하면, 시각적/정확도 관점에서 양호한 결과를 제공한다.

이런 식으로 쓰여지면, 최대화는 마르코프 랜덤 필드 (MRF) 최적화 문제에 해당하는 것으로 여겨지며, 여기서 MRF는 메시의 정점들에 배정된 화소 시프트들의 값이며, 메시의 에지들은 조건부 확률들을 나타낸다. 그 방법은 3D 메시와 3D 메시의 정점들의 텍스처 좌표들 (즉, 텍스처 좌표들은 매핑을 3D 메시의 정점들에 적용함으로써 획득된 텍스처링 이미지의 화소들임) 에 연관된 화소 시프트들을 다음 에너지의 마르코프 랜덤 필드로서 보여주는 미리 결정된 이산 마르코프 랜덤 필드 최적화 체계 (MRF 문제들에 대해 효율적으로 - 즉, 정확하고 신속하게 - 수렴하는 잘 알려진 최적화 체계들의 한 부류) 로 최대화하는 단계 (S20) 를 실제로 포함한다:

. 다른 말로는, 임의의 알려진 이러한 체계일 수 있는 미리 결정된 이산 MRF 최적화 체계는, 확률 P에 대응하는 위에서 정의된 에너지를 갖는 위에서 정의된 MRF 구조에 대해 구성된다. 실제로,

는 평가 없이 남아 있을 수도 있다는 점에 다시 주의한다.

일단 프로그램이 최적화되었고 최적의 독립변수 화소 시프트

가 획득되었다면, 본 방법은 텍스처링 이미지에, 매핑에, 그리고 (상기 최적의 독립변수 화소 시프트

를) 최대화하는 단계 S20의 결과에 따라 3D 메시를 텍스처링하는 단계 (S30) 를 포함한다. 요컨대, 본 방법은 고전적 텍스처링내에서 화소 시프트

의 애플리케이션을 S10에서 제공된 데이터에 의해 나타내어진 텍스처 좌표들에 삽입한다. 그 방법은 예를 들어, 텍스처링 이미지 상에 3D 메시의 각각의 개별 3D 정점을 투영하며, (본 방법에 따라, 최적의) 개별 텍스처링 화소를 찾기 위해 (당해 정점에 대해) S20에서 획득된 최적의 시프트를 적용한 다음, 개별 텍스처링 화소에서 발견된 텍스처/컬러 (또는 3D 텍스처링에 관계가 있는 임의의 다른 데이터) 를 상기 개별 3D 정점에 배정할 수도 있다. 이 프로세스는 업계에서 고전적이며, 방법의 독창성은 최적화 S20에 의해 획득된 화소 시프트 맵의 도입에 있다.

이러한 방법은 3D 모델링된 객체를 설계하기 위한 개선된 방법을 허용한다. 특히, 본 방법은 실제 객체를 표현하는 3D 메시의 텍스처링을 허용하고, 따라서 실제 객체의 표현의 개선을 허용하는데, 이는 3D 재구성 및 텍스처링 알고리즘들이 일반적으로 획득하는 것을 목표로 하는 장점이다. 더욱이, 본 방법이 S10에서 제공된 입력들 을 수정하는 일 없이 동작하므로, 본 방법은 (예컨대 앞에서 확인된 종래기술의 그것들과 같은) 3D 메시 텍스처링을 전역적으로 개선하는 임의의 다른 최적화 알고리즘과 연계하여 사용될 수 있다. 사실, 본 방법은 새로운 변수, 즉, 화소 시프트 L을 도입한다. 그 방법은 그 다음에 이러한 변수를, 예컨대 다른 변수들을 건드리지 않고 남겨둔 채로 최적화한다. 그 방법은 따라서 텍스처링을 이용하여 3D 재구성을 수행하는 글로벌 프로세스에서 또 다른 최적화 계층을 형성할 수도 있다.

예를 들어, 그 방법은, 최대화 단계 (S20) 전에, 아마도 제공하는 단계 (S10) 전에, 다음의 단계들을 포함하는데, 그 단계들은, S10에서 제공된 실제 객체의 3D 메시 표현을 제공하는 단계; 완전 자동 검출에 의해, 기하학적 특징의 발생들 at 3D 표현의 3D 포지션들을 식별하는 단계이며, 기하학적 특징 발생은 3D 표현의 3D 곡률이 미리 결정된 임계값을 초과할 때마다 검출되며; 실제 객체의 적어도 하나의 2D 뷰를 제공하는 단계이며, 2D 뷰는 S10에서 제공된 텍스처링 이미지를 형성하는 실제 객체의 이미지이며; 완전 자동 검출에 의해, 2D 뷰의 2D 포지션들에서 그래픽 특징의 발생들을 식별하는 단계이며, 기하학적 특징이 그래픽 특징에 대응하며, 그래픽 특징은 2D 뷰의 화소 경사도에 관련되며; S10에서 제공된 매핑을, 2D 뷰 상의 기하학적 특징의 3D 포지션들의 투영들의 세트 및 그래픽 특징의 2D 포지션들의 세트 간의 거리를 최소화하는 3D 표현으로부터 2D 뷰로의 투영을 기술하는 투영 행렬을 포함하는, 카메라 파라미터들로서 컴퓨팅하는 단계이며, 그 거리는 2D 포인트들의 두 개의 일반 세트들 간의 미리 결정된 거리이다. 비교적 정확한 카메라 파라미터들의 획득 또는 그것의 정확도의 개선을 허용하는 이러한 체계는, 참조로 본원에 톰합되는, 다솔 시스템므라는 이름의 2013년 11월 18일자의 출원 EP13306576.3에 따라 수행될 수도 있다.

가장 중요하게는, 화소 시프트가 수행되는 (다시 말하면, 특정 최적화 프로그램이, 자신의 특정 비용 조건들로 수행되는) 특정 방식은, 시각적/정확도 관점에서 양호한 결과를 획득하는 것을 허용하고, 이것을 알려진 바와 같이, 비교적 빠르게 수렴하는 이산 마르코프 랜덤 필드 최적화 체계를 이용하여 허용한다. 그 방법은 따라서 기민하게, 강력한 수학적 도구의 사용이 3D 텍스처링의 콘텍스트에서 컴퓨테이션적으로 고속의 결과들을 획득하게 한다. 주목할 만하게도 다음의 참고문헌들에서 설명된 임의의 MRF 풀이 체계가 구현되고 사용될 수도 있다:

J. Kappes et al, A Comparative Study of Modern Inference Techniques for Discrete Minimization Problems, in CVPR 2013; 또는

H.Ishikawa, Higher-Order Clique Reduction in Binary Graph Cut, in CVPR 2009.

이것들은 그러나 단지 예들인데, 임의의 (예컨대 고차) MRF 풀이 체계가 대체로 그 방법에 의해 구현될 수도 있어서이다.

그 방법은 컴퓨터 구현된다. 이는 그 방법의 단계들 (또는 실질적으로 모든 단계들) 이 적어도 하나의 컴퓨터, 또는 비숫한 임의의 시스템에 의해 실행됨을 의미한다. 따라서, 그 방법의 단계들은 컴퓨터에 의해, 아마 완전히 자동으로, 또는, 반자동으로 수행된다. 예들에서, 그 방법의 단계들 중 적어도 일부의 트리거링은 사용자 컴퓨터 상호작용을 통해 수행될 수도 있다. 요구된 사용자 컴퓨터 상호작용의 레벨은 예견되는 오토마티즘의 레벨에 의존할 수도 있고 사용자의 소망을 이행하려는 요구와 균형을 이루게 할 수도 있다. 예들에서, 이 레벨은 사용자 정의될 수도 있고 그리고/또는 미리 정의될 수도 있다. 예를 들면, 최대화하는 단계 (S20) 및/또는 텍스처링하는 단계 (S30) 는 완전히 자동일 수도 있지만, 그것들은 대안으로 몇몇 수동 사용자-상호작용을 수반할 수도 있다. 사용자는 비용 함수

를 통해 최적화에서 수반되는 위에서 언급된 미리 결정된 관계를 완성하기 위해 3D 메시 및/또는 텍스처링 이미지 상에서 기하학적 특징들 및/또는 그래픽 특징들의 발생들을 사실상 직접적으로 식별/추가할 수도 있다.

그 방법의 컴퓨터 구현의 전형적인 예는 이 목적에 적응된 시스템으로 그 방법을 수행하는 것이다. 그 시스템은 메모리 및 그래픽 사용자 인터페이스에 접속된 프로세서를 포함하며, 그 메모리는 그 방법을 수행하기 위한 명령들을 포함하는 컴퓨터 프로그램을 기록하고 있다. 그 메모리는 데이터베이스를 또한 저장할 수 있다. 그 메모리는, 여러 물리적인 별개의 부분들 (예컨대 프로그램을 위한 부분, 및 아마도 데이터베이스를 위한 부분) 을 아마도 포함하는 이러한 저장을 위해 적응된 임의의 하드웨어이다. 그 시스템은 3D 메시를 생성하는 및/또는 텍스처링 이미지를 캡처하는 디바이스들, 이를테면 (예컨대 RGB) 카메라(들) 및/또는 깊이 센서(들)를 또한 포함할 수도 있다. 그 시스템은 사실상 모션 기반 구조 분석에 특히 적응될 수도 있다.

그 방법은 일반적으로 모델링된 객체들을 조작한다. 모델링된 객체가 데이터베이스에 저장된 데이터에 의해 정의되는 임의의 객체이다. 확장에 의해, "모델링된 객체"라는 표현은 데이터 자체를 가리킨다. 그 시스템의 유형에 따르면, 모델링된 객체들은 상이한 종류들의 데이터에 의해 정의될 수도 있다. 그 시스템은 사실상 CAD 시스템, CAE 시스템, CAM 시스템, PDM 시스템 및/또는 PLM 시스템의 임의의 조합일 수도 있다. 그런 상이한 시스템들에서, 모델링된 객체들은 대응하는 데이터에 의해 정의된다. 따라서 CAD 객체, PLM 객체, PDM 객체, CAE 객체, CAM 객체, CAD 데이터, PLM 데이터, PDM 데이터, CAM 데이터, CAE 데이터에 대해 언급할 수도 있다. 그러나, 이들 시스템들은 하나를 다른 하나로부터 배제하지 않는데, 모델링된 객체가 이들 시스템들의 임의의 조합에 상응하는 데이터에 의해 정의될 수 있어서이다. 그래서 시스템은 CAD 및 PLM 양쪽 모두의 시스템일 것이 틀림없는데, 아래에서 제공되는 이러한 시스템들의 정의들로부터 명확할 것이라서이다.

CAD 시스템에 의하면, 이것은 모델링된 객체의 그래픽 표현을 기초로 하여 모델링된 객체를 설계하는데에는 최소한 적응된 임의의 시스템, 이를테면 CATIA를 의미한다. 이 경우, 모델링된 객체를 정의하는 데이터는 모델링된 객체의 표현을 허용하는 데이터를 포함한다. CAD 시스템이 예를 들어 CAD 모델링된 객체들의 표현을 에지들 또는 선들을, 어떤 경우들에서는 면 (face) 들 또는 표면들과 함께 이용하여 제공할 수도 있다. 선들, 에지들, 또는 표면들은 다양한 방식들, 예컨대 비균일 유리 B-스플라인들 (non-uniform rational B-splines; NURBS) 로 표현될 수도 있다. 구체적으로는, CAD 파일이 명세들을 포함하며, 이 명세들로부터 기하구조가 생성될 수도 있으며, 이 기하구조는 표현이 생성되는 것을 허용한다. 모델링된 객체의 명세들은 단일 CAD 파일 또는 다수의 CAD 파일들에 저장될 수도 있다. CAD 시스템에서 모델링된 객체를 표현하는 파일의 전형적인 사이즈는 부품 당 1 메가바이트의 범위에 있다. 그리고 모델링된 객체는 통상 수천 부품들의 어셈블리일 수도 있다.

CAD의 상황에서, 모델링된 객체가, 전형적으로는, 예컨대 부품 또는 부품들의 어셈블리와 같은 제품, 또는 아마도 제품들의 어셈블리와 같은 실제 객체를 나타내는 3D 모델링된 객체일 수도 있다. "3D 모델링된 객체"에 의하면, 이것은 적어도 3D 표현 (그 방법의 경우의 3D 표현) 을 허용하는 데이터에 의해 모델링된 임의의 객체를 의미한다. 3D 표현이 모든 각도들로부터의 부품의 관람을 허용한다. 예를 들어, 3D 표현은, 그것의 축들 중 임의의 것을 중심으로 또는 그 표현이 디스플레이되는 스크린에서의 임의의 축을 중심으로 핸들링 및 회전될 수도 있다. 이는 특히, 3D 모델링되지 않은 2D 아이콘들을 배제한다. 3D 표현의 디스플레이는 설계를 용이하게 한다 (즉 설계자들이 그들의 과업을 통계적으로 달성하는 속도를 증가시킨다). 이는 업계에서 제조 프로세스의 속도를 높이는데, 제품들의 설계가 제조 프로세스의 부분이어서이다.

3D 모델링된 객체는, 예를 들면 CAD 소프트웨어 솔루션 또는 CAD 시스템을 이용한 그것의 가상 설계의 완료에 후속하여 실제 세계에서 제조될 제품, 이를테면 (예컨대 기계적) 부품 또는 부품들의 어셈블리, 또는 더 일반적으로는 임의의 강체 어셈블리 (예컨대 모바일 메커니즘) 의 기하구조를 표현할 수도 있다. CAD 소프트웨어 솔루션은 항공우주, 건축, 건설, 소비자 물자, 첨단 기술 디바이스들, 산업 장비, 해양, 및/또는 연안 또는 운송을 포함하는 다양한 그리고 비제한적인 업계들에서 제품들의 설계를 허용한다. 본 방법에 의해 설계된 3D 모델링된 객체는 따라서, 지상 운송수단 (예컨대 차 및 소형 트럭 장비, 레이싱 카들, 모터사이클들, 트럭 및 모터 장비, 트럭들 및 버스들, 기차들을 포함함) 의 부분, 공중 비행체 (예컨대 기체 장비, 항공우주 장비, 추진 장비, 방어 제품, 비행기 장비, 우주 장비를 포함함) 의 부분, 해군 운송수단 (예컨대 해군 장비, 상선들, 연안 장비들, 요트들 및 작업보트들, 해양 장비를 포함) 의 부분, 기계 부품 (예컨대 산업용 제조 기계, 이동식 중장비 또는 설비, 설치형 장비, 산업 장비 제품, 제작된 금속 제품, 타이어 제조 제품을 포함함), 전기-기계 또는 전자 부품 (예컨대 소비자 가전기기들, 보안 및/또는 제어 및/또는 계측 제품들, 컴퓨팅 및 통신 장비, 반도체들, 의료 디바이스들 및 장비를 포함함), 소비자 물자 (예컨대 가구, 홈 및 정원 제품들, 레저 물자, 패션 제품, 내구 소비재 소매업자의 제품들, 직물 소매업자들의 제품들을 포함함), 패키징 (예컨대 음식 및 음료 및 담배, 미용 및 개인 위생품, 가정 용품 패키징을 포함함) 일 수도 있는 공산품을 나타낸다.

PLM 시스템의 의하면, 이것은 물리적으로 제조된 제품을 표현하는 모델링된 객체의 관리에 적응된 임의의 시스템을 의미한다. PLM 시스템에서, 모델링된 객체는 그래서 물리적 객체의 제조에 적합한 데이터에 의해 정의된다. 이 데이터들은 통상 치수 값들 및/또는 허용오차 값들일 수도 있다. 객체의 정확한 제조를 위해, 이러한 값들을 가지는 것이 정말 좋다.

CAM은 컴퓨터 지원 제조를 의미한다. CAM 솔루션에 의해, 그것은 제품의 제조 데이터를 관리하는데 적응된 하드웨어의 임의의 솔루션 소프트웨어를 의미한다. 제조 데이터는 제조할 제품, 제조 프로세스 및 요청된 자원들에 관련된 데이터를 일반적으로 포함한다. CAM 솔루션은 제품의 전체 제조 프로세스를 계획하고 최적화하는데 사용된다. 예를 들면, 그것은 실행가능성에 관한 정보, 제조 프로세스의 지속기간 또는 제조 프로세스의 특정 단계에서 사용할 수도 있는 특정 로봇들과 같은 자원들의 수를 CAM 사용자들에게 제공하고, 이에 따라 관리 또는 요구된 투자에 대한 결정을 허용한다. CAM은 CAD 프로세스 및 잠재적인 CAE 프로세스 후의 후속 프로세스이다. 이러한 CAM 솔루션들은 다솔 시스템므에 의해 상표명 DELMIA® 하에서 제공된다.

CAE는 컴퓨터 지원 엔지니어링을 의미한다. CAE 솔루션에 의하면, 그것은 모델링된 객체의 물리적 거동의 분석에 적응된 하드웨어의 임의의 솔루션 소프트웨어를 의미한다. 주지의 및 널리 사용되는 CAE 기법은 물리적 거동들이 수학식들을 통해 컴퓨팅되고 시뮬레이션될 수 있는 엘리먼트들로의 모델링된 객체의 분할을 일반적으로 수반하는 유한 요소 법 (Finite Element Method; FEM) 이다. 이러한 CAE 솔루션들은 다솔 시스템므에 의해 상표명 SIMULIA® 하에서 제공된다. 다른 성장 CAE 기법은, CAD 기하구조 데이터 없이 물리학의 상이한 분야들로부터의 복수의 컴포넌트들로 구성된 복잡한 시스템들의 모델링 및 분석을 수반한다. CAE 솔루션들은 시뮬레이션을 허용하고 이에 따라 제조할 제품들의 최적화, 개선 및 유효성 검사를 허용한다. 이러한 CAE 솔루션들은 다솔 시스템므에 의해 상표명 DYMOLA® 하에서 제공된다.

PDM는 제품 데이터 관리를 의미한다. PDM 솔루션에 의해, 그것은 특정 제품에 관련된 모든 유형들의 데이터를 관리하는데 적응된 하드웨어의 임의의 솔루션 소프트웨어를 의미한다. PDM 솔루션은 제품의 라이프사이클에 관계된 모든 액터 (actor) 들, 즉 주로 엔지니어들이지만 또한 프로젝트 메니저들, 금융인들, 판매자들 및 구매자들에 의해 사용될 수도 있다. PDM 솔루션은 제품 지향 데이터베이스에 일반적으로 기초한다. 그것은 액터들이 그들의 제품들에 대한 구성 데이터를 공유하는 것을 허용하고 그러므로 액터들이 벗어난 (divergent) 데이터를 사용하는 것을 방지한다. 이러한 PDM 솔루션들은 다솔 시스템므에 의해 상표명 ENOVIA® 하에서 제공된다.

도 4는 CAD 시스템인 시스템의 GUI의 일 예를 도시한다.

GUI (2100) 는 표준 메뉴 바들 (2110, 2120) 뿐만 아니라 바닥 및 측면 툴바들 (2140, 2150) 을 갖는 전형적인 CAD유사 인터페이스일 수도 있다. 이러한 메뉴 바들 및 툴바들은 사용자 선택가능 아이콘들의 세트를 포함하며, 각각의 아이콘은 이 기술분야에서 알려진 바와 같은 하나 이상의 동작들 또는 기능들에 관련된다. 이들 아이콘들 중 일부는 GUI (2100) 에 디스플레이되는 3D 모델링된 객체 (2000) 에 대한 편집 및/또는 작업에 적응된 소프트웨어 도구들에 연관된다. 그 소프트웨어 도구들은 작업대 (workbench) 들로 그룹화될 수도 있다. 각각의 작업대는 소프트웨어 도구들의 서브세트를 포함한다. 특히, 작업대들 중 하나는, 모델링된 제품 (2000) 의 기하학적 특징들을 편집하기에 적합한 편집 작업대이다. 동작 시, 설계자가 예를 들어 객체 (2000) 의 부품을 미리 선택한 다음 적절한 아이콘을 선택하는 것에 의해 조작 (예컨대, 치수, 컬러 등을 변경) 을 개시하거나 또는 기하학적 제약들을 편집할 수도 있다. 예를 들어, 전형적인 CAD 작업들은 스크린 상에 디스플레이되는 3D 모델링된 객체의 펀칭 또는 폴딩 (folding) 의 모델링이다.

GUI는 예를 들어 디스플레이된 제품 (2000) 에 관련된 데이터 (2500) 를 디스플레이할 수도 있다. 도 2의 예에서, "특징 트리"로서 디스플레이된 데이터 (2500), 및 그것들의 3D 표현 (2000) 은 브레이크 캘리퍼 및 디스크를 포함하는 브레이크 어셈블리에 관련된다. 그 GUI는, 예를 들어 객체의 3D 배향을 용이하게 하기 위한, 편집된 제품의 동작의 시뮬레이션을 트리거하기 위한 또는 디스플레이된 제품 (2000) 의 다양한 속성들을 랜더링하는 다양한 유형들의 그래픽 도구들 (2130, 2070, 2080) 을 추가로 도시할 수도 있다. 커서 (2060) 는 사용자가 그래픽 도구들과 상호작용하는 것을 허용하는 햅틱 디바이스에 의해 제어될 수도 있다.

도 5는 클라이언트 컴퓨터 시스템, 예컨대 사용자의 워크스테이션인 시스템의 일 예를 도시한다.

그 예의 클라이언트 컴퓨터는 내부 통신 BUS (1000) 에 접속된 중앙 프로세싱 유닛 (CPU) (1010), 또한 그 BUS에 접속된 랜덤 액세스 메모리 (RAM) (1070) 를 포함한다. 클라이언트 컴퓨터에는, 버스에 연결된 비디오 임의 접근 메모리 (1100) 에 관련된 그래픽 처리 유닛 (GPU) (1110) 이 추가로 제공된다. 비디오 RAM (1100) 은 또한 이 기술분야에서 프레임 버퍼로서 알려져 있다. 대용량 저장 디바이스 제어기 (1020) 가 대용량 메모리 디바이스, 이를테면 하드 드라이브 (1030) 에 대한 액세스들을 관리한다. 컴퓨터 프로그램 명령들 및 데이터를 유형적으로 수록하기에 적합한 대용량 메모리 디바이스들은, 예로서 반도체 메모리 디바이스들, 이를테면 EPROM, EEPROM, 및 플래시 메모리 디바이스들; 자기 디스크들, 이를테면 내장형 하드 디스크들 및 착탈식 디스크들; 자기 광 디스크들; 및 CD-ROM 디스크들 (1040) 을 포함하는 모든 형태의 비휘발성 메모리를 포함한다. 전술한 것들 중 어느 것이라도 특별히 설계된 ASIC들 (application-specific integrated circuits) 에 의해 보충되거나, 또는 그 ASIC들에 통합될 수도 있다. 네트워크 어댑터 (1050) 가 네트워크 (1060) 에 대한 액세스들을 관리한다. 클라이언트 컴퓨터는 또한 커서 제어 디바이스, 키보드 등과 같은 햅틱 디바이스 (1090) 를 구비할 수도 있다. 커서 제어 디바이스는 사용자가 디스플레이 (1080) 상의 임의의 소망의 위치에 커서를 선택적으로 위치시키는 것을 허용하기 위해 클라이언트 컴퓨터에서 사용된다. 덧붙여서, 커서 제어 디바이스는 사용자가 다양한 커맨드들을 선택하고, 제어 신호들을 입력하는 것을 허용한다. 커서 제어 디바이스는 제어 신호들을 시스템에 입력하기 위한 다수의 신호 생성 디바이스들을 포함한다. 통상, 커서 제어 디바이스는 마우스의 버튼이 신호들을 생성하는데 사용되는 마우스일 수도 있다. 대안으로 또는 부가적으로, 클라이언트 컴퓨터 시스템은 감지 패드, 및/또는 감지 스크린을 포함할 수도 있다.

컴퓨터 프로그램은, 컴퓨터에 의해 실행가능한 명령들을 포함할 수도 있으며, 명령들은 위의 시스템으로 하여금 그 방법을 수행하게 하는 수단을 포함한다. 그 프로그램은 시스템의 메모리를 포함하는 임의의 데이터 저장 매체 상에 기록가능할 수도 있다. 그 프로그램은 예를 들어 디지털 전자 회로로 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그것들의 조합들로 구현될 수도 있다. 그 프로그램은 장치, 예를 들어 프로그램가능 프로세서에 의한 실행을 위해 머신 판독가능 저장 디바이스에 유형으로 구현된 제품으로서 구현될 수도 있다. 방법 단계들이 입력 데이터에 대해 수행되고 출력을 생성함으로써 방법의 기능들을 수행하는 명령들의 프로그램을 실행하는 프로그램가능 프로세서에 의해 수행될 수도 있다. 프로세서는 따라서 데이터 저장 시스템, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 데이터 및 명령들을 그것들에 송신하도록 프로그래밍가능 및 커플링될 수도 있다. 애플리케이션 프로그램은 원하는 대로 고급 절차적 또는 객체 지향 프로그래밍 언어로 또는 어셈블리 또는 기계어로 구현될 수도 있다. 어느 경우에나, 그 언어는 컴파일식 또는 인터프리트식 언어일 수도 있다. 그 프로그램은 완전한 설치 프로그램, 또는 업데이트 프로그램일 수도 있다. 시스템 상의 프로그램의 애플리케이션은 어쨌든 그 방법을 수행하기 위한 명령들을 생성시킨다.

"3D 모델링된 객체를 설계한다는 것"은 3D 모델링된 객체를 정교화 (elaboration) 하는 프로세스의 적어도 부분인 임의의 액션 또는 일련의 액션들을 나타낸다. 그래서, 그 방법은 휘갈긴 것 (scratch) 으로부터 3D 모델링된 객체를 생성하는 단계를 포함할 수도 있다. 다르게는, 그 방법은 이전에 생성된 3D 모델링된 객체를 제공한 다음 3D 모델링된 객체를 수정하는 단계를 포함할 수도 있다.

그 방법은, 그 방법을 수행한 후, 모델링된 객체에 대응하는 물리적 객체를 생산하는 단계를 포함할 수도 있는 제조 프로세스에 포함될 수도 있다. 어느 경우에나, 그 방법에 의해 설계된 모델링된 객체는 제조 객체를 나타낼 수도 있다. 그 모델링된 객체는 따라서 모델링된 입체 (즉, 입체를 나타내는 모델링된 객체) 일 수도 있다. 제조 객체는 제품, 이를테면 부품, 또는 부품들의 어셈블리일 수도 있다. 그 방법이 모델링된 객체의 설계를 개선하기 때문에, 그 방법은 또한 제품의 제조를 개선하고 따라서 제조 프로세스의 생산성을 증가시킨다.

그 방법은, 심지어 부정확한 3D 메시를 입력으로 하는 경우에도, (상대적으로) 아티팩트 없이, 고품질 텍스처링된 3D 메시들을 얻는 것을 허용한다. 그 방법은, 심지어 카메라의 완벽한 교정 및 포즈 추정을 이용하더라도, 대체로 투영 텍스처 매핑 알고리즘이 부정확한 3D 모델을 완전히 텍스처링할 수 없다는 점을 고려한다. 그밖에, 단일 텍스처만을 사용하여 부정확한 3D 모델 자체를 직접적으로 최적화하는 것은 매우 어렵다. 그 방법에 의해 사용되는 알고리즘은 텍스처 매핑의 시각적 아티팩트들을 정정하기 위하여 텍스처 좌표들을 최적화한다. 따라서, 그 방법의 알고리즘은 부정확한 3D 모델들 뿐만 아니라 입력 텍스처에서의 왜곡들을 처리한다. 최적화는 이산 에너지 공식에 기초하는데, 그 공식은 지속적인 것보다 더욱 효율적이고 더욱 빠르다. 매우 높은 차원의 파라미터들의 공간으로 인해 지속적인 최적화들이 속하는 수많은 열악한 국소 최소들을 또한 피할 수 있다 (나중의 상세한 예들의 상황에서 통상 10,000을 초과함).

예들에서, 3D 모델의 모든 가시적 정점은 텍스처 상의 텍스처 좌표에 배정되며, 투영 텍스처 매핑 (이는 단지 10에서 제공된 매핑에 따라 이미지 상으로의 3D 모델의 투영임) 에 의해 쉽게 컴퓨팅된다. 텍스처 좌표는 UV 좌표라고 보통 지칭될 수 있는 2D 벡터이다. 그러면 (각각의 가시적 정점의) 각각의 UV 좌표는 이산 최적화로 조정될 수 있어서, 이미지는 투영된 3D 모델에 양호하게 들어 맞는다. 예들에서, 그 방법은 (예컨대 삼각형) 3D 메시를 3D 그래프로서 보여주는데, 각각의 정점은 노드이고, 두 개의 정점들을 연결하는 각각의 에지는 그 그래프에서 에지이다. 이산 에너지 최적화가 이 3D 그래프에 기초하여 마르코프 랜덤 필드 추론으로서 작성된다. 각각의 노드는 UV 좌표의 변위 (즉, 화소 시프트들) 를 나타내는 여러 라벨들을 취할 수 있다. 이산 에너지 공식에서, 각각의 노드는, 자신의 곡률 및 입력 텍스처링 이미지의 에지들 (높은 경사도 윤곽들) 을 (예들에서) 구별하는 특정 라벨을 취하기 위해 이 노드의 조건부 확률을 표현하는 자신 소유의 데이터 항을 갖는다. 더구나, 마르코프 랜덤 필드는, 그래프에서 자신의 이웃들의 라벨들을 구별하는, 특정 라벨을 취하는 노드의 확률을 표현하는 "평활화 항"이라고 지칭될 수 있는 것을 또한 포함한다. 이 항은 이웃 노드들이 클로즈 라벨들을 가질 것을 강제한다. 따라서 이 이산 에너지 공식은 확률론적 프레임워크 내의 MAP (Maximum A Posteriori) 추론 문제로서 또한 보여질 수 있고, 그 방법은 가장 유사하게 라벨링하는 것을 찾는 것을 목표로 한다. 간단히, 이 최적화는 특히 효율적인 예들에서 높은 곡률 정점이 입력 이미지에서의 에지 상으로 투영하도록 각각의 가시적 정점의 UV 좌표들을 조절하는 경향이 있고, 그래서 이웃 정점들은 유사한 UV 좌표들의 변위들을 갖는다. 전자 (former) 의 기준은 다솔 시스템므라는 이름의 2013년 11월 18일자의 출원 EP13306576.3에 유지된 것과 유사하고, 동일한 이유로 본원에서 유지된다. 후자의 기준은 새로이 공식화된 기준이고 3D 재구성의 상황에서 관계가 없지만, 또한, MRF 이론의 적용을 하게 하고 그것의 컴퓨테이션적 효율의 장점들이 이용가능하게 한다.

그 방법은 아마도 부정확한 모델을 텍스처링하도록 의도된 화상에 대한 카메라 포즈를 갖는 아이디어로부터 구축된다. 도 6은 그 방법의 일 예에 의해 구현된 글로벌 텍스처 3D 재구성 파이프라인의 두 개의 주요 레벨들을 도시한다. 제 1 레벨은 RGB 또는 RGB-깊이 센서들로 3D 장면을 재구성하는 단계로 이루어지며, 그러면 외인성 카메라 파라미터들에는 3D 메시 모델이 제공된다. 이들 기법들은 앞서의 인용 문헌들에서 풍부하게 설명되어 있다. 제 2 레벨 (즉, 방법의 코어 독창성) 은 텍스처링 프로세스에 대한 텍스처 좌표들 최적화에 전용된다. 다르게 말하면, 도 6는 레벨 1이 장면의 3D 재구성을 표시하고 레벨 2가 3D 모델의 자동 텍스처링을 표시하는 두 개의 레벨들에서 글로벌 프로세스 개요를 도시한다. 다음의 논의는 텍스처 좌표들의 최적화 프로세스 (즉, 단계 S20, 또는 도 6의 레벨 2-A) 의 설명에 주로 초점을 맞출 것이다. 예의 전체 알고리즘은 이들 주요 단계들 상으로 분할된다: 1. 프리프로세싱: 3D 모델 상의 강건한 곡률들 추출 및 이미지 상의 거리 변환 컴퓨테이션; 2. 최적화 프로세스: i) 그래프를 구축, ii) 마르코프 랜덤 필드를 최적화.

최첨단 접근법들과는 달리, 본 방법의 해결책은, 단지 입력으로서의 부정확한 3D 메시 모델과 일반 3D 재구성 알고리즘들에 의해 제공될 수도 있는 왜곡될 수도 있는 교정된 입력 이미지를 사용하여 고품질 텍스처링을 허용하고 그리고, 그것을 빠른 방식으로 허용한다. 본 방법의 해결책은 예들에서 3D 모델이 많은 에지들을 포함한다면, 특히 그것이 3D 포인트들의 곡률에 기초하는 경우 특히 잘 수행한다. 본 방법의 해결책은 고 해상도 이미지들을 갖는 예들에서 특히 잘 수행한다. 본 방법의 해결책은 예들에서 이미지 상에 많은 에지들 있다면, 그리고 이미지 상의 객체들이 높은 컬러 분산을 갖지 않는다면 특히 잘 수행한다. 본 방법의 해결책은 대비된 (contrasted) 이미지들을 갖는 예들에서 특히 잘 수행하는데 이미지들, 그 해결책이 예들에서 이미지 상의 강한 경사도들을 검출할 수도 있기 때문이다. 본 방법의 해결책은, 카메라 포즈 최적화에 기초한 텍스처링 프로세스들과는 달리, 예들에서 왜곡된 메시들 또는 이미지들을 처리할 수 잇다.

그 방법은 마르코프 랜덤 필드들의 연구로부터 알려진 잘 알려진 지의 수학적 결과들을 기반으로 한다는 점에 주의한다. 예를 들어, 본 방법으로 이어지는 개발은 해머슬리-클리포드 (Hammersley-Clifford) 정리를 사용한다. MRF 이론이 이미지 프로세싱 분야에서 이미 사용되었음에 또한 주의한다. 그러나, 이전의 애플리케이션들은 이미지들을 모든 이미지 화소들의 그리드로서 보여주고, 상기 그리드는 MRF 애플리케이션의 기본 그래프를 정의한다. 그러나, 본 방법은 MRF를 화소들의 이러한 그리드에 기초하지 않는 대신, 3D 메시에 대응하는 그래프에 기초한다 (즉, 3D 메시는 그래프로서 보여지고, 라벨이 각각의 정점에 배정되고 조건부 확률이 에지들에 베정된다). 더욱이, MF 결과들은 본원에서 특히 3D 메시 텍스처링에 적용된다. 따라서, MRF의 효율성 결과들은 본원에서 3D 재구성 및 3D 텍스처링의 상황에 적응에 기민하게 적용된다.

S10에서 제공된 입력들이 이제 논의된다.

종래기술로부터 알려진 바와 같이, 실제 객체가 CAD 시스템에 의해 상이한 기하구조들에 대응하는 상이한 데이터 구조들을 갖는 3D에서 표현될 수도 있다. 본 방법의 경우, S10에서 제공된 3D 표현 (이는 다음에서 "3D 모델"이라고 또한 지칭될 수도 있음) 이 종래기술로부터 잘 알려진 3D 메시 표현이다. 종래기술 3D 재구성 기법들은 알려진 바와 같은 이러한 이산 3D 표현을 제공한다. 이러한 기법들의 예들은 일반적으로, 센서들로 실제 객체에 대한 측정들을 수행하는 단계와, 그 측정들로부터 이산 3D 표현을 유추하는 단계를 포함한다. 그 기법은 실제 객체의 멀티-뷰 이미지들이 수학적 모델을 통해 이산 3D 표현을 유추하기 위해 캡처됨을 의미하는 모션 기반 구조 (structure-from-motion) 분석일 수도 있다. 종래기술에서 제시된 제 1 접근법 (RGB 데이터만) 및 제 2 접근법 (RGB 및 깊이 데이터) 은 그 방법에 대해 예상된 모션 기반 구조 분석을 구성한다. 이산 3D 메시 표현은 레이저 삼각측량, 및/또는 음향 전파 분석, 또한 예상된 상이한 기법들의 조합들에 의해 또한 획득될 수도 있다.

RGB 이미지들로부터의 3D 재구성으로 이루어진 모션 기반 구조 분석의 경우, 그 방법은 이미지들 간에 관심 있는 2D 포인트들을 매칭시키는 단계를 포함할 수도 있다. 그 다음에 그 방법은, 예컨대 관찰된 장면에 대하여 포지션을 추정함으로써 카메라들을 교정 (외인성 교정) 하고 센서들의 물리적 파라미터들을 추정 (예컨대 초점, 왜곡 -내인성 교정) 할 수도 있다. 그 다음에 그 방법은 3D 포지션들을 추정하기 위해 교정 데이터로 매치 포인트를 삼각형화할 수도 있다 (예컨대 포인트 클라우드 생성). 그 다음에 그 방법은 모든 3D 삼각형화된 포인트들로부터 3D 메시 모델을 구축함으로써, 이산 3D 표현에 도달할 수도 있다. 위의 단계들에 대한 세부사항들에 대하여 Hartley 및 Zisserman, Szeliski, 및 Faugeras의 이전에 인용된 논문들이 참조된다.

RGB-깊이로부터의 3D 재구성으로 이루어진 모션 기반 구조 분석의 경우, 그 방법은 깊이 이미지들 (즉, 각각의 화소에 대한 디스패리티 정보를 포함하는 이미지) 을 주로 사용할 수도 있다. 그 방법은 우선 제 1 깊이 이미지로부터 3D 장면을 구축할 수도 있다 (즉, 디스패리티 값들로부터의 3D 포인트 클라우드 생성). 그 방법은 그 다음에, 각각의 새로운 깊이 이미지에 대해, 외인성 카메라 교정 (예컨대 이전의 관점에서 카메라의 -회전 및 병진-) 을 추정할 수도 있다. 그 방법은 글로벌 3D 포인트 클라우드를 업데이트할 수도 있다. 그 방법은 포인트 클라우드 분석으로부터 3D 메시 모델을 최종적으로 생성함으로써, 이산 3D 표현에 도달할 수도 있다. 위의 단계들에 대한 세부사항들에 대하여 Cui et al. 및 Newcombe et al.의 이전에 인용된 논문들이 참조된다.

3D 메시 및 매핑, 그리고 아마도 텍스처링 이미지는, 따라서 이러한 기법을 적용하여, 본 방법 내에서 또는 본 방법에 앞서 생성될 수도 있다. 시스템은 따라서 프로세서에 커플링되어 감지 측정결과들을 제공하는 적어도 하나의 센서를 포함할 수도 있으며, 그 시스템은 측정결과들에 따라 이산 3D 메시 표현을 결정하기 위한 명령들을 자신의 프로그램들 내에 포함한다. 바람직하게는, 그 시스템은 적어도 하나의 깊이 센서를 포함하여서, 그 방법은 실제 객체의 비교적 정확한 3D 표현을 출력하는 깊이 측정들을 수행할 수도 있다. 이는, 앞서 논의된 바와 같이 종래기술로부터 알려져 있다.

텍스처링 이미지는 종래기술로부터 알려진 바와 같이, 실제 객체의 RGB 이미지/사진과 같은 텍스처링 정보를 포함하는 실제 객체의 2D 뷰이다. 3D 메시는 텍스처링 이미지가 사진인 실제 객체의 가시적 부분에 대응할 수도 있다는 점에 주의한다. 실제 객체의 뷰가 실제 객체의 임의의 그래픽 표현, 이를테면 이미지, 사진, 화상이다. 2D 뷰가 따라서, 앞서 제공된 3D 표현의 정의와는 대조적으로, 하나의 각도/관점으로부터만 실제 객체의 관람을 허용하는 2D 표현이다. 텍스처링 이미지의 제공은 일반적으로 3D 메시를 제공하는 것과는 독립적으로, 예컨대 수반하여, 사전 또는 사후에 수행될 수도 있다. 본 방법의 경우, S10에서 제공된 2D 뷰는 교정된다. 교정된 뷰는 2D 뷰 상의 포지션들 및 대응하는 3D 표현, 즉, 본원의 S10에서 제공된 3D 메시 표현에서의 포지션들 간의 대응을 허용하는 정보 ("교정 정보") 와 함께 제공되는 것인데, 이 대응은 S10에서 제공된 매핑이다. 예를 들어, 이러한 정보는, 캡처된 2D 뷰를 (아마도 가상적으로) 갖는 카메라의 구성을 표현하는 파라미터들인 카메라 파라미터들을 포함할 수도 있다. 다르게 말하면, 카메라 파라미터들은 3D 표현에 대하여 텍스처링 이미지를 캡처할 수 있었던, 카메라의 아 포스테리오리를 허용하는 정보를 구성한다. 그 방법은, 다솔 시스템므라는 이름의 2013년 11월 18일자의 출원 EP13306576.3과 같이, 상기 카메라 파라미터들을 미리 결정함으로써, 또는 더욱 정확한 카메라 파라미터들을 컴퓨팅하는 것에 의해 2D 뷰의 교정을 미리 개선함으로써 (다르게 말하면, 이전의 카메라 파라미터들을 최적화함으로써), S10에서 제공된 3D 메시 표현에 대하여, 텍스처링 이미지의 이러한 교정을 수행할 수도 있다.

S10에서 제공된 이산 3D 메시 표현이 모션 기반 구조 분석의 출력인 경우, 실제 객체의 2D 뷰 (즉, 텍스처링 이미지) 는 이 모션 기반 구조 분석 동안 캡처될 수도 있다. 다르게 말하면, 모션 분석으로부터의 구조는, 적어도 하나의 2D 뷰, 예컨대 RGB 이미지를 수반하는 3D 메시의 제공 단계 (S10) 에서 사용될 수도 있고, 상기 2D 뷰는 S10에서 제공된 텍스처링 이미지를 유효하게 할 수도 있다. 사실상, 모션 기반 구조 분석은, 입력으로서의 적어도 하나의 2D 뷰에 기초하여, 이산 3D 표현으로부터 입력 텍스처링 이미지 상으로의 의 투영을 기술하는 데이터를 출력한다. 그러나, 비록 2D 텍스처링 이미지 뷰가 이 경우 교정되지만 (즉, 2D 뷰의 포지션들이 교정 정보에 따른 3D 메시 표현의 포지션들에 대응하는데, 그것들 양쪽 모두가 모션 기반 구조 분석을 수행할 경우 실제 객체의 실제 포지션들에 대응해서이다), 상기 교정 데이터는 완전히 정확하지 않고, 그 방법은 그러므로 S20에서 수행된 텍스처 좌표들의 최적화를 통해 이러한 에러를 유익하게 상쇄한다. 이는 실제 객체의 3D 표현이 적어도 하나의 깊이 센서의 측정들로부터 3D 표현을 재구성함으로써 제공되는 경우 특히 참이다. 이러한 경우 사실상, 깊이 데이터는 3D 표현을 결정하는데 주로 사용되고, 2D 데이터, 이를테면 RGB 이미지들은, 다른 목적들 (이를테면 3D 표현의 스처링) 을 위해 주로 사용된다. 이런 이유로, 텍스처링 이미지는 (초기 3D 표현을 재구성하는데 사용된 이미지들을 캡처하는 깊이 센서 또는 다른 카메라들보다 적어도 더 높은 해상도를 갖는 데이터를 제공하는) 고 해상도 카메라에 의해 캡처될 수도 있다. 따라서, 비록 2D 뷰가 깊이 센서와 동기되는 카메라에 의해 캡처되지만, 위에서 설명된 바와 같이, 정확도의 부족으로 이어지는 시프트가 있을 수도 있다. 본 방법은 그러므로 더욱 정확한 최종 텍스처링을 이끌어 낸다.

10에서 제공된 매핑을 형성할 수도 있는 카메라 파라미터들이 이제 더 논의된다.

이들 카메라 파라미터들은 S10에서 제공된 2D 텍스처링 이미지/뷰 상의 포지션들 및 3D 메시 표현에서의 포지션들 간의 대응을 허용한다. 카메라 파라미터들은 따라서 텍스처링 이미지에 연관되고, S10에서 제공된 3D 메시에 관한 것이 된다. 그 때문에, 카메라 파라미터들은 (예컨대 3D 표현으로부터 2D 뷰로의 투영을 기술하는) 투영 행렬을 포함할 수도 있다. 투영 행렬은 3D 표현에 연관된 참조에 그리고 2D 뷰에 연관된 참조에 기초할 수도 있다. 알려진 바와 같이, 투영 행렬은 외인성 파라미터들, 이를테면 관점의 3D 포지션, 예컨대 카메라 포지션, 및/또는 배향, 예컨대 회전 및 병진 데이터, 및/또는 내인성 파라미터들, 이를테면 초점 거리, 스큐 파라미터, 주점, 및/또는 왜곡 파라미터들을 포함할 수도 있다. 내인성 파라미터들은 센서에 관련된 파라미터들 (예컨대 초점, 광학적 중앙 투영, 왜곡) 이고 종래기술에서는 Z. Zhang, A Flexible New Technique for Camera Calibration, in International Conference on Computer Vision 1999라는 논문에서 정의된 바와 같은 오프라인 프로세스에 의해 일반적으로 추정된다. "포즈 파라미터들"이라고 또한 지칭되는 외인성 파라미터는, 3D 장면 (여기서 3D 재구성된 모델) 을 참조하여 이미지의 포지션 (예컨대 회전 매트릭스 및 병진 벡터) 에 관련된다. 종래기술로부터 알려진 이들 포즈 파라미터들 추정하는 고전적 방법이 RGB 포즈가 깊이 카메라 포지셔닝으로부터 감소되는 (Izadi et al에 의한 이전에 언급된 논문에서 설명된 바와 같은) RGB-깊이 기반 재구성에서처럼, 위에서 언급된 것들과 같은 재구성 프로세스 동안 그것들을 근사화하는 것이다. 이는 양쪽 모두의 센서들 (RGB 및 깊이) 이 견고히 연결되기 때문에 가능하게 되어서, 참조 축을 변하게 하는 상대 변환만이 있다.

도 6의 예에 따르는 방법의 특정예 이제 도 7 내지 도 15를 참조하여 논의된다. 이 예에서, 3D 메시, 텍스처링 이미지 및 매핑은 모두가 위에서 설명된 바와 같은 실제 객체에 적용된 미리 결정된 모션 기반 구조 분석 체계에 의해 출력될 수도 있다. 그 매핑은 따라서 모션 기반 구조 분석에서의 텍스처링 이미지에 대해 결정된 포즈 카메라 파라미터들에 대응할 수도 있다. 이는 텍스처링을 이용한 효율적인 및 정확한 3D 재구성을 허용한다.

이 예는 텍스처링를 위해 사용할 교정된 (이미지가 취해졌던 시간에서의 카메라의 병진/회전 + 내인성 파라미터들) 이미지와 함께, 아마도 근사 3D 삼각형 메시를 가진다는 아이디어로부터 구축된다. 다음의 논의는 도 7에서 상세하게 된 텍스처 좌표들 최적화 프로세스 (도 6의 레벨 2-A) 의 설명에 집중하는데, 그 도면은 본 방법의 예에 의해 구현된 정확한 텍스처링에 대한 최적화의 흐름도 설명을 도시한다. 예의 알고리즘은 이들 주요 단계들로 분할된다:

1) 프리프로세싱: 3D 모델 상의 강력한 곡률들 추출, 및 2D 이미지 상의 거리 변환 컴퓨테이션.

2) 최적화 프로세스:

i. 그래프를 구축.

ii. 마르코프 랜덤 필드를 최적화.

STEP1에 대한 논의: 프리프로세싱

프리프로세싱에 대한 논의 i

이 예에서, 그 방법은 먼저 포즈 카메라를 이용하여 3D 포인트 가시도를 컴퓨팅한다. 제 1 단계는 사실상, (3D 메시가 텍스처링 이미지 상에서 가시적인 정점들보다 많은 정점들을 포함하는 경우에) 메시의 모든 가시적 정점들을 추출하는 것이다. 이는 로 (low) 레벨 그래픽 API, 이를테면 OpenGL 또는 DirectX를 이용하여 매우 쉽게 행해진다. 이들 API는, 보통 하드웨어 구현되는 Z-버퍼 알고리즘을 제공한다. Z-버퍼 알고리즘은 주어진 카메라 포즈에 대한 메시의 깊이 지도를 제공한다. 그 다음에, 그 방법은 메시의 정점이 가시적인지 또는 아닌지를 체크하기 위해 이 깊이 맵을 사용할 수도 있다. 그렇게 하기 위해, 그 방법은 메시의 모든 정점들을 깊이 지도 상으로 단순히 투영하고, 각각의 정점에 대해 그것의 깊이와 투영된 정점의 화소 로케이션에서의 깊이 지도의 값을 비교할 수도 있다. 양쪽 모두의 값들이 충분히 가깝다면, 정점은 그 방법에 의해 가시적으로 고려된다.

프리프로세싱에 대한 논의 ii

예의 방법은 그 다음에 3D 메시 상의 기본요소들을 추출한다. 그 방법은 메시의 각각의 가시적 정점에서 최고 곡률 값을 컴퓨팅하기 위하여 다솔 시스템므라는 이름의 2013년 11월 18일자의 출원 EP13306576.3에서 설명된 것과 동일한 방법을 여기서 사용할 수도 있다. 도 8은 주어진 3D 메시 (미도시) 에 대응하는 사진과 그 사진 상에서 상이한 컬러들로 하이라이트된 3D 메시의 높은 곡률 정점들 (80) (즉, 미리 결정된 임계값보다 더 높은 최대 곡률을 갖는 정점들) 및 낮은 곡률 정점들 (82) (즉, 미리 결정된 임계값보다 더 낮은 최대 곡률을 갖는 정점들) 을 도시한다.

사실상, 이 예에서, 최적화 (S20) 는 3D 메시의 정점에 대한 3D 곡률 값들 및 텍스처링 이미지의 화소에 대한 텍스처링 이미지의 가장 가까운 윤곽까지의 거리 값들 간의 미리 결정된 관계에 해당하는 3D 메시의 정점들 및 텍스처링 이미지의 화소들 간의 미리 결정된 관계를 이용하여 수행된다. S10에서 제공된 매핑은 텍스처링 이미지 상에서 3D 메시의 3D 정점의 로케이션을 표시하기 위해 전제된다. 그러나, 앞서 언급된 바와 같이, 그 방법은, 3D 메시의 정점들에서 평가된 제 1 함수의 값들 및 텍스처링 이미지의 화소들에서 평가된 (제 1 함수에 대응하는) 제 2 함수의 값들 간의 미리 결정된 관계가 준수하는 범위의 (비용 함수

를 통한) 최적화 (S20) 동안의 평가에 기초하여, 이러한 로케이션을 S20을 이용하여 정정한다. "준수하는 범위", 이를테면 상기 두 개의 값들 간의 정규화된 차이를 평가하는 임의의 방법이 구현될 수도 있다. "관계"는 임의의 형태의 수학적 관계이고, 그것은 대칭적 관계일 수도 있다. 목표는 화소 시프트들의 미리 결정된 리스트에 유지된 화소 시프트가 3D 정점의 특징들 및 시프트된 텍스처링 좌표의 특징들 간의 코히어런시 (이러한 코히어런시에 대한 규칙들은 미리 정의되어 있음) 로 이어질지와, 더 구체적으로는 얼마나 높은 인코히어런시 (incoherency) 가 있을 것인지를 평가하는 것이다. 예의 방법은 나중에 상세하게 되는 이러한 "준수하는 범위" 평가의 특정 예를 구현한다. 이러한 미리 결정된 관계는 3D 메시에 의해 텍스처로 표현되는 실제 객체와 텍스처링 이미지에 관련된 사전-지식을 형성하고, 이로써 애플리케이션에 따라 달라질 수도 있다.

예의 경우, 그 방법은 3D 메시의 정점에 대한 3D 곡률 값들 (예컨대 정점에서의 최대 3D 곡률 값) 및 텍스처링 이미지에서의 2D 경사도에 관련된 값들 (이는 예컨대 텍스처링 이미지의 화소에 대한 텍스처링 이미지의 가장 가까운 윤곽에 대한 거리 값들인데, "윤곽"은 임의의 알려진 미리 결정된 체계에 의해 결정될 수도 있는 높은 경사도의 텍스처링 이미지의 지대, 예컨대 라인으로서 알려져 있음) 간의 미리 결정된 관계를 고려한다. 구체적으로, 미리 결정된 관계는 상기 거리에 대한 3D 곡률의 감소 함수일 수도 있다 (다시 말하면, 높은 최대 곡률의 3D 정점들은 텍스처링 이미지의 윤곽들에 상대적으로 가까워야 한다). 예의 방법은 나중에 상세하게되는 이러한 미리 결정된 관계의 특정 구현예를 사용한다. 이는, 특히 모션 기반 구조 분석의 경우에서라면, 텍스처링 이미지 및 실제 객체를 갖는 상황을 잘 고려하는 최적화를 허용한다. 이는 실제 객체 상의 접는 부분이 3D 표현에서 높은 곡률 (과 따라서 예의 기하학적 특징의 발생) 을 일반적으로 초래할 것이고 2D 뷰에서의 높은 경사도를 일반적으로 초래할 것이기 때문이다. 그러나 다른 미리 결정된 관계들에 생각이 이를 수도 있다. 예를 들어, 텍스처링 이미지의 화소 경사도는 직접적으로 고려될 수도 있다. 다솔 시스템므라는 이름의 2013년 11월 18일자의 출원 EP13306576.3에서 언급된 바와 같이, (3D 곡률에 관련된 반드시 필요하지는 않은) 다른 기하학적 특징들 및/또는 (화소 경사도에 관련된 반드시 필요하지는 않은) 다른 그래픽 특징들에 생각에 생각이 이를 수도 있다. 사실상, 그 방법은 3D 정점들 및 2D 화소들 간의 사용된 미리 결정된 관계가 무엇이든 (이러한 미리 결정된 관계가 관련 있는 것인 한) 유용함을 증명하는데, 그 방법이 이산 MRF 풀이의 컴퓨테이션적 장점들을 이용하여 부가적인 최적화 계층을 달성하기 때문이다.

삼각형 메시 상의 포인트의 곡률 추정을 예시하는 도 9를 참조하면, x는 메시 상의 3D 포인트를 표시하고 {x1... xn}은 자신의 가장 가까운 이웃들을 표시한다고 하여, {x1,..., xn}에서의 모든 포인트에 대해 x로 이어지는 메시에서의 에지가 존재한다는 것을 나타낸다. {y1... yn}은 x-병진된 이웃들의 세트를 나타낸다고 하며, 그래서 x는 원점이 된다. Z는 포인트 x에서의 메시의 법선이라고 하자. 그것이 아직 존재하지 않는다면, 그 방법은 이웃하는 삼각형들의 법선들을 평균할 수도 있다. 그 방법은 그 다음에 임의적 (arbitrary) 방향 X를 Z에 법선인 것으로 가정하고 Y = Z^X에 의해 정규직교기저 (orthonormal basis) 를 완성할 수도 있다. 새로운 베이스에서의 투영된 세트 {x, x1...xn}를 {z, z1...zn}이라고 부른다. 그 세트 내의 표면은 그 다음에 최소 제곱 피팅 (least square fitting) 포물면에 의해 추정되며, 그 포물면으로부터 방법이 포인트 z 추정에서 곡률 및 방향을 추론한다. 정규직교기저를 추종하여, z = ax² + bxy + cy² 가 되도록 (a,b,c) 로 포물면을 기술할 수 있다.

계수들 (a, b 및 c) 에 대한 최소 제곱 법이 다음을 산출한다:

X를 행 i가 (zi(1)², zi(1)zi(2), zi(2)²) 와 동일한 n*3 매트릭스라고 하자 그리고 J를 n-사이즈 벡터 (zi(3))i라고 하자. 그러면 선형 최소 제곱 해는 다음이 된다:

예의 표면이 고르다면, 주 곡률들은 헤시안 (hessian) 행렬 (H) 에 대한 고유 (Eigen) 값들이다. 평균 곡률 (m) 은 두 개의 주 곡률들의 합, 즉, m = tr(H) 로서 정의된다. 가우스 곡률 (g) 은 두 개의 주 곡률들의 곱, g = det(H) 이다.

이므로, m = 2(a+c) 이고 g = 4ac - b² 이다.

c1 및 c2를 x에서의 H의 고유 값들이라고 하자. 정의에 의해 m = c1+c2 이고 g = c1c2 이다. Δ = m² - 4g 라고 하자, 그러면 다음을 얻는다:

x에서의 표면 곡률에 대한 분명한 경계들은 [min(c1,c2) ; max(c1,c2)]이다. 그러므로 x에서의 최고 값의 곡률은 max(|c1|,|c2|) 에 의해 근사화된다. x에서의 곡률은 이 값과 동일한 것으로 간주될 수도 있다.

프리프로세싱에 대한 논의 iii: RGB 이미지 상의 거리 변환을 컴퓨팅

위에서는 정점들에서의 3D 곡률을 결정하는 프리-프로세싱을 (나중에 미리 결정된 관계가 준수되는 범위를 평가하기 위하여) 설명하였다. 그러나, 위에서 언급했듯이, 방법의 예의 특정 평가는 텍스처링 이미지의 화소에 대한 텍스처링 이미지의 가장 가까운 윤곽까지의 거리 값들, 즉 "거리 변환"을 또한 요구한다. 이러한 거리 변환은 다음과 같이 컴퓨팅될 수 있다.

를 RGB 이미지 (예컨대 텍스처링 이미지) 라고 하자, 그리고

을

의 화소들의 서브세트라고 하자.

를 고래해 볼 때

의 거리 변환은 각각의 화소의 세기가

에 대한 자신의 거리, 즉,

의 가장 가까운 화소까지의 거리인 이미지이다. 그 방법은 거리 변환의 컴퓨테이션을 가속하기 위해 챔퍼 마스크 (Chamfer mask) 들을 사용할 수도 있다. 챔퍼 마스크들은 근사치이지만 여전히 정확하고 빠른 거리 변환 컴퓨테이션을 허용한다. 다음의 논문에서 설명되는 챔퍼 마스크들은 특히 구현될 수도 있다: M. Stencel et al, On Calculation of Chamfer Distance and Lipschitz Covers in Digital Images, in S4G 2006. 간단히, 그 아이디어는 이웃하는 화소들의 거리의 근사치를 제공하는 화소에 적용되는 작은 마스크를 사용하는 것이다. 그 방법은

의 화소들에 대해 거리 0에서, 그리고 다른 화소들에 대해 무한대에서 시작할 수도 있다. 그 방법은 챔퍼 마스크에 순방향-역방향 패스를 적용하는 것을 할 수도 있으며, 즉, 그 방법은 순방향 패스에 대해 좌측 상부로부터 우측 하부로 그리고 역방향 패스에 대해 우측 하부로부터 좌측 상부로 시작할 수도 있다. 각각의 화소에 대해, 그 방법은 챔퍼 마스크를 적용하고, 챔퍼 마스크가 더 작은 거리들을 반환한다면 그것의 이웃들의 거리를 대체할 수도 있다.

이 예에서의 목표는 각각의 화소가 값에 대해 입력 RGB 이미지의 가장 가까운 에지까지의 거리를 갖는 이미지를 컴퓨팅하는 것이다. 예에서의 제 1 단계는 RGB 이미지를 그레이-레벨 이미지로 변환하는 것이다. 그 다음에, 예의 방법은, 이미지 프로세싱의 분야에서 광범위하게 알려진 바와 같이, 그리고 예를 들어 이미지의 에지들을 검출하기 위해 J.F. Canny, A Computational Approach to Edge Detection, in IEEE PAMI 1986라는 논문에서 설명된 바와 같이, 윤곽 이미지를 획득하기 위해 캐니 에지 검출기를 적용할 수도 있다. 간단히, 캐니 에지 검출기는 이미지를 부드럽게 하며, 각각의 화소에서 경사도 (놈 (norm) + 방향) 를 컴퓨팅하며, 비-최대 경사도 값들을 억제하고, 최종적으로 히스테리시스 임계처리를 적용한다.

이들 에지들에 속한 화소들은

로 표시된 세트를 형성하고, 예의 방법은,

가 주어진다고 하면, 거리 변환을 텍스처링 이미지에 최종적으로 적용할 수도 있다. 결과들은 S10에서 제공될 수도 있는 입력 이미지 (도 10), 캐니 에지 검출기에 의해 검출된 에지들 (도 11), 및 챔퍼 마스크에 의해 컴퓨팅된 거리 변환 (도 12) 을 각각 도시하는 도 10 내지 도 12에 의해 도시된다.

STEP2에 대한 논의: 최적화

최적화의 서브단계 i에 대한 논의: 마르코프 랜덤 필드를 구축

MRF의 기초를 이루는 그래프를 구축하는 방법의 일 예가 S10에서 제공된 삼각형 3D 메시에 대해 먼저 제시된다. 예의 일반화는 간단하다.

을 3D 모델의 가시적 정점들의 세트라고, 그리고

를

의 이웃하는 정점들이라고 하자, 여기서

는

의 이웃들의 수이다.

예의 방법은 무방향 그래프

를 정의하며, 여기서

이다.

는 3D 모델에서 두 개의 가시적 정점들을 연결시키는 모든 에지들의 세트이다.

를 메시의 모든 가시적 삼각형들의 세트라고 하자.

그래프의 각각의 노드

는 세트

로부터 라벨

를 취할 수 있다. 예의 경우,

은 화소들에서의 텍스처 좌표들의 허용된 시프트들/변위들의 세트이다. 예의 방법은 9 개 라벨들을 제공하는

을 취할 수 있다. 그 방법은 두 개의 화소들의 변위들 (25 라벨들) 또는 그 이상도 또한 허용할 수 있지만, 컴퓨테이션 속력은 라벨들의 수가 낮게 유지됨에 따라 크게 증가한다. 메시의 왜곡이 중요한 경우에 라벨들의 수를 증가시키는 대신, 본 방법은 입력 이미지의 해상도를 줄이고/감소시키고, 1 또는 2 화소들의 시프트들을 허용된 라벨들로서 유지할 수도 있다.

는 랜덤 변수이다. 라벨링

은 라벨을 그래프

에서의 모든 노드에게 배정하는 랜덤 변수이다. 정점에 대한 라벨 (0,0) 이 그것의 텍스처 좌표의 영 변위이고, 그래서 단순히 텍스처 투영 매핑 알고리즘에 의해 컴퓨팅된 텍스처 좌표, 즉, S10에서 제공된 단일 매핑에 따른 이미지로의 정점의 투영에 대응한다는 것에 주의한다.

각각의 노드

는 라벨

를 취할 확률

를 갖는다. 그 방법은

의 이웃들이 주어진다고 하면

가

와는 조건부적으로 독립적이라고 가정한다. 이 가설은 마르코프 속성이라고 지칭된다. 이 속성을 갖는 그래프가 마르코프 랜덤 필드 (MRF) 라고 지칭된다. 그래프

의 에지들은 따라서 노드들 간의 의존성들을 표현한다. 두 개의 노드들의 라벨들은 그것들이 에지를 공유하는지에 직접적으로 의존한다.

해머슬리-클리포드 정리는 무방향 그래프

가 마르코프 속성을 충족시킨다면, 확률 분포

는 그 그래프의 모든 최대 클리크 (clique) 들 (완전한 서브그래프들) 에 걸쳐 인수분해될 수 있다고 언급한다. 메시가 매니폴드이면, 현재 그래프의 최대 클리크들은 단순히 메시의 삼각형들이다. 그래서

이다.

물론, 여기서 관찰들이라고 지칭되는 S10에서 제공된 3D 메시 및 텍스처링 이미지를 확률론적 프레임워크에 포함시키는 것이 원하여진다. 예의 방법은 입력 이미지의 거리 변환, 및 정점들의 곡률들을 컴퓨팅하였다. 그래서 우도라고 지칭되는, 거리 변환 및 곡률들의 관찰들

이 주어진다고 하면 각각의 라벨에 대해 아 프리오리 (a priori) 를 가질 수 있고,

라고 적는다.

마지막으로, MAP (maximum a posteriori) 추론 문제라고 지칭될 수 있는 것이 얻어진다.

를 의미하는, 입력 이미지의 곡률들 및 거리 변환을 알게 하는 가장 가능성 있는 라벨링

을 찾기를 원한다.

베이스 (Bayes) 의 규칙이 즉시

를 제공한다.

이것은

로 고쳐 쓰질 수 있으며, 여기서

이고

이다.

결국에는 추론 문제는 이산 최적화 문제로서 고쳐 쓰여졌다.

임에 주의한다.

은 데이터 항이라고 지칭될 수도 있는데, 그것이 정점의 라벨과 관찰들을, 다른 노드들의 라벨들과는 독립적으로 링크하기 때문이다.

은 평활화 항이라고 지칭될 수도 있는데, 그것이 이웃하는 노드들의 라벨들에서 규칙성을 강요하고, 노드의 라벨과 그것의 이웃들을 링크시키기 때문이다.

이 마르코프 랜덤 필드 (MRF) 는 클리크들이 2보다 큰 사이즈를 갖기 때문에 고차 MRF이다. 이는 평활화 항이 에지들 상에서 일반적으로 인수분해되지 않을 수 있다는 것을 의미한다. 고차 MRF들은 특정 최적화 방법들을 요구한다. 그럼에도 불구하고, 평활화 항을 구체적으로 정의하는 방법은 그래프의 에지들 상에서 인수분해될 수 있는 바와 같이 방해되지 않고, 따라서 더 많은 수의 추론 방법들이 존재하는 쌍방식 MRF이 얻어진다.

예를 들어, 미리 결정된 MRF 풀이 체계는 쌍방식 MRF 풀이 알고리즘들의 이들 네 개의 잘 알려진 클래스들 중 하나에 속할 수도 있다:

볼록 완화 MRF 풀이 체계들 (예컨대 선형 프로그래밍 (Schlesinger 1976), 준한정 프로그래밍 (Lasserre 2000), 또는 2차 콘 프로그래밍 (Muramatsu 및 Suzuki, 2003)).

이중의 선형 프로그래밍 완화 MRF 풀이 체계들 (예컨대 Tree Reweighted Message Passing, Dual Decomposition).

그래프 컷 MRF 풀이 체계들 (예컨대 Alpha Expansion, Alpha-Beta Swap, FastPD).

신뢰 전파 MRF 풀이 체계들 (예컨대 Loopy Belief Propagation, Generalized Belief Propagation).

이것들은 그러나 단지 예들인데, 임의의 쌍방식 MRF 풀이 체계가 대체로 그 방법에 의해 구현될 수도 있어서이다. 위에서 제공된 네 개의 클래스들은 다른 클래스를 배제하지 않고, 분류는 채택된 관점에 의존한다는 것에 또한 주의한다.

그래서, 나타낸 바와 같이, 비용 함수 ψ

는 이 예에서 다음의 형태로 되게 작성되며:

, 여기서

는 타일

의 정점들의 인덱스들의 쌍들의 세트를 표시한다.

이는 S20에서의 쌍방식 이산 마르코프 랜덤 필드 최적화 체계의 사용과 따라서 더 빠른 성능의 사용을 허용한다.

예에서, 아래에서 상세하게 되는 바와 같이,

는 특히 형태

이며, 여기서

는 정극성의 스칼라량을 표시한다.

는 0.01보다 크고 및/또는 0.1 미만, 예컨대 대략 0.05일 수도 있다. 시행착오는 애플리케이션에 따른 최선의 값을 유지하기 위해 사용될 수 있다. 다른 거리들 (이를테면 유클리드 거리) 에 생각이 이를 수도 있다.

이제, 예의 방법은 미리 결정된 관계를 구현하는데, (조정을 위한 가능한 시행착오로, 1 밀리미터 정도의 에지들의 3D 메시에 대해, 0.01보다 크고 및/또는 0.1 미만, 예컨대 대략 0.05일 수도 있는) 미리 결정된 임계값 C 보다 낮은 (예컨대 또는 동일한) 3D 곡률 값들 (

) 이 (

로 언급된) 모든 거리 값들과는 미리 결정된 관계에 있고, 미리 결정된 임계값 C 보다 (예컨대 절대적으로) 더 큰 3D 곡률 값들은 증가하는 일 대 일 대응에 따라 거리 값들과는 미리 결정된 관계에 있다. 이는, 이러한 미리 결정된 관계의 바로 그 정의에 따르면, 3D 곡률이 임계값 미만인 경우 거리 변환의 임의의 값이 적합하다는 의미이며, 이는 그 관계가 준수되는 당해 범위가 이러한 정점들에 대한 거리 변환의 모든 값들에 대해 동일함을 뜻한다. 한편, (임계값을 초과하는) 높은 곡률 값들의 경우, 미리 결정된 것은 거리 변환 값

에 대해 3D 곡률의 단조 (증가) 함수이며, 그것의 일 예는 아래에서 제공된다. 최적화는 따라서 높은 곡률 정점들에 의해서만 운반되는 정보에 집중한다.

특히, 잘 동작하는 구현예는

가 형태

인 경우이다.

는 표시자 함수를 표시하며,

는 정점

의 3D 곡률을 표시하고 따라서 c 는 정극성의 스칼라량을 표시하며,

는 미리 결정된 정극성의 스칼라량 (이는 조정을 위한 가능한 시행착오로, 0.01보다 크고 및/또는 0.5보다 작으며, 예컨대 대략 0.25임) 을 표시하고,

는 - 다시 - 텍스처링 이미지의 관계 있는 거리 변환의 값 (그것은, 텍스처링 이미지 상에 정점

를 매핑한 후, 정점

에 대해, 화소 시프트를 적용한 결과로, 최적화 프로그램에 대한 가능한 독립변수들의 탐구 동안 선택됨) 을 표시하며, 거리 변환은 미리 사전 컴퓨팅된 텍스처링 이미지의 윤곽 이미지에 대하여 앞에서 언급된 바와 같다.

다르게 말하면,

를 화소

에서 입력 이미지의 거리 변환이라고 하며,

는 입력 이미지 상으로의 정점

의 투영, 즉,

의 초기 텍스처 좌표이고,

는 정점

의 최대 곡률이다.

그 다음에

가 정의되며

는 곡률들과 화소 거리들을 링크시키는 정극성의 스칼라량이며, c는 데이터 항에서 낮은 곡률들의 정점들을 버리기 위해 선택된 정극성의 스칼라량이다.

이 정의되며,

는 평활화 항 및 데이터 항 간의 절충 (tradeoff) 을 제어하는 정극성의 스칼라량이다.

임에 주목할 수 있으며, 여기서

이고, 따라서 더 높은 차수의 MRF보다 최적화하기가 더 쉬운 쌍방식 MRF가 얻어졌다.

예의 경우, 데이터 항은 강한 곡률 정점들이 입력 텍스처에서의 에지 가까이에서 텍스처 좌표를 가지게 하고, 평활화 항은 이웃하는 정점들이 그것들의 텍스처 좌표에서 유사한 변위를 얻게 한다.

본 방법이 양쪽 모두의 항들에 대해 다른 표현들로 구현될 수도 있다는 것에 주목하는 것이 중요하다. 특히,

는 더 높은 차수의 일반항일 수 있다.

또한, 비용 함수

의 예는 단지 일 예인데, 높은 최대 곡률의 3D 정점들을 텍스처링 이미지의 높은 경사도 (즉, 윤곽들) 를 향하여 누르는/시프트시키는 경향의 임의의 비용 함수가 구현될 수 있어서이다.

최적화의 서브단계 ii에 대한 논의: 마르코프 랜덤 필드를 최적화

예의 마지막 단계는 최상의 라벨링을 찾는 추론 문제를 풀고, 따라서 최적화된 텍스처 좌표들을 구하는 것이다.

쌍방식 마르코프 랜덤 필드 상에서, 특히 평활화 항이 메트릭 거리인 경우, 이러한 추론 문제를 푸는 많은 상이한 효율적인 알고리즘들이 있다. J. Kappes et al, A Comparative Study of Modern Inference Techniques for Discrete Minimization Problems, in CVPR 2013에서 제공된 임의의 알고리즘이 구현될 수도 있다. 그 방법이

를 더 높은 차수의 일반항에 의해 대체하는 경우, H.Ishikawa, Higher-Order Clique Reduction in Binary Graph Cut, in CVPR 2009에서의 알고리즘들이 구현될 수 있다.

도 13은 텍스처링 이미지 (130) 에 기초하여 실제 객체를 하우징하며, 따라서 도 14의 결과로부터 도 15의 결과로의 하우스의 최종 텍스처링의 정확도를 개선하는 예의 방법의 전체 성능을 개략적으로 도시한다.

Claims

실제 객체를 표현하는 3D 모델링된 객체를 설계하는 컴퓨터 구현 방법으로서,

실제 객체를 표현하고 정점들을 갖는 3D 메시, 텍스처링 이미지, 그리고 상기 3D 메시의 상기 정점들 및 상기 텍스처링 이미지의 화소들 간의 매핑을 제공하는 단계 (S10); 그 후

형태의 확률
를 최대화하는 단계 (S20) 로서,
여기서:

은 상기 3D 메시의 정점들의 수를 표시하고
는 상기 3D 메시의 상기 정점들을 표시하며,

는 상기 텍스처링 이미지 상에 정점
를 매핑한 후에 적용될 그리고 미리 결정된 유한 세트 (L) 에서 선택될 화소 시프트를 표시하며,

,

는 상기 3D 메시의 메시 타일들의 인덱스들의 세트들의 세트를 표시하며,

는 정점
에 연관되고 텍스처링 이미지 상에 정점
를 매핑한 후 정점
에 대해 선택된 화소 시프트를 적용한 결과가 상기 3D 메시의 정점들 및 상기 텍스처링 이미지의 화소들 간의 미리 결정된 관계를 준수하는 범위에 감소적으로 의존하는 비용 함수를 표시하며,

는 상기 3D 메시의 타일
에 연관되고 타일
의 정점들에 대해 선택된 화소 시프트들 간의 글로벌 차이에 의존하는 비용 함수를 표시하며,
상기 최대화하는 단계는 상기 3D 메시와 상기 3D 메시의 상기 정점들의 텍스처 좌표들에 연관된 화소 시프트들을 에너지의 마르코프 랜덤 필드

로서 보여주는 미리 결정된 이산 마르코프 랜덤 필드 최적화 체계로 수행되는, 상기 확률
를 최대화하는 단계 (S20); 및

상기 텍스처링 이미지에 따라, 상기 매핑에 따라, 그리고 상기 최대화하는 단계의 결과에 따라 상기 3D 메시를 텍스처링하는 단계 (S30) 를 포함하는, 실제 객체를 표현하는 3D 모델링된 객체를 설계하는 컴퓨터 구현 방법.
제 1 항에 있어서,
상기 비용함수
는

의 형태이며:
여기서
는 타일
의 정점들의 인덱스들의 쌍들의 세트를 표시하며,
상기 미리 결정된 이산 마르코프 랜덤 필드 최적화 체계는 쌍방식 이산 마르코프 랜덤 필드 최적화 체계인, 실제 객체를 표현하는 3D 모델링된 객체를 설계하는 컴퓨터 구현 방법.
제 2 항에 있어서,

는 형태
로 되며, 여기서
는 정극성의 스칼라량을 표시하는, 실제 객체를 표현하는 3D 모델링된 객체를 설계하는 컴퓨터 구현 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 3D 메시의 정점들 및 상기 텍스처링 이미지의 화소들 간의 상기 미리 결정된 관계는 상기 3D 메시의 정점에 대한 3D 곡률 값들 및 상기 텍스처링 이미지의 화소에 대한 상기 텍스처링 이미지의 가장 가까운 윤곽까지의 거리 값들 간의 미리 결정된 관계에 해당하는, 실제 객체를 표현하는 3D 모델링된 객체를 설계하는 컴퓨터 구현 방법.
제 4 항에 있어서,
미리 결정된 임계값 (C) 미만의 3D 곡률 값들 (
) 은 모든 거리 값들 (
) 과는 상기 미리 결정된 관계에 있고, 상기 미리 결정된 임계값을 초과하는 3D 곡률 값들은 증가하는 일 대 일 대응에 따른 거리 값들과는 상기 미리 결정된 관계에 있는, 실제 객체를 표현하는 3D 모델링된 객체를 설계하는 컴퓨터 구현 방법.
제 5 항에 있어서,
상기
는
의 형태이며:
여기서,

는 표시자 함수를 나타내며,
는 정점
의 최대 3D 곡률을 표시하고, c 는 정극성의 스칼라량을 표시하며,

는 정극성의 스칼라량을 표시하며,

는 상기 텍스처링 이미지 상에 정점
를 매핑한 후, 정점
에 대해 선택된, 화소 시프트를 적용한 결과에서의 상기 텍스처링 이미지의 거리 변환의 값을 표시하며, 상기 거리 변환은 상기 텍스처링 이미지의 윤곽 이미지에 대한 것인, 실제 객체를 표현하는 3D 모델링된 객체를 설계하는 컴퓨터 구현 방법.
제 6 항에 있어서,
상기 윤곽 이미지는 상기 텍스처링 이미지에 적용된 캐니 (Canny) 에지 검출기로 결정되는, 실제 객체를 표현하는 3D 모델링된 객체를 설계하는 컴퓨터 구현 방법.
제 6 항 또는 제 7 항에 있어서,
상기 텍스처링 이미지의 상기 거리 변환은 상기 텍스처링 이미지의 상기 윤곽 이미지에 대하여 상기 텍스처링 이미지 상에 적용된 챔퍼 (Chamfer) 마스크로 결정되는, 실제 객체를 표현하는 3D 모델링된 객체를 설계하는 컴퓨터 구현 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 3D 메시, 상기 텍스처링 이미지 및 상기 매핑은 모두가 상기 실제 객체 상에 적용된 미리 결정된 모션 기반 구조 분석 (structure-from-motion analysis) 체계에 의해 출력되며, 상기 매핑은 상기 모션 기반 구조 분석에서 상기 텍스처링 이미지에 대해 결정된 포즈 카메라 파라미터들에 대응하는, 실제 객체를 표현하는 3D 모델링된 객체를 설계하는 컴퓨터 구현 방법.
제 1 항 내지 제 9 항 중 어느 한 항의 방법을 수행하기 위한 명령들을 포함하는, 컴퓨터 프로그램.
제 10 항의 컴퓨터 프로그램을 기록하고 있는 데이터 저장 매체.
메모리에 커플링된 프로세서를 포함하는 컴퓨터 시스템으로서,
상기 메모리는 제 10 항의 컴퓨터 프로그램을 기록하고 있는, 컴퓨터 시스템.