KR101345458B1 - 객체의 3 차원 모델 생성 방법, 시스템 및 3차원 모델 생성기 - Google Patents

Abstract

본 발명은 어떤 객체의 3차원 모델을 생성하기 위한 방법에 관한 것이다. 이러한 방법은 먼저 객체의 객체 깊이 표현을 결정하는 단계 및 객체의 텍스처를 생성하는 단계를 포함한다. 그 후, 3차원 모델은 상기 객체의 상기 객체 깊이 표현에 변위 매핑을 적용함으로써 생성되며 이어서 상기 변위 매핑을 이용하여 생성된 상기 객체의 상기 3차원 모델에 상기 텍스처를 적용한다.

Description

객체의 3 차원 모델 생성 방법, 시스템 및 3차원 모델 생성기{METHOD FOR GENERATING A 3-DIMENSIONAL MODEL OF AN OBJECT}

본 발명은 객체의 3 차원 모델을 생성하기 위한 방법 및 관련된 시스템에 관한 것이다.

그러한 방법은 본 기술 분야, 예컨대 http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=01024107)에 발표된 논문 “구조화된 광 측정 시스템으로부터의 데이터에 기초한 3차원 비디오 시스템에서의 데이터 처리(DATA PROCESSING IN 3D VIDEO SYSTEM BASED ON DATA FROM STRUCTERED LIGHT MEASUREMENT SYSTEM)”로부터 이미 공지되어 있다.

그 논문에서, 구조화된 광(structured light)을 이용하여 객체의 3차원 표현을 생성하는 시스템 및 방법이 설명된다. 이와 같은 시스템에서, 제안된 진정한 3차원 비디오는 프린지 투영(fringe projection) 방법에 기초하여 광학적 3차원 객체 측정 시스템의 사용에 의존한다. 이러한 구조화된 광 측정 시스템은 여러 방향으로부터 3차원 객체를 나타내는 좌표점의 군(clouds)의 형태의 객체의 모든 점에 대한 깊이 정보인 출력 데이터를 제공한다. 점의 군은 시각화를 위해 받아들여지는 데이터로 변환되고, 이 데이터는 3차원 모델이며, 이 모델은 최종적으로 가상 환경과 조합될 수 있다.

구조화된 광 3차원 스캐너는 주제(subject)에 광의 패턴을 투영하여, 대상 상의 패턴의 변형을 조사한다. 2차원 그리드 또는 라인 스트라이프(line striped) 패턴을 예로 든다. 패턴 프로젝터로부터 약간 오프셋한 카메라는 패턴의 변형을 조사하는데 이용되고, 매우 복잡한 알고리즘은 패턴의 각 점에서의 거리를 계산하는데 이용된다.

이러한 생성된 "점의 군(clouds of points)"은 주사되었거나 디지털화된 객체의 가시 표면을 나타내는 객체의 표면상의 다수의 점을 포함한다. 이와 같은 점의 군은 일반적으로 대부분의 3차원 응용에 직접 이용할 수 없어서, 보통 여러 목적을 위해 이용될 수 있도록 일반적으로 리버스 엔지니어링(reverse engineering)이라 하는 프로세스를 통해 삼각형 메쉬 모델, NURBS 표면 모델, 또는 CAD 모델로 변환된다. "점의 군"에서 3차원 모델로의 변환은 복잡한 계산 집약적 절차(computation intensive procedure)로서 잘 알려져 있다.

더욱이, 이와 같은 구조화된 광 시스템은 복잡한 조명 설치를 필요로 하면서 실제 환경에서 실용적이지 않는 결점을 갖는다.

본 발명의 목적은 상기 알려진 타입이지만 정상 조명 조건 하에서 3차원 모델이 생성되는 방법을 제공하는 것이다.

본 발명에 따르면, 이러한 목적은 청구항 1에 따른 방법, 청구항 7에 따른 시스템, 및 청구항 8에 따른 3차원 모델 생성기에 의해 달성된다.

사실 먼저 객체에 관계된 깊이 정보를 측정하여 객체의 객체 깊이 표현(representation)을 생성하고, 객체의 생성된 객체 깊이 표현에 기초하여, 객체의 3차원 모델은 그 뒤에 객체의 생성된 객체 깊이 표현에 변위 매핑을 적용하여, 객체의 텍스처 3차원 모델이 정상 조명 조건 하에 유도되는 변위 매핑을 이용하여 생성되는 객체의 3차원 모델 상에 객체의 생성된 텍스처를 매핑함으로써 생성된다.

비교적 빠르고 효율적인 처리로 인해, 매우 짧은 시간에, 변화하는 객체의 경우에 3차원 모델을 생성하는 짧은 처리 시간로 인해 실시간 솔루션에 이용될 수 잇는 텍스처 3차원 객체를 렌더링(rendering)한다.

이러한 텍스처는 고화질 이미지로부터 획득 가능한 어떤 텍스처, 표준 화질 텍스처 또는 상기 이미지로 업데이트되는 사전 정해진 텍스처일 수 있다.

객체 깊이 표현을 생성하는 것은 객체의 깊이 측정을 결정하고, 객체의 각 점의 깊이를 측정하여 객체의 윤곽(contours)을 재구성하는 것이다.

범프 매핑, 정상 매핑 및 시차 매핑(parallax mapping)과는 대조적으로, 변위 매핑은 (절차적-) 텍스처- 또는 높이 맵을 이용하여, 텍스처 표면에 걸친 점의 실제 기하학적 위치가 텍스처 함수가 표면상의 각 점에서 평가하는 값에 따라 종종 국소적 표면 법선(local surface normal)을 따라 변위되는 효과를 발생시키는 대안적 컴퓨터 그래픽 기술이다. 그것은 표면에 깊이 및 상세 사항의 훌륭한 감각(a great sense of depth and detail)을 제공하고, 특정 자기 폐색(self-occlusion), 자기 새도잉(self-shadowing) 및 실루엣(silhouettes)을 허용하며; 다른 한편으로, 그것은 상당량의 부가적인 기하학적 형상 때문에 가장 비용이 많이 드는 등급의 기술이다.

그 후, 재구성된 모델의 윤곽은 변위 매핑 후에 유도되는 3차원 모델상에 생성된 (고화질) 텍스처의 매핑을 적용하기 위해 이용된다.

본 발명의 부가적인 이점으로서, 본 발명의 방법, 관련된 시스템 및 관련된 장치는 변위 매핑 기술이 점의 군 기술에 비해 적은 계산 자원을 소모시킨다는 사실로 인해 3차원 표현을 더욱 빠르고 더욱 효율적인 방식으로 획득한다는 것이다. 그래서, 본 발명의 시스템 및 방법은 3차원 모델을 빠르게 생성시키는 처리의 상대적 단순함으로 인해 실시간 시스템에 이용될 수 있다.

본 발명의 추가적 특징은 청구항 2에 기재되어 있다.

객체 깊이 표현을 결정하는 단계는 카메라 입력으로부터 획득되는 깊이 메시지의 추출에 기초한다. 전형적 깊이 메시지는 백색 매핑이 카메라에 대해 가장 근접한 점인 그레이 스케일 화상일 수 있다(A typical depth message could be a gray-scale picture with the whitest mapping to is closest point to a camera).

본 발명의 다른 추가적 특징은 청구항 3에 기재되어 있다.

객체의 객체 깊이 표현을 결정하는 단계는 적외선 거리 측정 장치의 깊이 측정에 기초한다. 객체 깊이 표현은 적외선 거리 측정에 기초하는 객체의 각 점의 깊이의 결정에 기초하여 생성된다. 적외선 거리 측정은 측정 시간이 지남에 따라 이동하는 동안 입자, 객체 또는 스트림이 검출기에 도달하는데 걸리는 거리를 측정하는데 이용된다.

본 발명의 추가적 특징은 청구항 4에 기재되어 있다.

상기 객체의 (고화질) 텍스처를 생성하는 단계는 카메라의 (고화질) 2차원 화상을 생성하는 단계이다. 여기서 화상은 3차원 모델로 매핑하기 위한 (고화질) 텍스처를 렌더링하기 위해 이용된다.

본 발명의 다른 추가적 특징은 청구항 5에 기재되어 있다.

방법은 부가적으로 객체 깊이 표현으로부터 잡음 및/또는 배경 정보를 필터링하여 배경 필터링이 적용될 경우에 배경 정보 없이 객체 깊이 표현을 개선시키는 단계를 포함한다.

이러한 객체 깊이 표현은 평균적으로 구조화된 광 측정 시스템으로부터 획득 가능한 객체 깊이 표현보다 잡음이 더 많을 것이다. 여기서 예컨대 가우스 필터와 같은 필터에 대해, 바이폴라 필터가 먼저 잡음을 감소시키기 위해 이용된다.

본 발명의 또 다른 추가적 특징은 청구항 6에 기재되어 있다.

본 발명에 따른 방법의 추가적 단계는 변위 매핑 및 (고화질) 텍스처의 매핑을 3차원 모델에 적용하기 전에 객체 깊이 표현을 더욱더 개선하기 위해 필터링을 적용함으로써 획득되는 초기 객체 깊이 표현 또는 개선된 객체 깊이 표현을 블러링(blurring)하는 단계를 포함한다. 객체 깊이 표현을 블러링함으로써, 원래의 객체 깊이 표현의 잡음의 영향은 더 감소될 수 있다.

청구범위에서 사용되는 용어 '포함하는'는 이후에 리스트되는 수단으로 제한되는 것으로 해석되지 않아야 함에 주목되어야 한다. 따라서, 표현 '수단 A 및 B를 포함하는 장치'의 범위는 구성 요소 A 및 B만으로 구성되는 장치로 제한되지 않아야 한다. 그것은 본 발명에 대해 장치의 유일한 관련 구성 요소가 A 및 B이라는 것을 의미한다.

마찬가지로, 또한 청구범위에서 사용되는 용어 '결합된'은 직접 접속에만 제한되는 것으로 해석되지 않아야 함에 주목되어야 한다. 따라서, 표현 '장치 B에 결합된 장치 A'의 범위는 장치 A의 출력이 장치 B의 입력에 직접 접속되는 장치 또는 시스템으로 제한되지 않아야 한다. 그것은 A의 출력과 B의 입력 사이에 다른 장치 또는 수단을 포함하는 경로일 수 있는 경로가 존재한다는 것을 의미한다.

본 발명의 상기 및 다른 목적 및 특징은 더욱 자명하게 될 것이고, 본 발명 자체는 첨부한 도면과 함께 실시예의 다음의 설명을 참조함으로써 가장 잘 이해될 것이다.

도 1은 본 발명에 따른 3차원 모델을 생성하는 시스템을 나타낸 것이다.

다음의 단락에서, 도면을 참조하면, 본 발명의 3차원 모델을 생성하는 시스템, 관련된 방법, 본 발명에 따라 첨부된 청구범위에 언급된 관련된 3차원 모델 생성 장치 3-DMGD의 구현들이 설명될 것이다.

이러한 설명의 제 1 단락에서, 도 1에 제시된 바와 같이 3차원 모델을 생성하는 시스템의 주요 요소가 설명된다. 제 2 단락에서는, 상술한 요소 및 설명되는 수단 간의 모든 접속부가 정의된다. 그 후, 관련된 3차원 모델 생성 장치 3-DMGD를 포함하는 시스템의 모든 관련 기능적 수단이 설명되고 나서 모든 상호 접속부가 설명된다. 다음의 단락에서, 3차원 모델을 생성하는 시스템의 실제 실행이 설명된다.

본 발명의 시스템의 필수 요소는 3차원 모델이 생성될 수 있는 객체 O의 객체 깊이 표현을 결정하는 객체 깊이 표현 결정부 ODRP이다. 객체 깊이 표현은 비행 시간(time-of-flight) 카메라와 같은 적외선 대상 측정 장치를 이용하여 결정될 수 있거나, 대안적으로 객체 깊이 표현은 스테레오 매칭과 같은 깊이 추출 알고리즘을 적용하거나 카메라의 스테레오 쌍을 적용함으로써 결정될 수 있다.

게다가, 텍스처가 UV 매핑과 같은 잘 알려진 기술에 기초하는 정상 2차원 화상 또는 고화질 2차원 화상에 기초하여 생성될 수 있는 객체의 (고화질) 텍스처를 생성시키도록 구성되는 텍스처 결정부 TDP가 존재한다.

더욱이, 객체 깊이 표현 결정부 ODRP에 의해 결정되는 객체 깊이 표현에 (고화질) 텍스처를 매핑함으로써 3차원 객체 표현을 생성하는 매핑부 MP가 존재한다.

객체 깊이 표현 결정부 ODRP는 3차원 모델 생성 장치 3-DMGD의 입력 단자와 동일한 입력 단자를 갖는다. 객체 깊이 표현 결정부 ODRP는 깊이 블러링부 DBP에 결합되는 필터링부 FP에 결합된다. 깊이 블러링부 DBP는 매핑부 MP의 제 1 입력에 대한 출력과 결합되며, 텍스처 결정부 TDP는 매핑부 MP의 제 2 입력에 대한 출력과 결합된다. 매핑부는 결과적으로 3차원 모델 생성 장치 3-DMGD의 출력 단자와 동일한 출력 단자를 갖는 3차원 객체 전송부 3-DOFP의 입력 단자에 결합되는 출력 단자를 갖는다.

3차원 모델 생성 장치 3-DMGD의 이러한 출력 단자는 액세스 네트워크와 같은 통신 네트워크 및 코어 통신 네트워크를 통해 세컨드 라이프(Second Life)와 같은 가상 환경에 결합될 수 있다.

어떤 사람의 3차원 객체 표현이 획득될 수 있는 본 발명을 설명하기 위해, 이러한 어떤 사람의 그런 3차원 객체 표현은 세컨드 라이프 또는 OpenSim과 같은 가상 환경에서 이와 같은 표현을 주입하기 위해 사용 가능하다.

처음에, 객체 깊이 표현 결정부 ODRP는 3차원 모델을 생성할 수 있는 사람인 객체 O의 객체 깊이 표현을 결정한다. 이러한 객체 깊이 표현은 비행 시간 카메라와 같은 적외선 대상 측정 장치와 같은 거리 측정 장치 DMD를 이용하여 결정되는 것으로 추정되거나, 대안적으로 객체 깊이 표현은 스테레오 매칭과 같은 깊이 추출 알고리즘을 카메라의 스테레오 쌍에 적용함으로써 결정될 수 있다.

게다가, 텍스처 결정부 TDP는 텍스처가 카메라 CAM를 이용하여 화상을 촬영하는 정상 2차원 화상 또는 고화질 2차원 화상일 수 있는 객체의 (고화질) 텍스처를 생성시킨다.

그 후, 더욱이, 매핑부 MP는 처음에 객체 깊이 표현 결정부 ODRP에 의해 결정되는 객체(O)의 생성된 객체 깊이 표현에 변위 매핑을 적용함으로써 이러한 사람의 3차원 모델을 생성시킨다. 그 후, 매핑부 MP는 객체의 생성된 (고화질) 텍스처를 변위 매핑을 이용하여 생성되는 객체의 3차원 모델 상으로 매핑하며, 객체의 텍스처 3차원 모델은 정상 조명 조건 하에 유도된다.

매핑부 MP는 처음에 변위 매핑 기술을 객체 깊이 표현 결정부 ODRP에 의해 결정되는 객체 깊이 표현에 적용하며, 이러한 기술은 (절차적-) 텍스처- 또는 높이 맵을 이용하여, 표면에 걸친 점의 실제 기하학적 위치가 이전에 계산된 깊이 표현에 기초하여 변위되는 효과를 발생시키도록 정의된다.

이러한 사람의 생성된 텍스처 3차원 모델은 이러한 모델을 가상 환경에 주입하는 3차원 모델 전송부 3-DMFP에 의해 이용될 수 있다. 여기서 사람의 3차원 텍스처 모델인 주입된 텍스처 모델을 포함하는 이러한 가상 환경 VE이 접근될 수 있고, 이의 내용은 어떤 클라이언트 장치 CX, CY, CZ에 의해 볼 수 있다.

현재 조명 조건으로 인해, 즉, 이러한 사람의 객체 깊이 표현의 처음 결정 시에 부가적인 조명이 적용되지 않기 때문에, 깊이를 표현하는 그레이 스케일 값을 가진 그레이 스케일 화상인 생성된 객체 깊이 표현은 객체의 각 점의 깊이 값이 완전히 정확하지 않음을 의미하는 소정량의 잡음을 포함한다.

객체 깊이 표현에 포함된 이러한 잡음은 필터링부에 의해 전용 필터링을 이용하여 부분적으로 또는 완전히 제거될 수 있다.

제 1 잡음부는 배경이 포함될 수 있는 객체 깊이 표현을 생성함에 있어서와 같이 객체의 배경에 의해 구성된다.

이러한 배경은 객체의 배경에 관련된 객체의 모든 점을 제거함으로써, 예컨대 어떤 깊이 범위 밖에 있는 (객체의 배경에 관계하는) 객체 깊이 표현의 모든 점을 제거함으로써 사람의 객체 깊이 표현에서 제거될 수 있다.

불완전한 조명 조건으로 구성된 제 2 잡음부는 객체 깊이 표현을 필터링하여 제거된다. 이러한 필터링은 예컨대 가우스 필터, 바이폴라 필터를 적용할 수 있다.

더 이상 어떤 배경을 포함하지 않거나, 제한되거나 부분적으로 남은 배경만을 포함하는 객체 깊이 표현을 개선한 생성된 객체 깊이 표현은 매핑부의 입력으로서 텍스처를 이러한 개선된 객체 깊이 표현으로 매핑하여, 이렇게 하여 사람의 개선된 3차원 객체 표현을 생성시키기 위해 이용될 수 있다.

더욱이, 객체 깊이 표현을 더 개선하여, 사람의 더욱더 개선된 3차원 객체 표현을 획득하기 위해, 사람의 제 1 개선된 객체 깊이 표현을 깊이 블러링부 DBP로 입력하여 깊이 블러링 단계가 적용될 수 있다. 이러한 깊이 블러링 단계에서, 제 1 개선된 객체 깊이 표현은 제 1 변위 매핑 단계 및 후속 텍스처 매핑 단계에 더욱 적절하게 되도록 더 개선된다.

깊이 블러링부 DPP의 출력으로부터 생성되는 더 개선된 객체 깊이 표현은 이어서 매핑부의 입력으로서 제 1 변위 매핑 단계 및 후속 텍스처 매핑 단계에 이용될 수 있고, 여기서 텍스처는 개선된 3-D 모델 상으로 매핑되며, 이러한 방식으로 사람의 개선된 텍스처 3차원 객체 표현을 생성시킨다.

마지막 언급으로서, 본 발명의 실시예들은 기능적 블록의 관점에서 전술되었다는 것이다. 상기에 주어진 이들 블록의 기능적 설명으로부터, 전자 장치를 설계하는 본 기술 분야의 숙련자는 이들 블록의 실시예들이 잘 알려진 전자 구성 요소로 제조되는 방법을 알게 될 것이다. 따라서, 기능적 블록의 내용에 대한 상세한 구조는 주어지지 않는다.

본 발명의 원리가 특정 장치와 관련하여 전술되었지만, 이러한 설명은 단지 예로서만 행해지고, 첨부한 청구범위에서 규정된 바와 같이 본 발명의 범주에서 제한하는 것으로 행해지지 않는 것으로 이해될 수 있다.

Claims (8)

1. 정상 조명 조건 하에서 객체(O)의 3차원 모델을 생성하기 위한 방법에 있어서,
   a. 상기 객체(O)의 객체 깊이 표현을 결정하는 단계와,
   b. 상기 객체(O)의 텍스처(texture)를 생성하는 단계와,
   c. 상기 객체(O)의 상기 객체 깊이 표현에 대해 변위 매핑을 적용함으로써 상기 객체의 3차원 모델을 생성하고 이어서 상기 변위 매핑을 이용하여 생성된 상기 객체의 상기 3차원 모델에 상기 텍스처를 적용하는 단계를 포함하는
   객체의 3차원 모델 생성 방법.
   
2. 제 1 항에 있어서,
   상기 객체의 객체 깊이 표현을 결정하는 단계는 카메라 입력으로부터의 상기 객체 상의 깊이 메시지의 추출에 기초하는
   객체의 3차원 모델 생성 방법.
   
3. 제 1 항에 있어서,
   상기 객체의 객체 깊이 표현을 결정하는 단계는 적외선 거리 측정 장치(DMD)의 깊이 측정에 기초하는
   객체의 3차원 모델 생성 방법.
   
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 객체의 텍스처를 생성하는 단계는 카메라(CAM)의 2차원 화상에 기초하는
   객체의 3차원 모델 생성 방법.
   
5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 객체 깊이 표현으로부터 잡음과 배경 정보 중 적어도 하나를 필터링하는 단계를 더 포함하는
   객체의 3차원 모델 생성 방법.
   
6. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 객체 깊이 표현을 블러링(blurring)하는 단계를 더 포함하는
   객체의 3차원 모델 생성 방법.
   
7. 정상 조명 조건 하에서 객체(O)의 3차원 모델을 생성하는 시스템에 있어서,
   a. 거리 측정 장치(DMD)에 의해 수행된 객체 깊이 측정에 기초하여 상기 객체(O)의 깊이 정보를 결정하도록 구성되는 객체 깊이 표현 결정부(ODRP)와,
   b. 상기 객체(O)의 텍스처를 생성하도록 구성되는 텍스처 결정부(TDP)와,
   c. 상기 객체(O)의 객체 깊이 정보에 대한 변위 매핑을 이용하여 상기 객체의 3차원 모델을 생성하며 이어서 상기 변위 매핑을 이용하여 생성된 상기 객체의 상기 3차원 모델 상에 상기 텍스처를 매핑하도록 구성되는 매핑부(MP)를 포함하는
   객체의 3차원 모델 생성 시스템.
   
8. 제 1 항에 따른 방법에 이용하기 위한 3차원 모델 생성기에 있어서,
   a. 상기 객체(O)의 깊이 정보를 결정하도록 구성되는 객체 깊이 표현 결정부(ODRD)와,
   b. 상기 객체의 HD 텍스처를 생성하도록 구성되는 텍스처 결정부(TDP)와,
   c. 상기 객체(O)의 객체 깊이 정보에 대한 변위 매핑을 이용하여 상기 객체의 3차원 모델을 생성하며 이어서 상기 변위 매핑을 이용하여 생성된 상기 객체의 상기 3차원 모델 상에 상기 텍스처를 매핑하도록 구성되는 매핑부(MP)를 포함하는
   3차원 모델 생성기.

Images