KR20220054630A - 복수의 부분들을 포함하는 객체의 3차원 와이어프레임 모델을 생성하기 위한 컴퓨터-구현 방법 - Google Patents

Abstract

복수의 부분들을 포함하는 객체(2)의 3차원 와이어프레임 모델(13)을 생성하기 위한 컴퓨터-구현 방법(100)은: 복셀 맵을 생성하기 위해 바람직하게는 컴퓨터 단층촬영 방법(10a)으로 객체(2)를 스캐닝하는 단계(10); - 객체의 3차원 와이어프레임 모델(13)을 계산하는 단계(12); - 각각의 3차원 부분 모델이 객체의 하나의 부분에 대응하는 복수의 3차원 와이어프레임 부분 모델들(15)로 세그먼트화 하는 단계(14); - 상기 부분들을 부분 클래스들(17)로 분류(16)하기 위해 자가-학습 기계를 사용하는 단계(16); - 적어도 하나/하나 이상의 클래스(c1, c2, .. cn)에 대해 독립적으로 사용자(70)에 의해 선택된 적어도 하나의 품질 파라미터에 따라 3차원 와이어프레임 부분 모델들의 품질을 적응시키는 단계(18)를 포함한다. 질감은 사진측량 및/또는 PBR에 의해 모델에 적용될 수 있다.

Description

복수의 부분들을 포함하는 객체의 3차원 와이어프레임 모델을 생성하기 위한 컴퓨터-구현 방법

본 발명은 객체의 볼륨측정 스캐닝에 기반하여 객체의 3차원 모델을 생성하기 위한 컴퓨터-구현 방법에 관한 것이다. 특히, 본 방법은 객체의 버추얼 트윈(virtual twin)을 생성한다.

소프트웨어 게임들과 컴퓨터 애니메이션 영화들 또는 비디오는 3차원 모델들에 대한 수요 증가에 의존하고 있다. 현재, 해당 분야들의 애니메이션은 아티스트나 엔지니어가 3차원 모델링 소프트웨어를 갖는 컴퓨터에서 생성한 3차원 와이어프레임 모델들에 주로 의존한다. 이것은 복잡한 객체들을 모델링하기 위해 최대 몇 주의 작업 시간을 소요할 수 있는 번거롭고 작업이 많은 절차이다.

와이어프레임 3차원 모델을 계산할 수 있는 포인트 클라우드를 생성하기 위해 현실-세계 객체를 스캔하여 3차원 와이어프레임 모델들을 생성하는 것이 또한 제안되었다. 그러나, 사진측량, ToF(time-of-flight) 3차원 레이저 스캐너 및 삼각측량 레이저 스캐너들과 같은 일반적인 3차원 스캐너들은 객체의 외부 표면만 스캔할 수 있고 그러므로 객체의 내부 부분들 또는 구성요소들의 3차원 표현을 생성할 수 없다. 이러한 내부 부분들은 예를 들어 시나리오의 일부로 객체를 열거나, 부분들로 분할하거나, 분해해야 하는 경우 종종 모델의 일부여야 한다.

컴퓨터 단층촬영, 미세단층촬영 및 MRI와 같은 볼륨측정 스캐닝은 또한 객체 및 그 내부의 디지털 표현을 취득하는 데 사용되었다. 특히, 볼륨측정 스캐닝은 의료 관찰 및 진단을 위한 의료 분야, 또는 비-파괴 재료 테스팅, 리버스 엔지니어링(reverse engineering) 또는 생물학적 및 고생물학적 표본들 연구를 위한 산업에서 널리 사용되었다. 이는 2D 표면에 선택된 층을 투영하여 종종 표현되는 3차원 복셀 맵을 생성한다. 복셀 맵들은 객체의 전체 볼륨의 매우 정확한 표현을 생성하지만 매우 많은 데이터 파일들을 초래하여 빠른 렌더링, 빠른 조작 및 제한된 저장 요건들이 필요한 애니메이션 및 게임 소프트웨어에 제대로 적용되지 않게 된다.

표현의 크기를 감소시키기 위해, 컴퓨터 단층촬영(CT)으로 전달된 이러한 3차원 복셀 맵에서 3차원 와이어프레임 모델을 계산하는 것이 또한 제안되었다. 예로서, 특허 출원 US2001044576A호는 의료 관찰 및 진단을 위해 선택된 신체 기관들의 상호작용 및 3차원 렌더링들을 시행하는 방법을 개시한다. US2001044576A호에서, 일련의 CT 이미지들은 적층되어 3차원 볼륨 파일을 형성한다. 선택된 볼륨 또는 서브-볼륨에서, 선택된 신체 기관의 이미지는 세그먼트화되거나 분리된다. 이어서 세그먼트화된 장기 이미지의 와이어프레임 모델은 생성되어 선택된 장기의 대화식 3차원 렌더링을 가능하게 한다.

예를 들어 자기 공명 이미징, 컴퓨터 단층촬영 및 3차원 혈관조영술을 사용하여 3차원 모델로부터 데이터를 유도하는 것을 포함하는 혈관내시경을 위한 신체 부위의 혈관들에 대한 가상 조영제를 제공하는 방법을 개시하는 특허 US6711433B호에서 다른 솔루션이 제안되었다. 복셀 맵 데이터는 세그먼트화되어 혈관들의 세그먼트화된 3차원 모델을 제공한다. 이어서 3차원 모델은 제1 절차 이미지와 정합되고 "가상 카메라 파라미터들"이 획득된다.

의료 분야에서 벗어나, 복잡한 산업 객체들의 검사 및 시각화가 WO2018/127715A1호에 개시되었고, 이는 예를 들어 차량의 복잡한 엔진 같은 객체의 복수의 구성요소들의 3차원 모델을 획득하기 위한 방법을 제공한다. 방법은 2D x-선 데이터를 생성하기 위해 객체를 스캐닝하는 단계, 이어서 다중-해상도 3D x-선 데이터, 즉 객체의 각 기본 볼륨("복셀")의 그레이스케일 표현을 획득하도록 프로세싱되는 것을 포함한다.

이어서 3D x-선 데이터는 서브세트들로 나뉘고, 각 서브세트는 수십 개 이상의 구성요소들을 포함한다. 서브세트는 객체의 모듈 또는 서브어셈블리에 해당할 수 있다. 이어서 각 서브세트는 (예를 들어, 이미지를 선명하게 하고, 이미지들의 아티팩트들을 감소시키고, 대비를 개선하는 등의 알고리즘들을 사용하여) 프로세싱되고, 프로세싱은 상이한 서브세트들에 대해 상이한 이미지 품질을 초래할 수 있다. 이어서 NURBS들과 같은 연결된 표면들의 모음으로 표현을 사용하여, 각 구성요소의 CAD 모델이 생성된다. 상이한 서브세트들의 구성요소들의 표현의 품질이 다를 수 있지만, 이 서브세트에 적용되는 이미지 프로세싱에 따라, 구성요소들의 표현 크기는 그들이 속한 서브세트에 의존하지 않는다. 최적화는 복셀 도메인에서만 발생한다.

컴퓨터 단층촬영 장비와 같은 볼륨측정 스캐너들에 의해 전달된 3차원 복셀 맵들에서 생성된 3차원 와이어프레임 모델들은 CT 장비에 의해 전달되는 데이터 파일들의 고해상도로 인해, 일반적으로 매우 많은 수의 다각형들을 갖는다. 그러므로, 데이터 파일들은 매우 무겁고 저장 및 프로세싱을 위해 많은 저장 공간과 컴퓨팅 전력을 요구한다. 3차원 와이어프레임 모델의 이러한 고해상도가 하나의 단일 2D 이미지에서 작은 세부사항을 종종 검출해야 하는 의료 또는 산업 애플리케이션들에서 바람직할 수 있지만, 컴퓨터 게임들 및 비디오 애니메이션은 렌더링을 가속화하기 위해 낮은 다각형 수를 갖는 많은 3차원 와이어프레임 모델들에 의존한다.

그러므로, 3차원 최적화 소프트웨어는 3차원 와이어프레임 모델들을 단순화하고 3차원 와이어프레임 모델의 크기를 감소시키기 위해 종래 기술에서 널리 사용된다. 이러한 방법들이 모델의 다각형들의 수를 감소시키는 데 효율적이지만, 크기에 영향을 줄 수 있는 모델의 다른 파라미터들에는 영향을 주지 않는다.

예를 들어 복잡한 객체의 다른 구성요소들과 같은 객체의 다른 부분들이 상이한 품질의 표현을 필요로 하는 경우가 종종 있다. 예로서, 디바이스의 가상 표현의 외부 표면들은 디스플레이될 가능성이 적은 내부 표면들보다 더 정확한 표현을 종종 필요로 한다.

그러나, 복잡한 모델들의 모든 부분들은 동일한 최적화를 겪는다. 그러므로, 최적화는 최고 품질의 렌더링을 요구하는 외부 표면과 같은 객체의 부분들 또는 구성요소들에 적응될 필요가 있고; 더 낮은 품질의 모델로 표현될 수 있는 동일한 객체의 부분들의 최적화는 차선책이다. 다시, 저품질만을 요구하는 모델들의 부분들도 고품질 3차원 와이어프레임 모델로 표현되기 때문에, 무겁고 조작이 느린 3차원 와이어프레임 모델들이 초래될 수 있다.

복잡한 객체의 상이한 구성요소들에 대해 상이한 품질의 3차원 와이어프레임 모델들을 수동으로 정의하는 것이 고려될 수 있다. 그러나, 객체가 모델의 품질을 개별적으로 조정해야 하는 많은 양의 구성요소들로 구성된 경우 이는 매우 성가신 프로세스일 것이다.

본 발명의 목적은 전술한 단점들 중 적어도 일부를 제거하거나 완화하는 것이다.

특히 객체의 중요한 부분들에 대해 특히, 데이터 크기가 제한적이지만 여전히 높은 품질의 표현으로 객체의 3D 와이어프레임 모델을 생성하는 것이 바람직할 것이다.

또한, 모델의 색상들과 질감들의 렌더링을 개선하는 것이 바람직할 것이다.

본 발명에 따르면, 이러한 목적들은 다음 단계들을 포함하는 복수의 부분들을 포함하는 객체의 3차원 와이어프레임 모델을 생성하기 위한 컴퓨터-구현 방법에 의해 달성된다:

복셀 맵을 생성하기 위해 바람직하게는 컴퓨터 단층촬영 방법으로 객체를 스캐닝하는 단계;

복수의 부분 모델들로 세그먼트화하는 단계로서, 각 부분 모델은 객체의 하나의 부분에 대응하는, 상기 복수의 부분 모델들로 세그먼트화하는 단계;

상기 부분들을 부분 클래스(class)들로 분류하는 단계;

각 부분의 3차원 와이어프레임 부분 모델을 생성하는 단계로서, 3차원 와이어프레임 부분 모델들의 품질은 각 클래스에 대해 사용자에 의해 독립적으로 선택된 적어도 하나의 품질 파라미터에 의존하는, 상기 각 부분의 3차원 와이어프레임 부분 모델을 생성하는 단계.

따라서, 객체의 상이한 부분들의 세그먼트화 및 분류는 제한된 수의 부분들의 클래스들을 정의하고, 각 클래스에 적용할 모델의 품질들을 정의하는 데 사용될 수 있다.

클래스들은 바람직하게 사용자 정의되고; 사용자는 새로운 클래스들을 정의할 수 있다.

클래스들로의 부분들의 분류는 바람직하게 인공 신경망과 같은 자가-학습 모듈을 사용하여 생성된다.

사용자는 부분들을 새로운 클래스들로 분류하는 방법을 자가-학습 시스템에 가르치거나, 기존 클래스들로 분류를 개선할 수 있다. 자가-학습 시스템은 이 피드백으로 훈련되고, 다른 부분들의 분류를 개선시킬 것이다.

적어도 하나의 클래스는 복수의 부분들을 포함한다. 클래스의 품질을 적응시키는 것은 해당 클래스의 각 부분의 3차원 와이어프레임 부분 모델의 품질에 자동으로 영향을 준다.

일 실시예에서, 방법은 스캔된 객체의 이전에 생성된 정적 3차원 와이어프레임 모델로부터 동적 3차원 와이어프레임 모델을 생성한다. 동적 3차원 모델은 상이한 부분들이 예를 들어 질량, 질량 중심 및/또는 강성과 같은 물리적 속성들과 연결된 모델이어서, 모델은 시뮬레이션이나 비디오 게임에서 사용되고 환경에 현실적인 방식으로 반응할 수 있다. 예를 들어, 이러한 동적 3차원 와이어프레임 모델에 적용된 가상 힘은 질량, 질량 중심 및/또는 강성에 따르는 객체 표현에 영향을 준다.

컴퓨팅, 세그먼팅, 분류 및/또는 적응 단계들은 바람직하게는 (각 클래스에 대해 요구되는 품질을 정의하기 위해 별도로) 임의의 사용자 개입 없이 수행되어, 3차원 와이어프레임 모델의 생성 프로세스를 촉진한다.

일 실시예에서, 세그먼팅 단계는 복셀 맵에 대해 수행되어, 각각의 세그먼트화된 부분에 대응하는 복수의 부분 복셀 맵들을 초래한다. 이어서, 각 부분 복셀 맵은 3차원 와이어프레임 부분 모델로 변환된다.

방법들의 다른 단계들은 세그먼트화가 수행되는 데이터의 방식 및 유형과 무관하다.

대안적으로, 객체의 복셀 맵은 단일 3차원 와이어프레임 모델로 변환되고, 이어서 복수의 3차원 와이어프레임 모델들로 세그먼트화된다.

바람직하게는, 각 부분에 대한 품질 파라미터는 해당 부분을 표현하는 데 사용되는 다각형들의 수를 결정한다.

3차원 와이어프레임 부분 모델들의 품질을 적응시키는 단계는 부분에 대한 최적화된 3차원 와이어프레임 부분 모델을 계산하는 단계를 포함할 수 있고, 여기서 각 부분의 다각형들의 수는 상기 품질 파라미터에 의존한다.

바람직한 방법에서, 하나의 부분에 대한 품질 파라미터는 질감 및/또는 색상이 해당 부분에 적용되어야 하는지 여부를 결정한다.

따라서, 3차원 와이어프레임 모델들의 품질을 적응시키는 것은 질감 및/또는 색상이 하나의 부분에 적용되어야 하는지 여부를 결정하는 것을 포함할 수 있다.

바람직하게는 하나의 부분에 대한 품질 파라미터는 부분의 질량 및/또는 질량 중심을 결정해야 하는지 여부를 결정한다.

바람직하게는, 하나의 부분에 대한 품질 파라미터는 부분의 중단점(break point)들 또는 불연속선(break line)들의 수를 결정한다.

바람직하게는, 적어도 하나의 품질 파라미터를 적응시키는 단계는 각 클래스에 대해 복수의 품질 파라미터를 개별적으로 적응시키는 단계를 포함한다.

더 바람직하게는, 적어도 하나의 품질 파라미터를 적응시키는 단계는 글로벌 품질 계수를 선택하는 것을 포함한다.

또한, 객체는 적어도 하나의 구성요소를 포함하고, 상기 구성요소 중 하나는 상이한 품질들을 갖는 상이한 3차원 모델들이 적용되어야 하는 복수의 부분들을 포함한다.

보다 바람직하게는, 상기 클래스들은 불활성 객체 또는 내부 구성요소 중 적어도 하나를 포함한다.

또한, 상기 클래스들은 외부 표면; 내부 표면 중 적어도 하나를 포함한다.

바람직하게는 하나의 자가-학습 모듈이 상기 세그먼팅에 사용된다.

방법은 컴퓨터 단층촬영 방법으로 객체를 스캐닝하는 단계, 및 사진측량으로 객체의 색상 및/또는 질감을 취득하는 추가 단계를 포함할 수 있다. 그러므로, 적어도 객체의 외부 표면들의 색상들 및/또는 질감들의 고품질 렌더링이 달성될 수 있다.

사진측량 방법으로 객체의 색상 및/또는 질감의 취득은 컴퓨터 단층촬영 방법으로 스캐닝하는 것과는 별개로, 객체의 스캐닝을 포함할 수 있다.

방법은 컴퓨터 단층촬영 스캐닝에서 생성된 데이터를 사진측량 및/또는 물리적 기반 렌더링에서 생성된 데이터와 정합하는 단계를 포함할 수 있다.

정합은 객체에 참조 마크를 사용할 수 있다.

참조 마크는 수동으로 추가될 수 있다. 대안적으로, 참조 마크는 자동으로 추출될 수 있고 예를 들어 객체의 에지 또는 모서리에 대응할 수 있다.

색상들 및/또는 질감들은 물리적 기반 렌더링 방법을 사용하여 객체의 렌더링을 개선하기 위해 상기 와이어프레임에 적용될 수 있다.

색상들 및/또는 질감들은 객체를 부분들로 세그먼트화하는 것을 개선하는 데 사용될 수 있다. 예를 들어, 색상 및/또는 질감의 변화가 검출되고 인접한 2개의 부분들 사이의 한계에 해당할 수 있다.

색상들 및/또는 질감들은 또한 또는 대안적으로 부분들로 클래스들의 상기 분류에 사용될 수 있다. 예를 들어, 미세 구조를 갖는 부분은 덜 미세한 질감의 부분보다 더 미세한 모델로 설명될 부분들의 그룹으로 분류될 수 있다.

사진측량은 객체의 외부 표면들의 색상 및/또는 질감만 나타낼 수 있다. 방법은 상기 객체의 내부 표면들의 색상 및/또는 질감을 추정하는 단계를 포함할 수 있다.

가정은 객체의 내부 표면들/내부 부분들의 재료 및/또는 모양을 결정하기 위해 컴퓨터 단층촬영 스캐닝에서 생성된 데이터 및/또는 사진측량에서 생성된 데이터를 사용할 수 있다.

가정은 상기 객체의 내부 표면들의 가장 가능성 있는 색상 및/또는 질감을 결정하기 위해 인공 지능 시스템과 같은 분류 시스템을 사용할 수 있다.

적어도 하나의 3차원 모델 데이터 파일은 온라인 플랫폼에 저장되어 복수의 사용자들에게 이용가능하게 할 수 있다.

본 발명은 또한 복수의 부분들을 포함하는 객체의 3차원 와이어프레임 모델을 생성하기 위한 컴퓨터-구현 방법에 관한 것으로, 하기 단계들을 포함한다:

복셀 맵을 생성하기 위해 컴퓨터 단층촬영 방법으로 객체를 스캐닝하는 단계;

객체의 외부 표면들의 색상들과 질감들을 검색하기 위해 사진측량에 의해 객체를 스캐닝하는 단계;

컴퓨터 단층촬영으로 검색된 데이터와 사진측량으로 검색된 데이터를 정렬하는 단계;

객체의 3차원 모델을 생성하는 단계.

본 발명은 예로서 제공되고 도면에 의해 예시된 실시예의 설명의 도움으로 더 잘 이해될 것이다.

도 1은 본 발명의 컴퓨터 구현 방법의 가능한 실시예의 다양한 단계들을 도시한다.

도 2a는 사용자 인터페이스의 제1 실시예의 화면 표현을 도시한다.

도 2b는 사용자 인터페이스의 제1 실시예의 화면 표현을 도시한다.

도 3은 사진측량 및/또는 PBR 스캐닝 시스템에 의해 생성된 이미지 파일의 예를 예시한다.

본 발명에 따르면, 컴퓨터-구현 방법은 객체의 소위 버추얼 트윈을 생성하기 위해 객체의 3차원 와이어프레임 모델을 생성하기 위한 일련의 방법 단계들을 제공한다.

도 1에 도시된 바와 같이, 방법은 바람직하게는 컴퓨터 단층촬영(CT) 방법에 의해 현실-세계 객체를 볼륨측정 스캐닝하는 단계(10)를 포함한다. CT 스캔은 의료 분야와 제조 산업 둘 모두에서 검사 목적들을 위해 잘-확립된 방법이다. CT 스캔은 각각이 자신의 포지션 및 적어도 하나의 값에 의해 정의되는 복셀들의 세트(110)를 포함하는 복셀 맵(11)을 생성한다. 복셀 맵은 자르기, 노이즈 제거, 일부 또는 각 복셀에 색상 값들 추가 등에 의해 후속 프로세싱될 수 있다.

단계(12)에서, 3차원 와이어프레임 모델(13)은 복셀 맵으로부터 계산된다. 이 모델은 정적이고, 즉, 에지들(130)(라인들)과 꼭지점들(131)만 포함하고, 질량, 질량 중심 또는 강성에 관한 정보가 없다.

선택적 단계(12a)에서, 객체는 객체의 외부 표면들의 색상들 및 질감들을 나타내는 2D 이미지 파일(14)을 생성하기 위해 사진측량 스캐닝 시스템을 사용하여 스캐닝된다. 이러한 이미지 파일(14)의 예가 도 3에 표현된다.

컴퓨터 단층촬영 스캐닝에서 생성된 와이어프레임 모델 또는 부분 모델들은 사진측량으로 생성된 2D 이미지 데이터와 정렬된다.

일 예에서, 사진측량에 의해 생성된 2D 이미지 파일은 와이어프레임 모델의 외부 표면들 주위에 둘러싸여져, 질감들 및 색상화된 외부 표면들을 갖는 객체의 와이어프레임 표현(140)을 생성한다.

정합은 객체, 즉 이러한 피처(feature) 상의 참조 마크를 사용할 수 있다. 이 참조 마크는 2개의 스캔 단계들 전에 객체에 수동으로 추가할 수 있다. 대안적으로, 참조 마크는 자동으로 추출될 수 있고 예를 들어 객체의 에지 또는 모서리에 대응할 수 있다.

대안적으로, 색상들 및/또는 질감들은 사용자에 의해 수동으로 선택되고/되거나, 각각의 표면의 특성 또는 재료의 분석에 기반하여 자동으로 결정될 수 있다.

사진측량은 객체의 외부 표면들의 색상 및/또는 질감만 나타낼 수 있다. 방법은 상기 객체의 내부 표면들의 색상 및/또는 질감을 추정하는 단계를 포함할 수 있다.

객체의 내부 표면들의 색상 및/또는 질감의 가정은 객체의 내부 표면들/내부 부분들의 재료 및/또는 모양을 결정하기 위해 컴퓨터 단층촬영 스캐닝에서 생성된 데이터 및/또는 사진측량에서 생성된 데이터를 사용할 수 있다.

가정은 상기 객체의 내부 표면들의 가장 가능성 있는 색상 및/또는 질감을 결정하기 위해 인공 지능 시스템과 같은 분류 시스템을 사용할 수 있다.

다른 실시예에서, 색상들 및/또는 질감들은 3차원 와이어프레임 부분 모델의 일부 또는 전부에 나중 단계에서 추가된다.

색상들 및/또는 질감들은 예를 들어 라인들 사이의 표면들 중 적어도 일부에 질감들 및/또는 색상들을 추가하기 위해, 예를 들어 물리적 기반 렌더링 방법을 사용하여 객체의 렌더링을 개선하기 위해 상기 와이어프레임에 적용될 수 있다.

단계(14)에서, 3차원 와이어프레임 모델(13)은 복수의 3차원 와이어프레임 부분 모델들(15A, 1B 등)로 세그먼트화된다. 각 3차원 와이어프레임 부분 모델은 객체의 하나의 부분을 나타내고; 하나의 부분은 예를 들어 별도의 구성요소 또는 객체의 별개의 표면일 수 있다. 예에서, 제1 부분(15A)은 더 높은 해상도를 요구하는 더 짧은 에지들을 갖는 부분(150)을 포함한다.

일 예에서, 예를 들어 시계의 별개의 기어들과 같은 복수의 구성요소들을 포함하는 기계 객체의 각 구성요소는 이 세그먼트화 단계에 의해 별개의 3차원 와이어프레임 부분 모델이 획득되는 부분이다.

다른 예에서, 단일 구성요소는 예를 들어 내부 표면 및 외부 표면과 같은 별개의 표면들을 가질 수 있고, 이는 별개의 3차원 와이어프레임 부분 모델들이 세그먼트화에 의해 획득되는 상이한 부분들을 나타낸다.

세그먼트화는 예를 들어 2개의 부분들 사이의 빈 볼륨, 및/또는 부분들 간의 재료들 또는 밀도의 차이들의 검출에 기반할 수 있다. 예를 들어 외부 부분들과 내부 부분들을 구별하기 위해 일부 부분들은 또한 자신의 포지션에 기반하여 분리될 수 있다. 일부 부분들은 (예를 들어, 부분들 사이에 라인들을 그림으로써) 사용자 인터페이스에서 사용자에 의해 수동으로 식별될 수 있다.

사진측량에 의해 결정된 색상들 및/또는 질감들은 부분들로 객체의 세그먼트화를 개선하는 데 사용될 수 있다. 예를 들어, 색상 및/또는 질감의 변화가 검출되고 인접한 2개의 부분들 사이의 한계에 해당할 수 있다.

세그먼트화 단계(14)는 완전히 또는 부분적으로 자동화될 수 있고 공지된 세그먼트화 알고리즘들, 또는 대안적으로 상이한 부분들을 분리하기 위해 기계 학습/인공 신경망 모듈들을 사용할 수 있다.

이어서, 3차원 와이어프레임 부분 모델들(15)은 단계(16) 동안 복수의 사용자-정의 클래스들(c1, c2, .., cn)로 분류되고, 각 클래스는 하나 또는 복수의 3차원 와이어프레임 부분 모델들을 포함한다. 이 분류는 수동으로, 또는 바람직하게는 소프트웨어 분류기와 같은 분류기, 바람직하게는 사용자에 의해 사전에 훈련된 인공 신경망과 같은 자가-학습 기계에 의해 또는 다른 방법으로 수행될 수 있다. 사용자는 일부 부분 모델들의 분류를 수정할 수 있고, 이는 가능하게 자가-학습 기계에 대한 새로운 훈련과 다른 3차원 와이어프레임 부분 모델들의 자동 재분류를 초래한다.

3차원 와이어프레임 부분 모델들의 분류는 예를 들어 크기, 위치, 자동으로 인식될 수 있는 부분 유형, 또는 임의의 다른 파라미터들에 의존할 수 있다.

일 예에서, 클래스들 중 하나는 가구들 또는 배경 항목들과 같은 불활성 객체들에 해당한다. 열리거나 끊어져야 하는 전경 객체에 대해 다른 클래스가 정의될 수 있다. 외부 표면들 또는 각각 내부 표면들에 대해 추가 클래스들이 정의될 수 있다.

색상들 및/또는 질감들은 또한 또는 대안적으로 부분들로 클래스들의 상기 분류에 사용될 수 있다. 예를 들어, 미세 구조를 갖는 부분은 덜 미세한 질감의 부분보다 더 미세한 모델로 설명될 부분들의 그룹으로 분류될 수 있다.

사용자는 새로운 클래스들을 추가하거나 편집하고 새로운 클래스 또는 새롭게 편집된 클래스에 속해야 하는 부분들을 자동으로 인식하도록 자가-학습 기계를 훈련할 수 있다. 일 실시예에서, 사용자는 부분들의 일부 또는 각각을 하나의 사용자-선택 클래스에 할당할 수 있고; 이어서 해당 부분들을 분류하기 위해 자가-학습 분류기가 요구되지 않는다. 예를 들어, 사용자는 자신의 사용에 중요한 역할을 하고 보다 정확한 모델을 필요로 하는 부분을 수동으로 분류할 수 있다.

단계(18)에서, 각 3차원 와이어프레임 부분 모델은 모델의 다각형들의 수를 감소시킴으로써 적응(즉, 최적화)된다. 이 최적화는 각 클래스에 할당된 사용자-정의 품질에 의존한다. 예를 들어, 사용자는 클래스(c1)에 속하는 부분들이 더 최적화되어 다른 클래스(c2)에 속하는 부분들보다 더 작은 파일들을 초래한다고 결정할 수 있다. 도 1에서, 클래스(1)의 모델들의 더욱 강한 최적화는 일부 다각형들의 제거를 초래한다(부분(150)이 사라짐).

각 클래스에 대한 사용자-정의 품질은 또한 색상 및/또는 질감이 하나의 클래스의 모델들에 적용되어야 하는지 여부, 및/또는 적용되는 경우 질감 패턴의 크기를 결정할 수 있다.

각 클래스에 대한 사용자-정의 품질은 또한 광 반사 파라미터들이 부분의 외부 표면들에 연관되어야 하는지 여부를 결정할 수 있다.

각 클래스에 대한 사용자-정의 품질은 또한 해당 부분이 동적이어야 하는지 여부를 결정할 수 있다. 예를 들어, 품질은 객체의 질량이 하나의 특정 클래스의 객체들로 결정되어야 하는지 여부를 결정할 수 있다.

각 클래스에 대한 사용자-정의 품질은 또한 하나의 특정 클래스에 있는 객체들에 대해 객체의 질량 중심을 결정해야 하는지 여부를 결정할 수 있다. 대부분의 사용 경우들에서, 질량 중심은 중력의 중심과 같다.

각 클래스에 대한 사용자-정의 품질은 또한 하나의 특정 클래스에 있는 객체들에 대해 객체의 강성을 결정해야 하는지 여부를 결정할 수 있다.

각 클래스에 대한 사용자-정의 품질은 또한 부분 모델이 파손가능한지 여부와 중단점들 또는 불연속선들을 포함하는지 여부를 결정할 수 있다.

각 클래스에 대한 사용자-정의 품질은 또한 각 모델의 최대 크기를 결정할 수도 있고; 하나의 부분의 표현의 다각형들의 수 및/또는 질감들 또는 다른 파라미터들은 적합한 크기, 예를 들어 임계치보다 작은 크기를 갖는 부분의 3차원 와이어프레임 모델을 획득하기 위해 선택되거나 적응된다.

각 클래스에 대한 사용자-정의 품질은 또한 여러 파라미터들의 조합일 수 있는 전체 품질 계수에 해당할 수 있다.

모델들의 다양한 파라미터들, 예를 들어, 다각형들의 수 및/또는 질감 크기 등은 해당 품질 계수에 해당하는 부분의 3차원 와이어프레임 모델을 획득하기 위해 적응된다.

예로서: 객체의 외부 표면에 해당하는 부분은 그렇게 분류되어야 하고, 예를 들어 금속 표면 및 많은 수의 다각형들과 같은 질감과 연관되어야 한다. 예를 들어 볼트와 같이 덜 중요한 내부 구성요소와 같은 다른 부분은 상이한 클래스에 할당되어 정교한 질감 대신 단순한 색상과, 더 적은 수의 다각형들을 수용할 수 있다.

이어서, 모델의 각 부분에 대해 개별적으로 최적화된 복수의 와이어프레임 부분 모델들을 포함하는, 객체의 최적화된 3차원 와이어프레임 모델은 저장소(28)에 저장된다. 일 예에서, 저장소는 복수의 사용자들 사이에서 모델을 공유하기 위한 인터넷 플랫폼일 수 있다.

상술한 실시예에서, 전체 객체의 복셀 맵은 전체 객체의 3차원 와이어프레임 모델로 변환되고, 복수의 3차원 와이어프레임 부분 모델로의 세그먼트화는 와이어프레임 모델에 대한 단계(14)에서 수행된다. 이것은 예를 들어, 세그먼트화가 3차원 메시를 분석하여 이루어질 수 있고, 예를 들어, 3차원 와이어프레임 부분 모델들이 연결해제되거나 제대로 연결되지 않거나, 각 부분의 형상, 치수들 및/또는 포지션에 관한 일부 선험적인 가정들로 시행될 수 있다. 예를 들어 외부 표면 부분들을 내부 표면 부분들로부터 구별하는 것은 이미 변환된 와이어프레임 모델에서 수행할 수 있다.

다른 실시예(예시되지 않음)에서, 세그먼트화는 객체의 복셀 맵에서 수행되어, 복수의 부분 복셀 맵들(부분 모델들)을 초래하고, 이어서 개별적으로 3차원 와이어프레임 부분 모델들로 변환된다. 각 와이어프레임 부분 모델의 품질 적응은 변환하는 동안 및/또는 변환된 3차원 와이어프레임 부분 모델을 최적화하여 수행할 수 있다. 이 실시예는 CT 스캔에 의해 전달된 복셀 맵의 복셀 값들의 일부일 수 있는 상이한 밀도들 또는 x-선 감쇠들을 갖는 부분들을 세그먼트화하는 데 더 효과적일 수 있다.

둘 모두의 실시예들은 또한 결합될 수 있고, 예를 들어 외부 표면들을 세그먼트화하기 위해 변환된 3차원 와이어프레임 모델에 대한 제2 세그먼트화 전에 예를 들어 상이한 밀도들 또는 감쇠들을 갖는 구성요소들을 세그먼트화하기 위해 복셀 맵에서 제1 세그먼트화가 수행될 수 있다.

상술한 방법들은 다양한 품질들과 크기를 가진 객체의 상이한 부분들의 3차원 와이어프레임 모델들을 생성한다. 더 낮은 품질의 모델들은 저장 공간이 덜 필요하고 고품질 모델들보다 조작 속도가 빠르다. 그러나, 렌더링 품질은 또한 부분의 각 클래스에 적응될 수 있고; 예를 들어, 고품질 3차원 와이어프레임 모델은 해당 부분의 고품질 렌더링을 생성하거나, 가능하게 더 빠르지만 품질이 낮은 렌더링을 생성하는 데 사용될 수 있다. 상이한 클래스들의 부분들의 분류는 모델 생성뿐만 아니라, 렌더링의 유형이나 품질을 결정하는 데에 사용될 수 있다.

도 2a는 하나의 클래스(여기서 c1)에서 모든 3차원 와이어프레임 부분 모델들의 품질을 결정하기 위해 사용자에게 제시될 수 있는 사용자 인터페이스의 예를 예시한다. 인터페이스는 복수의 품질 파라미터들(q1, q2, .., qn)의 값을 개별적으로 선택하기 위한, 예를 들어 슬라이더들, 틱 박스(tick box)들, 텍스트 또는 값 박스들 등과 같은 다수의 사용자 인터페이스 위젯들을 제시한다. 선택적으로, 예를 들어 하나의 특정 클래스에 적용될 하나의 질감 또는 색상을 선택하기 위해 일부 파라미터들의 미리보기 표현이 디스플레이될 수 있다.

도 2b는 하나의 클래스(여기서 c1)에서 모든 3차원 와이어프레임 부분 모델들의 품질을 결정하기 위해 사용자에게 제시될 수 있는 사용자 인터페이스의 다른 예를 예시한다. 인터페이스는 클래스에 적용된 단일 품질 파라미터(q)를 결정하기 위해 예를 들어 슬라이더 또는 값 박스와 같은 하나의 단일 사용자 인터페이스 위젯들을 제시하고; 이 단일 요소는 여러 품질 파라미터들의 가중 조합일 수 있다. 최적화 모듈은 해당 품질 파라미터에 도달하기 위해 부분 모델을 최적화하는 최상의 방식을 자동으로 결정한다.

본 발명은 또한 상술한 단계들의 일부 또는 전부를 수행하기 위한 컴퓨터 프로그램에 관한 것이다. 컴퓨터 프로그램은 비-일시적 컴퓨터 판독 가능매체에 저장될 수 있다. 또한, 본 발명은 이전에 설명된 방법으로 획득된 객체의 적어도 하나의 3차원 와이어프레임 모델을 포함하는 데이터 구조 및/또는 데이터 저장소 시스템에 관한 것이다.

추가 특징들 및 용어

본 출원에서 "복셀 맵"이라는 표현은 객체가 3차원 공간에서 정규 격자의 값들로 표현되는 3차원 물리적 객체의 임의의 표현을 표시한다. 값은 주어진 포지션에 고체 객체가 있음을 나타낼 수 있고; 일부 실시예들에서, 값은 또한 국부적 x-선 감쇠, 그레이 레벨, 국부적 밀도 등을 나타낼 수 있다. 또한, 국부적 질량은 또한 CT 스캔으로부터 유도될 수 있고 각각의 복셀에 대해 표시될 수 있다.

본 출원에서 "3차원 와이어프레임 모델"이라는 표현은 객체가 에지들과 꼭지점들로 표현되는 3차원 물리적 객체의 임의의 표현을 표시한다. 3차원 와이어프레임 모델은 또한 일부 표면들에 대한 질감들 및/또는 색상들과 같은 다른 시각적 파라미터들, 및/또는 예를 들어 질량, 질량 중심 및/또는 강성과 같은 물리적 파라미터들을 포함할 수 있다.

3차원 와이어프레임 모델들은 비어 있거나 균일하게 채워진 볼륨들이 많은 3차원 구조들을 효율적으로 표현할 수 있는 반면, 복셀 맵들은 생물학적 조직들과 같이 균일하지 않게 채워진 볼륨 공간들을 표현하는 데 더 유용하다. 컴퓨터 게임들과 컴퓨터 애니메이션은 렌더링과 조작이 더 빠른 경향이 있기 때문에 일반적으로 3차원 와이어프레임 모델들을 필요로 한다.

제안된 방법은 개인용 컴퓨터들, 그래픽 스테이션들, 서버들, 가상 서버들, 태블릿들, 스마트폰들 등을 제한 없이 포함하는 임의의 컴퓨터 장비에서 수행될 수 있다.

실시예에 따라, 본원에 설명된 임의의 알고리즘들의 소정 행위들, 이벤트들 또는 기능들은 상이한 시퀀스로 수행될 수 있고, 추가, 병합 또는 완전히 생략될 수 있다(예를 들어, 설명된 모든 행위들 또는 이벤트들이 방법들의 실시에 필요하지 않음). 또한, 소정 실시예들에서, 행위들 또는 이벤트들은, 예를 들어, 다중-스레드 프로세싱, 인터럽트 프로세싱, 또는 다중 프로세서들 또는 프로세서 코어들을 통해 또는 순차적으로가 아니라 다른 병렬 아키텍처들에서 동시에 수행될 수 있다. 또한, 상이한 임무들이나 프로세스들은 함께 기능할 수 있는 상이한 기계들 또는 컴퓨팅 시스템들에 의해 수행될 수 있다.

본원에 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로 구현될 수 있다. 하드웨어와 소프트웨어의 이러한 호환성을 명확하게 예시하기 위해, 다양한 예시적인 구성요소들, 블록들, 모듈들 및 단계들은 일반적으로 기능 측면에서 상술되었다. 이러한 기능이 하드웨어로 구현되는지 소프트웨어로 구현되는지 여부는 전체 시스템에 부과되는 특정 애플리케이션 및 설계 제약들에 따른다. 설명된 기능은 각각의 특정 애플리케이션에 대해 다양한 방식들로 구현될 수 있지만, 그러한 구현 결정들은 본 개시내용의 범위에서 벗어나는 원인으로 해석되어서는 안 된다.

본원에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들 및 모듈들은 기계, 마이크로프로세서, 상태 머신, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), FPGA, 또는 다른 프로그램가능 논리 디바이스, 이산 게이트 또는 트랜지스터 논리, 이산 하드웨어 구성요소들, 또는 본원에 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합에 의해 구현되거나 수행될 수 있다.

본원에 개시된 실시예들과 관련하여 설명된 방법, 프로세스 또는 알고리즘의 단계들은 하드웨어, 하나 이상의 메모리 디바이스들에 저장되고 하나 이상의 프로세서들에 의해 실행되는 소프트웨어 모듈, 또는 둘의 조합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM 또는 임의의 다른 형태의 비-일시적 컴퓨터-판독가능 저장 매체, 매체, 또는 물리적 컴퓨터 저장소에 상주할 수 있다. 예시적인 저장 매체는 프로세서가 저장 매체로부터 정보를 읽고 정보를 기록할 수 있도록 프로세서에 결합될 수 있다. 대안으로, 저장 매체는 프로세서에 통합될 수 있다. 저장 매체는 휘발성 또는 비휘발성일 수 있다. 프로세서와 저장 매체는 ASIC에 상주할 수 있다.

특별히 달리 언급되거나, 사용된 문맥 내에서 달리 이해되지 않는 한, 특히 예를 들어 "~할 수 있다(can, might, may)" 등과 같은 본원에 사용된 조건부 언어는 일반적으로 소정 실시예들이 소정 특징들, 요소들 또는 상태들을 포함하는 반면, 다른 실시예들이 이들을 포함하지 않는 것을 전달하기 위해 의도된다. 따라서, 그러한 조건부 언어는 일반적으로, 특징들, 요소들 또는 상태들이 하나 이상의 실시예들에 대해 어떤 식으로든 요구되거나 하나 이상의 실시예들이 작성자 입력 또는 프롬프팅을 가지거나 없이, 특징들, 요소들 또는 상태들이 임의의 특정 실시예에 포함되거나 이 내부에서 수행되는지 여부를 결정하기 위한 논리를 필수적으로 포함하는 것을 암시하도록 의도되지 않는다. "포함하는(comprising, including)", "가지는(having)" 등의 용어들은 동의어이고 포괄적으로 개방형 방식으로 사용되고, 추가 요소들, 특징들, 행위들, 동작들 등을 배제하지 않는다. 또한 "또는"이라는 용어는 포괄적인 의미(배타적 의미가 아님)로 사용되므로, 예를 들어 요소들의 목록을 연결하는 데 사용되는 경우, "또는"이라는 용어는 목록 내 요소들 중 하나, 일부 또는 전체를 의미한다. 또한, 그 본래의 의미를 가지는 것에 더하여, 본원에 사용된 바와 같은 "각각"이라는 용어는 "각각"이라는 용어가 적용되는 요소들의 세트의 임의의 서브세트를 의미할 수 있다.

Claims (20)

1. 복수의 부분들을 포함하는 객체(2)의 3차원 와이어프레임 모델(13)을 생성하기 위한 컴퓨터-구현 방법(100)에 있어서,
   - 복셀 맵(voxel map)을 생성하기 위해 바람직하게는 컴퓨터 단층촬영 방법(10a)으로 상기 객체(2)를 스캐닝하는 단계(10);
   - 각 부분 모델이 상기 객체의 하나의 부분에 대응하는 복수의 부분 모델들(15)로 세그먼트화하는 단계(14);
   - 상기 부분들을 부분 클래스(class)들(c1, c2, ..cn)로 분류하는 단계(16);
   - 각 부분의 3차원 와이어프레임 부분 모델을 생성하는 단계(18)로서, 상기 3차원 와이어프레임 부분 모델들의 품질은 각 클래스(c1, c2, ..cn)에 대해 독립적으로 사용자에 의해 선택된 적어도 하나의 품질 파라미터에 의존하는, 상기 각 부분의 3차원 와이어프레임 부분 모델을 생성하는 단계(18)를 포함하는, 컴퓨터-구현 방법(100).
2. 제 1 항에 있어서, 상기 품질 파라미터는 하나의 부분의 표현에 사용되는 다각형들의 수를 결정하는, 컴퓨터-구현 방법(100).
3. 제 1 항 또는 제 2 항에 있어서, 상기 품질 파라미터는 질감 및/또는 색상이 하나의 부분에 적용되어야 하는지 여부를 결정하는, 컴퓨터-구현 방법(100).
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 품질 파라미터는 상기 부분의 질량 및/또는 질량 중심이 결정되어야 하는지 여부를 결정하는, 컴퓨터-구현 방법(100).
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 품질 파라미터는 상기 부분의 중단점(break point)들 또는 불연속선(break line)들의 수를 결정하는, 컴퓨터-구현 방법(100).
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 분류하는 단계는 상기 부분들을 부분 클래스들(17)로 분류(16)하기 위한 자가-학습 기계를 사용하는 것을 포함하는, 컴퓨터-구현 방법(100).
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 객체를 스캐닝하는 단계(10)는 복셀 맵을 생성하기 위해 컴퓨터 단층촬영 방법(10a)으로 수행되고;
   상기 방법은 사진측량에 의해 상기 객체의 색상 및/또는 질감을 취득하는 단계를 더 포함하는, 컴퓨터-구현 방법(100).
8. 제 7 항에 있어서, 상기 색상 및/또는 질감은 물리적 기반 렌더링(PBR: Physical Based Rendering) 방법을 사용하여 상기 객체의 렌더링을 개선하기 위해 상기 와이어프레임에 적용되는, 컴퓨터-구현 방법(100).
9. 제 7 항 또는 제 8 항에 있어서, 상기 색상 및/또는 질감은 상기 객체의 세그먼트화에 사용되는, 컴퓨터-구현 방법(100).
10. 제 7 항 내지 제 9 항 중 어느 한 항에 있어서, 상기 색상 및/또는 질감은 클래스들을 부분들로 상기 분류하는 데 사용되는, 컴퓨터-구현 방법(100).
11. 제 7 항 내지 제 10 항 중 어느 한 항에 있어서, 상기 객체 상의 참조 마크를 사용하여, 컴퓨터 단층촬영 스캐닝으로부터 생성된 데이터를 사진측량 및/또는 물리적 기반 렌더링으로부터 생성된 데이터와 정합하는 단계를 포함하는, 컴퓨터-구현 방법(100).
12. 제 7 항 내지 제 11 항 중 어느 한 항에 있어서, 컴퓨터 단층촬영 스캐닝으로부터 생성된 데이터 및/또는 사진측량으로부터 생성된 데이터를 사용하여 상기 객체의 내부 표면들의 색상 및/또는 질감을 추정하는 단계를 더 포함하는, 컴퓨터-구현 방법(100).
13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서, 상기 생성하는 단계는 적어도 하나/하나 이상의 클래스(c1, c2, .. cn)에 대해 독립적으로 사용자(70)에 의해 선택된 상기 적어도 하나의 품질 파라미터에 따라 상기 3차원 와이어프레임 부분 모델들의 품질을 적응시키는 단계를 포함하는, 컴퓨터-구현 방법(100).
14. 제 1 항 내지 제 13 항 중 어느 한 항에 있어서, 적어도 하나의 품질 파라미터를 적응시키는 단계는 각각의 클래스에 대해 복수의 품질 파라미터들을 개별적으로 적응시키는 단계를 포함하는, 컴퓨터-구현 방법(100).
15. 제 1 항 내지 제 14 항 중 어느 한 항에 있어서, 적어도 하나의 품질 파라미터를 적응시키는 단계는 글로벌 품질 계수를 선택하는 단계를 포함하는, 컴퓨터-구현 방법(100).
16. 제 1 항 내지 제 15 항 중 어느 한 항에 있어서, 상기 객체는 적어도 하나의 구성요소를 포함하고, 상기 구성요소 중 하나는 상이한 품질들을 갖는 상이한 3차원 와이어프레임 모델들이 적용되어야 하는 복수의 부분들을 포함하는, 컴퓨터-구현 방법(100).
17. 제 1 항 내지 제 16 항 중 어느 한 항에 있어서, 상기 클래스들은:
    불활성 객체;
    내부 구성요소;
    외부 표면;
    내부 표면 중 적어도 하나를 포함하는, 컴퓨터-구현 방법(100).
18. 제 1 항 내지 제 17 항 중 어느 한 항에 있어서, 복수의 3차원 와이어프레임 모델들은 온라인 플랫폼에 저장되고 복수의 사용자들에게 이용가능한, 컴퓨터-구현 방법(100).
19. 제 1 항 내지 제 18 항 중 어느 한 항에 따른 방법을 수행하기 위한 컴퓨터 프로그램을 포함하는 비-일시적 컴퓨터 판독가능 매체.
20. 제 1 항 내지 제 18 항 중 어느 한 항에 따른 방법을 수행함으로써 획득된 객체의 적어도 하나의 3차원 와이어프레임 모델을 포함하는 데이터 구조 및/또는 데이터 저장소 시스템.

Images