KR20210028226A - 딥 러닝을 사용하여 3d 객체의 정규 자세 및 3d 객체의 중첩을 자동 결정 - Google Patents

Abstract

본 발명은 3D 데이터 세트로 표현되는 3D 객체의 정규 자세를 자동으로 결정하기 위한 방법에 관한 것으로서, 상기 방법은, 제1 3D 신경망은 3D 치아 구조체의 일부 위치에 대해서 정의되는 정규 좌표계와 연관된 정규 자세 정보를 생성하도록 훈련되며, 제1 좌표계와 연관된 3D 객체의 복셀 표현 복셀의 하나 이상의 블록을 제1 3D 심층 신경망의 입력에 제공하는 단계; 정규 자세 정보는 하나 이상의 블록의 각 데이터 포인트에 대해 정규 좌표계에서의 데이터 포인트 위치에 대한 예측을 포함하고, 데이터 포인트 위치는 정규 좌표에 의해 정의되며, 제1 3D 심층 신경망의 출력으로부터 정규 자세 정보를 프로세서가 수신하는 단계; 정규 좌표를 사용하여 정규 좌표계 축의 배향 및 스케일링 그리고 제1 3D 좌표계 원점과 축에 대해서 정규 좌표계의 원점 위치를 결정하고, 배향 및 위치를 사용하여 제1 좌표계의 좌표를 정규 좌표로 변환하기 위한 변환 파라미터를 결정하는 단계; 및, 3D 치아 구조체의 정규 표현을 결정하는 단계로, 이 결정은 복셀 표현의 복셀 좌표 또는 복셀 표현을 결정하기 위해 사용되는 3D 데이터 세트의 좌표에 변환 파라미터를 적용하는 것을 포함한다.

Description

딥 러닝을 사용하여 3D 객체의 정규 자세 및 3D 객체의 중첩을 자동 결정

본 발명은 딥 러닝을 사용하여 3D 치아 구조체와 같은 3D 객체의 정규 자세(canonical pose), 및 3D 객체의 중첩(superimposition)을 자동으로 결정하는 것에 관한 것이다. 특히, 이에 국한되는 것은 아니지만, 3D 객체의 정규 자세를 자동으로 결정하기 위한 방법 및 시스템 그리고 3D 객체의 자동 중첩을 위한 방법 및 상기 방법을 컴퓨터 시스템이 수행할 수 있도록 하는 컴퓨터 프로그램 제품에 관한 것이다.

환자의 치열 및 턱뼈(상악 및 하악)의 정확한 3D 모델은 컴퓨터의 지원을 받는 3D 치과 어플리케이션(교정 치료 계획, 치아 임플란트 계획, 양악 수술 계획(턱 수술) 등)에 필수적이다. 이러한 3D 모델은 환자의 3D 영상 데이터, 일반적으로 구강-악안면 복합체(dento-maxillofacial complex) 또는 다른 신체 부위를 나타내는 3D 객체의 3D 컴퓨터 단층 촬영(CT) 데이터를 기반으로 형성된다. CT 스캔은 통상 3D 객체(의 일부)를 나타내는 복셀 표현을 생성하며, 각 복셀은 일반적으로 스캔된 볼륨의 방사선 밀도를 나타내는 강도 값(intensity value)과 연관된다. 치과 어플리케이션과 같은 의료 어플리케이션에서, CT 스캔은 일반적으로 Cone-Beam CT(CBCT)를 사용하여 획득되는데, 이는 환자에게 저선량이고 장비 구입 가격이 낮으며, 및 fan-beam CT에 비해 사용이 더 용이하기 때문이다.

그러나 CBCT 기술은 인공물(특히 금속이 있는 경우)에 민감하다. 방사선 값은 스캔된 볼륨에 있는 방사선 밀도를 HU (Hounsfield Units)로 나타내는데, CBCT 스캐너의 센서 출력을 방사선 값으로 변환하기 위한 업계 표준이 없다. 또한, 저선량 사용은 상대적으로 낮은 명암 대비를 제공하여 3D 객체, 예를 들어 비슷한 밀도를 가진 구강-악안면 복합체에서의 구조를 구별하기 어렵게 만든다. 이러한 문제는 임계화(thresholding) 기술을 사용하는 이런 복셀 표현에서 유래된 3D 모델에서의 불일치를 초래할 수 있다. 따라서, CBCT 데이터의 복셀 표현에서 유래된 3D 모델은 치열 교정(투명 교정 요법), 턱 수술(악교정 수술), 임플란트 수술 (임플란트), 성형 치과의술(크라운, 브릿지) 등에서 사용되는 것과 같은 치아-보조 템플릿을 정확하게 피팅하는 데 적합하지 않거나 적어도 덜 적합하다.

이 문제를 해결하기 위해, CBCT 데이터 세트의 복셀 표현 또는 이러한 복셀 표현에서 유래된 3D 모델은 광학 스캔 데이터를 사용하여 보완되거나, 강화되거나 및/또는 (부분적으로) 대체될 수 있다. 구강 내 스캔(IOS) 데이터와 같은 광학 스캔 데이터는 환자 치열의 석고 모델(또는 치아 몰드)에서 유래된 치아 표면(일반적으로 치아 크라운 및 주변 치은 표면)을 레이저 또는 시스템 광으로 표면 스캔하여 생성되거나 또는 환자의 치열을 구강 내 스캔(IOS)한 데이터에 의해 생성된다. (CB)CT 데이터와 비교하면, 데이터 수집 중에 방사선 사용이 없고 공간 해상도(spatial resolution)가 높다는 장점이 있다. 광학(구강 외) 스캔 및 IOS의 일반적인 정확도는 각각 5 내지 10 마이크론 및 25 내지 75 마이크론 사이의 범위 내에 있는 것으로 추정된다. 그러나 스캔 결과는 치아(크라운)와 치은 부위가 차이가 나지 않는다. 더욱이, 가시적인 표면 이외의 정보는 수집할 수 없으며, 특히 치아 뿌리, 턱뼈, 신경 등에 대한 정보는 수집되지 않는다. 구강 내 스캔은 근원적인 구조를 추정하기 위해 해당 치근 모양을 가진 크라운 형상의 데이터베이스에서 파생된, 일반화된 모델 데이터로 보완될 수 있지만, 일반화는 원하는 볼륨의 실제 3D 모양을 고려하는 정보를 가지지 못한다. 따라서 이러한 모델 기반 추정은 본질적으로 부정확하다.

보다 일반적으로, 정확한 3D 모델을 생성하고, 3D 데이터 세트의 누락된 데이터를 복구하고, 또한 질병 진행 분석의 목적을 위해서 또는 (잠재적) 치료 효과/결과의 분석 및 평가를 위해서, 3D 영상 데이터를 처리할 때 다른 소스의 3D 영상 데이터 세트를 결합하는 것이 유리하거나 심지어 필요하다. 이는 CBCT 데이터 세트와 같은 하나 이상의 복셀화된 3D 데이터 세트 및/또는 하나 이상의 포인트 클라우드 또는 동일한 3D 객체(동일한 치아 구조체 또는 뼈 구조체)의 IOS 데이터 세트와 같은 3D 표면 메쉬 데이터 세트를 정렬하고, 그리고 정확한 3D 모델을 결정하거나 치아 구조체 분석을 수행하는 데 사용될 수 있는 하나의 데이터 세트에 정렬된 세트를 병합한다. 서로 다른 영상 데이터 세트를 정렬하는 과정을 영상 중첩(superimposition) 또는 영상 정합(registration)이라고 한다. 따라서 중첩 또는 정합의 문제는 하나 이상의 좌표계 사이의 일 대 일 매핑을 찾는 것에 관련된 것으로, 서로 다른 좌표계에 있는 모델(예: 3D 치아 구조체)의 특징이 서로 매핑되도록 하는 하나 이상의 좌표계 간 일 대 일 매핑에 관한 것이다. 정렬된 데이터 세트를 치아 구조체를 나타내는 하나의 데이터 세트에 병합하는 것을 일반적으로 융합이라고 한다.

CT 및 CBCT 영상의 경우, 공지의 3D 중첩 기술에는 포인트-기반 또는 랜드마크-기반 중첩, 표면-기반 또는 윤곽-기반 중첩 및 복셀-기반 중첩이 있다. 이러한 기술들의 예는 GKANTIDIS, N. 등에 의해 저술된 논문(Evaluation of 3-dimensional superimposition techniques on various skeletal structures of the head using surface models. PLoS One 2015, Vol.10, No.2) 및 JODA T. 등에 의해 저술된 논문(Systematic literature review of digital 3D superimposition techniques to create virtual dental patients. Int J Oral Maxillofac Implants March-April 2015, Vol.30, No.2)에 서술되어 있다. 통상적으로, 이러한 기술에는 인간에 의한 입력과 같은 사람의 개입이 필요하다.

포인트-기반 및 표면-기반 중첩 기술의 정확도는 각각 랜드마크 식별 및 3D 표면 모델의 정확도에 따라 달라진다. 이것은 인공물과 낮은 명암 대비 영역이 있는 경우 특히 문제가 될 수 있다. 서로 다른 데이터 세트를 일치시킬 경우, 충분한 정밀도로 해당 랜드마크를 식별하기가 어렵다. ICP(iterative closest point)와 같은 포인트-기반 매칭 알고리즘은 일반적으로 이미 비교적 밀접하게 정렬된 초기 상태를 제공하기 위한 사용자 인터페이스가 필요하다. 복셀-기반 중첩은 랜드마크-기반 및 표면-기반 중첩 기술의 일부 한계를 극복할 수 있다. 이 기술은 복셀 표현으로 저장된 3D 볼륨 정보를 사용한다. 중첩된(중첩되려는) 3D 데이터 간의 유사성은 해당 참조 구조에 있는 복셀의 레벨 강도로부터 추론할 수 있다. 이 기술은 특히 용이하지 않는데, 서로 다른 소스의 낮은 명암 비-표준 CBCT 데이터를 결합하거나 또는 서로 다른 영상 양식(modalities)(예: 볼륨을 둘러싸거나 둘러싸지 않는 표면 메쉬에서 파생될 수 있는 CT 및 MRI, 또는 CBCT 및 이진 3D 영상 데이터)을 결합할 때, 특히 용이하지 않다. 데이터 세트가 부분적으로만 겹치는 경우에 추가적인 어려움이 발생할 수 있다. 최신 복셀-기반 중첩 방법은 종종 계산 비용이 많이 든다.

임상에서는 정확성에 대한 매우 엄격한 표준이 필요하고 대규모 크기의 3D 데이터 세트가 필요하다는 사실 때문에, 고차원 의료 영상에 기존의 영상 중첩 방법을 활용하기가 어렵다. 최근 딥 러닝이 발전함에 따라 영상 정합 분야에 딥 러닝을 적용하기 위한 연구가 진행 중이다. 한 가지 접근 방식에 있어서, 딥 러닝이 유사성 계량(metric)을 추정하는 데 사용되고, 그런 다음 반복적 최적화 방법을 구동하는 데 사용된다. 이러한 내용은 Simonovsky 등에 의해 저술된 논문(A Deep Metric for Multimodal Registration MICCAI 2016 (Springer, Cham) pp. 10-18)에보고되어 있으며, 문제점으로는 분류(classification) 작업이 제시되며, CNN은 중첩된 두 개의 영상 조각들의 정렬과 오정렬을 구별하도록 설정된다. 또 다른 접근 방식에서는 심층 회귀 (신경)망을 사용하여 영상 간의 변환 파라미터를 예측한다. 예를 들어, EP3121789는 심층 신경망을 사용하여 3D CT 영상과 2D X-선 영상 간의 변환 파라미터를 직접 예측하는 방법을 서술한다. 유사하게, Li 등에 의해 저술된 논문 ("Non-rigid image registration using fully convolutional networks with deep self-supervision", 3 September 2017)이 있으며, 여기서는 훈련된 신경망이 두 개의 사진을 수신하고 각 픽셀에 대해 dx, dy 변형을 계산하여, dx가 한 사진을 다른 사진에 정합하는 데 사용된다. 이 방법에는 이미 특정 유사성이 있는 두 개의 입력 영상이 필요하므로 다른 양식의 3D 데이터 세트를 처리할 수 없다. 따라서, 특정한 3D 객체의 다양한 양식 (자세, 데이터 유형, 좌표계 등)의 3D 데이터 세트를 정합하는 문제는 종래 기술에서 제시되지 않았다.

중첩 시스템이 처리할 수 있어야 하는 이러한 3D 데이터 세트에서의 커다란 차이(데이터 형식/양식, 좌표계, 3D 객체의 위치 및 방향, 영상 데이터의 품질, 존재하는 구조 사이의 다른 겹침 양 등)는 3D 객체의 정확한 자동 중첩(즉, 사람의 개입없는 3D 치아 구조체 중첩) 문제를 간단한 연습 문제로 끝내지 못하게 한다. 기존의 중첩 시스템은 이러한 문제를 안정적이고 강인한 방식으로 처리할 수 없다. 좀 더 일반적으로 말하면, 서로 다른 양식의 3D 데이터 세트에서의 커다란 차이점은 심층 신경망 시스템에 의한 정확한 처리를 요구한다. 이것은 정확한 정합을 위한 문제일 뿐만 아니라 심층 신경망에 의한 정확한 분할(segmentation) 및/또는 분류에도 요구된다.

따라서, 3D 구강-악안면 구조와 같은 3D 객체, 3D 데이터 세트를 완전 자동으로 적시에 강인하게 중첩할 수 있는 방법이 당 업계에 필요하다. 보다 구체적으로, 치과 전문가의 추가적인 지식이나 상호 작용을 필요로 하지 않으면서, 결과의 정확성과 적시성을 가지는, 다양한 목적으로 사용될 수 있는 중첩 결과를 얻을 수 있는 해결책이 당 업계에서 요구된다.

당업자라면 이해할 수 있는 바와 같이, 본 발명의 양태는 시스템, 방법 또는 컴퓨터 프로그램 제품으로 구현될 수 있다. 따라서, 본 발명의 양태는 전적으로 하드웨어 실시 예, 전적으로 소프트웨어 실시 예(펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함) 또는 모두 일반적으로 "회로", "모듈" 또는 "시스템"으로 지칭될 수 있는 소프트웨어 및 하드웨어 양태를 결합한 실시 예의 형상을 취할 수 있다. 본 명세서에서 설명되는 기능들은 컴퓨터의 마이크로프로세서에 의해 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 양태들은, 예를 들어 컴퓨터에 저장되어 있는, 컴퓨터 판독 가능 프로그램 코드를 가지는 하나 이상의 컴퓨터 판독 가능 매체에 내장된 컴퓨터 프로그램 제품의 형태를 가질 수 있다.

하나 이상의 컴퓨터 판독 가능 매체(들)의 임의의 조합이 이용될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 저장 매체일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 장치, 또는 전술한 것의 임의의 적절한 조합일 수 있지만 이에 제한되지는 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예(비 제한 목록)는 다음을 포함할 수 있다 : 하나 이상의 와이어가 있는 전기 접속, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 기억장치(ROM), 소거 가능한 프로그램 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 읽기 전용 컴팩트 디스크 기억 장치(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 기타 상기의 적절한 조합. 본 명세서의 상황에서, 컴퓨터 판독 가능 저장 매체는 명령 실행 시스템, 장치 또는 장치에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 임의의 유형 매체일 수 있다.

컴퓨터 판독 가능 신호 매체는 예를 들어 기저 대역 또는 반송파의 일부로 컴퓨터 판독 가능 프로그램 코드를 가진 전파 데이터 신호를 포함할 수 있다. 이러한 전파 신호는 전자파, 광학 또는 이들의 임의의 적절한 조합을 포함하지만 이에 제한되지 않는 임의의 다양한 형상을 취할 수 있다. 컴퓨터 판독 가능 신호 매체는 컴퓨터 판독 가능 저장 매체가 아니며 명령 실행 시스템, 장치 또는 장치에 의해 또는 이와 관련하여 프로그램을 통신, 전파 또는 전송할 수 있는 임의의 컴퓨터 가독성 매체일 수 있다.

컴퓨터 판독 가능 매체에 내장되어 있는 프로그램 코드는 무선, 유선, 광섬유, 케이블, RF 등을 포함하지만 이에 제한되지 않는 임의의 적절한 매체를 사용하여 전송될 수 있다. 본 발명의 양태에 대한 작업을 수행하기 위한 컴퓨터 프로그램 코드는 Java, Scala, C ++, Python과 같은 기능성 또는 객체 지향 프로그래밍 언어 또는 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어 같은 종래의 절차적 프로그래밍 언어를 포함하여 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성될 수 있다. 프로그램 코드는 사용자 컴퓨터, 일부 사용자 컴퓨터에서 독립형 소프트웨어 패키지로, 일부 사용자 컴퓨터 및 일부 원격 컴퓨터 또는 원격 컴퓨터, 서버 또는 가상 서버에서 완전히 실행될 수 있다. 후자의 경우에서, 원격 컴퓨터는 근거리 통신망(LAN) 또는 광역 통신망(WAN)을 포함하는 임의 유형의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있고, 또는 (예를 들어, 인터넷 서비스 제공 업체를 사용하여 인터넷을 통해) 외부 컴퓨터에 연결될 수 있다.

본 발명의 양태는 본 발명의 실시 예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참고하여 이하 설명된다. 흐름도 및/또는 블록도의 각 블록과 흐름도 및/또는 블록도의 블록 조합은 컴퓨터 프로그램 명령에 의해 구현될 수 있다고 이해될 것이다. 이러한 컴퓨터 프로그램 명령은 프로세서에 제공될 수 있으며, 특히 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그램 가능한 데이터 처리 장치의 마이크로프로세서 또는 중앙 처리 장치(CPU) 또는 그래픽 처리 장치(GPU)에 제공되어 기계를 생산하며, 컴퓨터 프로세서, 다른 프로그래밍 가능한 데이터 처리 장치 또는 기타 장치를 통해 실행되는 명령이 흐름도 및/또는 블록 다이어그램 블록 또는 블록에 지정된 기능/동작을 구현하기 위한 수단을 생성할 수 있다.

이러한 컴퓨터 프로그램 명령은 또한 컴퓨터를 지시할 수 있는 컴퓨터 판독 가능 매체, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 장치가 특정한 방식으로 작동하도록 지시할 수 있는 컴퓨터 판독 매체에 저장될 수 있고, 컴퓨터 판독 가능 매체에 저장된 그러한 명령은 흐름도 및/또는 블록도의 블록에 지정된 기능/활동을 구현하는 명령을 포함하는 제품을 생성할 수 있다.

또한, 컴퓨터 프로그램 명령은 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 장치에 로딩되어 일련의 동작 단계가 컴퓨터, 다른 프로그램 가능 장치 또는 다른 장치에서 수행되어 컴퓨터로 구현되는 프로세스를 생성하도록 할 수 있으며, 컴퓨터 또는 다른 프로그램 가능 장치에서 실행되는 명령어는 흐름도 및/또는 블록도의 블록에 지정된 기능/동작을 구현하기 위한 프로세스를 제공한다.

흐름도 및 블록도는 본 발명의 다양한 실시 예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 구조, 기능 및 동작을 도시한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 지정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령을 포함하는 모듈, 세그먼트 또는 코드의 일부로 나타날 수 있다. 또한, 일부 대볼륨인 구현들에서, 블록들에서 명시된 기능이 도면에 명시된 순서를 벗어나서 발생할 수 있음에 유의해야 한다. 예를 들어, 연속으로 도시된 2개의 블록은 실제로 실질적으로 동시에 실행될 수 있거나, 또는 관련된 기능에 따라 블록이 때때로 역순으로 실행될 수 있다. 또한, 블록도 및/또는 흐름도의 각 블록과 블록도 및/또는 흐름도의 블록의 조합은 특정 기능이나 동작 또는 조합을 수행하는 특수 목적의 하드웨어 기반 시스템에 의해 구현될 수 있다는 점에 유의해야 한다.

본 출원서에서 '영상'는 2차원, 3차원 또는 그 이상의 공간 차원의 정보를 포함하는 데이터 집합을 의미할 수 있다. '3D 영상 데이터'는 복셀 강도 값, 표면 메쉬 정의 등과 같은 모든 종류의 3차원 데이터 집합을 의미할 수 있다.

하나 이상의 영상 좌표계를 동일한 구조(의 일부)를 포함하는 다른 참조 영상의 좌표계와 일치하도록 조정하는 것은, 데이터 또는 영상 정합, 일치, 중첩 또는 조정으로 다양하게 알려져 있다. 문맥에서 달리 지시하는 경우를 제외하고 이러한 용어 (및 이러한 용어에서 유래된 다른 단어)는 서로 바꿔서 사용될 수 있다. '변환 파라미터(의 세트)'는 이 문맥에서 정보에 대한 일반적인 용어이며, 이 정보는 하나의 데이터 세트를 다른 데이터 세트에 중첩하거나 대체 좌표계의 데이터 세트를 나타내기 위한 회전, 병진 및/또는 크기 조정 방법에 관한 것이며; 단일 행렬로 표현될 수도 있지만, 예를 들어 행렬, 벡터 및/또는 스칼라의 조합으로도 표현될 수 있다.

일 양태에서, 본 발명은 3D 데이터 세트의 3D 객체의 정규 자세를 자동으로 결정하기 위한 컴퓨터 구현 방법에 관한 것이다. 상기 방법은, 제1 3D 신경망이 3D 객체의 일부 위치에 대해서 정의되는 정규 좌표계와 연관된 정규 자세 정보를 생성하도록 훈련되며, 3D 데이터 세트의 하나 이상의 블록 데이터 포인트를 컴퓨터의 프로세서가 제1 3D 심층 신경망의 입력에 제공하는 단계; 정규 자세 정보는 하나 이상의 블록의 각 데이터 포인트에 대해 정규 좌표계에서의 데이터 포인트 위치에 대한 예측을 포함하고, 위치는 정규 좌표에 의해 정의되며, 제1 3D 심층 신경망의 출력으로부터 정규 자세 정보를 프로세서가 수신하는 단계; 정규 좌표를 사용하여 정규 좌표계 축의 배향, 제1 3D 좌표계 원점과 축에 대하여 정규 좌표계의 원점 위치 및/또는 정규 좌표계 축의 스케일링을 결정하고, 그리고 배향 및 위치를 사용하여 제1 좌표계의 좌표를 정규 좌표로 변환하기 위한 변환 파라미터를 프로세서가 결정하는 단계; 및, 3D 객체의 정규 표현을 프로세서가 결정하는 단계로, 이 결정은 3D 데이터 세트의 데이터 포인트 좌표에 변환 파라미터를 적용하는 것을 포함하여 구성된다.

일 실시 예에서, 3D 객체는 3D 치아 구조체일 수 있다. 일 실시 예에서, 3D 데이터 세트의 데이터 포인트는 복셀을 나타낼 수 있다. 다른 실시 예에서, 3D 데이터 세트의 데이터 포인트는 포인트 클라우드(cloud)의 포인트 또는 3D 표면 메시의 법선을 정의할 수 있다.

일 실시 예에서, 제1 3D 심층 신경망은 복셀화된 3D 데이터를 처리하도록 구성된 컨볼루션 심층 신경망으로 구성될 수 있다.

다른 실시 예에서, 제1 3D 심층 신경망은 3D 포인트 클라우드 또는 3D 표면 메시의 포인트를 처리할 수 있는, 심층 다층 퍼셉트론(MLP) 기반 네트워크로 구현될 수 있다.

일 실시 예에서, 변환 파라미터는 회전, 병진 및/또는 스케일링 파라미터를 포함할 수 있다.

일 실시 예에서, 3D 객체의 정규 표현은 3D 객체의 정규 복셀 표현이거나 또는 정규 3D 메쉬 표현일 수 있다.

일 실시 예에서, 정규 자세 정보는 복셀 표현의 복셀을 정규 좌표계에 있는 복셀 위치의 예측에 연관(연결)하기 위한 하나 이상의 복셀 맵을 포함한다.

일 실시 예에서, 하나 이상의 복셀 맵은 복셀을 정규 좌표계의 제1 x' 좌표 예측에 연관(연결)하는 제1 3D 복셀 맵, 복셀을 정규 좌표계의 제2 y' 좌표 예측에 연관(연결)하는 제2 3D 복셀 맵 및 복셀을 정규 좌표계의 제3 z' 좌표 예측에 연관(연결)하는 제3 3D 복셀 맵을 포함할 수 있다.

일 실시 예에서, 정규 좌표계의 축의 배향을 결정하는 단계는, 하나 이상의 3D 복셀 맵 중 하나의 정규 좌표에서의 국부 그라디언트(local gradient)를 복셀 표현의 복셀에 대해서 결정하는 단계를 더 포함하며, 국부 그라디언트는 제1 좌표계에 의해 정의된 공간의 벡터를 나타내며, 벡터의 배향은 정규 축 배향의 예측을 나타내며 및/또는 벡터의 길이는 정규 축과 관련된 스케일링 인자를 정의한다.

따라서, 이 방법은 3D 치아 구조체와 같은 3D 객체의 정규 표현을 자동으로 결정할 수 있도록 한다. 이 방법은 3D 객체의 다양한 3D 데이터 양식을 다른 3D 데이터 세트의 중첩 과정에서 사용될 수 있는 3D 객체의 정규 자세로 변환하는 데 사용될 수 있다. 추가적으로 및/또는 부가적으로, 이 방법은 3D 치과 구조체와 같은 3D 객체를 분할하고, 및/또 치아와 같은 분할된 3D 객체의 분류를 결정하도록 구성된 하나 이상의 3D 심층 신경망의 3D 입력에 3D 데이터 세트가 제공되기 전에 전처리 단계로 사용될 수 있다. 시스템에 입력된 3D 데이터 세트가 나타내는 3D 객체의 자세가 (특히 방향과 관련하여) 정규화된 자세에서 너무 많이 벗어나면 훈련된 신경망의 정확도에 영향을 미칠 수 있으므로 이러한 전처리 단계는 3D 객체의 분할 및 분류의 정확도를 크게 증가시킨다.

추가적인 양태에서, 본 발명은 (적어도) 제1 3D 데이터 세트로 표현되는 3D 치아 구조체와 같은 제1 3D 객체와 제2 3D 데이터 세트로 표현되는 3D 치아 구조체와 같은 제2 3D 객체의 자동 중첩을 위한 컴퓨터 구현 방법에 관한 것이다. 일 실시 예에서, 제1 및 제2 3D 치아 구조체는 동일한 사람의 것이다. 일 실시 예에서, 상기 방법은 다음의 단계를 포함한다: 제1 3D 신경망은 3D 객체의 일부 위치에 대해서 정의되는 정규 좌표계와 연관된 정규 자세 정보를 생성하도록 훈련되며, 제1 좌표계와 연관된 제1 3D 객체의 제1 복셀 표현 복셀의 하나 이상의 제1 블록과 제2 좌표계와 연관된 제2 3D 객체의 제2 복셀 표현 복셀의 하나 이상의 제2 블록을 제1 3D 심층 신경망의 입력에 컴퓨터의 프로세서가 제공하는 단계; 제1 정규 자세 정보는 하나 이상의 제1 블록의 각 복셀에 대해 정규 좌표계에 있는 복셀의 제1 위치에 대한 예측을 포함하고; 및, 제2 정규 자세 정보는 하나 이상의 제2 블록의 각 복셀에 대해 정규 좌표계에 있는 복셀의 제2 위치에 대한 예측을 포함하고, 제1 및 제2 위치는 제1 및 제2 정규 좌표에 의해 각각 정의되며, 제1 3D 심층 신경망의 출력으로부터 제1 및 제2 정규 자세 정보를 프로세서가 수신하는 단계; 프로세서가 제1 정규 자세 정보를 사용하여 축의 제1 배향 및 스케일 그리고 제1 좌표계 축의 제1 원점 위치를 결정하고, 제2 정규 자세 정보를 사용하여 축의 제2 배향 및 스케일 그리고 제2 좌표계에서 정규 좌표계 축의 제2 원점 위치를 결정하는 단계; 프로세서가 제1 배향, 스케일 및 제1 위치를 사용하여 제1 좌표계의 좌표를 정규 좌표계의 좌표로 변환하기 위한 제1 변환 파라미터, 바람직하게는 제1 회전, 병진 및/또는 스케일링 파라미터를 결정하고; 및, 제2 배향, 스케일 및 제2 위치를 사용하여 제2 좌표계의 좌표를 정규 좌표로 변환하기 위한 제2 변환 파라미터, 바람직하게는 제2 회전, 병진 및/또는 스케일링 파라미터를 결정하는 단계; 및, 프로세서가 제1 3D 객체와 제2 3D 객체의 중첩을 결정하는 단계로, 이 결정은 제1 및 제2 변환 파라미터를 사용하여 제1 및 제2 3D 치아 구조체의 제1 및 제2 정규 표현을 각각 형성하는 것을 포함하여 구성된다.

따라서, 일반적으로 동일한 환자의 3D 치과 구조체(구강-악안면 복합체를 나타냄)와 같은 3D 개체의 두 개 이상의 다른 3D 데이터 세트는 3D 데이터 세트와 관련된 좌표를 정규 좌표계의 좌표로 변환하여 중첩될 수 있다. 전형적인 예에서, 다른 3D 데이터 세트는 환자의 치열(일부)의 다른 스캔일 수 있다. 일반적으로, 서로 다른 3D 데이터 세트는 적어도 부분적으로 겹친다. 즉, 두 데이터 세트는 공통적으로 객체 요소(예: 3D 치아 구조체의 경우 치아 또는 치아 크라운)의 적어도 일부를 가지고 있다. 3D 심층 신경망, 예를 들어 3D 컨볼루셔널 네트워크는 3D 객체의 적어도 일부에 대해 정규 자세를 결정할 수 있다. 일부 실시 예에서, 3D 심층 신경망은 계산 한계를 충족하기 위해 블록별로 좌표를 처리한다. 그런 다음 컴퓨터는 3D 컨볼 루션 네트워크에 제공되는 각 복셀에 대한 정규 원점 및 정규 축 (배향 및 스케일)의 상대적 위치를 추론하기 위해 추가적인 처리를 적용할 수 있다. 그 후, 2개의 영상 데이터 세트를 중첩 또는 정렬하기 위한 변환 매개 변수가 추론될 수 있고 3D 이미지 데이터 세트는 상기 변환 매개 변수를 사용하여 정렬될 수 있다. 제1 3D 영상 데이터 세트는 제2 3D 영상 데이터 세트에 정렬되도록 변환될 수 있거나, 또는 제2 3D 영상 데이터 세트는 제1 3D 영상 데이터 세트에 정렬되도록 변환될 수 있거나, 또는 3D 영상 데이터 세트 모두 변환되어 수신된 배향과 다른 제3 배향으로 정렬되도록 한다.

3D 심층 신경망이 많은 수의 전형적인 (커다란 공간적 편차(병진, 회전 및/또는 스케일링)를 가지는) 3D 구강-악안면 구조를 기반으로 훈련되기 때문에 3D 심층 신경망은 3D 데이터 세트의 편차에 대해 매우 강인하도록 훈련될 수 있다. 3D 심층 신경망의 (제한된) 메모리 크기와 관련된 문제는 복셀 표현의 서브 샘플(블록)을 기반으로 심층 신경망을 훈련하여 해결될 수 있다. 이를 위해, 복셀 표현은 3D 심층 신경망의 입력에 제공되기 전에 미리 결정된 크기의 복셀 블록으로 분할 될수 있다. 블록 사용의 또 다른 이점은 신경망이 제한된 양의 데이터(예: 전체 치열 대신 몇 개의 치아)에도 정규 자세를 결정할 수 있다는 점이다. 정규 좌표계가 객체(예, 구강-악안면 구조) 대해 알려진 (미리 결정된) 표준을 기준으로 정의된다는 사실로 인해, 획득된 제1 및 제2 정규 3D 데이터 세트가 정렬되며, 정확도는 훈련 시간, 훈련 샘플의 편차 및/또는 수신된 데이터 세트 당 사용 가능한 블록에 따라 다르다.

본 본명에서 정규 자세는 위치, 방향 및 스케일을 포함하는 자세를 정의하고, 미리 결정된 위치 및/또는 배향을 3D 치아 구조체의 경우 치열 궁과 같은 3D 객체의 (바람직하게) 확실하고 모호하지 않게 식별할 수 있는 부분에 할당함으로써 정의되는 자세이다. 유사한 방식으로, 3D 객체의 식별 가능한 부분에 대해 신뢰할 수 있고 명확하게 식별 가능한 위치에 원점을 할당하고 일관된 방식으로 (치열 궁의 최대 곡률 지점의 접선을 따른 x 축) 좌표 축을 정의함으로써 정규 좌표계가 정의될 수 있다. 이러한 정규 좌표계는 특정 유형의 3D 객체 데이터에 걸쳐 일관된 표준화되고, 모호하지 않으며, 미리 결정된 좌표계를 정의할 수 있다 (예: 모든 구강-악안면 영상 데이터는 일반적인 확실하게 식별 가능한 구강-악안면 구조의 위치, 배향 및 스케일과 관련하여 정의될 수 있다). 그것의 기능은 다른 영상 데이터 세트의 3D 개체가 동일한 상대 위치, 방향 및 스케일에 있는지를 확인하는 것이다. 이러한 기능은 복셀 표현, 포인트 클라우드 또는 3D 메쉬와 같은 3D 데이터가 훈련된 신경망에 의해 처리되는 다양한 어플리케이션에서 사용될 수 있다. 본 발명의 실시 예는 둘 이상의 3D 객체가 정규 좌표계로 변환되면 3D 객체도 서로 정렬된다는 통찰을 사용한다. 또한, 이것은 3D 심층 신경망, 특히 3D 컨볼루셔널 신경망을 사용하여 인간 상호 작용의 필요성을 방지함으로써 구강-악안면 구조의 정규 자세가 자동으로 결정될 수 있다는 통찰력을 사용한다.

일 실시 예에서, 제1 및 제2 3D 객체, 바람직하게는 제1 및 제2 3D 표면 메쉬의 제1 및 제2 정규 표현은 3D 표면 메쉬이고, 중첩을 결정하는 단계는, 제1 3D 객체의 제1 정규 표현을 제1 3D 객체의 3D 치아 요소와 같은 하나 이상의 3D 객체 요소의 하나 이상의 3D 표면 메쉬로 분할하고 그리고 제2 3D 객체의 제2 정규 표현을 제2 3D 객체의 3D 치아 요소와 같은 하나 이상의 제2 3D 객체 요소의 하나 이상의 3D 표면 메쉬로 분할하는 단계; 키-포인트는 바람직하게 제1 표면 메쉬의 표면 곡률에서의 국부 및/또는 전역 최대 또는 최소를 정의하며, 제1 및 제2 3D 표면 메쉬의 적어도 3개의 제1 및 제2 비-동일선상 키-포인트를 선택하는 단계; 및, 제1 및 제2 비-동일선상 키-포인트에 기초하여 제1 및 제2 3D 객체 요소를 정렬하는 단계를 더 포함하는 구성된다. 일 실시 예에서, 키-포인트는 제1 표면 메쉬의 표면 곡률에서의 국부 및/또는 전역 최대 또는 최소를 정의한다.

일 실시 예에서, 제1 및 제2 3D 객체의 제1 및 제2 정규 표현은 복셀 표현일 수 있다. 일 실시 예에서, 중첩을 결정하는 단계는, 제2 3D 심층 신경망은 제1 및 제2 정규 복셀 표현을 정렬하기 위한 변환 파라미터, 바람직하게는 회전, 병진 및/또는 스케일링 파라미터를 결정하기 위해 훈련되고, 제1 3D 객체의 제1 정규 복셀 표현의 적어도 일부와 제2 3D 객체의 제2 정규 복셀 표현의 적어도 일부를 제2 3D 심층 신경망의 입력에 제공하는 단계; 제2 3D 심층 신경망의 출력에 의해 제공된 변환 파라미터에 기초하여 제1 및 제2 3D 치아 구조체의 제1 및 제2 정규 표현을 정렬하는 단계를 더 포함하여 구성될 수 있다.

일 실시 예에서, 중첩을 결정하는 단계는 제1 3D 객체의 정규 표현과 제2 3D객체의 정규 표현 사이의 중복 볼륨을 프로세서가 결정하는 단계를 더 포함할 수 있다.

일 실시 예에서, 중첩을 결정하는 단계는 프로세거가 중복 볼륨에서 제1 정규 표현의 제1 복셀을 포함하는 제1 관심 볼륨을 결정하고; 및 중복 볼륨에서 제2 정규 표현의 제2 복셀을 포함하는 제2 관심 볼륨을 결정하는 단계를 더 포함할 수 있다.

일 실시 예에서, 상기 방법은, 제3 3D 심층 신경망은 복셀을 분류하고 분할하도록 훈련되고, 제1 관심 볼륨 VOI에 포함된 제1 복셀을 제3 3D 심층 신경망의 입력에 프로세서가 제공하는 단계; 복셀의 활성화 값은 복셀이 미리 결정된 3D 객체 클래스, 예를 들어 3D 치아 구조체의 치아에 속할 확률을 나타내며, 제1 관심 볼륨의 제1 복셀 각각 및/또는 제2 관심 볼륨의 제2 복셀 각각에 대한 활성화 값을 프로세서가 제3 3D 심층 신경망의 출력으로부터 수신하는 단계; 및, 활성화 값을 사용하여 제1 및 제2 VOI에 있는 제1 및 제2 3D 치아 요소의 제1 및 제2 복셀 표현을 프로세서가 각각 결정하는 단계를 더 포함할 수 있다.

일 실시 예에서, 제1 및 제2 3D 객체 요소의 제1 및 제2 복셀 표현을 사용하여 제1 및 제2 3D 객체 요소의 제1 및 제2 3D 표면 메쉬를 프로세서가 결정할 수 있다.

일 실시 예에서, 상기 방법은, 키-포인트는 바람직하게 제1 표면 메쉬의 표면 곡률에서 국부 및/또는 전역 최대 또는 최소를 정의하며, 제1 및 제2 3D 표면 메쉬의 적어도 3개의 제1 및 제2 비-동일선상 키-포인트를 프로세서가 선택하는 단계; 및, 바람직하게는 반복적인 최근접 지점 알고리즘을 사용하여, 제1 및 제2 비-동일선상 키-포인트에 기초하여 제1 및 제2 3D 치아 요소를 프로세서가 정렬하는 단계를 더 포함하여 구성될 수 있다.

일 실시 예에서, 상기 방법은, 제4 3D 심층 신경망은 복수의 후보 구조 레이블 각각에 대한 활성화 값을 생성하도록 훈련되고, 후보 레이블과 연관되는 활성화 값은 제4 3D 심층 신경망의 입력에 의해 수신된 복셀 표현이 후보 구조 레이블에 의해 표시되는 구조 유형을 나타낼 확률을 나타내며, 제1 3D 치아 요소의 제1 복셀 표현 및 제2 3D 치아 요소의 제2 복셀 표현을 제4 3D 심층 신경망에 프로세서가 제공하는 단계; 프로세서가 복수의 제1 및 제2 활성화 값을 제4 3D 심층 신경망의 출력으로부터 수신하고, 복수의 제1 활성화 값 중 가장 높은 활성화 값을 갖는 제1 구조 레이블을 선택하고 복수의 제2 활성화 값 중 가장 높은 활성화 값을 갖는 제2 구조 레이블을 선택하고 그리고 제1 및 제2 구조 레이블을 제1 및 제2 3D 표면 메쉬에 각각 할당하는 단계를 더 포함하여 구성될 수 있다.

일 실시 예에서, 상기 방법은, 키-포인트는 바람직하게 제1 표면 메쉬의 표면 곡률에서 국부 및/또는 전역 최대 또는 최소를 정의하며, 제1 및 제2 3D 표면 메쉬의 적어도 3개의 제1 및 제2 비-동일선상 키-포인트를 프로세서가 선택하는 단계; 제1 3D 표면 메쉬에 할당된 제1 구조 레이블 및 제2 3D 표면 메쉬에 할당된 제2 구조 레이블에 기초하여 제1 및 제2 키-포인트를 프로세서가 각각 레이블링하는 단계; 바람직하게는 반복적인 최근접 지점 알고리즘을 사용하여, 제1 및 제2 키-포인트에 기초한 제1 및 제2 3D 치아 요소와 제1 및 제2 3D 표면 메쉬의 제1 및 제2 구조 레이블을 프로세서가 각각 정렬하는 단계를 더 포함하여 구성될 수 있다.

추가적인 양태에서, 본 발명은 3D 데이터 세트로 표현되는 3D 치아 구조체의 정규 자세를 자동으로 결정하도록 3D 심층 신경망을 훈련하기 위한 컴퓨터 구현 방법에 관한 것이다. 일 실시 예에서, 상기 방법은, 정규 좌표계는 3D 치아 구조체의 일부에 대해서 정의되는 미리 결정된 좌표계이며, 훈련 데이터는 3D 객체의 복셀 표현을 포함하고 목표 데이터는 복셀 표현의 각 복셀에 대한 정규 좌표계의 정규 좌표 값을 포함하며, 훈련 데이터 및 관련 목표 데이터를 수신하는 단계; 미리 결정된 크기의 복셀 표현의 (하나 이상의 서브 샘플) 하나 이상의 복셀 블록을 선택하고 임의의 3D 회전을 하나 이상의 서브 샘플에 적용하는 단계; 하나 이상의 블록을 3D 심층 신경망의 입력에 제공하고 3D 심층 신경망은 하나 이상의 블록의 복셀 각각에 대해 정규 좌표계의 정규 좌표를 예측하는 단계; 및 3D 심층 신경망에 의해 예측된 좌표 값과 목표 데이터와 관련된 (대략적으로 변환된) 정규 좌표 간의 편차를 나타내는 손실 함수를 최소화하여 3D 심층 신경망의 네트워크 파라미터 값을 최적화하는 단계를 포함하여 구성될 수 있다.

다른 양태에서, 본 발명은 3D 데이터 세트로 표현되는 3D 치아 구조체와 같은 3D 객체의 정규 자세를 자동으로 결정하도록 구성된 컴퓨터 시스템에 관한 것으로, 컴퓨터 판독 가능 프로그램 코드가 수록된 컴퓨터 판독 가능 저장 매체, 적어도 하나의 훈련된 3D 심층 신경망을 포함하는 프로그램 코드, 및 컴퓨터 판독 가능 저장 매체에 결합된 적어도 하나의 프로세서, 바람직하게는 마이크로 프로세서를 포함하며, 컴퓨터 판독 가능한 프로그램 코드를 실행하는 것에 반응하여, 적어도 하나의 프로세서가 다음을 포함하는 실행 가능한 동작을 수행하도록 구성되며: 제1 3D 신경망은 3D 객체의 일부 위치에 대해서 정의되는 정규 좌표계와 연관된 정규 자세 정보를 생성하도록 훈련되고, 제1 좌표계와 연관된 3D 객체의 복셀 표현 복셀의 하나 이상의 블록을 제1 3D 심층 신경망의 입력에 제공하는 단계; 정규 자세 정보는 하나 이상의 블록의 각 복셀에 대해 정규 좌표계에서 복셀 위치에 대한 예측을 포함하고, 위치는 정규 좌표에 의해 정의되며, 제1 3D 심층 신경망의 출력으로부터 정규 자세 정보를 수신하는 단계; 정규 좌표계를 사용하여 정규 좌표계 축의 배향 및 스케일 그리고 제1 3D 좌표계 원점과 축에 대해서 정규 좌표계의 원점 위치를 결정하고, 배향, 스케일 및 위치를 사용하여 제1 좌표계의 좌표를 정규 좌표로 변환하기 위한 변환 파라미터, 바람직하게는 회전, 병진 및/또는 스케일링 파라미터를 결정하는 단계; 및, 3D 객체의 정규 표현, 바람직하게는 정규 복셀 표현 또는 정규 3D 메쉬 표현을 결정하며, 이 결정은 복셀 표현의 복셀 좌표 또는 복셀 표현을 결정하기 위해 사용되는 3D 데이터 세트의 좌표에 변환 파라미터를 적용하는 단계를 포함하여 구성된다.

또 다른 양태에서, 본 발명은 제1 3D 데이터 세트로 표현되는 제1 3D 치아 구조체와 같은 제1 3D 객체와 제2 3D 데이터 세트로 표현되는 제2 3D 치아 구조체와 같은 제2 3D 객체의 자동 중첩을 위한 컴퓨터 시스템에 관한 것으로, 컴퓨터 판독 가능 프로그램 코드가 수록된 컴퓨터 판독 가능 저장 매체, 적어도 하나의 훈련된 3D 심층 신경망을 포함하는 프로그램 코드, 및 컴퓨터 판독 가능 저장 매체에 결합된 적어도 하나의 프로세서, 바람직하게는 마이크로 프로세서를 포함하며, 컴퓨터 판독 가능한 프로그램 코드를 실행하는 것에 반응하여, 적어도 하나의 프로세서가 다음을 포함하는 실행 가능한 동작을 수행하도록 구성되며: 3D 신경망은 3D 객체의 일부 위치에 대해서 정의된 정규 좌표계와 연관된 정규 자세 정보를 생성하도록 훈련되며, 제1 좌표계와 연관된 제1 3D 치아 구조체의 제1 복셀 표현 복셀의 하나 이상의 제1 블록과 제2 좌표계와 연관된 제2 치아 구조체의 제2 복셀 표현 복셀의 하나 이상의 제2 블록을 3D 심층 신경망의 입력에 제공하는 단계; 제1 정규 자세 정보는 하나 이상의 제1 블록의 각 복셀에 대해 정규 좌표계에서 복셀의 제1 위치에 대한 예측을 포함하고; 및, 제2 정규 자세 정보는 하나 이상의 제2 블록의 각 복셀에 대해 정규 좌표계에서 복셀의 제2 위치에 대한 예측을 포함하고, 제1 및 제2 위치는 제1 및 제2 정규 좌표에 의해 각각 정의되며, 3D 심층 신경망의 출력으로부터 제1 및 제2 정규 자세 정보를 수신하는 단계; 제1 정규 자세 정보를 사용하여 축의 제1 배향 및 스케일 그리고 제1 좌표계 축의 제1 원점 위치를 결정하고, 제2 정규 자세 정보를 사용하여 축의 제2 배향 및 스케일 그리고 제2 좌표계에서 정규 좌표계 축의 제2 원점 위치를 결정하는 단계; 제1 배향 및 제1 위치를 사용하여 제1 좌표계의 좌표를 정규 좌표계의 좌표로 변환하기 위한 제1 변환 파라미터, 바람직하게는 제1 회전, 병진 및/또는 스케일링 파라미터를 결정하고; 및, 제2 배향 및 제2 위치를 사용하여 제2 좌표계의 좌표를 정규 좌표로 변환하기 위한 제2 변환 파라미터, 바람직하게는 제2 회전, 병진 및/또는 스케일링 파라미터를 결정하는 단계; 및, 제1 3D 객체와 제2 3D 객체의 중첩을 프로세서가 결정하는 단계로서, 이 결정은 제1 및 제2 변환 파라미터를 사용하여 제1 및 제2 3D 객체의 제1 및 제2 정규 표현을 각각 형성하는 것을 포함하여 구성된다.

일 실시 예에서, 제1 및 제2 복셀 표현 중 적어도 하나는 복셀 값이 방사선 밀도를 나타내는 (CB)CT 데이터를 포함할 수 있다.

일 실시 예에서, 제1 및 제2 복셀 표현 중 적어도 하나는 표면으로부터, 바람직하게는 구조화된 광 또는 레이저 표면 스캔 데이터로부터, 더 바람직하게는 구강 내 스캐너(IOS) 데이터로부터 획득된 복셀화된 표면 데이터 또는 볼륨 데이터를 포함할 수 있다.

다른 양태에서, 본 발명은 컴퓨터의 메모리에서 실행될 때, 상술한 프로세스 단계들 중 어느 하나에 따른 방법 단계를 실행하도록 구성된 소프트웨어 코드 부분을 포함하는 컴퓨터 프로그램 제품에 또한 관련된 것이다.

본 발명은 본 발명에 따른 실시 예를 개략적으로 보여주는 첨부된 도면을 참조하여 더 설명된다. 본 발명은 어떤 식으로든 이런 특정 실시 예로 제한되지 않는다는 점이 이해될 것이다.

도 1은 본 발명의 실시 예에 따른 딥 러닝을 사용하여 구강-악안면 3D 영상 데이터를 중첩하기 위한 컴퓨터 시스템의 개략적인 개요를 도시한다.
도 2는 본 발명의 일 실시 예에 따른 3D 치아 구조체의 정규 자세를 결정하기 위한 시스템의 개략도를 도시한다.
도 3a-3d는 본 발명의 일 실시 예에 따른 3D 치아 구조체의 정규 자세를 결정하는 방법을 예시하는 개략도를 도시한다.
도 4a-4c는 본 발명의 일 실시 예에 따른 시스템 구성 요소에 의해 사용되는 훈련 및 예측 데이터를 도시한다.
도 5는 본 발명의 일 실시 예에 따라 정규 좌표를 생성하기 위한 3D 심층 신경망 구조의 예를 도시한다.
도 6은 본 발명의 일 실시 예에 따른 구강-악안면 3D 영상 데이터의 분할을 위한 시스템 구성 요소의 개략도를 도시한다.
도 7a 및 7b는 본 발명의 일 실시 예에 따른 구강-악안면 3D 영상 데이터의 분할을 위한 3D 심층 신경망 구조의 예를 도시한다.
도 8은 본 발명의 일 실시 예에 따른 구강-악안면 3D 영상 데이터의 분류를 위한 시스템 구성 요소의 개략도를 도시한다.
도 9는 본 발명의 일 실시 예에 따른 구강-악안면 3D 영상 데이터의 분류를 위한 3D 심층 신경망 구조의 예를 도시한다.
도 10a 및 10b는 생성된 키포인트의 예를 도시한다.
도 11은 본 발명의 일 실시 예에 따른 복셀 표현의 중첩을 위해 변환 파라미터를 직접 결정하는 시스템 구성 요소의 개략적인 개요를 도시한다.
도 12a 및 12b는 수신되고 변환된 데이터를 도시하는 것으로, 본 발명의 일 실시 예에 따른 변환 파라미터를 직접 생성하기 위한 시스템 구성 요소 내에 채용되어 시스템의 구성 요소로부터 발생하는 데이터를 도시한다.
도 13은 본 발명의 일 실시 예에 따른 변환 파라미터의 직접 추론용 시스템 구성 요소를 위한 3D 심층 신경망 구조의 예를 도시한다.
도 14는 본 발명의 일 실시 예에 따른, 적용될 변환 파라미터의 선택/결정을 위한 시스템 논리의 흐름도를 도시한다.
도 15a 및 15b는 본 발명의 다양한 실시 예에 따른 2개의 예시적인 구강-악안면 3D 영상 데이터 세트에 대한 개별 방법에 따른 변환 결과를 도시한다.
도 16은 본 발명에서 설명된 방법 및 소프트웨어 제품을 실행하기 위해 사용될 수 있는 예시적인 데이터 처리 시스템을 나타내는 블록도이다.

본 발명의 실시 예는 구강-악안면 복합체로부터 유래된 3D 구강-악안면 구조와 같은 3D 객체를 나타내는 다양한 3D 데이터 세트의 완전 자동화된, 적시의, 정확한, 그리고 강인한 중첩을 위해 3D 심층 신경망을 사용하는 컴퓨터 시스템 및 컴퓨터 구현 방법에 대해 설명한다. 방법 및 시스템은 두 개의 3D 데이터 세트 각각에 대한 정규 자세를 결정하도록 훈련된 3D 심층 신경망을 사용하여 적어도 두 개의 3D 데이터 세트를 중첩할 수 있다. 훈련된 신경망의 출력은 변환 파라미터를 결정하는데 사용되어 중첩된 정규 3D 데이터 세트를 결정하며, 정규 3D 데이터 세트는 구강-악안면 구조와 같은 3D 객체의 정규 표현을 나타낸다. 추가의 3D 심층 신경망 및/또는 중첩 방식을 사용하여 중첩의 정확도를 더욱 향상시킬 수 있다. 시스템 및 방법은 아래에서 더 자세히 설명될 것이다.

도 1은 본 발명의 실시 예에 따른 딥 러닝을 사용하여, 3D 객체, 예를 들면 3D 구강-악안면 복합체를 나타내는 영상 데이터를 자동으로 중첩하는 컴퓨터 시스템의 높은 수준의 개략도를 도시한다. 컴퓨터 시스템(102)은 적어도 2개의 3D 데이터 세트를 수신하기 위한 적어도 2개의 입력을 포함할 수 있으며, 2개의 3D 데이터 세트는 제1 좌표계와 연관되고 제1 3D 치아 구조체와 같은 제1 3D 객체를 포함하는 제1 데이터 세트(106) 및 제2 좌표계와 연관되고 제2 3D 치아 구조체와 같은 제2 3D 객체를 포함하는 제2 데이터 세트(108)를 포함한다. 3D 데이터 세트는 3D 구강-악안면 복합체(104)로부터 유래된, 바람직하게는 동일한 환자로부터 유래된 제1 3D 치아 구조체 및 제2 3D 치아 구조체를 나타낼 수 있다. 제1 및 제2 3D 객체는, 3D 치아 구조체의 경우 공통의 치아 부분과 같은, 적어도 일부의 공통 부분을 가질 수 있다. 3D 데이터 세트는 다른 스캐너에 의해 생성될 수 있다. 즉 다른 (CB)CT 스캐너 및/또는 다른 광학 스캐너에 의해 생성될 수 있다. 이러한 스캐닝 장치는 cone beam CT 스캐너, fan beam CT 스캐너, 구강 내 스캐너와 같은 광학 스캐너 등을 포함할 수 있다.

CBCT 스캐너의 경우, CBCT 스캐너에 의해 생성된 x-선 데이터의 복셀 표현을 3D 데이터 세트가 포함할 수 있다. 복셀 표현은 예를 들어 DICOM 형식 또는 그 파생물과 같은, 미리 결정된 형식(format)을 가질 수 있다. 복셀 표현은 예를 들어 400×400×400 복셀 공간과 같은, 미리 결정된 크기의 3D 복셀 공간을 정의하고, 각 복셀은 특정 볼륨과 연관되고 복셀 공간에서의 복셀 위치는 미리 결정된 좌표계를 기반으로 정의될 수 있다.

대안적으로, 광학 스캐너의 경우, 3D 데이터 세트는 예를 들어 표면 메쉬 데이터를 포함할 수 있다. 에지에 의해 연결되는 3D 공간에서의 점 또는 꼭지점 세트는 면 세트를 정의하고, 면 세트는 3D 공간에서의 표면을 정의한다. 3D 데이터 세트는 또한 3D 좌표계에 의해 정의되는 3D 공간에서의 지점을 나타내는 포인트 클라우드(point cloud) 데이터를 포함할 수 있다. 일 실시 예에서, 표면 메쉬를 나타내는 3D 데이터 세트는 구강 내 스캐너를 사용하여 생성될 수 있으며, 3D 데이터 세트는 예를 들어 STL 형식 또는 그 파생물과 같은, 미리 결정된 형식을 가질 수 있다. 또한, 이 경우 3D 표면 메쉬 표현은 미리 결정된 크기의 3D 공간을 정의하며 점 및/또는 꼭지점의 위치는 미리 결정된 좌표계(다른 3D 데이터 세트에 사용되는 좌표계와 다름)를 기반으로 한다.

일부 실시 예에서, 3D 치아 구조체의 3D 표면 메쉬는 예를 들어, 치아 크라운 및 치은에 속하는 표면과 같은 개별 분할된(즉, 분리된) 3D 치아 요소로 분할될 수 있다. 3D 표면 메쉬를 개별 3D 표면 메쉬로 분할하는 것은 당 업계에 잘 알려진 기술이며, WU K. 등에 의해 저술된 논문(Tooth segmentation on dental meshes using morphologic skeleton. Comput Graph Feb 2014 Vol. 38, 199-211)에 설명되어 있다.

3D 데이터 세트는 (대략적으로) 동시에 또는 다른 시점(동일하거나 다른 스캐닝 시스템을 사용하여 수술 전 및 수술 후 스캔)에서 생성될 수 있으며, 3D 구강-악안면 복합체의 표현은 영상 처리 소프트웨어에 의해 정의되는 3D 좌표 시스템에 기반하여 정의될 수 있어서 서로 다른 3D 세트의 3D 구강-악안면 복합체에서의 3D 구강-악안면 구조의 배향 및/또는 크기가 실질적으로 변할 수 있도록 한다. 3D 구강-악안면 복합체는 3D 구강-악안면 구조, 즉 턱, 치아, 잇몸 등과 같은 3D 치아 구조체를 포함할 수 있다.

컴퓨터 시스템의 입력에 제공될 수 있는 3D 데이터 세트(데이터 형식(format)/양식(modality), 좌표계, 3D 구조의 위치 및 배향, 영상 데이터의 품질, 존재하는 구조 간의 중복(ovelap) 정도 차이 등)에서의 큰 편차는 3D 치아 구조체의 정확한 자동 중첩(즉, 사람의 개입이 없는 3D 치아 구조체 중첩)을 어렵게 만든다. 공지의 중첩 시스템은 이러한 문제를 안정적이고 강인한 방식으로 처리할 수 없다.

이 문제를 다루기 위해, 도 1의 시스템은 환자의 3D 구강-악안면 복합체로부터 유래되는 다양한 3D 데이터 세트의 복셀 표현을 수신하도록 구성되는 제1 훈련 된 3D 심층 신경망(112)을 포함할 수 있다. 3D 심층 신경망은 3D 구강-악안면 복합체에 있는 3D 치아 구조체의 정규 좌표계에서의 정규 자세(canonical pose)를 결정하도록 훈련되며, 정규 좌표계는 공통의 구강-악안면 구조의 위치, 예를 들어 치열 궁 위의 위치에 대한 좌표계를 정의한다. 3D 심층 신경망은 3D 심층 신경망의 메모리에 있는 부호화된 3D 데이터 세트의 복셀 표현을 위한 제1 변환 파라미터(114)(병진, 회전 및/또는 스케일링의 항목으로)를 결정하도록 구성될 수 있다. 제1 변환 파라미터는 3D 심층 신경망에서 부호화된 일반적인 구강-악안면 특징의 병진, 배향 및/또는 스케일링 정보를 기반으로 결정되며 제1 3D 데이터 세트의 제1 좌표계를 기반으로 하는 좌표 및 제2 3D 데이터 세트에 기초한 제2 좌표계의 좌표를 정규 좌표계에 기초한 좌표로 변환하는 데 사용될 수 있다. 따라서 이렇게 획득된 제1 및 제2 3D 데이터 세트는 정규 좌표계에서 중첩된 제1 및 제2 3D 치아 구조체를 나타낸다.

제1 및/또는 제2 3D 데이터 세트가 광학 스캔 데이터인 경우, 이런 데이터는 제1 3D 심층 신경망의 입력에 제공되기 전에 전처리될 수 있다. 여기서, 전처리는 3D 스캐닝 데이터를 변환하는 것을 포함할 수 있으며, 즉, 3D 메쉬를 복셀 표현으로 변환하여 3D 심층 신경망에서 처리될 수 있도록 한다. 예를 들어, 3D 표면 메쉬이 복셀화되어서 3D 복셀 공간이 3D 표면 메쉬 데이터 내에 포함된 최소한의 동일한 실제 볼륨을 나타낼 수 있다. 예를 들어, 이러한 복셀화된 3D 표면 메쉬는 이진 복셀 표현을 가질 수 있다. 즉, 메쉬 데이터의 표면이 표현된 복셀과 일치하지 않는 제1 값(예: "0")의 디폴트 복셀 값, 및 메쉬 데이터가 일치하는 제2 값(예: "1")의 복셀 값을 가지는 이진 복셀 표현을 가질 수 있다. 수신된 3D 표면 메쉬가 '개방(open)' 3D 표면 구조를 정의하면, 구조체는 추가 표면으로 '폐쇄될' 수 있다. 복셀화는 상술한 바와 같이 실현될 수 있으며, 밀폐된 볼륨 내에 위치한 복셀은 또한 제2 값(예: "1")을 가질 수 있다. 이런 방법으로 볼륨의 복셀 표현이 형성된다. 해상도(복셀 크기)는 시스템 전체에 걸쳐 정확한 결과를 산출하기 위해 가용한 메모리 및 처리 과정과 같은 요구사항을 준수하면서 적절하게 선택될 수 있다.

일 실시 예에서, 포인트 클라우드 데이터에 직접 기초하여 광학 스캔 데이터 (3D 포인트 클라우드)의 정규 자세를 결정할 수 있는 3D 심층 신경망이 사용될 수 있다. 이러한 신경망의 예는 다층 퍼셉트론(MLP) 기반 심층 신경망이다. MLP 심층 신경망 구조는 PointNet (Qi, C.R. 등의 논문: Pointnet: Deep learning on point sets for 3d classication and segmentation. Proc. Computer Vision and Pattern Recognition (CVPR), IEEE 1(2), 4 (2017)) 또는 PointCNN (Li 등의 논문: "PointCNN: convolution on X-transformed points", arXiv:1801.07791v5 of 5 November 2018, Neural Information Processing Systems(NIPS)에 2018년 출간 예정)이 있다. 이러한 MLP 심층 신경망은 포인트 클라우드의 포인트를 직접 처리할 수 있다. 이러한 신경망은 본 출원에 설명된 바와 같이 광학 스캔 데이터에 기초하여 정규 자세 정보를 결정하도록 훈련될 수 있다. 실제로 이것은 전처리 단계와 같은 복셀화 단계를 생략할 수 있게 하고, 포인트 클라우드 데이터의 세분화 정도에 따라 더 빠른 처리 및 더 높은 정확도 결과로 이어질 수 있다.

추가적인 전처리 단계는 제1 및 제2 3D 데이터 세트를 미리 결정된 크기의 블록으로 나누는 단계를 포함할 수 있다. 블록 크기는 제1 3D 심층 신경망의 3D 입력 공간의 크기와 3D 심층 신경망의 메모리 공간에 따라 달라질 수 있다.

일 실시 예에서, 컴퓨터는 제1 3D 데이터 세트에 대한 제1 변환 파라미터 및 제2 3D 데이터 세트에 대한 제1 변환 파라미터를 결정하고 이렇게 결정된 변환 파라미터를 제1 및 제2 데이터 세트에 적용함으로써 중첩된 정규 제1 및 제2 데이터 세트를 결정할 수 있다. 3D 심층 신경망은 구조체가 큰 공간적 편차(병진, 회전 및/또는 스케일링)를 보이는 일반적인 다수의 3D 구강-악안면 구조를 기반으로 훈련되기 때문에 3D 심층 신경망은 3D 데이터 세트의 큰 편차에 대해 매우 강인하도록 훈련될 수 있다. 3D 심층 신경망의 (제한된) 메모리 크기와 관련된 문제는 복셀 표현의 서브 샘플(블록)을 기반으로 심층 신경망을 훈련함으로써 해결될 수 있다. 이를 위해, 복셀 표현은 3D 심층 신경망의 입력에 제공되기 전에 미리 정해진 크기의 블록으로 먼저 분할된다. 정규 좌표계가 구강-악안면 구조에 대해 알려진(미리 결정된) 표준에 대해서 정의된다는 사실로 인해, 획득된 제1 및 제2 정규 3D 데이터 세트가 정렬되며, 정확도는 훈련 시간, 훈련 샘플 편차, 및/또는 수신된 데이터 당 가용한 블록에 따라 달라질 수 있다. 또한, 아래에서 더 상세히 설명되는 바와 같이, 공간적 변화를 고려하는 대량의 3D 영상 정보를 인코딩하기 위해 특정 신경망 구조가 사용될 수 있다.

어떤 경우에는 정규 3D 데이터 세트의 중첩 정확도를 더 개선하는 것이 유리할 수 있다. 따라서, 일부 실시 예에서, 제1 및 제2 3D 데이터 세트의 (부분적으로 중첩되는) 정규 복셀 표현(118)을 사용하고 추가의 제2 3D 심층 신경망을 사용하여 정규 복셀 표현의 중첩을 평가하여 중첩의 추가적인 개선을 달성할 수 있다. 이러한 실시 예에서, 컴퓨터는 중첩된 정규 제1 및 제2 데이터 세트에 의해 표현되는 3D 치아 구조체에 의해 정의되는 볼륨 간의 중복(overlap)을 결정할 수 있다. 여기서, 중복은 제1 및 제2 데이터 세트의 3D 치아 구조체에 공통인 정규 좌표계에 의해 정의되는 공간 내의 볼륨으로 정의될 수 있다. 중복은 제1 및 제2 3D 데이터 세트의 정규 복셀 표현에 있는 관심 볼륨(VOI)을 선택하는 데 사용될 수 있다. 이러한 방식으로, 제1 3D 데이터 세트의 정규 복셀 표현의 제1 VOI 및 제2 3D 데이터 세트의 정규 복셀 표현의 제2 VOI가 제2 3D 심층 신경망(120)으로의 입력으로 선택될 수 있고, 이는 제2 변환 파라미터(122)를 결정하도록 구성된다. 이 3D 심층 신경망은 신경망의 입력에 정규 복셀 표현을 제공하는 것에 대한 응답으로 변환 파라미터를 신경망이 생성하기 때문에 직접 변환 심층 신경망이라고 할 수 있다. 제1 및 제2 정규 3D 데이터 세트(제1 변환 파라미터에 기초하여 획득) 각각에 제2 변환 파라미터를 적용하여(116) 중첩의 정확도를 더욱 향상시킬 수 있다.

대안적으로 및/또는 추가로, 일부 실시 예에서, 제1 및 제2 3D 데이터 세트의 정규 복셀 표현을 사용하고 그리고 분석 중첩 알고리즘에 기초한 정규 복셀 표현의 중첩을 평가하여 중첩의 추가 개선이 얻어질 수 있다. 특히, 이 실시 예에서, 제1 및 제2 3D 데이터의 정규 복셀 표현(124)이 결정될 수 있다. 또한 이 경우, 중첩된 정규 제1 및 제2 데이터 세트에 의해 표현된 3D 치아 구조체에 의해 정의된 볼륨 간의 중복은 제1 3D 데이터 세트의 정규 복셀 표현의 하나 이상의 제1 VOI 및 제2 3D 데이터 세트의 정규 복셀 표현의 하나 이상의 제2 VOI를 결정하는 데 사용될 수 있으며, 이는 제3 3D 신경망의 입력에 제공될 수 있다. 이 심층 신경망은 3D 치아 구조체 복셀 표현의 VOI 복셀을 분류하고 치아, 턱 뼈, 잇몸 등과 같은 다른 분할된 3D 치아 요소의 복셀 표현을 형성하도록 구성된다. 추가적으로, 일부 실시 예에서, 후처리 단계가 적용될 수 있으며, 분할된 3D 치아 요소의 분할된 3D 모델이 분할된 3D 치아 구조체의 분류된 복셀에 기초하여 생성된다. 추가로, 일부 실시 예에서, 추가의 제4 3D 심층 신경망이 사용되어, 알려진 분류 체계(taxonomy scheme)에 따라 분할된 3D 치아 요소의 복셀 표현을 레이블(label)하여, 독특하고 일관되게 개별 치아를 식별한다.

분할 및 분류 과정은 제1 3D 심층 신경망에서 유래된 정보를 사용할 수 있다. 특히, 제1 3D 심층 신경망에 의한 최초의 제1 변환 파라미터 세트의 결정 및 적용은 3D 데이터 세트의 정규 복셀 표현을 얻을 수 있으며, 좀 더 정확한 분할 및/또는 분류 결과를 허용하는데, 이는 분할 및/또는 분류에 사용되는 3D 심층 신경망의 정확도가 3D 입력 데이터의 큰 회전 편차에 상대적으로 민감하기 때문이다.

또한, 위에서 설명한 바와 같이, 중복의 양(amount)이 제3 3D 심층 신경망에 의해 사용되어 정규 좌표계에 의해 정의된 공간의 볼륨을 결정할 수 있으며, 제1 및 제2 3D 데이터의 중복 구조(예: 3D 치아 요소)가 동일하다. 제1 및 제2 3D 데이터 세트에서 중복 구조를 포함하는 볼륨(VOI)의 식별은 소위 키포인트(keypoints)를 결정하는 데 사용될 수 있다. 키포인트는 서로 다른 두 데이터 세트 내에서 동일한 (중복되는) 구조를 표시하는 데 사용된다. 따라서 키포인트 세트는 제1 3D 데이터 세트에서 여러 포인트의 정확한 3D 위치를 식별하며, 이는 제2 3D 데이터 세트의 연관된 키포인트 세트에 연결된다. 거리 최소화 알고리즘은 제1 및 제2 3D 데이터 세트의 정확한 중첩을 위한 적절한 제3 변환 파라미터(130)를 계산하기 위해 키포인트를 사용할 수 있다.

일 실시 예에서, 컴퓨터는 미리 결정된 데이터 형식으로 융합된 단일 3D 데이터 세트(132)를 생성하기 위해 중첩된 정규 제1 및 제2 3D 데이터 세트(제1 변환 파라미터 및 선택적으로 제2 및/또는 제3 변환 파라미터에 기초하여 결정)를 사용할 수 있다. 3D 데이터 세트의 융합(fusion)은 당 업계에 공지되어 있으며, JUNG W. 등의 논문(Combining volumetric dental CT and optical scan data for teeth modeling, Comput Aided Des Oct 2015, Vol.67-68, 24-37)이 참조된다.

도 2는 본 발명의 일 실시 예에 따른 정규 좌표 시스템에서 3D 치아 구조체의 정규 자세를 결정하기 위한 시스템의 개략도를 도시한다. 시스템(200)은 입력 및 출력을 갖는 적어도 하나의 3D 심층 신경망(222)을 포함한다. 시스템은 훈련 세트(212)에 기초하여 3D 심층 신경망을 훈련하기 위한 훈련 모듈(201)을 포함할 수 있다. 또한, 시스템은 추론 모듈(203)을 포함할 수 있어서 특정 좌표계에 있는 3D 객체를 나타내는 3D 데이터 세트를 수신하고 그리고 3D 데이터 세트의 복셀 좌표를 훈련 중에 3D 신경망에 인코딩된 정규 좌표계의 정규 좌표로 변환하기 위한 변환 파라미터를 결정하도록 구성된다.

신경망은 3D 영상 샘플 및 3D 영상 샘플에 대해 관련된 정규 좌표를 포함하는 훈련 세트(212)에 기초하여 훈련될 수 있다. 훈련 데이터는 3D 데이터 세트 (예:(CB)CT 데이터의 경우 방사선 밀도와 같은 복셀 강도 값, 또는 복셀화된 표면 스캔 데이터의 경우 이진 값)를 포함할 수 있다. 입력 복셀 당 (x, y, z) 벡터로 표현될 수 있는 정규 좌표 데이터가 목표 데이터로 사용될 수 있다.

예를 들어 3D 치아 구조체와 같은 3D 객체의 클래스에 적합한 정규 좌표계를 선택할 수 있다. 일 실시 예에서, 3D 치아 구조체의 경우, 일관된 지점(환자 간(inter-patient) 및 환자 내(intra-patient))에 원점(0,0,0)을 갖도록 정규 좌표계가 결정될 수 있다. 이후로 '실제(real-world) 좌표'를 참조하면, 이것은 환자가 똑바로 서있는 상태에서 환자의 관점과 관련된 축 방향을 갖는 것으로 간주되며, '최저-최고'는 환자 관점에서 '위-아래'를 의미하고, '앞-뒤'는 환자 관점에서 '앞-뒤'를 의미하고 '왼쪽-오른쪽'은 환자 관점에서 '왼쪽-오른쪽'을 의미한다. '실제'는 3D 데이터 세트와 같은 정보가 제공되는 상황을 지칭한다. 이러한 일관된 관점은 (실제 좌표에서) 예를 들어 최저 지점일 수 있다-가장 앞쪽에 위치한 두 치아(FDI 시스템 인덱스 11 및 21)가 여전히 접촉하고 있거나 (예를 들어, 치아가 누락된 경우) 접촉하려 한다. 축의 방향을 고려하여, 실제 방향 (환자가 바라본) 아래-위, 좌-우 및 앞-뒤는 각각 낮은 값에서 높은 값에 이르는 x, y 및 z 값으로 정의되고 인코딩될 수 있다. 실제 치수를 스케일하기 위해, 동일한 스케일링이 3D 심층 신경망의 출력이 될 것이므로, 모든 훈련 데이터에서 일관되게 수행되는 한도 내에서 다양한 방법을 사용할 수 있다. 예를 들어, 실제 1mm의 변화 당 1 좌표 단위의 값이 적용될 수 있다.

데이터 및/또는 데이터 양식의 편차에 대해 강인한 3D 심층 신경망을 달성하기 위해, 3D 치아 구조체 및 관련된 정규 좌표 데이터의 복셀 표현과 같은 3D 데이터 세트를 포함하는 초기 훈련 세트(202)에 기초하여 매우 다양한 훈련 샘플(212)이 생성될 수 있다. 이를 위해, 훈련 모듈은 훈련 데이터를 전처리하기 위한 하나 이상의 모듈을 포함할 수 있다. 일 실시 예에서, 3D 심층 신경망(222)의 처리 및 메모리 요구 사항을 준수하기 위해, 3D 데이터 세트를 축소된 3D 데이터 세트 및 미리 결정된 해상도의 관련된 정규 좌표로 축소하기 위해 축소 모듈이 사용될 수 있다(204). 이러한 축소 작업은 더 작은 3D 영상 데이터 세트를 만들고, 복셀 해상도를 각 방향으로 1mm로 축소한다. 다른 실시 예에서, 변환 모듈은 임의의 회전을 (축소된) 3D 데이터 및 관련된 정규 좌표에 적용함으로써(206) 하나의 3D 데이터 세트의 상이한 변형을 생성하는 데 사용될 수 있다. 이것은 가용한 모든 환자에 대해 수행될 수 있으며, 잠재적인 훈련 샘플을 추출할 데이터 풀을 효과적으로 제공하고, 다수의 환자 데이터 세트 및 데이터 세트 당 다수의 로테이션을 갖는다.

추가 실시 예에서, 훈련 모듈은 (축소된) 3D 데이터 세트 및 연관된 정규 좌표를 블록(3D 영상 샘플)으로 분할하기 위한 분할 모듈(208)을 포함할 수 있으며, 각 블록은 미리 결정된 크기를 가지며 3D 데이터 세트의 총 볼륨의 서브 세트이다. 예를 들어, 훈련 모듈의 입력에 제공되는 3D 데이터 세트는 400x400x400 복셀 볼륨을 포함할 수 있으며, 각 복셀은 모든 직교 방향으로 0.2mm의 치수를 갖는다. 이 3D 데이터 세트는 예를 들어 모든 방향으로 1mm에 80×80×80 복셀 볼륨을 갖는 축소된 3D 데이터 세트로 축소될 수 있다. . 그 후, 분할 모듈은 축소된 3D 데이터 세트를 미리 정해진 크기(예: 모든 방향으로 1mm에 24x24x24 복셀)의 3D 데이터 블록으로 분할할 수 있다. 이러한 블록은 목표로서 정규 좌표를 사용하여 3D 심층 신경망을 훈련하는 데 사용될 수 있다. 일 실시 예에서, 분할 모듈은 3D 심층 신경망(222)을 위한 훈련 세트(212)를 형성하는 블록을 무작위로 선택하기 위한 무작위 선택기를 포함할 수 있다.

이러한 3D 심층 신경망은 본질적으로 다양한 회전(206으로 부터) 및 병진 (무작위 선택 208로부터) 모두에 대해 훈련한다. 선택적으로, 다른 실시 예에서, 샘플은 204로부터 생성될 수 있는 다양한 스케일로 제시될 수 있다.

적절하게 훈련된 3D 심층 신경망(222)를 사용하여, (임의의 위치 및 배향을 가지는) 새로운 3D 영상 데이터(214)가 시스템에 대한 입력으로 제공될 수 있고 훈련 3D 영상 데이터와 유사하게 전처리가 적절하게 진행될 수 있으며, 보다 구체적으로는 미리 결정된 스케일링이 적용되고(216), 축소된 데이터 세트를 미리 결정된 크기의 영상 블록으로 분할하고(218), 3D 심층 신경망에서 요구하는대로 3D 영상 블록(220)을 제시한다. 수신된 3D 영상 데이터의 전체 공간을 덮는 영상 블록을 적어도 한 번 제시함으로써, 3D 영상 데이터 세트의 모든 (축소-샘플링된) 복셀에 대한 정규 좌표가 3D 심층 신경망에 의해 예측될 수 있다.

이러한 예측 데이터는 하나의 일반적인 변환 파라미터 세트를 생성하기 위해 추가로 처리될 수 있으며(224), 수신된 데이터가 가능한 한 그 정규 자세에 근접하게 정렬되도록 변환될 수 있는 방법을 정의한다. 이러한 처리는 이하에서 더 상세히 설명되고 예시될 것이다. 상대적으로 커다란 실제 3D 공간으로부터의 충분한 훈련 샘플을 사용하면, (훈련 데이터 내에 포함되어 제공된) 더 작은 볼륨으로부터 수신된 데이터에 대한 정규 자세가 결정될 수 있다. 실제로 입력 데이터의 해상도는 약 1.25mm 일 수 있다. 3D 심층 신경망(222)에 의한 예측은 부동 소수점 값으로 산출될 수 있다.

도 3a-3d는 본 발명의 일 실시 예에 따른 3D 치아 구조체와 같은 3D 객체의 정규 자세를 결정하는 방법을 설명하는 개략도를 도시한다. 도 3a는 3D 객체, 즉 치아와 같은 치아 객체의 복셀 표현(300)을 개략적으로 도시한다. 복셀은 강도 값, 예를 들면 (CB)CT 스캔에서 얻은 방사선 밀도와 연관될 수 있다. 대안으로, 복셀은 이진 값과 연관될 수 있다. 이 경우, 복셀 표현은 복셀화된 표면의 이진 복셀 표현이거나 또는 구조화된 광 스캔 또는 레이저 표면 스캔에서 얻은 복셀화된 표면-파생 볼륨일 수 있다. 3D 객체는 상단 부분(예: 크라운), 하단 부분(예: 치근), 앞 부분, 뒷 부분, 및 왼쪽 및 오른쪽 부분을 식별하는 특정한 특징을 가질 수 있다. 복셀 표현은 예를 들어 3D 공간에서 스캔한 데이터를 표현하기 위해 스캔 소프트웨어에서 사용하는 좌표계와 같은 제1 (직교) 좌표계(x, y, z)(302)와 연관된다. 이러한 좌표는 예를 들어 DICOM 영상 파일의 (메타-)데이터로 제공될 수 있다. 3D 객체는 제1 좌표계에 의해 정의된 3D 공간에서 특정한 배향, 위치 및 크기를 가질 수 있다. 그러나 이러한 좌표계는 여기에서 '왼쪽', '오른쪽', '앞', '뒤', '하단'및 '상단'으로 표시되는, 객체에 대해서 정의될 수 있는 시스템과 아직 일치하지 않을 수 있다. 훈련된 3D 심층 신경망을 사용하여, 3D 객체는 (공간적으로) '표준화(normalized)'(즉, 재-배향, 재-배치 및 크기 조정)되고(308) 그리고 (직교)정규 좌표계를 기반으로 정의될 수 있다. 정규 좌표계(x', y', z')(306)에서, 표준화된 3D 객체(305)는 정규 자세를 가질 수 있고, 3D 객체의 특정한 특징이 정규 좌표계축과 정렬될 수 있다. 따라서, 시스템은 스캐닝 시스템에 의해 정의된 좌표계에 의해 정의된 3D 공간에서 특정 배향, 위치 및 크기를 갖는 3D 치아 구조체의 복셀 표현을 수신할 수 있고 3D 객체의 정규 복셀 표현을 결정할 수 있으며, 여기서 3D 객체는 정규 좌표계에서 정의되고 객체의 크기가 조정되고 3D 치아 구조체의 특정한 특징이 정규 좌표계 축과 정렬된다.

도 3b는 3D 객체의 복셀 표현(310)에 있는 복셀을 수신하도록 훈련될 수 있는 3D 심층 신경망(318)을 도시하며, 복셀은 좌표계(302)(x, y, z)에 의해 정의되는 특정한 위치를 가질 수 있다. 3D 심층 신경망은 복셀 표현과 관련된 소위 정규 자세 정보(303)를 생성하도록 구성될 수 있다. 정규 자세 정보는 복셀 표현의 각 복셀(304)(x, y, z))에 대해, 정규 좌표계에 의해 정의된 공간에서의 좌표(x', y', z')를 예측하는 것을 포함할 수 있다. 정규 좌표계는 신뢰성있게 식별할 수 있는 구강-악안면 구조, 예를 들어 치열 궁 특징의 전형적인 위치, 배향 및 스케일과 관련하여 정의될 수 있다. 이러한 정규 좌표계를 유도하는 데 필요한 정보는 네트워크의 훈련 단계 동안 3D 심층 신경망에서 인코딩될 수 있다. 이러한 방식으로, 정규 자세 정보는 동일한 상대적 위치, 배향 및 스케일로 동일한 구강-악안면 구조를 나타내는 3D 데이터의 다양한 변형 및/또는 양식을 설정하는 데 사용될 수 있다.

따라서, 각각의 입력 복셀(304)에 대해 3개의 대응하는 출력 값(314, 324, 334)이 3D 심층 신경망에 의해 생성되며, 정규 좌표계에 있는 각각의 입력 복셀의 x'-, y'- 및 z'-좌표 값에 대한 예측을 포함한다. 일 실시 예에서, 정규 자세 정보는 3개의 3D 복셀 맵(312, 322, 332)을 포함할 수 있으며, 각각의 3D 복셀 맵은 3D 신경망 입력에서 복셀 표현에 있는 복셀을 정규 좌표에 연결한다.

복셀 표현을 3D 심층 신경망의 입력에 제공하기 전에, 복셀 표현은 복셀 블록 세트(여기서는 316으로 표시되고, 이하 짧은 '블록')로 분할될 수 있으며, 복셀 블록의 크기는 3D 심층 신경망의 입력 공간의 크기와 일치한다. 블록 크기는 3D 심층 신경망의 데이터 저장 성능에 따라 달라질 수 있다. 따라서, 3D 심층 신경망은 복셀 표현의 각 블록에 있는 복셀을 처리하고 각 블록의 복셀에 대한 정규 자세 정보, 즉 블록의 각 복셀에 대해 정규 좌표계의 좌표(x', y', z')를 예측할 수 있다. 일 실시 예에서, 3D 심층 신경망은 3개의 복셀 맵(312, 322, 332)을 생성할 수 있다. 제1 복셀 맵(312)은 3D 심층 신경망의 입력에 제공되는 블록의 각 복셀에 대해 대응하는 x' 좌표를 포함하고; 제2 복셀 맵(322)은 블록의 각 복셀에 대해 y' 좌표를 포함하고; 및 제3 복셀 맵(332)은 블록의 각 복셀에 대해 z' 좌표를 포함한다.

도 3c는 3D 객체(300)의 복셀 표현을 개략적으로 도시하며, 3D 객체는 3D 심층 신경망의 입력에 제공되며, 3D 영상를 생성하는 데 사용된 스캐너의 영상 처리 소프트웨어에서 사용하는 좌표계에 기반하여 정의된다. 이러한 좌표 또는 이러한 좌표를 결정하기 위한 정보는 데이터 파일, 즉 DICOM 파일에 메타 데이터로서 포함될 수 있다. 3D 심층 신경망에 의해 생성된 정규 자세 정보에 기반하여 정규 좌표계의 3D 객체의 정규 자세에 대한 예측이 생성될 수 있다. 따라서, 정규 자세 정보(350)는 제1 좌표계의 각 복셀 위치(x, y, z)와 정규 좌표계의 위치 (x', y', z')를 연결할 수 있다. 이 정보는 시스템이 제1 좌표계에 정의된 3D 객체를 정규 좌표계에 정의된 정규 자세(362)로 변환할 수 있도록 하는 변환(360)을 결정하는 데 사용될 수 있다.

자세 정보는 정규 좌표계의 축(정규 축)과 관련된 배향 및 스케일링 요소를 결정하는 데 사용될 수 있다. 여기서, 배향은 제1 좌표계에 의해 정의된 공간에서의 정규 축의 배향일 수 있다. 자세 정보는 또한 정규 좌표계의 원점 위치를 결정하는 데 사용될 수 있다.

정규 축의 배향은 3D 심층 신경망에 의해 결정된 바와 같이 3D 복셀 맵에서 있는 하나 이상의 복셀의 (국부) 그래디언트((local) gradient)에 기반하여 결정될 수 있다. 예를 들어, 정규 좌표의 x' 성분과 연관된 제1 3D 복셀 맵의 복셀 각각 또는 적어도 다수의 복셀에 대해, 국부 그래디언트가 결정될 수 있다. 국부 그래디언트는 제1 좌표계에 의해 정의되는 x, y, z 공간에서의 3D 벡터로 표현 될 수 있다. 벡터의 방향은 복셀 위치에서의 정규 x' 축의 방향에 대한 예측을 나타낸다. 또한 벡터의 길이는 정규 x' 축과 관련된 스케일링 인자의 예측을 나타낸다. 일 실시 예에서, 정규 x'- 축과 연관된 배향 및 스케일링 인자에 대한 예측은 제1 3D 복셀 맵의 x' 값에 기초하여 결정될 수 있다. 예를 들어, 제1 3D 복셀 맵의 복셀에 대한 예측을 통계적으로 대표하는 측정 값, 즉 중앙값 또는 평균 그래디언트가 결정될 수 있다. 일 실시 예에서, 제1 3D 복셀 맵의 x' 값은 전처리, 즉 평활화 및/또는 필터링될 수 있다. 예를 들어, 일 실시 예에서, (국부) 특이한 값(outliers)을 제거하기 위해 중앙값 필터가 사용될 수 있다. 같은 방법으로, 정규 y' 축에 대한 배향 및 스케일링 인자의 예측이 제2 3D 복셀 맵의 y' 값에 기반하여 결정될 수 있고 그리고 정규 z' 축에 대한 배향 및 스케일링 인자의 예측이 제3 3D 복셀 맵의 z' 값에 기방하여 결정될 수 있다. 정규 x', y', z'축의 예측된 배향은 축이 직교 또는 수직하는지 확인하기 위해 후처리가 될 수 있다. 이를 위해 다양한 종래의 방법들, 예를 들면 Gram-Schmidt 프로세스가 사용될 수 있다. 회전 및 스케일링 파라미터는 수신된 좌표계(302)와 예측으로부터 유도된 좌표계를 비교함으로써 얻어질 수 있다.

정규 좌표계의 원점 위치(제1 좌표계 공간의 병진 벡터 측면에서)는 3D 심층 신경망의 입력에 제공되는 복셀 표현 중심의 정규 좌표에 대한 예측을 결정하여 얻을 수 있다. 이러한 좌표는 제1 3D 복셀 맵의 예측된 x' 값, 제2 3D 복셀 맵의 y' 값 및 제3 3D 복셀 맵의 z' 값의 평균 또는 중앙값에 기반하여 결정될 수 있다. 블록 중심의 예측된 정규 좌표(x_o', y_o', z_o') 및 제1 좌표계에 기반한 블록 중심의 좌표를 기반으로 병진 벡터가 간단한 뺄셈을 사용하여 결정될 수 있다. 대안적으로, 정규 좌표계의 원점은 그러한 블록의 다중 예측의 집합에 의해 결정될 수 있으며, 수신된 복셀 표현의 동일 크기 공간에 대해 결정된 정규 좌표를 효과적으로 처리한다. 상술한 프로세스는 3D 데이터 세트의 블록의 각각 또는 적어도 많은 부분의 블록에 대해 반복될 수 있다. 각 블록에 대해 결정된 정보(정규 좌표계의 배향, 스케일 및 원점)는 정확한 예측을 제공하는 평균값을 얻기 위해 사용될 수 있다.

따라서, 도 2 및 3에 도시된 시스템 및 방법은 3D 치아 구조체의 정규 자세를 결정하는 효율적인 방법을 제공한다. 도 3d에 도시된 바와 같이, 이러한 방법은 제1 좌표계와 연관된 3D 치아 구조체의 복셀 표현을 3D 심층 신경망의 입력에 제공하는 컴퓨터 프로세서의 제1 단계(380)를 포함하며, 신경망은 제2 정규 좌표계와 관련된 정규 자세 정보를 생성하도록 구성된다. 그 후, 단계 382에서, 프로세서는 3D 심층 신경망의 출력으로부터 정규 자세 정보를 수신할 수 있으며, 정규 자세 정보는 복셀 표현의 각 복셀에 대해서 복셀의 정규 좌표 예측을 포함한다. 프로세서는 이어서 처리 단계(384)를 실행할 수 있으며, 정규 자세 정보는 (예를 들어 복셀 위치의 국부 그래디언트를 나타내는 벡터를 결정함으로써) 정규 좌표계 축의 배향 (및 적용 가능한 경우에는 스케일링)을 결정하는 데 사용되며, 및 (예를 들어 평균 (x', y', z')값을 나타내는 벡터를 결정하여 정규 원점까지의 평균 3D 거리를 결정함으로써) 정규 좌표계의 원점 위치를 결정하는데 사용되며, 그리고 이어서 배향과 위치(및 해당되는 경우에는 스케일링)가 제1 3D 좌표계의 좌표를 제2 정규 좌표계의 좌표로 변환하기 위한 변환 파라미터를 결정하는 데 사용된다. 그 후, 단계 386에서, 프로세서는 수신된 3D 데이터 세트에 변환 파라미터를 적용하여 제2 정규 좌표계에 의해 표현되는 공간에서의 3D 치아 구조체의 정규 자세를 결정한다. 3D 데이터 세트가 복셀 표현인 경우에 파라미터가 복셀에 적용될 수 있다. 대안적으로, 3D 데이터 세트가 메쉬 표현인 경우에 파라미터가 메쉬 좌표에 적용될 수 있다.

이러한 방식으로 3D 치아 구조체와 같은 3D 객체의 정규 표현이 실현될 수 있다. 이 방법은 3D 객체와 연관된 다른 3D 데이터 양식을 다른 3D 데이터 세트의 중첩 과정에서 사용될 수 있는 3D 객체의 정규 자세로 변환하는 데 사용될 수 있다. 대안적으로 및/또는 추가적으로, 이 방법은 3D 객체를 분할하고 (선택적으로) 3D 객체의 분할된 부분의 분류를 결정하도록 구성되는 하나 이상의 3D 심층 신경망의 3D 입력에 3D 데이터 세트가 제공되기 전에 전처리 단계로서 사용될 수 있다. 시스템에 입력된 3D 데이터 세트에 의해 표현되는 3D 객체의 자세가 정규화된 자세에서 (특히 배향과 관련하여) 너무 많이 벗어난 경우에는 훈련된 신경망의 정확도가 영향을 받을 수 있으므로, 이러한 전처리 단계는 3D 객체의 분할 및 분류의 정확도를 크게 증가시킨다 (및/또는 이러한 3D 심층 신경망에 대해 동일한 정확도를 위한 훈련 시간 또는 메모리 요구 사항을 감소시킨다).

도 4a-4c는 도 3a-3d를 참조하여 설명된 방법에 의해 사용될 수 있는 훈련 목표 및 결과를 도시한다. 도 4a는 3D 데이터 세트의 3개의 슬라이스(400_1-3)를 도시하며, 이 예에서 3D 심층 신경망을 훈련시키기 위해 사용될 수 있는 3D 치아 구조체의 CBCT 스캔 및 x', y' 및 z' 좌표에 대한 3D 복셀 맵의 관련된 슬라이스를 도시한다. 이러한 3D 복셀 맵은 정규 x' 좌표(402₁), 정규 y' 좌표(402₂) 및 정규 z'좌표(402₃)의 원하는 예측을 포함할 수 있다. 회색조(grayscale) 값은 정규 좌표계에 따른 좌표에 대한 (인코딩된) 값의 그래디언트를 시각화한다. 좌표(x, y, z)는 CBCT 스캔과 관련된 좌표계를 기반하는 3D 치아 구조체의 복셀 위치를 나타낸다. 그들의 방향을 포함하여 시각화된 축은 도면 마다 상단-왼쪽이 표시된다. 또한 주목할 만한 것은 표시되는 그래디언트의 회색조 값이 도 4a-4c 전체에 걸쳐 동일한 값에 대해 동일한 회색조 값을 갖도록 적절하게 스케일링되었다는 점이다. 이를 통해 (훈련을 위해) 인코딩되거나 또는 예측된 대로 정규 좌표계로 효과적으로 병진하는 것을 시각적으로 더 잘 비교할 수 있다. 마지막으로 모든 시각화는 실제로 적용된 3D 데이터 세트 및 관련 복셀 맵에서 슬라이스된, 단일 중간 '슬라이스'(효과적으로 2D 영상 데이터의 픽셀)의 2D 표현이며, 도면 당 상단-왼쪽에 보이는 슬라이스 번호로 표시된다.

시스템을 훈련시키기 위해, 3D 치아 구조체를 나타내는 3D 데이터 세트는 도 4b에 도시된 바와 같이 정규 좌표계에 귀속될 수 있다. 이러한 도면의 경우에, 그래디언트를 시각화하기 위해 검정색 값은 -40mm이고 흰색 값은 +40mm이며, 효율적으로 이 환자 스캔의 중심을 원점(0,0,0)으로 가진다. 이 데이터 (3D 영상 데이터 및 정규 시스템의 표현 둘 다)는 프로세서의 결과(204)로서 이미 적절하게 축소되어 있다. 그런 다음 이러한 데이터는 회전(예: 선형 또는 다른 보간 방법을 사용)되어 406에 보인 바와 같은 3D 데이터를 얻을 수 있다. 이 회전을 수행하는 정확한 방법에 따라, 영상 공간의 크기는 또한 수신된 3D 영상 데이터 세트의 모든 복셀을 포함하도록 확장될 수 있으며, 이 도면의 경우 이러한 경우에 해당하지 않는다.

도 4b는 무작위로 회전된 입력 복셀 표현으로부터 적절한 크기의 블록(412)을 무작위 선택한(프로세서(208)에 의해 수행될 수 있는 바와 같이) 결과일 수 있는 훈련 데이터(408)를 도시하며, 이 경우 서브 샘플은 24x24x24 복셀의 크기를 갖는다. 408에서 수행된 것과 같이 동일한 y-z 뷰(복셀의 3D 입방체 중간 y-z 슬라이스)로 정규 좌표계의 세 가지 인코딩된 방향을 모두 시각화할 때, 그라디언트 방향이 보여질 수 있으며, 이는 정규 좌표계의 축 방향을 인코딩하는 3D 방향 벡터의 2D 구성 요소(y-z 평면에서)의 방향을 (이 2D 시각화의 경우) 효과적으로 인코딩한다. 마찬가지로 복셀 당 값은 정규 좌표계에 따른 복셀 x', y' 및 z' 좌표를 효과적으로 인코딩한다. 예를 들어 전체 3D 예측 데이터 세트를 처리할 때, 각 축에 대한 3D 벡터는 정규 좌표계를 추종하여 결정될 수 있다. 훈련을 위한 서브 샘플의 선택은 선택된 더 작은 크기의 샘플이 수신된 3D 영상 데이터 세트의 일부인 복셀만을 포함하는 방식으로 수행될 수 있다(즉, 회전이 적용된 결과, 도면에서 볼 수 있는 것처럼, 에지를 따르는 복셀의 '빈' 패치를 포함하지 않는다).

도 4c는 (프로세서(216)로부터의 결과일 수 있는) 크기 조정 후의 새로운 입력(416)을 도시한다. 이 입력은 이 도면의 목적을 위해 임의로 회전되었다. 도면 418 및 420의 목적을 위해, 오직 x-y 뷰(슬라이스) 만 시각화되었다. 418 세트는 예측된 정규 좌표 x', y' 및 z'의 슬라이스를 도시한다. 수신된 영상 데이터가 블록 (또는 서브 샘플)으로 분할되고, 해당 블록에 대해 좌표 예측이 수행되었으며, 이러한 예측 블록은 수신된 총 3D 영상 세트 공간 (영상에서 알 수 있는 정사각형 같은 구조로부터 보일 수 있고, 블록의 크기를 나타내는)에 다시 배치되었음을 알 수 있다. 이것은 정규 좌표계로의 변환을 위한 회전, 병진 및 선택적으로 스케일링 파라미터 모두에 대한 예측이 30x30x30mm 크기의 3D 영상 데이터에서 수행될 수 있음을 효과적으로 보여준다. 이 도면은 이러한 시각화를 위해 채택된 회전의 결과로 인해서 훈련된 신경망이 '빈' 데이터의 패치에 대해 상대적으로 강인하다는 점을 또한 보여준다(즉, 이러한 도면의 목적을 위해 훈련되는 신경망의 경우에 '빈' 데이터는 0의 일관된 값이 부여된다).

420으로 도시된 것은 416이 훈련 데이터였을 때와 같이 인코딩된 좌표 값이거나, 또는 3D 심층 신경망의 결과인 원하는 '목표' 값이다. 일반적인 값 (복셀 당 원점까지의 거리를 나타냄) 및 그래디언트의 일반적인 방향은 매우 유사함을 알 수 있다. 실제(real-world) 데이터가 회전되는 경우, 시각화에 보여지는 '빈' 패치가 나타나지 않는다. 시스템은 프로세서(224) 내에서 예측된 좌표 데이터(418)에 대한 3D 평균화 필터링, 특이한-값 제거, 및/또는 결과 값을 평활화하기 위한 다른 방법을 수행한다. 대표적인 측정치, 즉 예측된 좌표 값의 평균 또는 중앙값이 정규 좌표계에 대한 복셀 표현(416)의 중심 위치를 결정하는 데 사용될 수 있다. 병진은 수신된 좌표계에 대한 그리고 정규 좌표계에 대한 복셀 표현(416)의 중심 위치 간의 차이에 기초하여 결정될 수 있다.

상대적으로 계산 비용이 저렴한 3D 그래디언트 유도 알고리즘은 '축 큐브(cube) 값' 당 3개의 추가적인 큐브 값을 얻을 수 있으며, 축 방향을 나타내는 벡터의 3개 성분을 '축 큐브' 당 효과적으로 산출할 수 있다. 이로 인해 복셀 당, 모든 x, y 및 z 축 방향에 대한 방향성 3D 벡터가 생성될 수 있다. 원하는 좌표 축에 대한 이러한 벡터의 대표적인 측정 값, 예를 들면 평균 또는 중앙값이 결정될 수 있다. 적용할 수 있는 경우, 축 당 이러한 벡터는 단위 벡터 등가물로 변환될 수 있다. 또한, 시스템은 이 세 벡터가 3개의 가장 가까운 완전 직교 세트로 변환되도록 하여 예측된 축 당 제1 벡터 세트와 결과적인 직교 세트 사이의 각 거리(angular distance)의 합을 최소화할 수 있다.

정규 축의 이러한 세 가지 (효과적으로) 예측된 방향으로부터, 정규 자세의 일부로서, 정규 배향을 향한 수신된 3D 영상 데이터 세트의 회전을 고려하는 적절한 변환 파라미터가 계산될 수 있다. 그 후 시스템은 수신된 3D 영상 데이터 세트에 대해 축 당 정규 원점까지의 평균 거리를 결정할 수 있다. 이로부터, 수신된 3D 영상 데이터 세트의 병진을 위한 변환 파라미터가 계산될 수 있으며, 수신된 3D 영상 데이터 세트 내에 (또는 에 대해서) 있어야 하는 정규 원점, 또는 반대로, 좌표계에 있어야 하는 정규 위치를 효과적으로 결정할 수 있다.

다른 실시 예에서, 3D 심층 신경망은 다양한 스케일로 훈련될 수 있고 그리고 결과적인 예측 값의 그래디언트의 크기는 수신된 3D 영상 데이터 세트의 스케일을 결정하기 위해 사용될 수 있다. 이것을 사용하여 수신된 데이터의 원하는 스케일링을 향한 변환 파라미터를 계산할 수 있다.

도 5는 본 발명의 실시 예에 따른 정규 좌표를 결정하기 위한 3D 심층 신경망 구조의 예를 도시한다. 3D 심층 신경망은 3D U-net과 유사한 구조를 가질 수 있으며, 이는 당 업계에서 잘 알려진 2D U-net을 효과적으로 3D로 구현한 것이다.

신경망은 (확장된) 컨볼루셔널 층(3D CNNs), 3D 최대 풀링 층, 3D 디컨볼루셔널 층(3D de-CNN) 및 조밀하게 연결된 층과 같은 다양한 3D 신경망 층을 사용하여 구현될 수 있다. 상기 층은 선형, tanh, ReLU, PreLU, 시그모이드 등과 같은 다양한 활성화 함수를 사용할 수 있다. 3D CNN 및 de-CNN 층은 필터량, 필터 크기 및 서브 샘플링 파라미터가 다를 수 있다. 3D CNN 및 de-CNN 층 뿐만 아니라 조밀하게 연결된 층은 파라미터 초기화 방법이 다를 수 있다. 드롭 아웃(dropout) 층 및/또는 배치 정규화가 구조 전체에 사용될 수 있다.

3D U-net 구조에 따라, 3D CNN 및 3D de-CNN 층 내의 다양한 필터를 훈련하는 동안 예측 정확도를 높이는 데 도움이 되는 의미있는 기능을 인코딩하는 방법을 배운다. 훈련하는 동안, 3D 영상 데이터(502)의 매칭 세트 및 인코딩된 매칭 정규 좌표(540)는 전자로부터 후자의 예측을 최적화하기 위해 사용된다. 손실 함수가 최소화되는 척도로 채용될 수 있다. 이러한 최적화 노력은 SGD, Adam 등과 같은 최적화 도구를 사용하는 데 도움이 될 수 있다.

이러한 구조는 다양한 해상도 스케일을 사용할 수 있어서, 최대 풀링 또는 (확장 및/또는 서브 샘플링) 컨볼루셔널 층을 통해서 이전의 3D CNN 층 세트(504, 508, 512)에서 506, 510, 514로 효과적으로 다운스케일링한다. '의미있는 특징'은 목표 출력 값을 결정하는 것과 관련된 정보의 (연속적인) 파생물이고, 또한 3D de-CNN 층을 통해 인코딩되며, 필터를 사용하여 효과적으로 업 스케일링을 수행한다. 이러한 3D de-CNN 층(518, 524, 530)으로부터 생성된 520, 526, 532 데이터를 동일한 해상도로 작동하는 '마지막' 3D CNN 층의 데이터와 결합함으로써(512에서- 520으로, 508에서 526로 및 504에서 532으로), 매우 정확한 예측이 달성될 수 있다. 업 스케일링 경로를 통해, 추가의 3D CNN 층(522, 528, 534)이 사용될 수 있다. 3D CNN 층(534)의 필터 결과에 기초하는 복셀 당 논리를 추출하는 조밀하게 연결된 층을 사용하여 신경망 파라미터 내에서 추가 논리가 인코딩될 수 있다.

추론에 활용되고, 검증이 충분히 정확한 결과를 산출할 수 있도록 내부 파라미터를 인코딩하도록 훈련된 경우, 입력 샘플이 제공될 수 있고 3D 심층 신경망은 복셀 당 예측된 정규 좌표(542)를 산출할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 구강-악안면 3D 영상 데이터를 분할하기 위한 시스템 구성 요소의 개략적인 개요를 도시한다. 딥 러닝을 기반으로 하는 자동 분할 방법 및 시스템은 "딥 러닝 방법을 사용한 3D 구강-악안면 구조의 분류 및 3D 모델링"이라는 제목의 유럽 특허 출원 제17179185.8호에 기재되어 있다.

특히, 컴퓨터 시스템(602)은 구강-악안면 구조의 3D 영상 데이터 스택(604)을 수신하도록 구성될 수 있다. 상기 구조는 예를 들어 턱-, 치아- 및 신경 구조를 포함할 수 있다. 3D 영상 데이터는 복셀, 즉 방사선 강도 또는 밀도 값을 나타내는 회색조 값 또는 색상 값과 같은, 복셀 값과 관련된 3D 공간 요소를 포함할 수 있다. 바람직하게는, 3D 영상 데이터 스택은 예를 들어 DICOM 형식 또는 그 파생물과 같은 미리 결정된 형식에 따른 CBCT 영상 데이터를 포함할 수 있다.

특히 CBCT 스캔에서, (Hounsfield Units (HU)로 측정되는) 방사선 밀도는 스캔되는 기관의 상대적 위치에 따라 스캔에서의 다른 영역이 다른 회색조 값으로 나타나기 때문에 정확하지 않다. CBCT 및 의료용 CT 스캐너를 사용하여 동일한 해부학적 영역에서 측정된 HU가 동일하지 않아서 방사선으로 식별된 부위 별 골밀도 측정을 신뢰할 수 없다.

더욱이, 치과용 CBCT 시스템은 재구성된 밀도 값을 나타내는 회색 레벨을 조정하기 위한 표준화된 시스템을 사용하지 않는다. 이러한 값은 임의적이며 뼈의 품질을 평가할 수 없다. 이러한 표준화가 없어서, 회색 레벨을 해석하기 어렵고 또는 다른 기계에서 얻은 값을 비교할 수 없다.

치아와 턱뼈 구조는 밀도가 비슷하여 치아에 속하는 복셀과 턱에 속하는 복셀을 컴퓨터가 구별하기가 어렵다. 또한, CBCT 시스템은 두 개의 고 감쇠 물체(예: 금속 또는 뼈) 사이에 어두운 줄무늬를 생성하는 주변에 밝은 줄무늬가 있는 이른바 빔 경화(beam hardening)에 매우 민감하다.

상술한 이유 때문에, 아래에서 더 자세히 설명하는 바와 같이, 도 6을 참조하여 여기에 설명된 시스템 구성 요소를 사용하는 중첩 시스템이 특히 유리하다.

시스템 구성 요소는 제1 3D 심층 신경망(612)의 입력에 공급되기 전에 3D 영상 데이터를 전처리하기 위한 분할 전처리기(606)를 포함할 수 있으며, 신경망은 분류된 복셀(614)의 3D 세트를 출력으로 생성하도록 훈련된다. 이러한 전처리는 복셀 값을 신경망에 더 유리한 범위로 정규화하는 것을 포함한다. 이하에서 보다 상세히 설명하는 바와 같이, 3D 심층 신경망은 미리 정해진 훈련 방식에 따라 훈련 될 수 있어서 훈련된 신경망이 3D 영상 데이터 스택의 복셀을 서로 다른 클래스의 복셀(예: 치아, 턱뼈 및/또는 신경 조직 관련 복셀)로 정확하게 분류할 수 있도록 한다. 3D 심층 신경망은 복수의 연결된 3D CNN (convolutional neural network) 층을 포함할 수 있다.

컴퓨터 시스템은 3D 심층 신경망에 의해 분류된 복셀을 사용하여 구강-악안면 구조(예를 들어, 치아, 턱 및 신경)의 상이한 부분의 3D 모델을 정확하게 재구성하기 위한 분할 후처리기(616)를 더 포함할 수 있다. 분류된 복셀(614)은 치아, 턱 또는 신경 구조에 속하는 것으로 분류된 모든 복셀 표현 세트를 포함할 수 있다. 개별 치아 및/또는 턱(예: 위, 아래)이 별도의 3D 모델로 표현되는 방식으로 이러한 구조의 유형에 대한 3D 데이터를 생성하는 것이 유용할 수 있다. 이것은 볼륨 재구성(620)에 의해 달성될 수 있다. 개별 치아에 속하는 복셀 세트를 분리하는 경우, 이는 3D 이진 침식, 3D 마커 생성 및 3D 워터쉐딩(의 조합)에 의해 달성될 수 있다. 아래턱 부분과 위턱 부분으로의 분리 조합을 위해, 위-아래(실제 좌표계) 축을 따라 원점에서부터의 거리는 이 방향에 수직인 평면에 있는 복셀의 합을 동일한 축을 따라 다른 교차 평면과 비교할 때 최소화되는 곳에서 찾아질 수 있다. 이 거리를 사용하여 위턱과 아래턱 부분으로 분할할 수 있다. 다른 실시 예에서, 턱은 대응하는 복셀을 별개의 턱 클래스로 분류함으로써 신경망에 의해 자동으로 분할될 수 있다. 분류된 복셀의 다른 부분, 예를 들어 3D 심층 신경망에 의해 신경에 속하는 것으로 분류된 복셀은 보간 함수(618)를 사용하여 후처리되고 3D 신경 데이터(622)로 저장될 수 있다. 분할 후, 구강-악안면 구조의 다양한 부분의 3D 데이터를 분할하고 후처리한 후에, 신경, 턱 및 치아 데이터(622-626)는 컴퓨터 시스템의 입력에 공급된 3D 영상 데이터의 구강-악안면 구조를 정확하게 나타내는 별도의 3D 모델(628)로 결합되고 포맷될 수 있다. 분류된 복셀(614) 및 3D 모델(628) 모두는 입력 데이터(604)와 동일한 좌표계에서 정의된다는 점에 유의한다.

예를 들어 현재의 CBCT 스캔 데이터에 존재하는 가변성에 대해 3D 심층 신경망을 강인하게 만들기 위해, 3D 심층 신경망은 모듈(638)을 사용하여 3D 영상 데이터에 의해 표현되는 구강-악안면 구조 일부의 3D 모델을 사용하도록 훈련될 수 있다. 3D 훈련 데이터(630)는 604에서 제시된 CBCT 영상에 정확하게 정렬될 수 있으며, 연관된 목표 출력(예를 들어, 구강-악안면 구조의 3D CT 영상 데이터 및 구강-악안면 구조의 연관된 3D 분할 표현)은 알려져 있다. 종래의 3D 훈련 데이터는 입력 데이터를 수동으로 분할하여 얻을 수 있으며 이는 상당한 양의 작업을 필요로 한다. 또한, 수동 분할로 인해 사용할 입력 데이터의 재현성과 일관성이 떨어진다.

이 문제에 대응하기 위해, 일 실시 예에서, 광학적으로 생성된 훈련 데이터(630), 즉, 구강-악안면 구조(의 일부)의 정확한 3D 모델이 대신 사용되거나 또는 수동으로 분할된 훈련 데이터에 추가로 사용될 수 있다. 훈련 데이터를 생성하기 위해 사용되는 구강-악안면 구조는 3D 광학 스캐너를 사용하여 스캔될 수 있다. 이러한 광학 3D 스캐너는 당 업계에 공지되어 있으며 고품질의 3D 턱 및 치아 표면 데이터를 생성하는 데 사용될 수 있다. 3D 표면 데이터는 복셀 분류기(634)에 의해 채워지고(특정 복셀이 메쉬에 의해 둘러싸인 볼륨의 일부인지 결정) 그리고 사용될 수 있는 3D 표면 메쉬(632)를 포함할 수 있다. 이러한 방식으로, 복셀 분류기는 훈련을 위해 매우 정확한 분류 복셀(636)을 생성할 수 있다. 또한, 상술한 바와 같이, 수동으로 분류된 훈련 복셀은 신경망을 훈련하기 위해 훈련 모듈에 의해 사용될 수 있다. 훈련 모듈은 분류된 훈련 복셀을 목표로 사용하고 관련된 CT 훈련 데이터를 입력으로 사용할 수 있다.

도 7a 및 7b는 본 발명의 다양한 실시 예에 따른 구강-악안면 3D 영상 데이터의 분할을 위한 3D 심층 신경망 구조의 예를 도시한다. 도 7a에 도시된 바와 같이, 네트워크는 3D 컨볼루셔널 신경망(3D CNN)을 사용하여 구현될 수 있다. 컨볼루셔널 층은 시그모이드 함수, tanh 함수, relu 함수, 소프트 맥스 함수 등과 같은 층에 있는 뉴런과 관련된 활성화 함수를 사용할 수 있다. 복수의 3D 컨볼루셔널 층이 사용될 수 있으며, 층의 수 및 그 정의 매개 변수, 예를 들어. 다른 활성화 함수, 커널 양 및 크기는 조금 변할 수 있으며, 그리고 드롭아웃(dropout) 층 및/또는 배치 정규화 층과 같은 추가 기능 층이 3D 심층 신경망 설계의 본질을 잃지 않는 범위에서 구현에 사용될 수 있다

네트워크는 복수의 컨볼루셔널 경로, 이 예에서는 3개의 컨볼루셔널 경로를 포함하고, 제1 3D 컨볼루셔널 층 세트(704)와 관련된 제1 컨볼루셔널 경로, 제2 3D 컨볼루셔널 층 세트(706)와 관련된 제2 컨볼루셔널 경로 및 제3 3D 컨볼루셔널 층 세트(708)와 관련된 제3 컨볼루셔널 경로를 포함할 수 있다. 데이터 처리를 실행하는 컴퓨터는 CT 영상 데이터와 같은 3D 데이터 세트(702)를 컨볼루셔널 경로의 입력에 제공할 수 있다. 3D 데이터 세트는 3D 치아 구조체의 복셀 표현일 수 있다.

서로 다른 컨볼루셔널 경로 각각의 기능은 도 7b에 더욱 상세히 표시되어 있다. 이 도면과 같이, 3D 영상 데이터를 나타내는 복셀이 신경망의 입력에 공급된다. 이러한 복셀은 미리 결정된 볼륨을 정의할 수 있으며, 이는 영상 볼륨(701₄)으로 간주될 수 있다. 컴퓨터는 영상 볼륨을 제1 복셀 블록으로 분할하고 제1 경로의 입력에 제1 블록을 제공할 수 있다. 제1 경로(703₁)의 3D 컨볼루셔널 층은 제1 복셀 블록(701₁)에 대해 3D 컨볼루셔널 연산을 수행할 수 있다. 처리되는 과정에서, 하나의 3D 컨볼루셔널 층의 출력은 후속하는 3D 컨볼루셔널 층의 입력이다. 이러한 방식으로 각 3D 컨볼루셔널 층은 입력에 공급되는 3D 영상 데이터의 일부를 나타내는 3D 특징 맵을 생성할 수 있다. 따라서 이러한 특징 맵을 생성하도록 구성된 3D 컨볼루셔널 층을 3D CNN 특징(feature) 층이라고 할 수 있다.

도 7b에 도시된 바와 같이, 제2 경로(703₂)의 컨볼루셔널 층은 복셀 표현의 제2 블록(701₂)을 처리하도록 구성될 수 있으며, 복셀의 제2 블록은 연관된 복셀의 제1 블록의 다운 샘플링된 버전을 나타내며, 복셀의 제1 및 제2 블록은 동일한 중심 원점을 갖는다. 제2 블록의 표시된 볼륨은 제1 블록의 볼륨보다 크다. 더욱이 제2 복셀 블록은 관련된 제1 복셀 블록의 다운 샘플링된 버전을 나타낸다. 다운 샘플링 인자는 적절한 값이 될 수 있으며, 일 실시 예에서, 다운 샘플링 인자는 20 내지 2, 바람직하게는 5 내지 3 사이에서 선택될 수 있다.

제1 경로(703₁)는 제1 3D CNN 특징 층 세트(예: 5-20개 층)를 정의할 수 있으며, 입력 데이터(예를 들어, 영상 볼륨의 미리 결정된 위치에 있는 복셀의 제1 블록)를 목표의 복셀 해상도(즉, 분류된 영상 볼륨의 복셀)로 처리하도록 구성된다. 제2 경로는 제2 3D CNN 특징 층 세트(예: 5-20개 층)를 정의할 수 있으며, 복셀의 제2 블록을 처리하도록 구성되며 복셀의 제2 블록(701₂)의 각 블록은 복셀의 제1 블록(701₁)과 연관된 블록과 동일한 중심점을 갖는다. 더욱이, 제2 블록의 복셀은 제1 블록(701₁)의 해상도보다 낮은 해상도로 처리된다. 따라서 복셀의 제2 블록은 제1 블록보다 실제 크기에서 더 큰 볼륨을 나타낸다. 이러한 방식으로, 제2 3D CNN 특징 층은 제1 3D CNN 특징 층에 의해 처리되는 관련 복셀의 직접 이웃에 대한 정보를 포함하는 3D 특징 맵을 생성하기 위해 복셀을 처리한다. 이러한 방식으로, 제2 경로는 3D 심층 신경망이 맥락 정보(contextual information), 즉 3D 심층 신경망의 입력에 제공되는 3D 영상 데이터 복셀의 상황(예: 그 주변)에 대한 정보를 결정할 수 있도록 한다.

유사한 방식으로, 제1 복셀 블록(701₃)의 추가 맥락 정보를 얻기 위해 제3 경로(703₃)가 활용될 수 있다. 따라서, 제3 경로는 제3 3D CNN 특징 층 세트(5-20 개 층)를 포함할 수 있으며, 복셀의 제3 블록을 처리하도록 구성되며, 복셀의 제3 블록(701₃)의 각 블록은 복셀의 제1 블록(701₁) 및 복셀의 제2 블록(701₃)으로부터의 연관된 블록과 동일한 중심점을 갖는다. 또한, 제3 블록의 복셀은 복셀의 제1 및 제2 블록의 해상도보다 낮은 해상도로 처리된다. 이 다운-샘플링 인자는 다시 적절한 값으로 설정될 수 있다. 일 실시 예에서, 다운-샘플링 인자는 20 내지 3, 바람직하게는 16 내지 9 사이에서 선택될 수 있다.

3개 이상의 경로를 사용함으로써 3D 영상 데이터(입력 데이터)와 3D 영상 데이터의 복셀에 대한 맥락 정보를 동시에 처리할 수 있다. 맥락 정보는 구강-악안면 구조를 분류하는 데 중요하며 일반적으로 구별하기 어려운 밀착된 치아 구조를 포함한다.

3D CNN 특징 층 세트의 출력은 병합되어 완전히 연결된 3D CNN 층 세트 (410)의 입력에 공급되며, 이는 신경망의 입력에서 제공되는 복셀(412)의 의도된 분류를 유도하도록 훈련되며 3D CNN 특징 층에 의해 처리된다.

3D CNN 특징 층 세트는 (학습 가능한 파라미터를 통해) 훈련되어 특정 입력에서 결정될 수 있는 최적의 유용한 정보를 도출하고 전달할 수 있으며, 완전히 연결된 층은 최적의 분류된 복셀(712)을 제공하기 위해 이전 세 경로의 정보가 결합되어야되는 방법을 결정하는 파라미터를 인코딩한다. 여기서, 완전히 연결된 층(마지막 층)의 출력은 각 복셀에 대한 복수의 활성화를 제공할 수 있다. 이러한 복셀 활성화는 복셀이 복수의 클래스, 예를 들어 치아 구조 클래스(예: 치아, 턱 및 / 또는 신경 구조) 중 하나에 속할 확률을 정의하는 확률 척도(예측)을 나타낼 수 있다. 각 복셀에 대해, 분류된 복셀을 얻기 위해 서로 다른 치아 구조와 관련된 복셀 활성화가 임계(thresholded)될 수 있다. 그 후, 서로 다른 치아 구조 클래스에 속하는 분류된 복셀이 영상 공간(714)에 제시 될 수 있다. 따라서, 3D 심층 신경망의 출력은 입력에서 복셀의 영상 공간에 해당하는 영상 공간에서 분류된 복셀이다.

도 6 및 도 7과 관련하여 설명된 분할 3D 심층 신경망은 본질적으로 3D 영상 데이터 공간에 걸친 변화에 대항해서 불변할 수 있지만, 초기 사전 정렬 단계(124)를 적용하기 위해 프로세서(114)로부터의 정보를 사용하여 정규 자세를 획득하기 위한 최소한의 회전을 (비교적 대략적이더라도) 조절하는 것이 유리할 수 있다는 점에 유의한다. 사전 정의된 정규 방향(예: 각각 내부 (3D 데이터 세트)가 z-방향 위-아래, x-방향 좌-우 및 y-방향 앞-뒤를 표시)이 사용된 3D 영상 데이터에 실제 세계의 직교 방향(예: 환자 위-아래, 왼쪽-오른쪽 및 앞-뒤)이 제공됨에 따라, 분할 3D 심층 신경망에 필요한 메모리 대역폭이 줄어들 수 있으며, 훈련 시간이 단축되고 분할의 정확도가 향상될 수 있다. 이는 상기 정규 회전에 대한 회전을 고려하여 사전 정렬된 상기 3D 데이터 세트를 갖는 데이터를 사용하여 특별히 훈련하고 및 추론(비훈련 샘플에 대한 예측)을 수행함으로써 진행될 수 있다.

도 8은 본 발명의 일 실시 예에 따른 3D 구강-악안면 3D 영상 데이터의 분류를 위한 시스템 구성 요소의 개략적인 개요를 도시한다. 딥 러닝 기반 자동 분류 방법 및 시스템은 유럽 특허 출원 제17194460.6호에 '딥 러닝 방법을 사용한 3D 치아 데이터의 자동 구분 및 분류'이라는 제목으로 기술되어 있으며, 이는 본 출원 참고 문헌으로 통합된다. 시스템(800)은 2개의 상이한 프로세서를 포함할 수 있는데, 즉, 3D 심층 신경망(826)을 훈련하기 위한 프로세스를 실행하는 제1 훈련 모듈(802) 및 신규 입력 데이터(816)에 기반하여 분류 프로세스를 실행하는 제2 분류 모듈(832)을 포함 할 수 있다.

도 8에 도시된 바와 같이, 훈련 모듈은 훈련에 사용될 데이터 소스의 저장소 또는 데이터베이스(806, 812)를 하나 이상 포함할 수 있다. 이러한 저장소는 입력 데이터, 즉 치열을 포함한 3D 영상 데이터를 수신하도록 구성된 입력(804)을 통해 데이터를 소싱할 수 있으며, 이러한 데이터는 원하는 레이블과 함께 다양한 형식으로 저장될 수 있다. 보다 구체적으로, 적어도 제1 저장소 또는 데이터베이스(806)는 치열 내의 치아의 관련 레이블 및 치열의 3D 영상 데이터를 저장하는 데 사용될 수 있으며, 훈련에 사용될 수 있는 개별 치아를 나타내는 관심 볼륨(810)을 분할하고 추출하도록 구성된 컴퓨터 시스템(808)에 의해 사용될 수 있다. 이러한 시스템은 복셀(예: (CB)CT) 데이터인 경우, 또는 치아와 잇몸(예: IOS 데이터)을 포함하는 3D 표면 메쉬로부터 분할될 수 있는 개별 치아 크라운의 3D 표면 메쉬인 경우에 도 6 및 도 7과 관련하여 설명된 바와 같이 구현될 수 있다. 유사하게, 제2 저장소 또는 데이터베이스(812)는 광학 스캐닝에 의해 생성된 3D 표면 메쉬와 같은 3D 데이터 및 네트워크 훈련 중에 사용될 수 있는 개별 치아의 레이블의 다른 형식을 저장하기 위해 사용될 수 있다.

3D 훈련 데이터는 3D 심층 신경망(828)을 위해 최적화된 3D 복셀 표현(복셀 화)으로 전처리(826)될 수 있다. 3D 심층 신경망 프로세서(826)는 개별 치아 샘플에 대한 훈련만을 필요할 수 있으므로 훈련 프로세스는 이 단계에서 끝날 수 있다. 일 실시 예에서, 3D 표면 메쉬와 같은 3D 치아 데이터는 적절하게 레이블링된 완전한 치열 스캔으로에서 유래하는 분할된 3D 영상 데이터에 기초하여 또한 결정될 수 있다(808 내지 812).

새로운 치열(의 일부)(816)을 분류하기 위해 분류(taxonomy)모듈(800)을 사용하면, 물리적 치열을 3D 심층 신경망(828)에 최적화된 3D 표현으로 변환할 때 다시 여러 데이터 형식이 사용될 수 있다. 상술한 바와 같이, 분류 시스템은 치열 3D 영상 데이터(106, 108)를 사용하고 그리고 훈련 프로세서(808)와 비슷하게 개별 치아(822, 626)를 포함하는 관심 볼륨을 분할하고 추출하도록 구성된 컴퓨터 시스템(820, 602)을 사용한다. 대안으로, 광학 스캔으로 얻은 치아 당 표면 메쉬(824)와 같은 다른 표현이 사용될 수 있다. 전체 치열 데이터가 관심 볼륨 이외의 다른 3D 표현을 추출하는 데 사용될 수 있다(820 - 824).

3D 심층 신경망(828)에 필요한 형식을 위해 전처리 과정(826)이 배치될 수 있다. 전체 중첩 시스템의 문맥 내에서, 예를 들어 수신된 3D 영상 데이터 세트가 (CB)CT 데이터인 경우, 신경망(828)에 의한 분할 데이터의 분류는 볼륨 재구성(620)에서 직접 생성된 데이터(의 서브 세트)를 사용하여 수행될 수 있다. 예를 들어 수신된 3D 영상 데이터 세트가 IOS 데이터인 경우, 828에 의한 분류는 크라운의 3D 표면 메쉬 분할 및 복셀화에 이어서 직접 (데이터의 서브 세트에 대해) 수행될 수 있다.

3D 심층 신경망의 출력은 치열에 관한 정보(예를 들어, 각 개별 치아 인덱스가 단일 치열에서 한 번만 나타날 수 있다는 사실)를 사용하도록 설계된 분류 후처리 단계(830)에 공급되어 치열의 치아에 적용되는 레이블 세트에 대한 분류 정확성을 확보한다. 이로 인해 식별된 개별 치아 객체 별로 치아 레이블을 시스템이 출력할 수 있다. 일 실시 예에서, 3D 심층 신경망의 추가 훈련 후에 정확도를 더 증가시킬 목적으로 정확한 레이블이 훈련 데이터로 피드백될 수 있다.

도 9는 본 발명의 일 실시 예에 따른 구강-악안면 3D 영상 데이터의 분류를 위한 3D 심층 신경망 구조의 예를 도시한다. 신경망은 3D 컨볼루셔널 층(3D CNN)를 사용하여 구현될 수 있다. 컨볼루션은 활성화 함수를 사용할 수 있다. 복수의 3D 컨볼루셔널 층(904-908)이 사용될 수 있으며, 층의 수 및 그 정의 파라미터, 예를 들어, 다른 활성화 함수, 커널 양, 서브 샘플링 사용 및 크기는 조금 변할 수 있으며, 드롭 아웃 및/또는 배치 정규화 층과 같은 추가적인 기능 층이 3D 심층 신경망 설계의 본질을 잃지 않고 구현에 사용될 수 있다.

부분적으로 3D 심층 신경망 내 데이터의 내부 표현 크기를 줄이기 위해, 3D 최대 풀링 층(910)이 사용될 수 있다. 신경망의 이 지점에서, 내부 표현은 3D 공간에서의 표현을 잠재적 레이블, 특히 치아-유형 레이블의 활성화로 변환하기 위한 매개체가 되는 것을 목표로 하는 조밀하게-연결된 층(912)으로 전달될 수 있다.

최종 또는 출력 층(914)은 원하는 수의 인코딩된 레이블과 동일한 크기를 가질 수 있고 잠재적 레이블(918) 당 (예측과 유사한) 활성화 값을 결정하는 데 사용될 수 있다.

3D CNN 층을 위한 입력으로 전처리된 3D 데이터 세트(902), 즉 치아의 3D 복셀 표현을 사용하여 신경망을 훈련할 수 있다. 각 샘플(단일 치아의 3D 표현)에 대해 정확한 레이블(916)의 일치 정도가 원하는 출력과 실제 출력(914) 사이의 손실을 결정하는 데 사용될 수 있다. 이 손실은 훈련 중에 3D 심층 신경망 층 내에서 파라미터를 조정하는 척도로 사용될 수 있다. 훈련 중에 최적화 기능을 사용하여 훈련의 효율성을 높일 수 있다. 신경망은 내부 파라미터가 결과의 원하는 정확도에 도달할 때까지 반복 횟수에 관계없이 훈련될 수 있다. 적절하게 훈련되면, 레이블이 지정되지 않은 샘플이 입력으로 제공될 수 있으며 3D 심층 신경망을 사용하여 각각의 잠재적 레이블에 대한 예측을 유도할 수 있다.

따라서, 3D 심층 신경망은 치아의 3D 데이터 샘플을 복수의 치아 유형, 즉 성인의 건강한 치아의 경우 32 가지 치아 유형 중 하나로 분류하도록 훈련되고, 신경망의 출력은 활성화 값 및 관련 잠재적 치아 유형 레이블이 된다. 활성화 값이 가장 높은 잠재적 치아 유형 레이블은 치아의 3D 데이터 샘플이 레이블로 표시된 치아 유형을 나타낼 가능성이 가장 높다는 것을 분류 시스템에 표시할 수 있다. 활성화 값이 가장 낮거나 상대적으로 낮은 잠재적 치아 유형 레이블은 치아의 3D 데이터 세트가 그러한 레이블에 의해 표시된 치아 유형을 나타낼 가능성이 가장 낮다는 것을 분류 시스템에 표시할 수 있다.

예를 들어, 입력 복셀 표현이 완전한 치아 볼륨이거나, 또는 입력 복셀 표현이 치아 크라운만을 나타내는 것과 같은, 입력 볼륨의 유형에 따라 별도의 특정 신경 모델 (특정한 훈련 후 서로 다른 최종 파라미터를 갖는 동일한 구조)의 훈련이 요구될 수 있다.

또한, (분할 3D 심층 신경망의 경우였던) 도 8 및 도 9와 관련하여 설명된 분류 3D 심층 신경망은 본질적으로 3D 영상 데이터 공간에서의 변화에 대항해서 불변할 수 있지만, 초기 사전 정렬 단계(124)를 적용하기 위해 프로세서(114)로부터의 정보를 사용하여 정규 자세를 획득하기 위한 최소한 회전을 (비교적 대략적이더라도) 조절하는 것이 유리할 수 있다는 점에 또한 유의한다. 사전 정의된 정규 방향(예: 각각 내부 (3D 데이터 세트)가 z-방향 위-아래, x-방향 좌-우, 및 y-방향 앞-뒤를 표시)이 사용된 3D 영상 데이터에 실제 세계의 직교 방향(예: 환자 위-아래, 왼쪽-오른쪽 및 앞-뒤)이 제공됨에 따라, 분할 3D 심층 신경망에 필요한 메모리 대역폭이 줄어들 수 있으며, 훈련 시간이 단축되고 분할의 정확도가 향상될 수 있다. 이는 상기 정규 좌표계에 대한 회전을 고려하여 사전 정렬된 상기 3D 데이터 세트를 사용하여 데이터에 대해 특별히 훈련하고 및 추론을 수행함으로써 진행될 수 있다.

도 10a 및 도 10b는 분류 정보를 포함하거나 포함하지 않은 두 개의 예시적인 3D 구강-악안면 데이터 세트에서 생성된 키포인트의 예를 각각 도시한다. 별도의 치아 또는 치아 크라운 표시 구조를 정의하는 적어도 3D 영상 데이터(표면 볼륨)에 의해, 그리고 (CB)CT 데이터의 경우 도 6 및 도 7과 관련하여 설명된 바와 같이 처리하거나, 또는 IOS 데이터의 경우 개별 치아 크라운의 표면 메쉬에 대한 보다 일반적인 결정을 사용하여, 표면을 특성화하는 키포인트가 결정될 수 있다. 실제로 이것은 표면 메쉬 내에서 사용 가능한 모든 포인트를 가장 관련성 높은 (가장 두드러진) 포인트 세트로 줄이는 축소 단계로 간주될 수 있다. 이 축소는 처리 시간 및 메모리 요구 사항을 감소시키는 점에서 유용하다. 또한, 비록 생성을 위한 입력이 약간 발산하는 (여전히 동일한 구조를 나타내는) 3D 표면 메쉬(의 세트) 일지라도 대략 동일한 포인트 세트를 얻을 것으로 예상되는 포인트 결정 방법을 선택할 수 있다. 표면 메쉬로부터 키포인트를 결정하기 위한 당 업계에 잘 알려진 방법은 수작업되거나(수동으로 엔지니어링되거나) 및/또는 기계 학습되며 (조금 변화하는) 입력 표면 메쉬에 대한 반복도가 최적화될 수 있는 국부 또는 전역(global) 표면 기술어(descriptors)(또는 특징)를 결정하는 것을 포함하며, 성능(현저한 지점 또는 키포인트를 결정하는 속도)에서 최적화 될 수 있는 것으로, 이러한 점은 TONIONI A, 등의 논문(Learning to detect good 3D keypoints. Int J Comput Vis. 2018 Vol.126, pages 1-20)에 기재되어 있다. 이러한 특징의 예로는 표면 곡률의 국부 및 전역 최소값 또는 최대값이다.

도 10a와 도 10b는 수신된 2개의 3D 영상 데이터 세트의 컴퓨터 렌더링이며, 표면의 메쉬를 정의하는 에지 및 꼭지점을 포함하여 결국 표면을 정의하는 점들이 도시되어 있다. 상단 4개 객체는 구강 내 스캔에서 얻어진 개별 처리되고 분할된 치아 크라운이다. 하단 4개 객체는 도 6 및 도 7을 참조한 방법에 따라 CBCT 스캔에서 얻어진 개별 치아이다. 이러한 4개 치아 2개 세트는 거의 동일한 시간에 동일한 환자로부터 얻어진 것이다. 이들은 도 3, 도 4 및 도 5를 참조하여 위에서 더 상세히 설명된 바와 같은 프로세서로 대략 미리 정렬되어 있으며, 앞서 설명된 바와 같이 프로세서(114)가 정규 자세를 결정한다. 114 이후의 정보로부터, 중복 볼륨이 결정되고, 3D 구조체가 개별 치아를 나타내는 별도의 표면 메쉬로 분할된다. 도 10b의 경우, 추가적으로, 도 8 및 도 9를 참조하여 설명한 방법에 따라 개별 치아 3D 영상 데이터의 분류가 수행되었다.

특히, 도 10a에 있어서, 포인트는 P[수신된 데이터 세트의 번호]-[포인트의 번호] 형식에 따르는 레이블로 시각화되었으며; 시각화 목적을 위해 포인트 수가 감소되었다. 도시된 바와 같이, 키포인트 생성 후 각 수신된 3D 영상 데이터 세트에는 볼륨의 두드러진 특징을 따르는 자체 키포인트 세트가 있으며, 표면을 따라 동일한 포인트가 (임의로 번호가 매겨진) 키포인트로 표시된다. 원래 3D 데이터 세트 내에서 개별 치아 당 이런 포인트를 서브-그룹화할 수 있지만, (동일한) 개별 치아가 다른 3D 데이터 세트에서 식별될 수 없기 때문에 추가적인 이점을 얻을 수 없다.

도 10b에서, 추가 분류 단계에서 얻어지는 정보를 사용하며, 레이블 형식은 P[수신된 데이터 세트의 번호]-[식별된 치아 인덱스]-[포인트의 번호]로서 시각화된다. 식별된 치아의 인덱스는 동일한 실제 치아에 대해 수신된 두 데이터 세트에서 동일한 인덱스이다. 각 개별 치아 서브-그룹 내에서, 키포인트의 번호 지정은 여전히 임의적이라는 점에 유의해야 한다.

3D 표면 메쉬 데이터 (및 포인트 클라우드 데이터 또는 키포인트 모음)는 일반적으로 부동 소수점 숫자를 사용하여 직교 x, y 및 z 좌표의 형식으로 저장된다. 이것은 키포인트의 위치를 매우 정확하게 결정하는 잠재력을 열어 주며, 따라서 매우 정확한 정렬 결과는 반복적인 최근접 지점(iterative closest point) 방법을 사용하는 경우처럼 이러한 키포인트 크라우드 사이의 계산된 거리를 최소화하는 방법을 기반으로 변환 파라미터를 결정한다.

도 10b에 도시된 바와 같이, 어떤 키포인트가 어느 치아에 속하는지 (및 수신된 다른 3D 영상 데이터 세트에 있는 동일한 치아 표현과 일치)를 고려하는 추가된 정보는 정렬 변환 파라미터의 보다 정확한 결정을 달성하기 위해 구체적으로 사용될 수 있다. 예를 들어 초기 사전 정렬이 수행되지 않은 경우에는, 치아 당 평균 좌표는 수신된 3D 영상 데이터 세트 중 하나를 다른 것에 사전-정렬하는 데 사용될 수 있다(효과적으로 일치하는 치아를 서로 최대한 가깝게 배향). 다른 경우에, 변환 파라미터 세트를 먼저 결정하고 (수신된 두 3D 영상 데이터 세트 사이의 일치하는 치아 당 하나씩), 그리고 그러한 세트의 평균에 기초하여 최종 변환 파라미터를 결정하는 것이 유익할 수 있다. 이는 수신된 두 3D 영상 데이터 세트 간의 중복 볼륨이 (적절하게 충분히) 결정되지 않은 경우에 특히 유용할 수 있다.

정렬 변환 파라미터를 결정하려면 적어도 3개의 비-동일직선상(non-colinear) 점이 결정되어야 한다.

도 11은 본 발명의 일 실시 예에 따른 복셀 표현의 중첩을 위한 변환 파라미터를 직접 결정하기 위한 시스템 구성 요소의 개략적인 개요를 도시한다. 수신된 3D 영상 데이터 세트가 다른 것에 정렬될 수 있는 방법을 정의하는 적용 가능한 3D 회전, 3D 변환 및 3D 스케일링과 같은, 변환 파라미터를 직접 예측하는 데 시스템(1100)이 사용될 수 있다. 훈련 데이터(1102) 및 추론 데이터(1116)는 3D 영상 데이터, 예를 들면 복셀 강도 값, 즉, (CB)CT 데이터의 경우에는 방사선 밀도, 또는 복셀화된 표면 스캔 데이터의 경우에는 이진 값을 포함할 수 있다. 강도 값은 임계값 수단에 의해 이진화될 수 있다, 즉 (CB)CT 데이터의 경우에는 500 HU값 보다 더 높은 모든 복셀 값을 1로 세팅하고 나머지 복셀은 0으로 세팅한다. 특히 훈련 데이터를 생성할 목적으로, 이 임계값은 400 - 800 HU 범위에서 생성되는 샘플에서 무작위로 선택 될 수 있다. .

시스템은 수신된 2개의 3D 영상 데이터 세트 사이에 상이한 양식 (modalities)을 갖는 3D 영상 데이터로부터 파라미터를 예측하는 데 사용될 수 있다. 서로 다른 구조를 고려하는 정보를 포함하는 서로 다른 소스는 동일한 신경망에 의해 훈련될 수 있다. 예를 들어, (CB)CT 정보를 IOS 정보와 일치시키는 경우, 치아 크라운의 표면은 수신된 두 데이터 세트로 구별될 수 있다. 잇몸은 IOS 데이터 내에서만 구별될 수 있고, 치근은 (CB)CT 데이터에서만 구별될 수 있다.

훈련 동안, 3D 심층 신경망(1114)의 내부 파라미터는 충분히 높은 정확도의 결과를 제공하는 신경망으로 최적화될 수 있다. 이것은 다양한 양식일 수 있지만 현실 세계 구조의 적어도 부분적인 볼륨 중복을 포함하는 3D 영상 데이터 세트(1102)의 모음을 사용함으로써 달성될 수 있다. 그러한 네트워크를 훈련시키기 위해, 이들 2개의 입력 세트가 서로 정렬되거나 중첩(1104)되는 것이 바람직하다. 이것이 아직 데이터(1102)의 경우가 아니라면, 도 6 내지 10과 관련하여 설명된 방법에 따른 정보에 따라 수동 또는 자동으로 수행될 수 있다. 훈련 데이터 중첩의 정확도는 출력 데이터의 정확도에 영향을 미칠 수 있다.

신경망(1114) 훈련을 위해 제시된 데이터가 동일한 실제 구조를 포함하고 3D 심층 신경망(1114)에 제공될 복셀 표현에서 동일한 실제 해상도로 스케일링되는 것은 (정확도, 메모리 대역폭 요구 사항 및 잠재적 처리 속도를 고려하면) 유익하다. 수신된 데이터 세트 내에 충분한 중복이 아직 존재하지 않는 경우, 도 3과 관련하여 설명 된 방법을 따라, 이것은 정규 좌표계에서 결정된 중복 영역에 따라 수동으로 또는 자동으로 수행될 수 있다(1106). 입력 데이터 세트가 수신된 데이터 내의 메타 데이터로부터 알려지거나 또는 도 3과 관련하여 설명된 방법에 의해 유도된 것과 같이 다른 해상도를 갖는 경우, 고해상도 데이터를 저해상도 데이터의 해상도로 재 스케일링하는 것(1108)은 유익할 수있다.

동일한 수신된 3D 영상 데이터 세트로부터 다수의 훈련 샘플을 생성하기 위해, 중복 영역의 선택(1106)은 최대 중복 관심 볼륨(VOI) 뿐만 아니라 최대 중복 볼륨 내에서 더 작은 볼륨이 선택되는 방식으로 활용될 수 있으며, 일치하는 데이터의 서브세트에서 3D로 효과적으로 '확대(zooming)'할 수 있다.

다수의 훈련 샘플을 생성하기 위해, 프로세서(1110)에 도달할 때까지 처리된 데이터에 존재하는 정렬을 효과적으로 오정렬(misaligning)하는 랜덤 병진, 회전 및/또는 스케일링 변환이 적용될 수 있다(1110). 상기 도입된 오정렬은 예측된 변환을 위한 훈련 목표로서 역할을 수행하기 위해 적용 가능한 변환 파라미터의 형태로 3D 심층 신경망(1114)에 전달될 수 있다. 전처리된 데이터 세트 샘플 중 하나의 복셀 표현 또는 선택적으로 두 샘플 모두의 복셀 표현의 회전 및/또는 병진은 당 업계에 알려진 바와 같이 선형 (또는 다른) 보간을 사용하는 회전 방법에 의해 수행될 수 있다.

유사한 구조를 포함하는 다양한 세트의 3D 영상 데이터 세트의 전처리로부터 얻어지는 다수의 샘플이 데이터베이스 (또는 메모리)(1112)에 저장될 수 있고, 따라서 신경망(1114)의 훈련이 다수의 샘플에 대해 수행될 수 있다.

다른 실시 예에서, 유사한 구조를 갖는 별도의 3D 심층 신경망은 특정 조건, 예를 들어 특정 영상 양식 매칭, 실제 구조 포함, 및/또는 복셀 표현의 특정 크기 스케일링에 대해 훈련될 수 있다. 이렇게 하면 가용한 시스템 메모리, 처리 속도 등과 같은 하드웨어 요구 사항을 계속 준수하면서, 특정 경우에 대한 결과의 잠재적 정확도가 더 높아질 수 있다.

1114가 충분히 훈련되면, '신규 데이터'(1116)가 예측 또는 추론을 위해 제시될 수 있다. 이 신규 데이터는 잠재적으로 다른 영상 양식의 복셀 표현 등을 고려하는 위에서 설명한 것과 동일한 유형일 수 있다. 입력 데이터 세트에 있는 치아 구조의 정규 자세는 제1 3D 심층 신경망에 의해 결정될 수 있고(1118), 이어서 도 3을 참조하여 설명된 방법에 의해 정규 좌표계에서 중복되는 VOI를 나타내는 데이터의 서브 세트를 선택할 수 있다(1120), 입력 데이터 세트가 수신된 데이터 내의 메타 데이터로부터 알려지거나 도 3과 관련하여 설명된 방법에 의해 유도된 것과 같이 다른 해상도를 갖는 경우 고해상도 데이터를 저해상도 데이터의 해상도로 재 스케일링(1122)이 수행될 수 있다. 저해상도 데이터(1122)의 해상도로 고해상도 데이터가 재 스케일링될 수 있다. 두 데이터 세트 모두 내의 상기 결과는 3D 심층 신경망(1114)에 의한 수신을 위해 사전 처리된다. 중복된 VOI의 사전 정렬 및 선택은 여기에 설명된 방법보다 덜 정확할 것으로 예상되며, 이 점에서 이 방법은 도 3과 관련하여 설명된 방법에 대해 더 정확한 개선으로 간주될 수 있다.

훈련된 3D 심층 신경망은 연속적으로 전처리된 데이터를 처리하고(1114) 샘플 1 및 샘플 2의 중첩을 위한 변환 파라미터(1126)를 예측으로서 출력할 수 있다. 이러한 매개 변수 세트는 6개 값의 벡터를 포함 할 수 있으며, 처음 3개는 변환될 데이터 샘플(예: 샘플 2)을 위한 수신된 좌표계의 3개의 직교 축을 따라 순차적으로 실행될 적용 가능한 회전을 인코딩하고, 마지막 3개 값은 샘플 2를 샘플 1에 정렬하거나 중첩하기 위한 적용 가능한 병진, 양수 및/또는 음수이다.

또 다른 실시 예에서, 이들 파라미터는 동일한 원하는 정렬 또는 중첩 결과를 달성하는 회전 및/또는 병진 행렬 및/또는 변환 행렬의 형태로 훈련될 수 있다.

1118, 1120 및/또는 1122를 사용하는 경우, 수신된 샘플에 대해 예측되어진 변환 파라미터가 원래 수신된 3D 영상 데이터 세트의 정렬 또는 중첩을 위한 파라미터를 아직 얻지 못할 수 있다. 그러한 경우에, 프로세서(1128)는 이들 3개의 전처리기에 이어 후속하는 임의의 사전-처리된 변환을 고려하는, 즉 샘플에 대한 예측 변환과 함께 임의의 선행 변환을 '적층하는(stacking)', 정보를 고려하여 활용될 수 있으며, 시스템(1100)은 수신된 3D 영상 데이터 세트에 적용할 수 있는 변환 파라미터 출력을 얻는다.

이 시스템의 추론 방법은 상대적으로 계산 집약적이지 않으므로 상대적으로 빠르다. 이 시스템의 정확도는 사전 정렬 및 선택 단계 1118 및 1120을 사용할 때 훨씬 더 높을 수 있다. 이 시스템은 다양한 영상 양식에 대해 매우 강인할 수 있으며 여러 해상도(수신된 복셀 표현의 복셀 크기)에서 작동할 수 있으며, 구조체 사이의 중복 정도에 따라 0.5-1 mm의 복셀 해상도를 사용할 수 있다. 그러나 중복이 불충분한 경우에는 충분히 정확하지 않을 수 있다. 다양한 변환 파라미터 세트를 구성하는 요소는 부동 소수점 값의 형태일 수 있다.

도 12a 및 12b는 본 발명의 일 실시 예에 따른 변환 파라미터의 직접 추론을위해 시스템 구성 요소 내에서 사용되고 그리고 그로부터 얻어지는 수신되고 변환된 데이터의 예시를 보여준다. 보다 구체적으로, 상기 도면은 두 개의 수신된 3D 영상 데이터 세트(1202 및 1204)를 시각화하고 있다. 이 시각화는 복셀 표현으로 3D 영상 데이터 세트를 컴퓨터 렌더링한 것이다.

이러한 특정 시각화에 있어서, 사용된 복셀 크기는 직교 방향으로 1mm로 볼 수 있다. 시스템 구성 요소가 수신한 1202는 CBCT 데이터에서 유래되었지만, 본 시각화의 목적을 위해 500 Hounsfield 단위 이상의 CBCT 데이터에는 임계값을 설정 한 결과의 3D 볼륨으로 표시된다. 1204는 동일한 환자의 IOS의 복셀화된 표현이며, 둘 다 거의 동일한 시간에 찍은 3D 영상 데이터 세트를 수신한 것이다.

시스템 구성 요소로부터 얻어지는 변환 파라미터를 적용한 도 12b로부터, 1204가 3D 회전 및 3D 병진을 통해 정렬되거나 중첩되었음을 알 수 있다. 수신된 3D 영상 데이터 세트는 이 예제의 경우에 이미 동일한 스케일링을 가졌다.

도 13은 본 발명의 실시 예에 따른 변환 파라미터의 직접 추론용 시스템 구성 요소를 위한 3D 심층 신경망 구조의 예를 도시한다. 수신된 (전처리된) 3D 영상 데이터, 3D 심층 신경망 입력의 복셀 공간과 일치하는 2개의 복셀 표현(1302, 1304)은 신경망의 다양한 층(1306-1320)을 통과하여 처리될 수 있다. 신경망의 제1 층은 복수의 3D 컨볼루셔널 층(1306-1314)을 포함할 수 있다.

데이터가 컨볼루셔널 층을 통과할 때, 내부 표현은 3D 데이터 간의 회전 및 병진 거리를 추론하는 조밀하게-연결된 일련의 층(1316-1318)으로 전달될 수 있다.

층의 수 및 정의 파라미터, 예를 들어 다른 활성화 함수, 커널 양, 서브 샘플링 사용 및 크기에서의 작은 변화와 드롭 아웃 및/또는 배치 표준화 층과 같은 추가 기능 층이 3D 심층 신경망에 대한 설계 본질을 훼손하지 않으면서 구현에 사용될 수 있다.

최종 또는 출력 층(1320)은 수신된 3D 영상 데이터 세트의 정확한 중첩을 획득하기 위해 데이터에 적용되어야 하는, 3개의 축에 걸친 병진 및 3개의 축을 따른 회전의 예측을 나타낼 수 있다.

훈련 데이터는 병진 및 회전이 공지된 입력(1302, 1304)으로서 2개의 복셀 표현 세트를 포함할 수 있다. 처리할 복셀 표현의 각 데이터 세트에 대해, 무작위 병진 및 회전이 둘 중 하나에 적용될 수 있으며, 총 병진 및 회전 차이는 소망하는 것 1322과 실제 출력 1320 사이의 손실을 결정하는 데 사용될 수 있다. 이 손실은 훈련 중에 3D 심층 신경망의 층 내에서 파라미터를 조정하는 척도로서 사용될 수 있다. 이러한 손실은 3D 심층 신경망로에서 최적으로 정확한 예측이 이루어지도록 계산될 수 있다. 훈련 노력의 효율성을 높이기 위해 훈련 중에 최적화 기능이 사용될 수 있다. 신경망은 내부 파라미터가 원하는 결과의 정확도에 도달할 때까지 반복 횟수에 관계없이 훈련될 수 있다. 적절하게 훈련되면, 구강-악안면 구조의 두 가지 다른 복셀 표현이 입력으로 제공될 수 있으며 3D 심층 신경망은 입력 세트를 정확하게 중첩하는 데 필요한 병진 및 회전의 예측(1324)을 유도하는 데 사용될 수 있다.

상기 층은 선형, tanh, ReLU, PreLU, 시그모이드 등과 같은 다양한 활성화 함수를 사용할 수 있다. 3D CNN 층은 필터의 양, 필터 크기 및 서브 샘플링 파라미터 등이 변화할 수 있다. 또한 연결된 층은 파라미터 초기화 방법이 변할 수 있다.

도 14는 본 발명의 실시 예에 따라 적용될 변환 파라미터의 선택/결정을 위한 시스템 논리의 흐름도를 도시한다. 이것은 상술한 바와 같이 본 발명의 다양한 실시 예에 따른 시스템 논리의 예시적인 설정이다. 두 개의 입력 데이터 세트는 순서도의 목적을 위한 이미 적절하게 복셀화된 것이다. 2개의 입력 데이터 세트는 단계 1402에서 수신될 수 있으며, 이 시점에서 정규 자세에 대한 변환 파라미터의 제1 세트가 결정될 수 있다. 예시적인 실시 예에서 이 단계는 정렬 또는 중첩의 목적을 위해 적용되는 변환 파라미터에서의 커다란 변동에 대해 강인할 수 있다. 정확도는 더 낮을 수 있고 수신된 영상 데이터의 복셀 표현 해상도는 직교 방향으로 약 1mm 일 수 있다.

1402 이후 이어서, 사전 정렬(1404)이 수행되고 그리고 중복(1406)이 충분한지에 대해 결정을 할 수 있다. 일 실시 예에서, 이 단계는 충분한 중복에 대해 두 번 결정할 수 있으며, 수행할 각 후속 옵션 방법(각각 1410 및 1416부터 시작)이 한 번 수행될 수 있다. 실험적으로 결정되고 프로그램적으로 확인될 수 있는 문턱값 또는 임계치를 고려할 때 중복의 양이 충분하지 않은 경우, 시스템은 1410, 1416에서 시작하는 방법 중 하나 또는 둘 모두를 수행하지 않도록 선택할 수 있다. 즉, 1426에서 발생하는 변환 파라미터가 이러한 추가 방법 중 하나 또는 둘 모두에서 실현 불가능한 결과로 인해 개선되지 않을 것이라고 결정하는 시스템으로 간주될 수 있다.

중복이 충분한 경우, 직접 추론 방법이 1410 단계에서 시작하여 수행될 수 있으며, 이는 특히 사전 정렬(1404) 및 VOI 선택(1408)을 수행한 경우에, 수신된 3D 영상 데이터 세트 내의 양식에 대해 강인하면서도 더 정확한 결과를 얻을 수 있을 것이 예상된다. 1404 및 1408로부터 잠재적으로 뒤따를 수 있는 선행 변환 이후 적용 가능한 정보는 직접 추론 방법에 따라 변환 파라미터(1412)의 결정에 사용하기 위해 전달될 수 있음에 유의한다. 이 방법에 채용된 전처리(1410)는 0.5-1.0 mm의 복셀 분해능의 복셀 표현이 결과로 예상될 수 있다.

결과의 타당성은 여전히 1414에서 온전히 점검될 수 있다. 이것은 1402에서 발생하는 파라미터와 1414 및/또는 1424에서 발생하는 파라미터를 비교하여 수행될 수 있다. 편차가 너무 크면, 시스템은 예를 들어 파라미터를 1426에 전달하지 않도록 선택하거나, 또는 1426은 결과 변환 파라미터에 0의 가중치를 부여할 수 있다.

적용 가능한 중복이 결정된 후에, 시스템은 단계 1416에서 시작하는 분할 기반 방법을 사용할 수 있다. 분할(1416)은 수신된 3D 영상 데이터 세트 모두에 대해 자동으로 수행될 수 있으며, 상술한 방법에 기반한 3D 심층 신경망 기반 방법 또는 IOS 데이터의 경우 당 업계에 알려진 다른 방법을 사용한다. 후자의 경우, 치아 크라운의 이러한 분할은 표면 메쉬 데이터 형태를 가진 수신된 3D 영상 데이터에 대해 수행될 수 있다.

분류(1418)는 (분할된) 구조체 데이터에 대해 수행될 수 있고 결과 정보는 키포인트 생성 단계(1420)로 중계될 수 있다. 상이한 수신된 데이터 세트에 있는 동일한 치아를 식별하는 능력은 수신된 데이터 세트의 중복 정도 및 데이터 품질의 잠재적인 편차에 대해 더 강인성을 가질 것으로 예상된다.

선택된 (드문드문한, 밀접하게 일치하는) 키포인트의 생성된 클라우드는 정렬 또는 중첩을 위해 적용 가능한 변환 파라미터를 결정하기 위한 단계 1422에서 사용될 수 있다. 1404, 1408 이후 잠재적으로 뒤따르는 임의의 선행 변환은 변환 파라미터를 설정하기 위한 세트를 결정하기 위해 1422에 의해 고려될 수 있다는 점에 유의한다.

이 방법에 대한 타당성 검사(1424)가 다시 수행 될 수 있으며, 즉, 1414 및/또는 1402에서 발생하는 파라미터에 대한 편차를 확인한다. 불일치가 큰 경우, 시스템은 파라미터를 1426에 중계하지 않도록 선택할 수 있다. 대안으로, 1426은 결과 변환 파라미터 세트에 0의 가중치를 할당할 수 있다. 실행 불가능한 결과는 CBCT 데이터에 존재하는 인공물, IOS 데이터의 부정확한 표면 표현 등과 같은, 부정확한 수신 데이터의 결과일 수 있다.

표면 메쉬에 대한 포인트 데이터는 부동 소수점 정밀도로 저장되어 잠재적으로 매우 정확한 결과를 산출한다. 이 방법은 이 시스템 내에서 가장 정확한 것으로 간주 될 수 있으며, 동시에 가장 덜 강인하다. 그러나 개별 구조의 사전 정렬, 중복 및 분할 및 분류의 결정을 포함하기 때문에 당 업계의 현재 방법보다 훨씬 더 강인한 것으로 간주될 수 있다.

변환 파라미터는 내부적으로 다양한 방식으로 표현될 수 있다. 즉, 순서대로 각기 회전을 설명하는 3개 값의 3 벡터, 원점에 대한 3개의 병진 값, 및/또는 적용 가능한 스케일링을 결정하는 3개의 값이며, 모두가 직교 3D 좌표계에서 특정 축에 속하는 양 및/또는 음의 크기의 값을 가진다. 대안적으로, 선형 대수학에서 알려진 행렬의 임의 조합이 사용될 수 있으며, 보다 구체적으로 (어파인(affine)) 변환 행렬에서 결정될 수 있는 회전, 병진, 스케일링 및/또는 조합들이 사용될 수 있다.

정확성, 강인성 등을 고려한 사전 지식은 1426에 의해 수신된 임의의/모든 변환 파라미터의 중요 가중치를 결정한다. 따라서 단계 1426은 정렬 또는 중첩을 위해 가장 정확한 원하는 변환 파라미터를 산출하기 위해 다양한 방법으로부터 수신된 파라미터를 프로그래밍 방식으로 결합할 수 있다.

변환 파라미터는 이런 시스템의 원하는 결과에 따라 세트 2에서 세트 1로, 세트 1에서 세트 2로 일치하는 파라미터이거나, 또는 둘 다 대체(원하는) 좌표계에 중첩되는 파라미터일 수 있다.

도 15a 및 도 15b는 본 발명의 다양한 실시 예에 따른 2개의 예시적인 수신 데이터 세트에 대한 변환 결과를 도시한다. 보다 구체적으로, 도 15a 및 도 15b는 2개의 3D 영상 데이터 세트(1502 및 1504)의 컴퓨터 렌더링을 도시한다. 이들 3D 영상 데이터 세트는 각각 CBCT 스캐너 및 구강 내 스캐너로부터 공급된 것이다. 도 14와 관련하여 설명한 시스템 설정에 따라, 충분한 중복이 시스템에 의해 결정되었으며 그리고 변환 파라미터 생성을 위한 모든 세 가지 방법이 정규 자세 방법에 따른 사전 정렬을 채용하여 수행되었다.

이 시각화를 위해, 3D CBCT 영상 데이터는 분할 방법으로 얻어진 치아 구조별로 생성된 표면 메쉬를 사용하여 렌더링된다. 도 15a에서, 영상 데이터는 수신된 방향대로 표시되어 있으며, 두 3D 영상 데이터 세트 간의 스케일링이 동일하다는 것을 알 수 있다(즉, 실제 크기에서 1mm는 둘 다 수신된 데이터 세트에 대해 각 직교 축에서 하나의 단위 값에 해당한다). 또한 회전과 병진 모두를 고려할 때 1502 및 1504가 상당히 잘못 정렬되어 있음을 알 수 있다.

가장 정확한 변환 파라미터 세트는 분할 및 분류 방법으로 결정되며, 븐할된 (및 레이블된) 치아(IOS 데이터의 경우 크라운)에 대해 생성된 키포인트 사이의 거리를 일치시키고 최소화하는 것으로 결정되고, 따라서 이 예의 경우 적용된 변환의 어떤 부분도 다른 두 방법의 직접적인 결과가 아니였다. 그러나 분할 및 분류 기반 방법에 대한 전처리를 수행하는 동안 정규 자세 방법으로부터의 변환 파라미터가 사용되었다.

도 15b는 IOS 데이터인 1504에 적용되어 시스템에 의해 결정된 변환 파라미터를 도시하며, 시스템은 하나의 수신된 3D 영상 데이터 세트를 다른 것에 정렬하는 변환 파라미터를 결정하고 적용하도록 구성된다. 치아 인덱스 41, 31, 32, 33, 34, 35 및 36(FDI 표기법에 따라 결정될 수 있음)을 정의하는 영상 볼륨에 대해서만 중복이 존재함에도 불구하고, 결정된 변환 파라미터을 기반으로 적용되는 최종 정렬 또는 중첩 단계는 상당히 높은 정확도로 자동 수행되었다.

도시된 바와 같이 정렬되거나 또는 중첩된 데이터는 표면 데이터가 중복되는 치아(도 1의 132 참조)에 대해 추가로 융합되거나 병합될 수 있다. 시각화된 데이터의 경우, CBCT 데이터에서 정확한 치근을 포함한 완전한 치아를 산출하는 분할 단계 및 IOS 데이터에서 치아 크라운을 고려한 보다 정확한 정보와의 조합의 결과를 구체적으로 보여주고, CBCT 치아 치근에 IOS 치아 크라운이 융합되어 생성되는 표면의 병합은 앞서 설명한 바와 같이 임플란트 또는 치열 교정 분야에서 큰 이점을 얻을 수 있다.

상술한 방법은 사용 가능한 중첩에 대해 가장 정확한 결과를 제공할 수 있으며, 입력 데이터에 고려되는 조건의 큰 가변성에 대해 강인하다. 이러한 가변성은 수신된 3D 영상 데이터 세트, 다른 영상 양식, 잠재적으로 낮은 데이터 품질에 대한 강인성(예: 잘못 해석된 표면, CBCT 데이터의 인공물 등) 사이의 다양하지만 잠재적으로 큰 규모의 '불일치'를 고려한다. 이 시스템은 완전히 자동으로 수행될 수 있으며 적시에 가장 정확한 정렬 또는 중첩 결과를 제공할 수 있다. 3D 심층 신경망의 모든 구현에 대해. 더 많은 (다양한) 훈련 데이터의 훈련/활용 기간이 길어지면 결과 및 강인성이 증가할 것으로 예상된다.

비록 도면의 예가 3D 치아 구조체를 참조하여 설명되었지만, 본 출원의 실시 예는 다른 양식의 3D 데이터 세트에 있는 3D 객체에 대한 정규 자세를 자동으로 결정(따라서 인간의 개입이 없이)하기 위해 일반적으로 사용될 수 있음이 명확하다. 더욱이, 본 출원의 실시 예는 제1 3D 객체와 제2 3D 객체의 자동 중첩을 위해 사용될 수 있으며, 제1 및 제2 3D 객체는 상이한 양상의 3D 데이터 세트로 표현될 수 있다.

도 16은 본 발명에서 설명된 실시 예에서 사용될 수 있는 예시적인 데이터 처리 시스템을 도시하는 블록도이다. 데이터 처리 시스템(1600)은 시스템 버스(1606)를 통해 메모리 소자(1604)에 연결되는 적어도 하나의 프로세서(1602)를 포함할 수 있다. 이와 같이, 데이터 처리 시스템은 메모리 소자(1604) 내에 프로그램 코드를 저장할 수 있다. 또한, 프로세서(1602)는 시스템 버스(1606)를 통해 메모리 소자(1604)로부터 액세스되는 프로그램 코드를 실행할 수 있다. 일 양태에서, 데이터 처리 시스템은 프로그램 코드를 저장 및/또는 실행하기에 적합한 컴퓨터로서 구현될 수 있다. 그러나 데이터 처리 시스템(1600)은 본 명세서에서 설명된 기능들을 수행할 수 있는 프로세서 및 메모리를 포함하는 임의의 시스템 형태로 구현될 수 있음을 이해해야 한다.

메모리 소자(1604)는 예를 들어, 로컬 메모리(1608) 및 하나 이상의 벌크 저장 장치(1610)와 같은 하나 이상의 물리적 메모리 장치를 포함할 수 있다. 로컬 메모리는 일반적으로 프로그램 코드의 실행 동안에 사용되는 랜덤 액세스 메모리 또는 다른 비-영구 메모리 장치를 지칭할 수 있다. 벌크 저장 장치는 하드 드라이브 또는 다른 영구 데이터 저장 장치로 구현될 수 있다. 처리 시스템(1600)은 또한 실행 동안 프로그램 코드가 벌크 저장 장치(1610)로부터 검색되어야 하는 횟수를 감소시키기 위해 적어도 일부 프로그램 코드를 임시 저장하는 하나 이상의 캐시 메모리(미도시)를 포함할 수 있다.

입력 장치(1612) 및 출력 장치(1614)로 도시된 입력/출력(I/O) 장치는 선택적으로 데이터 처리 시스템에 연결될 수 있다. 입력 장치의 예는 키보드, 마우스와 같은 포인팅 장치 등을 포함할 수 있지만, 이에 제한되지는 않는다. 출력 장치의 예는 모니터 또는 디스플레이, 스피커 등을 포함할 수 있지만, 이에 제한되지는 않는다. 입력 장치 및/또는 출력 장치는 직접 또는 중재 I/O 제어기를 통해 데이터 처리 시스템에 연결될 수 있다. 네트워크 어댑터(1616)는 또한 데이터 처리 시스템에 연결되어 개인용 또는 공용 네트워크를 통해 다른 시스템, 컴퓨터 시스템, 원격 네트워크 장치 및/또는 원격 저장 장치에 연결될 수 있다. 네트워크 어댑터는 상기 시스템, 장치 및/또는 네트워크에 의해 전송되는 데이터를 수신하기 위한 데이터 수신기 및 상기 시스템, 장치 및/또는 네트워크로 데이터를 전송하기 위한 데이터 송신기를 포함할 수 있다. 모뎀, 케이블 모뎀 및 이더넷 카드는 데이터 처리 시스템(1600)과 함께 사용될 수 있는 다른 유형의 네트워크 어댑터의 예이다.

도 16에 도시된 바와 같이. 메모리 소자(1604)는 응용 프로그램(1618)을 저장할 수 있다. 데이터 처리 시스템(1600)은 응용 프로그램의 실행을 용이하게 할 수 있는 운영 체제(미도시)를 추가로 실행할 수 있음을 이해해야 한다. 실행 가능한 프로그램 코드의 형태로 구현되는 응용 프로그램은 데이터 처리 시스템(1600), 예를 들어 프로세서(1602)에 의해 실행될 수 있다. 응용 프로그램 실행에 응답하여, 데이터 처리 시스템은 본 명세서에서 자세히 설명되고 있는 하나 이상의 작업을 수행하도록 구성될 수 있다.

일 양태에서, 예를 들어, 데이터 처리 시스템(1600)은 클라이언트 데이터 처리 시스템을 나타낼 수 있다. 이 경우, 응용 프로그램(1618)은 실행될 때 "클라이언트"를 참조하여 본 명세서에서 설명된 다양한 기능을 수행하도록 데이터 처리 시스템(1600)을 구성하는 클라이언트 응용 프로그램을 나타낼 수 있다. 클라이언트의 예는 퍼스널 컴퓨터, 휴대용 컴퓨터, 휴대폰 등을 포함할 수 있지만, 이에 제한되지는 않는다.

본 명세서에서 사용한 용어는 특정한 실시 예 만을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도는 아니다. 본 명세서에서 사용된 단수의 표현 "하나(a, an)", "그(the)"는 문맥상 명백히 다르게 명시하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 사용되는 "포함하다(comprises)" 및/또는 "포함하는(comprising)" 용어는 언급된 특징, 정수, 단계, 연산, 요소 및/또는 구성 요소의 존재를 명시하지만 하나 이상의 다른 특징, 정수, 단계, 연산, 요소, 구성 요소 및/또는 이들 그룹의 존재 또는 추가를 배제하지는 않는다고 이해될 것이다.

이하의 청구항에서의 모든 수단 또는 단계 플러스 기능 요소의 해당 구조, 재료, 작용 및 동등한 요소는 구체적으로 청구된 다른 청구항 요소와 조합하여 기능을 수행하기 위한 임의의 구조, 재료 또는 작용을 포함하도록 의도된다. 본 발명에 대한 설명은 예시 및 설명의 목적으로 제시되었지만, 공개된 형태로 본 발명을 총망라하거나 제한하려는 것은 아니다. 본 발명의 범위 및 사상을 벗어나지 않는 많은 수정 및 변형이 당업자에게 명백할 것이다. 실시 예는 본 발명의 원리와 실제 적용을 가장 잘 설명하고 당업자가 고려된 특정 용도에 적합한 다양한 변형을 갖는 다양한 실시예에 대해 본 발명을 이해할 수 있도록 하기 위해 선택되고 설명되었다.

Claims (15)

1. 3D 데이터 세트의 데이터 포인트로 표현되는, 3D 치아 구조체와 같은 3D 객체의 정규 자세를 자동으로 결정하기 위한 컴퓨터 구현 방법으로서, 상기 방법은,
   제1 3D 신경망은 3D 객체의 일부 위치에 대해서 정의되는 정규 좌표계와 연관된 정규 자세 정보를 생성하도록 훈련되며, 제1 좌표계와 연관된 3D 데이터 세트의 데이터 포인트의 하나 이상의 블록을 컴퓨터의 프로세서가 제1 3D 심층 신경망의 입력에 제공하는 단계;
   정규 자세 정보는 하나 이상의 블록의 각 데이터 포인트에 대해 정규 좌표계에서의 데이터 포인트 위치에 대한 예측을 포함하고, 데이터 포인트 위치는 정규 좌표에 의해 정의되며, 제1 3D 심층 신경망의 출력으로부터 정규 자세 정보를 프로세서가 수신하는 단계;
   정규 좌표를 사용하여 정규 좌표계 축의 배향 및 스케일링 그리고 제1 3D 좌표계 원점과 축에 대하여 정규 좌표계의 원점 위치를 결정하고, 배향 및 위치를 사용하여 제1 좌표계의 좌표를 정규 좌표로 변환하기 위한 변환 파라미터, 바람직하게는 회전, 병진 및/또는 스케일링 파라미터를 프로세서가 결정하는 단계; 및,
   3D 객체의 정규 표현, 바람직하게는 정규 복셀 표현 또는 정규 3D 메쉬 표현을 프로세서가 결정하는 단계로, 이 결정은 3D 데이터 세트의 데이터 포인트 좌표에 변환 파라미터를 적용하는 것을 포함하여 구성되는 컴퓨터 구현 방법.
2. 제1항에 있어서,
   정규 자세 정보는 복셀 표현의 복셀을 정규 좌표계에 있는 복셀 위치의 예측에 연결하기 위한 하나 이상의 복셀 맵을 포함하며, 바람직하게는 하나 이상의 복셀 맵은 복셀을 정규 좌표계의 제1 x' 좌표 예측에 연결하는 제1 3D 복셀 맵, 복셀을 정규 좌표계의 제2 y' 좌표 예측에 연결하는 제2 3D 복셀 맵 및 복셀을 정규 좌표계의 제3 z' 좌표 예측에 연결하는 제3 3D 복셀 맵을 포함하는 컴퓨터 구현 방법.
3. 제2항에 있어서,
   정규 좌표계의 축의 배향을 결정하는 단계는,
   하나 이상의 3D 복셀 맵 중 하나의 정규 좌표에서의 국부 그라디언트를 복셀 표현의 복셀에 대해서 결정하는 단계를 더 포함하며, 국부 그라디언트는 제1 좌표계에 의해 정의된 공간의 벡터를 나타내며, 벡터의 배향은 정규 축 배향의 예측을 나타내며 및/또는 벡터의 길이는 정규 축과 관련된 스케일링 인자를 정의하는 컴퓨터 구현 방법.
4. 제1 3D 데이터 세트로 표현되는 3D 치아 구조체와 같은 제1 3D 객체와 제2 3D 데이터 세트로 표현되는 3D 치아 구조체와 같은 제2 3D 객체의 자동 중첩을 위한 컴퓨터 구현 방법으로서, 바람직하게 제1 및 제2 3D 치아 구조체는 동일한 사람의 것이며, 상기 방법은,
   제1 3D 신경망은 3D 치아 구조체의 일부 위치에 대해서 정의되는 정규 좌표계와 연관된 정규 자세 정보를 생성하도록 훈련되며, 제1 좌표계와 연관된 제1 3D 객체의 제1 복셀 표현 복셀의 하나 이상의 제1 블록과 제2 좌표계와 연관된 제2 3D 객체의 제2 복셀 표현 복셀의 하나 이상의 제2 블록을 제1 3D 심층 신경망의 입력에 컴퓨터의 프로세서가 제공하는 단계;
   제1 정규 자세 정보는 하나 이상의 제1 블록의 각 복셀에 대해 정규 좌표계에 있는 복셀의 제1 위치에 대한 예측을 포함하고; 및, 제2 정규 자세 정보는 하나 이상의 제2 블록의 각 복셀에 대해 정규 좌표계에 있는 복셀의 제2 위치에 대한 예측을 포함하고, 제1 및 제2 위치는 제1 및 제2 정규 좌표에 의해 각각 정의되며, 제1 3D 심층 신경망의 출력으로부터 제1 및 제2 정규 자세 정보를 프로세서가 수신하는 단계;
   프로세서가 제1 정규 자세 정보를 사용하여 축의 제1 배향 및 스케일 그리고 제1 좌표계 축의 제1 원점 위치를 결정하고, 제2 정규 자세 정보를 사용하여 축의 제2 배향 및 스케일 그리고 제2 좌표계에서 정규 좌표계 축의 제2 원점 위치를 결정하는 단계;
   프로세서가 제1 배향, 스케일 및 제1 위치를 사용하여 제1 좌표계의 좌표를 정규 좌표계의 좌표로 변환하기 위한 제1 변환 파라미터, 바람직하게는 제1 회전, 병진 및/또는 스케일링 파라미터를 결정하고; 및, 제2 배향, 스케일 및 제2 위치를 사용하여 제2 좌표계의 좌표를 정규 좌표로 변환하기 위한 제2 변환 파라미터, 바람직하게는 제2 회전, 병진 및/또는 스케일링 파라미터를 결정하는 단계; 및,
   프로세서가 제1 3D 객체와 제2 3D 객체의 중첩을 결정하는 단계로, 이 결정은 제1 및 제2 변환 파라미터를 사용하여 제1 및 제2 3D 치아 구조체의 제1 및 제2 정규 표현을 각각 형성하는 것을 포함하여 구성되는 컴퓨터 구현 방법.
5. 제4항에 있어서,
   제1 및 제2 3D 객체, 바람직하게는 제1 및 제2 3D 치아 구조체의 제1 및 제2 정규 표현은 3D 표면 메쉬이고, 중첩을 결정하는 단계는,
   제1 3D 객체의 제1 정규 표현을 제1 3D 객체의 3D 치아 요소와 같은 하나 이상의 3D 객체 요소의 하나 이상의 3D 표면 메쉬로 분할하고 그리고 제2 3D 객체의 제2 정규 표현을 제2 3D 객체의 3D 치아 요소와 같은 하나 이상의 제2 3D 객체 요소의 하나 이상의 3D 표면 메쉬로 분할하는 단계;
   키-포인트는 바람직하게 제1 표면 메쉬의 표면 곡률에서의 국부 및/또는 전역 최대 또는 최소를 정의하며, 제1 및 제2 3D 표면 메쉬의 적어도 3개의 제1 및 제2 비-동일선상 키-포인트를 선택하는 단계; 및,
   제1 및 제2 비-동일선상 키-포인트에 기초하여 제1 및 제2 3D 객체 요소를 정렬하는 단계를 더 포함하는 컴퓨터 구현 방법.
6. 제4항에 있어서,
   제1 및 제2 3D 객체의 제1 및 제2 정규 표현은 복셀 표현이고, 중첩을 결정하는 단계는,
   제2 3D 심층 신경망은 제1 및 제2 정규 복셀 표현을 정렬하기 위한 변환 파라미터, 바람직하게는 회전, 병진 및/또는 스케일링 파라미터를 결정하기 위해 훈련되고, 제1 3D 객체의 제1 정규 복셀 표현의 적어도 일부와 제2 3D 객체의 제2 정규 복셀 표현의 적어도 일부를 제2 3D 심층 신경망의 입력에 제공하는 단계;
   제2 3D 심층 신경망의 출력에 의해 제공된 변환 파라미터에 기초하여 제1 및 제2 3D 치아 구조체의 제1 및 제2 정규 표현을 정렬하는 단계를 더 포함하는 컴퓨터 구현 방법.
7. 제4항에 있어서,
   중첩을 결정하는 단계는,
   제1 3D 객체의 정규 표현과 제2 객체의 정규 표현 사이의 중복 볼륨을 프로세서가 결정하는 단계; 및,
   프로세거가 중복 볼륨에서 제1 정규 표현의 제1 복셀을 포함하는 제1 관심 볼륨을 결정하고; 및 중복 볼륨에서 제2 정규 표현의 제2 복셀을 포함하는 제2 관심 볼륨을 결정하는 단계를 더 포함하는 컴퓨터 구현 방법.
8. 제7항에 있어서,
   제3 3D 심층 신경망은 복셀을 분류하고 분할하도록 훈련되고, 제1 관심 볼륨 VOI에 포함된 제1 복셀을 제3 3D 심층 신경망의 입력에 프로세서가 제공하는 단계;
   복셀의 활성화 값은 복셀이 미리 결정된 3D 객체 클래스, 예를 들어 3D 치아 구조체의 치아에 속할 확률을 나타내며, 제1 관심 볼륨의 제1 복셀 각각 및/또는 제2 관심 볼륨의 제2 복셀 각각에 대한 활성화 값을 프로세서가 제3 3D 심층 신경망의 출력으로부터 수신하는 단계; 및,
   활성화 값을 사용하여 제1 및 제2 VOI에 있는 제1 및 제2 3D 치아 요소의 제1 및 제2 복셀 표현을 프로세서가 각각 결정하며; 및 선택적으로, 제1 및 제2 3D 치아 요소의 제1 및 제2 복셀 표현을 사용하여 제1 및 제2 3D 치아 요소의 제1 및 제2 3D 표면 메쉬를 프로세서가 결정하는 단계를 더 포함하는 컴퓨터 구현 방법.
9. 제8항에 있어서,
   키-포인트는 바람직하게 제1 표면 메쉬의 표면 곡률에서 국부 및/또는 전역 최대 또는 최소를 정의하며, 제1 및 제2 3D 표면 메쉬의 적어도 3개의 제1 및 제2 비-동일선상 키-포인트를 프로세서가 선택하는 단계; 및,
   바람직하게는 반복적인 최근접 지점 알고리즘을 사용하여, 제1 및 제2 비-동일선상 키-포인트에 기초하여 제1 및 제2 3D 치아 요소를 프로세서가 정렬하는 단계를 더 포함하는 컴퓨터 구현 방법.
10. 제8항에 있어서,
    제4 3D 심층 신경망은 복수의 후보 구조 레이블 각각에 대한 활성화 값을 생성하도록 훈련되고, 후보 레이블과 연관되는 활성화 값은 제4 3D 심층 신경망의 입력에 의해 수신된 복셀 표현이 후보 구조 레이블에 의해 표시되는 구조 유형을 나타낼 확률을 나타내며, 제1 3D 치아 요소의 제1 복셀 표현 및 제2 3D 치아 요소의 제2 복셀 표현을 제4 3D 심층 신경망에 프로세서가 제공하는 단계;
    프로세서가 복수의 제1 및 제2 활성화 값을 제4 3D 심층 신경망의 출력으로부터 수신하고, 복수의 제1 활성화 값 중 가장 높은 활성화 값을 갖는 제1 구조 레이블을 선택하고 복수의 제2 활성화 값 중 가장 높은 활성화 값을 갖는 제2 구조 레이블을 선택하고 그리고 제1 및 제2 구조 레이블을 제1 및 제2 3D 표면 메쉬에 각각 할당하는 단계를 더 포함하는 컴퓨터 구현 방법.
11. 제10항에 있어서,
    키-포인트는 바람직하게 제1 표면 메쉬의 표면 곡률에서 국부 및/또는 전역 최대 또는 최소를 정의하며, 제1 및 제2 3D 표면 메쉬의 적어도 3개의 제1 및 제2 비-동일선상 키-포인트를 프로세서가 선택하는 단계;
    제1 3D 표면 메쉬에 할당된 제1 구조 레이블 및 제2 3D 표면 메쉬에 할당된 제2 구조 레이블에 기초하여 제1 및 제2 키-포인트를 프로세서가 각각 레이블링하는 단계;
    바람직하게는 반복적인 최근접 지점 알고리즘을 사용하여, 제1 및 제2 키-포인트에 기초한 제1 및 제2 3D 치아 요소와 제1 및 제2 3D 표면 메쉬의 제1 및 제2 구조 레이블을 프로세서가 각각 정렬하는 단계를 더 포함하는 컴퓨터 구현 방법.
12. 3D 데이터 세트로 표현되는 3D 치아 구조체의 정규 자세를 자동으로 결정하도록 3D 심층 신경망을 훈련하기 위한 컴퓨터 구현 방법으로서,
    정규 좌표계는 3D 객체의 일부, 바람직하게는 치열 궁과 같은 3D 치아 구조체의 일부에 대해서 정의되는 미리 결정된 좌표계이며, 훈련 데이터는 3D 객체의 복셀 표현을 포함하고 목표 데이터는 복셀 표현의 각 복셀에 대한 정규 좌표계의 정규 좌표 값을 포함하며, 훈련 데이터 및 관련 목표 데이터를 수신하는 단계;
    하나 이상의 블록은 미리 결정된 크기의 복셀 표현의 하나 이상의 서브 샘플을 나타내며, 하나 이상의 복셀 블록을 선택하고 임의의 3D 회전을 하나 이상의 서브 샘플에 적용하는 단계;
    동일한 회전을 목표 데이터에 적용하는 단계;
    하나 이상의 블록을 3D 심층 신경망의 입력에 제공하고 3D 심층 신경망은 하나 이상의 블록의 복셀 각각에 대해 정규 좌표계의 정규 좌표를 예측하는 단계; 및
    3D 심층 신경망에 의해 예측된 좌표 값과 목표 데이터와 관련된 정규 좌표 간의 편차를 나타내는 손실 함수를 최소화하여 3D 심층 신경망의 네트워크 파라미터 값을 최적화하는 단계를 포함하는 컴퓨터 구현 방법.
13. 3D 데이터 세트로 표현되는 3D 객체의 정규 자세를 자동으로 결정하도록 구성된 컴퓨터 시스템으로서,
    컴퓨터 판독 가능 프로그램 코드가 수록된 컴퓨터 판독 가능 저장 매체, 적어도 하나의 훈련된 3D 심층 신경망을 포함하는 프로그램 코드, 및 컴퓨터 판독 가능 저장 매체에 결합된 적어도 하나의 프로세서, 바람직하게는 마이크로 프로세서를 포함하며, 컴퓨터 판독 가능한 프로그램 코드를 실행하는 것에 반응하여, 적어도 하나의 프로세서가 다음을 포함하는 실행 가능한 동작을 수행하도록 구성되며:
    제1 3D 신경망은 3D 객체의 일부 위치에 대해서 정의되는 정규 좌표계와 연관된 정규 자세 정보를 생성하도록 훈련되고, 제1 좌표계와 연관된 3D 객체의 복셀 표현 복셀의 하나 이상의 블록을 제1 3D 심층 신경망의 입력에 제공하는 단계;
    정규 자세 정보는 하나 이상의 블록의 각 복셀에 대해 정규 좌표계에서 복셀 위치에 대한 예측을 포함하고, 위치는 정규 좌표에 의해 정의되며, 제1 3D 심층 신경망의 출력으로부터 정규 자세 정보를 수신하는 단계;
    정규 좌표계를 사용하여 정규 좌표계 축의 배향 및 스케일 그리고 제1 3D 좌표계 원점과 축에 대해서 정규 좌표계의 원점 위치를 결정하고, 배향, 스케일 및 위치를 사용하여 제1 좌표계의 좌표를 정규 좌표로 변환하기 위한 변환 파라미터, 바람직하게는 회전, 병진 및/또는 스케일링 파라미터를 결정하는 단계; 및,
    3D 객체의 정규 표현, 바람직하게는 정규 복셀 표현 또는 정규 3D 메쉬 표현을 결정하며, 이 결정은 복셀 표현의 복셀 좌표 또는 복셀 표현을 결정하기 위해 사용되는 3D 데이터 세트의 좌표에 변환 파라미터를 적용하는 단계를 포함하여 구성되는 컴퓨터 시스템.
14. 제1 3D 데이터 세트로 표현되는 제1 3D 치아 구조체와 같은 제1 3D 객체와 제2 3D 데이터 세트로 표현되는 제2 3D 치아 구조체와 같은 제2 3D 객체의 자동 중첩을 위한 컴퓨터 시스템으로서,
    컴퓨터 판독 가능 프로그램 코드가 수록된 컴퓨터 판독 가능 저장 매체, 적어도 하나의 훈련된 3D 심층 신경망을 포함하는 프로그램 코드, 및 컴퓨터 판독 가능 저장 매체에 결합된 적어도 하나의 프로세서, 바람직하게는 마이크로 프로세서를 포함하며, 컴퓨터 판독 가능한 프로그램 코드를 실행하는 것에 반응하여, 적어도 하나의 프로세서가 다음을 포함하는 실행 가능한 동작을 수행하도록 구성되며:
    3D 신경망은 3D 객체의 일부 위치에 대해서 정의된 정규 좌표계와 연관된 정규 자세 정보를 생성하도록 훈련되며, 제1 좌표계와 연관된 제1 3D 치아 구조체의 제1 복셀 표현 복셀의 하나 이상의 제1 블록과 제2 좌표계와 연관된 제2 치아 구조체의 제2 복셀 표현 복셀의 하나 이상의 제2 블록을 3D 심층 신경망의 입력에 제공하는 단계;
    제1 정규 자세 정보는 하나 이상의 제1 블록의 각 복셀에 대해 정규 좌표계에서 복셀의 제1 위치에 대한 예측을 포함하고; 및, 제2 정규 자세 정보는 하나 이상의 제2 블록의 각 복셀에 대해 정규 좌표계에서 복셀의 제2 위치에 대한 예측을 포함하고, 제1 및 제2 위치는 제1 및 제2 정규 좌표에 의해 각각 정의되며, 3D 심층 신경망의 출력으로부터 제1 및 제2 정규 자세 정보를 수신하는 단계;
    제1 정규 자세 정보를 사용하여 축의 제1 배향 및 스케일 그리고 제1 좌표계 축의 제1 원점 위치를 결정하고, 제2 정규 자세 정보를 사용하여 축의 제2 배향 및 스케일 그리고 제2 좌표계에서 정규 좌표계 축의 제2 원점 위치를 결정하는 단계;
    제1 배향 및 제1 위치를 사용하여 제1 좌표계의 좌표를 정규 좌표계의 좌표로 변환하기 위한 제1 변환 파라미터, 바람직하게는 제1 회전, 병진 및/또는 스케일링 파라미터를 결정하고; 및, 제2 배향 및 제2 위치를 사용하여 제2 좌표계의 좌표를 정규 좌표로 변환하기 위한 제2 변환 파라미터, 바람직하게는 제2 회전, 병진 및/또는 스케일링 파라미터를 결정하는 단계; 및,
    제1 3D 객체와 제2 3D 객체의 중첩을 프로세서가 결정하는 단계로서, 이 결정은 제1 및 제2 변환 파라미터를 사용하여 제1 및 제2 3D 객체의 제1 및 제2 정규 표현을 각각 형성하는 것을 포함하는 컴퓨터 시스템.
15. 컴퓨터의 메모리에서 실행될 때 제1항 내지 제11항 중 어느 한 항에 따른 방법 단계를 실행하도록 구성된 소프트웨어 코드 부분을 포함하는 컴퓨터 프로그램 제품.

Images