KR20200035265A

KR20200035265A - 딥 러닝을 이용한 3d 구강 악안면 구조의 분류 및 3d 모델링

Info

Publication number: KR20200035265A
Application number: KR1020207002868A
Authority: KR
Inventors: 프랭크 테오도루스 카타리나 클라에센; 바스 알렉산더 베르하이; 데이비드 안싸리 모인
Original assignee: 프로메이톤 홀딩 비.브이.
Priority date: 2017-06-30
Filing date: 2018-07-02
Publication date: 2020-04-02
Also published as: CN110998602B; JP2020525258A; CA3068526A1; IL271743A; WO2019002631A1; KR102581685B1; US20210150702A1; EP3449421A1; IL271743B1; US11379975B2; JP2024056701A; BR112019028132A2; EP3449421B1; CN110998602A; ES2807263T3

Abstract

구강 악안면 구조의 3D 데이터를 처리하기 위해 컴퓨터로 구현되는 방법에 관한 것으로, 복셀의 볼륨을 정의하는 3D 이미지 데이터, 방사선 농도 값과 관련된 복셀과 볼륨에서의 위치와 구강 악안면 구조의 3D 표현을 제공하는 복셀을 수신하는 단계; 3D 위치 특징은 수신된 전체 3D 데이터 세트로부터 결합된 정보를 정의하며, 제1 심층 신경망에 입력하기 위한 3D 위치 특징을 결정하기 위해 3D 영상 데이터의 복셀을 사용하는 단계; 및 제1 심층 신경망이 입력으로 3D 이미지 데이터와 하나 이상의 3D 위치 특징을 수신하고, 3D 이미지 데이터의 복셀의 적어도 일부를 턱, 치아 및/또는 신경 복셀로 분류하기 위해 하나 이상의 3D 위치 특징을 사용하는 단계를 포함하여 구성된다.

Description

딥 러닝을 이용한 3D 구강 악안면 구조의 분류 및 3D 모델링

본 발명은 딥 러닝(deep learning) 신경망을 이용한 3D 구강 악안면 구조의 분류 및 3D 모델링에 관한 것으로, 특히 전부는 아니지만 딥 러닝 신경망을 사용하여 3D 구강 악안면 구조의 분류 및 3D 모델링을 위한 시스템 및 방법, 이러한 딥 러닝 신경망 훈련 방법, 구강 악안면의 3D 영상 데이터를 전처리하는 방법, 구강 악안면 구조의 복셀(voxel) 데이터를 후처리하는 방법 및 그러한 방법을 사용하기 위한 컴퓨터 프로그램에 관한 것이다.

구강 악안면 구조의 이미지를 분석함에 있어, 특정 부위 또는 조직을 시각화하고 3D 이미지로 재구성하는 것은 정확한 진단과 치료를 위해 필수적이다. 3D 이미지를 재구성하기 전에, 3D 이미지 데이터 스택(data stack)에 나타나는 것과 같은 구강 악안면 구조의 다른 부위(예를 들면, 치아와 턱)의 3D 모델을 형성하는 예를 들면, 복셀 같은 3D 이미지 데이터에 분류 및 분할 작업이 적용된다. 분할 작업은 관심 대상의 윤곽 또는 내부를 구성하는 픽셀(pixel) 또는 복셀(voxel)의 세트를 식별하는 과정으로 정의될 수 있다. 그러나 3D CT 촬영으로부터 치아, 턱뼈, 하치조 신경과 같은 구강 악안면 구조의 분할 작업은 쉽지 않다. 수동으로 분할하는 방법은 시간이 많이 소요되며, 수동으로 선택된 임계값과 수동 보정에 의한 일반적인 근사치가 포함된다. 수동 분할의 결과는 재현 가능성이 낮으며, CT 촬영에 대한 인간의 해석에 의존한다.

촬영된 CT 이미지 데이터를 기반으로 3D 치아와 턱 3D 모델을 생성하기 위해 다양한 영상 방법론이 사용되어 왔다. 초기에는 구강 안면 구조를 분할하기 위해 낮은 수준의 픽셀 처리와 수학적 모델링의 순차적 적용이 사용되었다. 그에 관해 2015년 7월 13~15일 열린 IEEE 6차 ICCCNT에서 Pavaloiu의 “3D 치아 재건을 위한 자동 분할” 논문에 기술되어 있다. 이러한 기술은 활성 형상 추적 방법, 전환점, 영역 성장 및 모양과 농도가 미리 설정된 레벨 세트 모델링(level set modeling)을 포함한다. 현재 의료 영상 분야에서는 딥 러닝 기술과 같은 보다 진보한 기술이 의료 이미지에서 관심 대상을 분할하는데 사용된다.

이러한 신경망은 데이터를 최적으로 나타내는 기능을 학습하도록 훈련된다. 이러한 딥 러닝 알고리즘은 점차적으로 더 높은 단계의 기능을 학습하면서 입력 데이터(예를 들면, 이미지)를 출력 정보(예를 들면, 질병 존부)로 변환하는 다층의 심층 신경망을 포함한다. 이미지 분석을 위한 성공적인 신경망 모델은 소위 합성곱 신경망(CNN; Convolutional Neural Network)이다. CNN은 합성곱 필터라고도 하는 비교적 작은 크기의 행렬로 구성된 커널(kernel)을 사용하여 입력을 변환하는 많은 층을 포함한다. 의료 영상용 CNN의 사용 개요는 2017년 2월 21일 arXiv 웹사이트(컴퓨터 비전 및 패턴 인식 학술지에 제출)에 게재된 Litjens의 논문 ‘의료 영상 분석의 딥 러닝에 대한 고찰’에서 확인할 수 있다. 그러나, 구강 악안면 구조는 복잡해서 3D CNN을 이용하여 구강 악안면 구조를 3D 모델링으로 구현하는 것은 어렵다. Pavaloiu는 2015년 11월 19일부터 21일까지 열린 제5차 IEEE EHB에서 “CBCT 세분화를 위한 신경망 기반의 에지 검출” 논문을 통해 2D CBCT 이미지에서 에지를 검출하는데 매우 간단한 신경망을 사용한다는 사실을 설명하였다. 그러나 지금까지 딥 러닝을 기반으로 하여 자동으로 3D CBCT 이미지 데이터를 3D 분할하는 기술은 보고되지 않았다.

구강 악안면 구조를 3D 분류하고 3D 모델링함에 있어서의 문제는 구강 악안면 이미지가 콘빔전산화단층촬영(CBCT; Cone Beam Computed Tomography)을 사용하여 생성된다는 것이다. CBCT는 X-선 컴퓨터 단층 촬영을 이용한 의료 영상 기술로, X-선 방사선은 저용량의 발산하는 원뿔 모양으로 형성된다. 하운스필드 단위(HU)로 측정된 방사선 농도는 CBCT 촬영에서는 신뢰할 수 없다. 왜냐하면, 촬영되는 다른 영역들은 촬영되는 장기의 상대적인 위치에 따라 다른 회색조 값으로 나타나기 때문이다. CBCT와 의료용 CT 스캐너로 동일한 해부학적 영역에서 측정된 HU는 동일하지 않으므로, HU를 통해 특정 부위의 방사선 골밀도를 결정할 수 없다.

또한, 구강 악안면 구조를 스캐닝하기 위한 CBCT 시스템은 재구성된 밀도 값을 나타내는 회색조 레벨을 비례 축소하기 위해 표준화된 시스템을 사용하지 않는다. 이러한 재구성된 밀도 값은 임의적이어서 이를 통해 골질을 평가할 수 없다. 이와 같은 표준화없이, 회색조 레벨을 해석하는 것은 어렵거나 다른 기계들로부터 얻은 값들과 비교하는 것은 불가능하다. 더욱이, 치근과 턱뼈 구조는 밀도가 유사하여, 컴퓨터에서 치아에 속하는 복셀과 턱에 속하는 복셀을 구별하는 것은 어렵다. 또한, CBCT 시스템은 소위 빔 경화에 매우 민감하여 밝은 줄무늬가 있는 감쇠 물체(예를 들어, 금속 또는 뼈) 사이에 어두운 줄무늬를 생성한다. 위에서 언급한 문제들로 인해 구강 악안면 구조를 자동 분할하는 것은 특히 어렵다.

따라서, 구강 악안면 구조의 3D CT 이미지 데이터를 3D 모델로 정확하게 분할하도록 조정된 컴퓨터 시스템이 요구된다. 특히, 다른 CBCT 시스템에서 비롯된 구강 악안면 구조의 3D CT 이미지 데이터를 3D 모델로 정확하게 분할할 수 있는 컴퓨터 시스템이 요구된다.

당업자라면 이해할 수 있는 바와 같이, 본 발명은 시스템, 방법 또는 컴퓨터 프로그램 제품으로 구현될 수 있다. 따라서, 본 발명은 완전한 하드웨어의 전형, 소프트웨어의 전형(펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함)의 형태이거나 또는 본 명세서에서 "회로", "모듈" 또는 "시스템"으로 일반적으로 지칭될 수 있는 소프트웨어와 하드웨어를 결합한 형태일 수 있다. 본 발명에서 설명하는 기능들은 컴퓨터 마이크로프로세서에 의해 실행되는 알고리즘으로서 구현될 수 있다. 또한, 본 발명은 컴퓨터 판독 가능한 프로그램 코드가 내장된 하나 이상의 컴퓨터 판독 가능한 매체(들)이 구비된 컴퓨터 프로그램 제품의 형태일 수 있다.

하나 이상의 컴퓨터 판독 가능한 매체(들)의 조합이 사용될 수 있다. 컴퓨터 판독 가능한 매체는 컴퓨터 판독이 가능한 신호 또는 저장 매체일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 기구, 장치 또는 전술한 것의 조합일 수 있으며, 이에 제한되지는 않는다. 컴퓨터 판독 가능 저장 매체는 보다 구체적으로 다음의 구체적인 예들을 제한하지 않고 포함할 수 있다. 하나 이상의 와이어가 있는 전기접속, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 삭제 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 판독 전용 콤팩트 디스크 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치, 또는 이들의 임의의 적절한 조합. 본 명세서에서 컴퓨터 판독 가능 저장 매체는 명령을 실행하는 시스템, 기구 또는 장치에 의해서, 또는 이와 관련하여 사용할 프로그램을 포함하거나 저장할 수 있는 모든 유형의 매체일 수 있다.

컴퓨터 판독 가능 신호 매체는 예를 들어. 기저 대역 또는 반송파의 일부가 내장된 컴퓨터 판독 가능 프로그램 코드를 가진 전파 데이터 신호를 포함할 수 있다. 이러한 전파 신호는 전자파, 광학 또는 이들의 조합을 포함하며, 이에 제한되지 않고 다양한 형태일 수 있다. 컴퓨터 판독 가능 신호 매체는 컴퓨터 판독 가능 저장 매체가 아니라, 명령을 실행하는 시스템, 기구 또는 장치에 의해서, 또는 이와 관련하여 사용할 프로그램을 통신하거나 전파 또는 전송할 수 있는 컴퓨터 판독 가능 매체일 수 있다.

컴퓨터 판독 가능 매체에 내장된 프로그램 코드는 무선, 유선, 광섬유, 케이블, RF 등을 포함하되, 이에 국한되지 않는 적절한 매체를 통해 전송될 수 있다. 본 발명에서 동작을 수행하기 위한 컴퓨터 프로그램 코드는 자바, 스칼라, C ++, 파이썬 같은 기능적 또는 객체 지향적인 프로그래밍 언어와 "C" 프로그래밍 언어 또는 이와 유사한 프로그래밍 언어 같은 종래 프로그래밍 언어를 포함한 프로그래밍 언어의 조합으로 작성될 수 있다. 프로그램 코드는 독립형 소프트웨어 패키지로서 사용자 컴퓨터에서 전체적으로 또는 부분적으로 실행될 수 있고, 원격 컴퓨터, 서버 또는 가상 서버에서 전체적으로 또는 부분적으로 실행될 수 있다. 후자의 경우, 원격 컴퓨터는 근거리 통신망(LAN) 또는 광역 통신망(WAN)을 포함하는 모든 유형의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 또는 외부 컴퓨터(예를 들어, 인터넷 서비스 제공 업체를 통한 인터넷)에 연결될 수 있다.

본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 이하 본 발명을 설명한다. 흐름도 및/또는 블록도의 각 블록과 흐름도 및/또는 블록도의 각 블록(block)의 조합은 컴퓨터 프로그램의 명령에 의해 구현되는 것으로 이해될 수 있다. 컴퓨터 프로그램 명령은 기계를 생산하기 위해 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서, 특히 마이크로프로세서, 중앙 처리 장치(CPU) 또는 그래픽 처리 장치(GPU)에 제공될 수 있다. 그래서 컴퓨터의 프로세서, 다른 프로그램 가능 데이터 처리 장치 또는 다른 장치에서 실행되는 명령은 흐름도 및/또는 블록 다이어그램(block diagram)의 블록 또는 블록들에 지정된 기능/동작을 실행하기 위한 수단을 생성한다.

또한, 컴퓨터 프로그램 명령은 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 장치가 특정 방식으로 기능하도록 지시할 수 있는 컴퓨터 판독 가능 매체에 저장될 수 있다. 그래서 컴퓨터 판독 가능 매체에 저장된 명령은 흐름도 및/또는 블록 다이어그램의 블록 또는 블록들에 지정된 기능/동작을 구현하기 위한 명령을 포함하는 제품을 생성한다.

또한, 컴퓨터 프로그램 명령은 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 장치에서 컴퓨터 실행 프로세스가 생성되도록 일련의 동작 단계를 일으키기 위해 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 장치에 로딩될 수 있다. 그래서 컴퓨터 또는 다른 프로그램 가능한 장치에서 실행되는 명령은 흐름도 및/또는 블록 다이어그램의 블록 또는 블록들에 지정된 기능/동작을 실행하는 프로세스를 제공한다.

도면의 흐름도 및 블록도는 본 발명의 실시 예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구성, 기능 및 실행 가능한 작동을 도시한다. 이와 관련하여, 흐름도 또는 블록도의 각각의 블록은 지정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령을 포함하는 모듈(module), 세그먼트(segment) 또는 코드(code)의 일부를 나타낼 수 있다. 또한 일부 대체 구현에서는 블록에 명시된 기능이 도면에 명시된 바와 다르게 발생할 수 있음에 유의해야 한다. 예를 들어, 연속으로 도시된 2개의 블록은 실제로 동시에 실행될 수 있거나, 또는 관련된 기능에 따라 블록이 때때로 역순으로 실행될 수 있다. 블록도 및/또는 흐름도의 각 블록과 블록도 및/또는 흐름도의 블록들의 조합은 특정 기능 또는 특정 동작을 수행하는 특수 목적의 하드웨어 기반 시스템이나 특수 목적 하드웨어와 컴퓨터 명령의 조합에 의해 구현될 수 있다는 점에 유의해야 한다.

본 발명은 3D 이미지 스택을 입력하는 것 이외의 사용자 입력 또는 사용자 상호 작용을 필요로 하지 않는 자동화된 분류 및 분할 기술을 구현하는 시스템 및 방법을 제공한다. 본 발명의 실시 예는 턱 뼈, 치아 및 구강 악안면 신경(예를 들어, 하치조 신경)과 같은 표적 생물학적 조직을 재생하기 위해 사용될 수 있다. 본 발명의 시스템은 자동으로 구조를 분리하고 대상 조직의 3D 모델을 구축할 수 있다.

본 발명의 일 양상은 컴퓨터에서 구현되는 구강 악안면 구조의 3D 이미지 데이터화 처리방법에 관한 것이다. 본 발명의 실시 예에서, 방법은 컴퓨터가 3D 입력 데이터, 바람직하게는 3D 콘 빔 CT (CBCT) 데이터를 수신하고, 3D 입력 데이터는 구강 악안면 구조의 제1 복셀 표현을 포함하고, 복셀은 방사선 농도 값과 관련되며, 복셀 표현의 복셀들은 이미지 볼륨(image volume)을 정의하며; 전처리 알고리즘은 구강 악안면 구조의 하나 이상의 3D 위치 특징을 결정하기 위해 3D 입력 데이터를 사용하고, 3D 위치 특징은 이미지 볼륨에서 치과용 기준면(예를 들어, 턱과 관련하여 배치된 축면)의 위치 또는 치과용 기준 물체(예를 들어, 턱, 치열궁 및/또는 하나 이상의 치아)의 위치와 관련한 제1 복셀 표현의 복셀 위치에 관한 정보를 정의하며; 컴퓨터는 제1 복셀 표현 및 제1 복셀 표현과 관련된 하나 이상의 3D 위치 특징을 제1 3D 심층 신경망, 바람직하게 3D 합성곱 심층 신경망의 입력에 제공하며, 제1 심층 신경망은 제1 복셀 표현의 복셀을 적어도 턱, 치아 및/또는 신경 복셀로 분류하도록 구성되며; 제1 신경망은 훈련 세트(training set)를 기초로 훈련되며, 훈련 세트는 구강 악안면 구조의 3D 이미지 데이터, 훈련 세트의 3D 이미지 데이터로부터 도출된 하나 이상의 3D 위치 특징을 포함하고; 컴퓨터는 제1 3D 심층 신경망의 출력으로부터 제1 복셀 표현의 분류된 복셀들을 수신하고, 분류된 복셀들에 기초하여 구강 악안면 구조의 턱, 치아 및/또는 신경 조직 중 적어도 하나의 복셀 표현을 결정하는 것을 특징으로 한다.

따라서, 3D 위치 특징들은 치과용 기준면 및/또는 치과용 기준 물체에 대해 수신된 이미지 볼륨에서의 복셀의 위치에 관한 정보를 정의한다. 이 정보는 심층 신경망이 구강 악안면 구조의 복셀 표현을 자동으로 분류하고 분할할 수 있게 하는 것과 관련이 있다. 제1 복셀 표현의 복셀의 3D 위치 특징은 전체 데이터 세트(data set) 또는 제1 심층 신경망의 입력에 제공되는 복셀 표현의 대부분에 기초한 정보(예를 들어, 위치, 농도 값, 거리, 변화도 등)를 종합함으로써 형성될 수 있다. 종합된 정보는 제1 복셀 표현에서 복셀의 각 위치마다 처리된다. 이러한 방식으로, 제1 복셀 표현의 각 복셀은 3D 위치 특징과 연관될 수 있으며, 제1 심층 신경망은 복셀이 분류되는 도중에 고려될 것이다.

본 발명의 실시 예에서 훈련 세트는 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조의 일부에 대한 하나 이상의 3D 모델을 더 포함할 수 있다. 일 실시 예에서, 적어도 하나 이상의 3D 모델의 일부는 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조의 일부를 광학적으로 스캐닝함으로써 생성될 수 있다. 일 실시 예에서, 하나 이상의 3D 모델은 제1 심층 신경망이 훈련되는 동안 목표로 사용될 수 있다.

3D 위치 특징은 (수동으로) 조작된 특징 및/또는 수신된 3D 데이터 세트의 전체 또는 상당 부분으로부터 정보를 도출하도록 구성된 3D 딥 러닝 네트워크와 같은 (훈련된) 기계 학습 방법을 사용하여 결정될 수 있다.

본 발명의 실시 예에서, 3D 위치 특징은 이미지 볼륨 내의 하나 이상의 복셀과 이미지 볼륨 내의 제1 치과용 기준면 사이의 거리, 바람직하게는 수직 거리를 정의할 수 있다. 일 실시 예에서, 3D 위치 특징은 이미지 볼륨 내의 하나 이상의 복셀과 이미지 볼륨 내의 제1 치과용 기준 물체 사이의 거리를 정의할 수 있다. 다른 실시 예에서, 위치 정보는 이미지 볼륨의 기준면에서의 누적 농도 값을 포함할 수 있고, 기준면에서의 한 지점에서의 누적 농도 값은 기준면의 해당 지점을 통과하는 법선 상에 있거나 근처에 있는 복셀의 누적 농도 값을 포함한다.

3D 이미지 데이터로부터 추출된 3D 위치 특징은 신경망의 입력에 제공되는 복셀의 이미지 볼륨에 관한 정보를 암호화한다. 특히, 3D 위치 특징은 3D 이미지 데이터(의 일부) 내의 각 복셀의 위치를 참조하여 부분적으로 또는 완전히 도출된 정보를 제공하고, 심층 신경망에 의해 평가될 것이다. 3D 위치 특징은 특정 복셀에서 특정 구강 악안면 구조와 관련된 복셀을 발견할 가능성을 결정하기 위해서 신경망에 이미지 볼륨 내에서 복셀의 위치에 의해 (부분적으로) 결정된 정보를 사용하는 수단을 제공한다. 이 정보가 없으면 심층 신경망에서 사용될 수 있는 더 큰 공간적 상황은 없을 것이다. 3D 위치 특징은 네트워크의 정확도를 크게 향상시키는 동시에 과다 적합의 위험성을 최소화하도록 설계되었다. 3D 위치 특징은 네트워크는 구강 악안면의 상황과 관련된 기준 물체에 관한 이미지 볼륨에서 복셀의 위치에 대한 지식을 얻는 것을 가능하게 하므로, 따라서 이 정보는 구강 악안면 구조의 조직과 관련된 복셀을 찾을 가능성을 결정하도록 만든다. 그러므로 네트워크는 이 제공된 정보를 적절하게 활용하는 최선의 방법을 습득하는 것을 가능하게 할 수 있다.

본 발명의 실시 예에서, 제1 치과용 기준면은 3D 이미지 데이터에 의해 표현된 바와 같이 상부 및/또는 하부 턱으로부터 미리 결정된 거리에 위치한 이미지 볼륨의 축면을 포함할 수 있다. 따라서, 기준면은 3D 이미지 데이터에서 구강 악안면 구조의 일부와 관련된 측면에 위치한다. 일 실시 예에서, 제1 치과용 기준면은 상부 및 하부 턱에 대해 대략 동일한 거리를 가질 수 있다.

본 발명의 실시 예에서, 치과용 기준 물체는 3D 이미지 데이터에 의해 표현된 바와 같이 치열궁의 적어도 일부를 근사하는 치열궁 곡선을 포함할 수 있다. 따라서, 본 실시 예에서 3D 위치 특징은 이미지 볼륨에서의 치과용 기준 물체의 치열궁의 위치에 관하여 이미지 볼륨에서 복셀의 위치에 관한 정보를 제공할 수 있다. 일 실시 예에서, 치열궁 곡선은 이미지 볼륨의 축면에서 결정될 수 있다.

수동으로 설계된 3D 위치 특징은 다른 3D 위치 특징(예를 들어, 3D 입력 데이터의 전체 또는 상당 부분의 정보를 결합하는 머신 러닝(machine learning) 방법에서 파생될 수 있는)으로부터 보완되거나 대체될 수 있다. 이러한 특징 생성은 예를 들어, 제1 복셀 표현의 전체 또는 상당 부분의 다운 샘플링(down-sampling)된 형태에서 사전 분할을 수행하는 3D 심층 신경망에 의해 수행될 수 있다.

따라서, 일 실시 예에서, 전처리 알고리즘은 제2 3D 심층 신경망을 포함할 수 있고, 제2 심층 신경망은 그것의 입력으로 제2 복셀 표현을 수신하도록 훈련되고, 제2 복셀 표현의 각 복셀이 3D 위치 특징을 결정하도록 훈련된다. 일 실시 예에서, 3D 위치 특징은 복셀이 턱, 치아 및/또는 신경 조직을 나타낼 가능성을 나타내는 기준 포함할 수 있으며, 제2 복셀 표현은 제1 복셀 표현의 저해상도 버전이다.

본 발명의 실시 예에서, 제2 3D 심층 신경망은 3D U-net 구조를 가질 수 있다. 일 실시 예에서, 3D U-net은 합성곱 계층(3D CNNs), 3D 최대 풀링 계층, 3D 비합성곱 계층(3D de-CNNs), 및 밀접하게 연결된 계층을 포함하는 복수의 3D 신경망 계층을 포함할 수 있다.

일 실시 예에서, 제2 복셀 표현의 해상도는 제1 복셀 표현의 해상도보다 적어도 3배 낮을 수 있다.

일 실시 예에서, 제2 3D 심층 신경망은 제1 심층 신경망을 훈련시키기 위해 사용되는 훈련 세트의 구강 악안면 구조의 3D 이미지 데이터를 기반으로 훈련될 수 있다. 일 실시 예에서, 제2 심층 신경망은 제1 심층 신경망을 훈련하는데 사용되는 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조 일부의 하나 이상의 3D 모델을 기반으로 한다. 훈련하는 동안, 이러한 하나 이상의 3D 모델은 목표로 사용될 수 있다.

본 발명의 실시 예에서, 제1 복셀 표현 및 제1 복셀 표현과 관련된 하나 이상의 3D 위치 특징을 제1 3D 심층 신경망의 입력에 제공하는 것은, 제1 복셀 표현의 각 복셀을 하나의 3D 위치 특징에 의해 정의되는 최소 정보와 연관시키고; 제1 복셀 표현을 제 1 복셀 블록으로 분할하며; 및 제1 복셀 블록을 제1 심층 신경망의 입력에 제공하는 것을 더 포함하며, 제1 복셀 블록의 각 복셀은 방사선 농도 값 및 3D 위치 특징에 의해 정의된 최소 정보와 관련된다. 따라서, 제1 3D 심층 신경망은 복셀 블록들에 기초하여 3D 입력 데이터를 처리할 수 있다. 이를 위해, 컴퓨터는 제1 복셀 표현을 복수의 제1 복셀 블록으로 분할하고, 제1 블록 각각을 제1 3D 심층 신경망의 입력으로 제공하며, 제1 복셀 블록의 각 복셀은 방사선 농도값과 하나의 3D 위치 특징에 의해 정의된 최소 정보와 관련된다. 따라서, 제1 3D 심층 신경망은 복셀 블록들에 기초하여 3D 입력 데이터를 처리할 수 있다. 이를 위해, 컴퓨터는 제1 복셀 표현을 복수의 제1 복셀 블록으로 분할하고 제1 블록 각각을 제1 3D 심층 신경망의 입력에 제공할 수있다

본 발명의 실시 예에서, 제1 심층 신경망은, 복수의 제1 3D 합성곱 계층을 포함할 수 있고, 복수의 제1 3D 합성곱 계층의 출력은 적어도 하나의 완전 연결계층에 연결될 수 있다. 일 실시 예에서, 복수의 제1 3D 합성곱 계층은 제1 복셀 표현으로부터의 제1 복셀 블록을 처리하도록 구성되고, 적어도 하나의 완전 연결계층은, 제1 복셀 블록의 복셀을 턱, 치아 및/또는 신경 복셀 중 적어도 하나로 분류하도록 구성된다.

일 실시 예에서, 제1 심층 신경망의 입력에 제공된 복셀은 방사선 농도 값과 적어도 하나의 3D 위치 특징으로 구성될 수 있다.

일 실시 예에서, 제1 심층 신경망은 복수의 제2 3D 합성곱 계층을 더 포함할 수 있고, 복수의 제2 3D 합성곱 계층의 출력은 적어도 하나의 완전 연결계층에 연결될 수 있다.

일 실시 예에서, 복수의 제2 3D 합성곱 계층은 제1 복셀 표현으로부터 제2 복셀 블록을 처리하도록 구성될 수 있으며, 제1 및 제2 복셀 블록은 이미지 볼륨에서 동일하거나 실질적으로 동일한 중심점을 가질 수 있고, 제2 복셀 블록은 제1 복셀 블록의 현실 차원의 볼륨보다 큰 현실 차원의 볼륨을 나타낼 수 있다.

일 실시 예에서, 복수의 제2 3D 합성곱 계층은 복수의 제1 3D 합성곱 계층의 입력에 제공되는 제1 복셀 블록의 복셀과 관련된 상황 정보를 결정하도록 구성될 수 있다.

일 실시 예에서, 제1 심층 신경망은 복수의 제3 3D 합성곱 계층을 더 포함할 수 있고, 복수의 제3 3D 합성곱 계층의 출력은 적어도 하나의 완전 연결계층에 연결된다. 복수의 제3 3D 합성곱 계층은 복수의 제1 3D 합성곱 계층의 입력에 제공되는 최소한의 제1 복셀 블록의 복셀과 관련된 하나 이상의 3D 위치 특징을 처리하도록 구성될 수 있다.

일 실시 예에서, 제1 심층 신경망은 훈련 세트에 기초하여 훈련될 수 있고, 훈련 세트는 구강 악안면 구조의 3D 이미지 데이터, 3D 이미지 데이터로부터 도출된 하나 이상의 3D 위치 특징 및 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조의 일부에 대한 하나 이상의 3D 모델을 포함하고, 하나 이상의 3D 모델은, 제1 심층 신경망이 훈련되는 동안 목표로 사용될 수 있다. 일 실시 예에서, 하나 이상의 3D 모델의 적어도 일부는 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조의 일부를 광학적으로 스캐닝함으로써 생성될 수 있다. 따라서 수동으로 분할된 3D 이미지 데이터 대신 광학적으로 스캔된 3D 모델이 신경망 학습에 사용되어, 목표 데이터로 사용될 수 있는 고해상도의 정확한 모듈을 제공할 수 있다.

일 실시 예에서, 하나 이상의 3D 위치 특징의 결정은 이미지 볼륨의 평면, 바람직하게는 축면에서 누적 농도 값의 점들의 집단을 결정하는 단계, 평면에서 한 지점에 누적 농도 값은 축면에서 해당 지점을 통과하는 법선 상에 있거나 근처에 위치한 복셀의 복셀 값을 합함으로써 결정되며, 평면에서 미리 결정된 값을 초과하는 누적 농도 값을 결정하는 단계; 및 결정된 누적 강도 값들을 통해 곡선을 설정하는 단계를 포함하며, 곡선은 3D 데이터 이미지에 의해 표현되는 구강 악안면 구조의 치열궁 중 적어도 일부에 근사화한다. 따라서, 치열궁과 같은 치아 구조는 예를 들면 축면 같은 평면의 법선 방향으로 위치된 복셀의 농도 값을 합함으로써 결정될 수 있다.

일 실시 예에서, 하나 이상의 3D 위치 특징은 이미지 볼륨의 평면, 바람직하게는 이미지 볼륨의 축면에서 평면의 복셀과 평면에서 정의되는 치열궁의 원점 사이의 상대 거리를 정의하는 제1 3D 위치 특징을 포함할 수 있다. 일 실시 예에서, 원점은 곡선의 도함수가 0인 치열 궁 곡선상의 한 점으로 정의될 수 있다.

일 실시 예에서, 하나 이상의 3D 위치 특징은 이미지 볼륨의 평면, 바람직하게는 이미지 볼륨의 축면에서 상대 거리를 정의하는 제2 3D 위치 특징을 포함하며, 이 거리는 축면에서 축면의 복셀들과 치열궁 곡선 사이의 최단 거리이다.

일 실시 예에서, 3D 위치 특징은 3D 입력 데이터의 전체 또는 상당 부분을 사용하는 자동 특징 생성에 기초하여 결정될 수 있다. 일 실시 예에서, 자동 특징 생성은 3D 입력 데이터의 전체 또는 상당 부분의 다운 샘플링된 형태에서 사전 분할을 수행하는 3D 심층 신경망을 포함할 수 있다.

일 실시 예에서, 제1 심층 신경망은 적어도 하나의 3D 합성곱 계층의 제1 세트, 바람직하게는 복셀의 분류를 유도하는데 유용한 정보의 점진적인 고도의 추상화를 결정하도록 구성되는 3D CNN 특징 계층의 제1 세트를 포함하는 제1 데이터 처리 경로, 제1 데이터 처리 경로와 유사한 제2 데이터 처리 경로로 구성되며, 제2 데이터 처리 경로는 3D 합성곱 계층의 제2 세트, 바람직하게는 3D CNN 특징 계층의 제2 세트를 포함하고, 3D 합성곱 계층의 제2 세트는 3D 합성곱 계층의 제1 세트에 입력되는 공간적 상황상 더 큰 복셀 블록의 표현을 활용하는 복셀의 분류를 유도하는데 유용한 정보를 점진적으로 고도의 추상화하는데 결정하도록 구성될 수 있다.

따라서, 3D CNN 특징 계층의 제2 세트는 제 1 3D CNN 특징 계층들에 의해 처리되는 관련 복셀들과 바로 가까이에 있는 복셀에 관한 정보를 포함하는 3D 특징 지도를 생성하기 위해 복셀을 처리할 수 있다. 이러한 방식으로, 제2 경로는 신경망이 상황 정보, 즉 신경망의 입력에 제시된 3D 이미지 데이터의 복셀의 상황에 대한 정보(예를 들어, 주변에 관한 정보)를 결정할 수 있게 한다. 2개 또는 그 이상의 경로를 사용함으로써, 3D 이미지 데이터(입력 데이터) 및 3D 이미지 데이터의 복셀에 대한 상황 정보 모두 병렬로 처리될 수 있다. 상황 정보는 구강 악안면 구조를 분류하는데 중요하며, 구강 악안면 구조는 일반적으로 구별하기 어려운 촘촘한 치아 구조를 포함한다.

일 실시 예에서, 제1 심층 신경망은 3D 합성곱 계층의 제3 세트, 바람직하게는 3D CNN 특징 계층의 제3 세트를 포함하는 제3 데이터 처리 경로를 더 포함할 수 있으며 제3 경로는 제1 및 제2 데이터 처리 경로와 유사하고, 3D 이미지 데이터와 관련된 하나 이상의 3D 위치 특징을 수신하며, 3D 합성곱 계층의 제3 세트는 수신된 전체 3D 데이터 세트로부터의 통합 정보로부터 관련 정보를 암호화하도록 구성되며, 3D 합성곱 계층의 제1 세트의 입력으로 공급되는 복셀 블록과 관련된다.

일 실시 예에서, 제3 데이터 처리 경로를 사용하는 대신에, 3D 위치 특징이 예를 들어, 수신된 3D 이미지 정보에 추가 채널로서 3D 위치 특징 정보를 추가하는 방법으로, 제1 복셀 표현의 복셀과 쌍을 이루도록 제1 복셀 표현에 추가될 수 있다.

일 실시 예에서, 3D 합성곱 계층의 제1, 제2 및 (선택적으로) 제3 세트의 출력은 이미지 볼륨에서 복셀의 적어도 일부를 턱, 치아 및/또는 신경 복셀 중 하나로 분류하도록 구성된 완전 연결 합성곱 계층의 세트의 입력에 제공될 수 있다.

일 실시 예에서, 방법은, 제1 심층 신경망에 의해 분류된 복셀을 후처리하는 제3 심층 신경망을 더 포함하며, 후처리는 제1 심층 신경망에 의해 잘못 분류된 복셀을 정정하는 과정을 포함한다. 일 실시 예에서, 제2 신경망은 입력으로 제1 심층 신경망이 훈련되는 동안 분류된 복셀을 사용하도록 훈련될 수 있고, 목표로 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조의 부분에 대한 하나 이상의 3D 모델을 사용하도록 훈련될 수 있다. 따라서, 이 실시 예에서, 제2 합성곱 신경망은 제1 신경망에 의해 분류된 복셀을 정정하도록 훈련될 수 있다. 이러한 방식으로, 치아 및 턱의 3D 모델을 포함하여 구강 악안면 구조의 개별 부분에 대한 매우 정확한 3D 모델이 결정될 수 있다.

일 양상에서, 본 발명은 구강 악안면 구조의 3D 이미지 데이터를 처리하기 위해 딥 러닝 신경망 시스템을 훈련시키는 컴퓨터 구현 방법에 관한 것일 수 있다. 일 실시 예에서, 방법은 컴퓨터가 훈련 데이터를 수신하며, 훈련 데이터는 3D 입력 데이터, 바람직하게는 3D 콘 빔 CT (CBCT) 데이터를 포함하며, 3D 입력 데이터는 하나 이상의 구강 악안면 구조 각각의 하나 이상의 복셀 표현을 정의하고, 복셀은 방사선 농도 값과 관련되며, 복셀 표현의 복셀은 이미지 볼륨을 정의하며; 컴퓨터가 하나 이상의 복셀 표현에서 하나 이상의 3D 위치 특징을 결정하기 위해 하나 이상의 구강 악안면 구조의 하나 이상의 복셀 표현을 각각 전처리하는 전처리 알고리즘을 사용하고, 3D 위치 특징은 이미지 볼륨에서의 치과용 기준면(예를 들어, 턱과 관련하여 배치된 축면)의 위치 또는 치과용 기준 물체(예를 들어, 턱, 치열궁 및/또는 하나 이상의 치아)의 위치와 관련한 구강 악안면 구조의 복셀 표현의 적어도 하나의 복셀의 위치에 관한 정보를 정의하며; 및 컴퓨터가 복셀을 턱, 치아 및/또는 신경 복셀로 분류하는 제1 심층 신경망을 훈련하기 위해 훈련 데이터 및 하나 이상의 3D 위치 특징을 사용하는 것을 특징으로 한다.

일 실시 예에서, 훈련 데이터는, 훈련 데이터의 3D 입력 데이터에 의해 표현되는 구강 악안면 구조의 일부에 대한 하나 이상의 3D 모델을 더 포함할 수 있다. 일 실시 예에서, 하나 이상의 3D 모델의 적어도 일부는 훈련 데이터의 3D 이미지 데이터의 구강 악안면 구조의 일부를 광학적으로 스캐닝함으로써 생성될 수 있다. 일 실시 예에서, 하나 이상의 3D 모델은 제1 심층 신경망이 훈련되는 동안 목표로 사용될 수 있다.

일 실시 예에서, 방법은, 제1 심층 신경망에 의해 분류된 복셀을 후처리하기 위한 제2 신경망을 훈련하기 위해 제1 심층 신경망의 훈련 동안 분류된 복셀과 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조의 일부에 대한 하나 이상의 3D 모델을 사용하는 단계를 포함할 수 있으며, 후처리 과정은 제1 심층 신경망에 의해 잘못 분류된 복셀을 정정하는 과정을 포함한다.

다른 양상에서, 본 발명은 구강 악안면 구조의 3D 이미지 데이터를 처리하도록 조정된 컴퓨터 시스템에 관한 것으로, 전처리 알고리즘 및 제1 심층 신경망을 포함하는 컴퓨터 판독 가능 프로그램 코드가 내장된 컴퓨터 판독 가능 저장 매체; 및 컴퓨터 판독 가능 저장 매체에 연결된 처리기, 바람직하게는 마이크로프로세서로 구성되며, 처리기는 컴퓨터 판독 프로그램 코드의 실행에 응답하며, 처리기는 실행 가능한 동작을 수행하기 위해, 3D 입력 데이터, 바람직하게는 3D 콘 빔 CT (CBCT) 데이터를 수신하고, 3D 입력 데이터는 구강 악안면 구조의 제1 복셀 표현을 포함하며, 복셀은 방사선 농도 값과 관련되며, 복셀 표현의 복셀은 이미지 볼륨을 정의하고; 전처리 알고리즘은 구강 악안면 구조의 하나 이상의 3D 위치 특징을 결정하기 위해 3D 입력 데이터를 사용하고, 3D 위치 특징은 치과용 기준면(예를 들어, 턱과 관련하여 배치된 축면)의 위치 또는 치과용 기준 물체(예를 들어, 턱, 치열궁 및/또는 하나 이상의 치아)의 위치와 관련한 제1 복셀 표현의 복셀의 위치에 관한 정보를 이미지 볼륨에서 규정하며; 제1 복셀 표현 및 제1 복셀 표현과 관련된 하나 이상의 3D 위치 특징을 제1 3D 심층 신경망, 바람직하게 3D 합성곱 심층 신경망의 입력에 제공하며, 제1 심층 신경망은 제1 복셀 표현의 복셀을 적어도 턱, 치아 및/또는 신경 복셀로 분류하도록 구성되며; 제1 신경망은 훈련 세트를 기초로 훈련되며, 훈련 세트는 구강 악안면 구조의 3D 이미지 데이터와 훈련 세트의 3D 이미지 데이터로부터 도출된 하나 이상의 3D 위치 특징을 포함하고; 제1 3D 심층 신경망의 출력으로부터 제1 복셀 표현의 분류된 복셀들을 수신하고, 분류된 복셀들에 기초하여 구강 악안면 구조의 턱, 치아 및/또는 신경 조직 중 적어도 하나의 복셀 표현을 결정하는 과정을 포함한다.

일 실시 예에서, 훈련 세트는 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조 일부에 대한 하나 이상의 3D 모델을 더 포함할 수 있다. 일 실시 예에서, 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조의 일부를 광학적으로 스캐닝함으로써 하나 이상의 3D 모델의 적어도 일부가 생성될 수 있다. 일 실시 예에서, 하나 이상의 3D 모델은 제1 심층 신경망이 훈련되는 동안 목표로 사용될 수 있다.

일 실시 예에서, 전처리 알고리즘은, 제2 3D 심층 신경망을 포함하고, 제2 심층 신경망은 입력으로 제2 복셀 표현을 수신하도록 훈련되고, 제2 복셀 표현의 각 복셀이 3D 위치 특징, 바람직하게 복셀이 턱, 치아 및/또는 신경 조직을 나타낼 가능성을 나타내는 기준을 포함하는 3D 위치 특징을 결정하도록 훈련되며, 제2 복셀 표현은 제1 복셀 표현의 저해상도 형태이고, 바람직하게 제2 복셀 표현의 해상도는 제1 복셀 표현의 해상도 보다 적어도 3배 낮고, 바람직하게 제2 3D 심층 신경망은 구강 악안면 구조의 3D 이미지 데이터를 기반으로 훈련되며, 제1 심층 신경망을 훈련하기 위한 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조의 일부에 대한 하나 이상의 3D 모델을 기반으로 훈련될 수 있다,

일 실시 예에서, 제1 심층 신경망은 복수의 제1 3D 합성곱 계층 및 적어도 하나의 완전히 연결된 계층에 연결되는 제1 3D 합성곱 계층의 출력을 포함하며, 복수의 제1 3D 합성곱 계층은 제1 복셀 표현으로부터 제1 복셀 블록을 처리하도록 구성되고, 적어도 하나의 완전히 연결된 계층은, 제1 복셀 블록의 복셀을 턱, 치아 및/또는 신경 복셀 중 적어도 하나로 분류하도록 구성되며, 바람직하게 제1 심층 신경망의 입력에 제공되는 각 복셀은 방사선 농도 값 및 적어도 하나의 3D 위치 특성을 포함할 수 있다.

일 실시 예에서, 제1 심층 신경망은, 복수의 제2 3D 합성곱 계층 및 적어도 하나의 완전히 연결된 계층에 연결된 복수의 제2 3D 합성곱 계층의 출력을 더 포함하며, 복수의 제2 3D 합성곱 계층은 제1 복셀 표현으로부터 제2 복셀 블록을 처리하도록 구성되고, 제1 및 제2 복셀 블록은 이미지 볼륨에서 동일하거나 실질적으로 동일한 중심점을 가지며, 제2 복셀 블록은 제1 복셀 블록의 현실 차원의 볼륨보다 큰 현실 차원의 볼륨을 나타내고, 복수의 제2 3D 합성곱 계층은 복수의 제1 3D 합성곱 계층의 입력으로 제공되는 제1 복셀 블록의 복셀과 관련된 상황 정보를 결정하도록 구성될 수 있다.

또한, 본 발명은 컴퓨터의 기억 장치에서 실행될 때 전술한 방법 중 임의의 방법을 실행하도록 구성된 소프트웨어 코드 부분을 포함하는 컴퓨터 프로그램 제품에 관한 것일 수 있다.

본 발명은 첨부된 도면을 참조하여 추가로 설명될 것이며, 본 발명에 따른 실시 예가 도면으로 개략적으로 도시될 것이다. 본 발명은 이러한 특정 실시 예로 제한되지 않는 것으로 이해될 것이다.

도 1은 본 발명의 실시 예에 따른 3D 구강 악안면 구조의 분류 및 분할을 위한 컴퓨터 시스템을 개략적으로 도시한 것이다.
도 2는 본 발명의 실시 예에 따른 구강 악안면의 3D 이미지 데이터를 분류하기 위한 심층 신경망을 훈련시키는 흐름도를 나타낸다.
도 3a 및 도 3b는 본 발명의 실시 예에 따른 3D CT 이미지 데이터 및 3D 광학 스캐닝 데이터를 나타낸다.
도 4a 및 도 4b는 본 발명의 실시 예에 따른 구강 악안면의 3D 이미지 데이터를 분류하기 위한 심층 신경망 구조를 나타낸다.
도 5a 및 도 5b는 본 발명의 실시 예에 따른 3D 위치 특징을 결정하는 방법을 나타낸다.
도 6은 본 발명의 실시 예에 따른 3D 이미지 스택으로부터 합산된 복셀 값과 구강 악안면 구조를 나타내는 복셀에 적합한 곡선을 시각화한 것이다.
도 7a 내지 도 7e는 본 발명의 실시 예에 따른 3D 위치 특징을 나타낸다.
도 8a 내지 도 8d는 본 발명의 실시 예에 따른 훈련된 딥 러닝 신경망의 출력 결과를 나타낸다.
도 9는 본 발명의 실시 예에 따른 3D 구강 악안면 구조의 복셀 데이터를 후처리하는 과정의 흐름도를 나타낸다.
도 10은 본 발명의 실시 예에 따른 3D 구강 악안면 구조의 복셀 데이터를 후처리하기 위한 심층 신경망 구조를 나타낸다.
도 11a 및 도 11b는 본 발명의 실시 예에 따른 분류된 복셀 데이터의 표면을 재구성하는 과정을 나타낸다.
도 12는 본 발명에 개시된 방법과 소프트웨어 제품을 실행하기 위해 사용될 수 있는 예시적인 데이터 컴퓨팅 시스템을 도시한 블록도를 나타낸다.

본 발명의 실시예는 3D 이미지 데이터를 기초로 하여 구강 악안면 구조를 분류하고 분할하며 3D 모델링하기 위해 심층 신경망을 사용하는 컴퓨터 시스템 및 컴퓨터 구현 방법을 개시하며, 예를 들어 3D 이미지 데이터는 CT 영상 데이터 스택(data stack), 특히 콘 빔 CT (CBCT) 영상 데이터 스택을 형성하는 연속적인 이미지에 의해 정의될 수 있다. 3D 이미지 데이터는 구강 악안면 구조의 3D 화상 공간을 형성하는 복셀을 포함할 수 있다. 본 발명에 따른 컴퓨터 시스템은 구강 악안면 구조의 3D 이미지 데이터 스택을 다른 종류의 복셀로 분류하도록 훈련된 적어도 하나의 심층 신경망으로 구성될 수 있으며, 각 분류는 구조의 뚜렷한 부분(예를 들어, 치아, 턱, 신경)과 관련될 수 있다. 컴퓨터 시스템은 구강 악안면 구조의 정확한 3D 모델을 포함하는 하나 이상의 훈련 세트에 기초하여 하나 이상의 심층 신경망을 반복(최적화)하는 훈련 과정을 실행하도록 설정될 수 있다. 이러한 3D 모델은 광학적으로 촬영된 구강 악안면 구조(치아 및/또는 턱뼈)를 포함할 수 있다.

일단 훈련이 되면 심층 신경망은 구강 악안면 구조의 3D 이미지 데이터 스택을 수신하고 3D 이미지 데이터 스택의 복셀을 분류할 수 있다. 데이터가 훈련된 심층 신경망에 제시되기 전에, 신경망이 복셀을 효율적이고 정확하게 분류할 수 있도록 데이터가 전처리될 수 있다. 신경 네트워크 출력은 상이한 복셀 데이터 집합을 포함할 수 있으며, 각 복셀 데이터 집합은 3D 이미지 데이터의 확실히 구별되는 부위, 예를 들어, 치아 또는 턱뼈 같은 부위를 나타낼 수 있다. 분류된 복셀은 구강 악안면 구조를 정확한 3D 모델로 재구성하기 위해 후처리될 수 있다.

컴퓨터 시스템은 구강 악안면 구조의 복셀을 자동으로 분류하기 위해 훈련된 신경망, 네트워크 훈련, 신경망에 공급되기 전에 수행되는 3D 이미지 데이터의 전처리 과정뿐만 아니라 신경망에 의해 분류된 복셀의 후처리 과정을 이하 설명한다.

도 1은 본 발명의 실시 예에 따른 3D 구강 악안면 구조의 분류 및 분할을 위한 컴퓨터 시스템을 개략적으로 도시한 것이다. 특히, 컴퓨터 시스템(102)은 구강 악안면 구조의 3D 이미지 데이터 스택(104)을 수신하도록 구성될 수 있다. 구강 악안면 구조는 턱, 치아 및 신경 구조를 포함할 수 있다. 3D 이미지 데이터는 복셀, 즉 복셀 값과 관련된 3D 공간 요소(예를 들어, 회색조 값 또는 색상 값)로 구성될 수 있으며, 방사선 농도 또는 밀도 값을 나타낼 수 있다. 바람직하게는, 3D 이미지 데이터 스택은 예를 들어, DICOM 형식이나 또는 파생 모델과 같이 미리 정해진 형식에 따른 CBCT 이미지 데이터를 포함할 수 있다.

컴퓨터 시스템은 3D 이미지 데이터가 제1 3D 딥 러닝 신경망(112)의 입력에 제공되기 전에 3D 이미지 데이터를 전처리하기 위한 전처리기(106)를 포함할 수 있으며, 전처리기(106)는 출력(114)으로 분류된 복셀의 3D 세트를 생성하도록 훈련된다. 이하, 첨부된 도면들에 기재된 내용들을 참조하여 상세히 설명되는 바와 같이, 3D 딥 러닝 신경망은 미리 결정된 훈련 방식에 따라 훈련될 수 있으며, 훈련된 신경망은 3D 이미지 데이터 스택의 복셀을 상이한 분류의 복셀(예를 들어, 치아, 턱뼈 및/또는 신경 조직과 관련된 복셀)로 정확하게 분류할 수 있다. 3D 딥 러닝 신경망은 복수의 연결된 3D 합성곱 신경망(3D CNN) 계층으로 구성될 수 있다.

컴퓨터 시스템은 3D 딥 러닝 신경망에 의해 분류된 복셀을 사용하여 치아, 턱 및 신경과 같은 구강 악안면 구조의 상이한 부분에 대한 3D 모델을 정확하게 재구성하기 위한 후처리기(116)를 더 포함할 수 있다. 이하 상세히 설명되는 바와 같이, 분류된 복셀(예를 들어, 치아 구조 또는 턱 구조에 속하는 것으로 분류된 복셀)의 일부는 추가적인 제2 3D 딥 러닝 신경망(120)에 입력되며, 그러한 구조에 속하는 것으로 분류된 복셀에 기초하여 턱(124)의 형상과 턱뼈(126)의 형상과 같은 구강 악안면 구조에 대한 3D 볼륨을 재구성하도록 훈련된다. 분류된 복셀(예를 들어, 3D 심층 신경망에 의해 신경에 속하는 것으로 분류된 복셀)의 다른 부분은 형상 함수(118)를 사용함으로써 후처리되고, 3D 신경 데이터(122)로 저장될 수 있다. 분류된 복셀로부터 신경을 나타내는 체적을 결정하는 일은 현재 심층 신경망의 (처리 능력의)한계를 넘어서는 것이 자연스럽다. 또한, 분류된 복셀은 이 문제를 해결하기 위해 신경망에 적합한 정보를 포함하지 않을 수 있다. 따라서, 분류된 신경 복셀을 정확하고 효율적으로 후처리하기 위해, 분류된 복셀을 삽입하는 보간법이 사용된다. 구강 악안면 구조의 다양한 부분에 대한 3D 데이터를 후처리한 후, 신경, 턱 및 치아 데이터(122 내지 126)는 컴퓨터 시스템의 입력에 제공되는 3D 이미지 데이터에서 정확하게 구강 악안면 구조를 정확하게 나타내는 별도의 3D 모델(128)로 결합 및 포맷될 수 있다.

CBCT 촬영에 있어서 (하운스필드 단위(HU)로 측정된)방사선 밀도는 촬영되는 기관의 상대 위치에 따라 촬영되는 다른 영역이 다른 회색조 값으로 나타나기 때문에 부정확하다. CBCT와 의료용 CT 스캐너를 사용하여 동일한 해부학적 영역에서 측정한 HU는 동일하지 않으므로, 부위별 방사선 촬영 사진으로 식별된 골밀도를 신뢰할 수 없다.

또한, 치과용 CBCT 시스템은 재구성된 밀도 값을 나타내는 회색조 레벨을 비례 축소하기 위해 표준화된 시스템을 채택하지 않는다. 이 값은 임의적이므로 골질을 평가할 수 없다. 이러한 표준화가 없으면 회색조 레벨을 해석하기가 어렵거나 다른 기계들로부터 도출된 값을 비교할 수 없다.

치아와 턱 뼈 구조는 밀도가 유사하여 컴퓨터가 치아에 속하는 복셀과 턱에 속하는 복셀을 구별하기 어렵다. 또한 CBCT 시스템은 주변에 밝은 줄무늬가 있는 두 개의 높은 감쇠 대상들(금속 또는 뼈와 같은) 사이에 어두운 줄무늬를 생성하는 소위 빔 경화에 매우 민감하다.

전술한 문제들에 대해 3D 딥 러닝 신경망을 견고하게 만들기 위해서, 3D 신경망은 3D 이미지 데이터로 표현된 바와 같이 모듈(138)을 사용하여 구강 악안면 구조 일부의 3D 모델을 활용하도록 훈련될 수 있다. 3D 훈련 데이터(130)는 (예를 들면, 구강 악안면 구조의 3D CT 이미지 데이터 및 구강 악안면 구조의 관련 3D 분할 표현)과 같이, 관련된 목표 출력이 알려진 3D 이미지 데이터 스택(104)에 제시된 CBCT 이미지를 정확하게 정렬할 수 있다. 종래의 3D 훈련 데이터는 입력 데이터를 수동으로 분할하여 얻을 수 있었는데. 이는 작업의 양이 상당하다. 또한 수동 분할은 사용되는 입력 데이터의 낮은 재현성과 일관성을 초래한다.

이 문제에 대응하기 위해 일 실시예에서, 광학적으로 생성된 훈련 데이터(130), 즉, 구강 악안면 구조(일부)에 대한 정확한 3D 모델이 수동으로 분할된 훈련 데이터 대신 사용되거나 또는 적어도 부가적으로 사용될 수 있다. 훈련 데이터를 생성하는데 사용되는 구강 악안면 구조는 3D 광학 스캐너를 통해 스캔될 수 있다. 이러한 광학 3D 스캐너는 당 업계에 알려져 있으며 고품질의 턱 및 치아 표면의 3D 데이터를 생성하는데 사용될 수 있다. 3D 표면 데이터는 (어떤 특정 복셀이 메쉬에 의해 일부가 둘러싸였는지를 결정하는) 3D 표면 메쉬(132)를 포함할 수 있고, 복셀 분류기(134)에 의해 사용될 수 있다. 이러한 방식으로, 복셀 분류기는 훈련(136)을 위해 고품질의 분류된 복셀을 생성할 수 있다. 또한, 전술한 바와 같이, 수동으로 분류된 훈련 복셀은 네트워크를 훈련시키는 훈련 모듈에 의해 사용될 수 있다. 훈련 모듈은 분류된 훈련 복셀을 목표로 사용할 수 있으며, 관련 CT 훈련 데이터를 입력으로 사용할 수 있다.

또한, 훈련이 이루어지는 동안, CT 훈련 데이터는 3D 위치 특징을 결정하도록 구성될 수 있는 특징 추출기(108)를 통해 전처리될 수 있다. 구강 악안면 특징은 이미지화된 구강 악안면 구조(수신된 3D 데이터 세트)의 하나 이상의 일부와 관련된 최소 공간 정보를 암호화할 수 있다. 예를 들어, 일 실시 예에서, 수동으로 조작된 3D 위치 특징은 복셀을 포함하는 3D 체적에서 턱 뼈, 특히 치열궁(의 일부)를 나타내는 3D 곡선을 포함할 수 있다. 하나 이상의 가중치 파라미터가 3D 곡선을 따르는 점들에 할당될 수 있다. 가중치 값은 3D 공간에서 복셀에서 복셀로의 변환을 암호화하는데 사용될 수 있다. 예를 들어 이미지 스택이 수신된 원래 공간의 암호화된 버전을 통합하는 대신, 암호화된 공간은 입력에서 검출된 것처럼 구강 악안면 구조로 한정된다. 특징 추출기는 방사선 농도 또는 밀도 값을 나타내는 복셀값을 검사함으로써 또는 특정 복셀을 통해 하나 이상의 곡선(예를 들어, 다항식)을 적합시킴으로써 턱 및/또는 치아의 곡선(예를 들어, 치열궁) 중 하나에 근사화하는 하나 이상의 곡선을 결정할 수 있다. 3D CT 이미지 데이터 스택의 치열궁 곡선(일부)의 파생물은 위치 특징 매핑(110)으로서 저장될 수 있다.

다른 실시 예에서, 이러한 3D 위치 특징은 예를 들어 수신된 전체 3D 데이터 세트로부터 관련 정보를 도출하도록 설계된 3D 심층 신경망과 같은 (훈련된) 머신 러닝 방법에 의해 결정될 수 있다.

도 2는 본 발명의 실시 예에 따른 구강 악안면의 3D 이미지 데이터를 분류하기 위한 심층 신경망을 훈련시키는 흐름도를 나타낸다. 훈련 데이터는 3D 딥 러닝 신경망을 훈련시키기 위해 사용되며, 구강 악안면 구조의 3D CT 스캔의 복셀을 자동으로 분류할 수 있다. 도 2에서 도시한 바와 같이, 컴퓨터 시스템에 구강 악안면 복합체(202)의 표현이 제공될 수 있다. 훈련 데이터는 구강 악안면 구조의 CT 이미지 데이터 스택(204) 및 관련 3D 모델, 예를 들어 동일한 구강 악안면 구조의 광학 촬영에서 얻은 3D 데이터(206)를 포함할 수 있다. 이러한 3D CT 이미지 데이터 및 3D 광학 스캐닝 데이터의 예는 도 3a 및 도 3b에 도시되어 있다. 도 3a는 구강 악악면 구조의 3D CT 스캔의 상이한 면, 예를 들어 축면(302), 정면 또는 관상면(304) 및 시상면(306) 과 관련된 DICOM 슬라이스를 도시한다. 도 3b는 구강 악안면 구조의 3D 광학 스캐닝한 데이터를 도시한다. 컴퓨터는 광학 스캐닝 데이터에 기초하여 구강 악안면 구조의 3D 표면 메쉬(208)를 형성할 수 있다. 또한, 3D 표면 메쉬를 3D CT 이미지 데이터에 맞추도록 구성된 정렬 기능(210)이 사용될 수 있다. 정렬 후, 컴퓨터의 입력에 제공되는 3D 구조의 표현은 동일한 공간 좌표계를 사용한다. 정렬된 CT 이미지 데이터 및 3D 표면 메쉬 위치 특징(212) 및 광학적으로 스캔된 3D 모델(214)의 분류 복셀 데이터에 기초하여 결정될 수 있다. 위치 특징들과 분류된 복셀 데이터는 이미지 스택(204)과 함께 심층 신경망(216)의 입력에 제공될 수 있다.

따라서, 훈련 단계 동안, 3D 딥 러닝 신경망은 3D CT 훈련 데이터를 수신하고, 입력 데이터로서 3D CT 훈련 데이터로부터 위치 특징을 수신하며, 목표 데이터로 사용된 3D CT 훈련 데이터와 관련된 분류된 훈련 복셀을 수신한다. 목표 데이터(즉, 분류된 복셀 데이터)에 대한 심층 신경망의 출력 편차를 나타내는 손실 함수를 최소화하고 미리 결정된 입력에 대해 원하는 출력을 나타냄으로써 심층 신경망의 네트워크 파라미터의 최적값을 산출하는 최적화 방법이 사용될 수 있다. 손실 함수의 최소화가 특정 값으로 수렴할 때, 훈련 과정이 적합한 것으로 간주될 수 있다.

도 2에 도시된 훈련 프로세스는 3D 광학 스캐닝 데이터로부터 (적어도 부분적으로) 도출될 수 있는 훈련 복셀과 결합한 3D 위치 특징을 사용한 것이며, 훈련 프로세스는 3D 딥 러닝 신경망을 위한 고품질의 훈련을 제공한다. 훈련 과정 후, 훈련된 네트워크는 3D CT 이미지 데이터 스택으로부터 복셀을 정확하게 분류할 수 있다.

도 4a 및 도 4b는 본 발명에서 설명하는 방법 및 시스템에서 사용되는 높은 수준의 심층 신경망 시스템 개략도를 도시한다. 심층 신경망은 하나 이상의 3D 합성곱 신경망(3D CNN)을 통해 구현될 수 있다. 합성곱 계층은 시그모이드 함수(sigmoid function), 쌍곡선 함수, 릴루 함수(ReLU function), 소프트 맥스 함수(softmax function) 등과 같은 계층의 뉴런과 관련된 활성화 함수를 이용할 수 있다. 심층 신경망은 복수의 3D 합성곱 계층을 포함할 수 있으며, 3D 합성곱 계층은 계층의 수 및 정의된 범위(예를 들면, 상이한 활성화 함수, 커널의 양과 크기 및 드롭아웃(dropout)과 배치 정규화 계층과 같은 보조 기능 계층의 계층)에서 사소한 변동이 있을 수 있고, 심층 신경망은 심층 신경망 설계의 본질을 잃지 않으면서 구현에 사용될 수 있다.

도 4a에 도시된 바와 같이, 네트워크는 복수의 합성곱 경로를 포함할 수 있으며, 각 회선 경로는 한 세트의 3D 합성곱 계층과 연관된다. 본 발명의 실시 예에서, 네트워크는 적어도 2개의 합성곱 경로를 포함할 수 있다. 합성곱 경로는 3D 합성곱 계층의 제1 세트(406)와 관련된 제1 합성곱 경로와 3D 합성곱 계층의 제2 세트(408)와 관련된 제2 합성곱 경로일 수 있다. 제1 및 제2 합성곱 경로는 각각 제1 및 제2 합성곱 경로에 입력되는 복셀과 관련된 수신 3D 이미지 데이터로부터 도출된 3D 특징을 암호화하도록 훈련될 수 있다. 또한, 일부 실시 예들에서, 네트워크는 적어도 제3 3D 합성곱 계층(407)과 연관된 추가 (제3) 합성곱 경로를 포함할 수 있다. 제3 합성곱 경로는 제3 합성곱 경로에 입력되는 복셀과 관련된 수신 3D 위치 특징 데이터로부터 도출된 3D 특징을 암호화하도록 훈련될 수 있다.

다른 실시 예는, 3D 위치 특징 데이터에 기초하여 훈련되는 추가적인 합성곱 경로 대신, 3D 위치 특징 데이터는 제1 및 제2 합성곱의 경로에 제공되는 복셀의 세기 값과 관련될 수 있다. 따라서, 본 실시 예에서, 제1 및 제2 합성곱 경로는 농도 값 및 위치 특징 정보를 포함하는 복셀 값의 3D 데이터 스택을 포함하는 훈련 데이터에 기초하여 훈련될 수 있다.

다른 경로의 기능은 도 4b에 보다 상세하게 도시되었다. 도 4b에서와 같이 복셀은 신경망의 입력에 제공된다. 이러한 복셀은 미리 정해진 양과 연관며, 이를 영상 볼륨(4013)이라고 할 수 있다. 복셀의 총 양은 제1 복셀 블록으로 분할될 수 있고, 제1 경로(403₁)의 3D 합성곱 계층은 3D 이미지 데이터의 제1 복셀 블록(401₁) 각각에 대해 3D 합성곱 연산을 수행할 수 있다. 연산이 수행되는 동안, 각각의 3D 합성곱 계층의 출력은 후속하는 3D 합성곱 계층의 입력일 수 있다. 이러한 방식으로, 각각의 3D 합성곱 계층은 입력으로 공급되는 3D 이미지 데이터의 특징을 나타내는 3D 특징 지도를 생성할 수 있다. 따라서 이러한 특징 지도를 생성하도록 구성된 3D 합성곱 계층은 3D CNN 특징 계층일 수 있다.

도 4b에 도시된 바와 같이, 제2 합성곱 경로(403₂)의 합성곱 계층은 3D 이미지 데이터의 제2 복셀 블록(401₂)을 처리하도록 구성될 수 있다. 각각의 제2 복셀 블록은 제1 복셀 블록과 관련되며, 제1 및 제2 복셀 블록은 이미지 볼륨에서 동일한 중심 원점을 갖는다. 제2 블록의 양은 제1 블록의 볼륨보다 크다. 또한, 제2 복셀 블록은 관련된 제1 복셀 블록의 다운 샘플링된 형태이다. 다운 샘플링은 공지된 보간 알고리즘을 사용할 수 있다. 다운 샘플링 계수는 임의의 적절한 값일 수 있다. 본 발명의 실시 예에서, 다운 샘플링 계수는 20과 2 사이에서 선택될 수 있으며, 바람직하게는 10과 3 사이에서 선택될 수 있다.

따라서, 3D 심층 신경망은 적어도 2개의 합성곱 경로를 포함할 수 있다. 제1 합성곱 경로(403₁)는 CNN 특징 층(예를 들어, 5~20 계층)을 정의할 수 있고, CNN 특징 계층은 제1 블록 해상도의 입력 데이터(예를 들어, 이미지 양에서 미리 결정된 위치에 해당하는 제1 복셀 블록)를 처리하도록 설정될 수 있으며, 예를 들어 제1 블록 해상도는 목표 복셀 해상도(즉, 분류될 3D 이미지 데이터의 복셀의 해상도)일 수 있다. 유사하게, 제2 합성곱 경로는 제2 복셀 해상도 (예를 들어, 제2 복셀 블록; 제1 복셀 블록과 동일한 중심점을 갖는 제2 복셀 블록의 각 블록들(401₂))에서 입력 데이터를 처리하도록 설정된 제2 3D CNN 특징 계층(예를 들어, 5~20 계층)을 정의할 수 있다. 여기서 제2 해상도는 제1 해상도보다 낮다. 따라서 제2 복셀 블록은 제1 블록보다 실제로 더 볼륨이 크다. 이러한 방식으로, 제2 3D CNN 특징 계층은 제1 3D CNN 특징 계층에 의해 처리되는 관련 복셀의 (바로)주위에 관한 정보를 포함하는 3D 특징 지도를 생성하기 위해 복셀을 처리한다.

따라서, 제2 경로는 신경망이 상황 정보, 즉 신경망의 입력에 제시되는 3D 이미지 데이터의 복셀의 상황에 관한 정보(예를 들어, 그 주변에 관한 정보)를 결정하는 것을 가능하게 한다. 다중 (병렬) 합성곱 경로를 사용함으로써, 3D 이미지 데이터(입력 데이터) 및 3D 이미지 복셀 데이터의 상황 정보는 모두 병렬로 처리될 수 있다. 상황 정보는 구강 악안면 구조를 분류하는데 유용하며, 이는 특히 CBCT 이미지 데이터의 경우에는 일반적으로 구별하기 어려운 밀집된 치과 구조를 포함한다.

본 발명의 실시 예에서, 도 4b의 신경망은 3D 이미지 데이터로부터 추출된 3D 위치 특징부(404)의 특정 표현을 처리하도록 훈련된 제3 3D 합성곱 계층의 제3 합성곱 경로(403₃)를 더 포함할 수 있다. 전처리 단계를 통해 3D 이미지 데이터에서 3D 위치 특징을 추출할 수 있다. 다른 실시 예에서, 3D 위치 특징을 처리하기 위해 제3 합성곱 경로를 사용하는 대신에, 3D 위치 특징을 포함하는 3D 위치 정보는 심층 신경망에 입력에 제공되는 3D 이미지 데이터와 연관될 수 있다. 특히, 3D 데이터 스택은 각 복셀의 농도 값 및 위치 정보와 관련되어 형성될 수 있다. 따라서, 위치 정보는 예를 들어 3D 위치 특징 정보를 추가 채널로서 수신된 3D 이미지 정보에 추가하는 방법으로 수신된 복셀과 적용 가능하도록 매칭될 수 있다. 따라서, 본 발명의 실시 예에서, 심층 신경망의 입력에 3D 구강 악안면 구조의 복셀 표현의 복셀은 예를 들어, 방사선 농도 값과 관련된 복셀뿐만 아니라 3D 위치 정보에 관련된 복셀도 포함한다. 따라서, 본 발명의 실시 예에서, 제1 및 제2 합성곱 경로 모두의 합성곱 계층을 훈련하는 동안, 3D 이미지 특징 및 3D 위치 특징 둘 다로부터 도출된 정보는 이들 합성곱 계층에 암호화될 수 있다.

3D CNN 특징 계층의 출력은 병합되어 완전 연결 3D CNN 계층(410)의 세트의 입력으로 공급되며, 신경망의 입력에 제공되고 3D CNN 특징 계층에 의해 처리되도록 의도된 복셀의 분류(412)를 도출하도록 훈련된다.

3D CNN 특징 계층은 (학습 가능한 매개 변수를 통해) 특정 입력으로부터 결정될 수 있는 최적의 유용한 정보를 도출하고 전달하도록 학습되며, 완전 연결계층은 이전 경로의 정보가 최적으로 분류된 복셀(412)을 제공하도록 결합되는 방법이 결정되도록 매개 변수를 암호화한다. 그 후, 분류된 복셀은 이미지 공간(414)에 나타날 수 있다. 따라서, 신경망의 출력은 입력할 때의 복셀의 이미지 공간에 대응하는 이미지 공간에서의 분류된 복셀이다.

여기서, 완전 연결계층의 출력(마지막 계층)은 각 복셀을 위한 복수의 활성화를 제공할 수 있다. 이러한 복셀 활성화는 복셀이 예를 들어, 구강 구조의 분류, 치아, 턱 및/또는 신경 구조와 같은 다양한 분류 중 하나에 속할 확률 측도(예측)일 수 있다. 각각의 복셀에 대해, 분류된 복셀을 얻기 위해서 상이한 치아 구조와 관련된 복셀이 활성화될 수 있다.

도 5 내지 도 7은 3D 구강 악안면 구조를 나타내는 3D 이미지 데이터 스택에서 3D 위치 특징을 결정하는 방법과 3D 위치 특징의 예를 도시한다. 구체적으로, 수동으로 조작된 특징과 도 1을 참조하여 설명된 바와 같이, 3D 이미지 데이터 스택 및 관련 3D 위치 특징은 둘 다 3D 심층 신경망에 대한 입력에 제공되며, 네트워크는 과다 적합의 위험없이 복셀을 정확하게 분류할 수 있다. 실제 크기를 기반으로 한 변환은 입력 이미지 해상도와 상관없이 유사한 입력을 보장한다.

수동으로 조작된 3D 위치 특징은 이미지 평면에서의 기준면 또는 기준 물체에 비례하여 이미지 양에서의 복셀의 위치에 관한 3D 심층 신경망 정보를 제공할 수 있다. 예를 들어, 본 발명의 실시 예에서, 기준면은 이미지 볼륨에서 상부 턱과 관련된 복셀과 하부 턱과 복셀을 분리하는 축면일 수 있다. 다른 실시 예에서, 기준 물체는 곡선을 포함할 수 있으며, 곡선은 예를 들어 구강 악안면 구조의 3D 이미지 데이터에서 치아의 치열궁의 적어도 일부를 근사화하는 3D 곡선일 수 있다. 이러한 방식으로, 위치 특징부는 제1 심층 신경망에 이미지 볼륨의 상이한 위치에 있는 턱, 치아 및/또는 신경 조직의 각 복셀의 가능성을 나타내는 추상화를 암호화하는 수단을 제공한다. 이러한 위치 특징은 심층 신경망이 3D 이미지 데이터 스택의 복셀을 효율적이고 정확하게 분류하게 하며, 과다 적합의 위험을 줄이도록 설계되도록 한다.

분류 프로세스에 유용한 이미지 체적에서의 기준면 및/또는 기준 물체를 결정하기 위해, 특징 분석 기능은 소정의 농도 값 또는 미리 설정된 농도 값의 위 또는 아래의 복셀을 결정할 수 있다. 예를 들어, 밝은 농도 값과 관련된 복셀은 치아 및/또는 턱 조직과 관련될 수 있다. 이러한 방식으로, 치아 및/또는 턱의 위치 정보와 이미지 볼륨에서의 방향(예를 들어 회전 각도)에 관한 정보는 컴퓨터로 결정될 수 있다. 특징 분석 함수에서 회전 각도가 미리 설정된 것(예를 들어, 15도 보다 큰)보다 크다고 판단할 경우, 특징 분석 함수는 정확한 결과에 더 유리하기 때문에 함수는 회전 각도를 0으로 보정 할 수 있다.

도 5a는 3D 이미지 데이터(504)(예를 들면, 3D CT 이미지 데이터 스택)에서 수동으로 조작된 3D 위치 특징을 결정하는 방법의 흐름도(502)의 예를 도시한다. 이 과정은 구강 악안면 구조의 하나 이상의 3D 위치 특징을 결정하는 단계를 포함할 수 있으며, (도 4b에 기재된 바와 같이) 하나 이상의 3D 위치 특징은 3D 심층 신경망에 입력되도록 구성된다. 수동으로 설계된 3D 위치 특징은 이미지 볼륨의 기준면 또는 기준 물체에 대한 이미지 볼륨의 복셀의 위치 정보, 예를 들어 거리, 예를 들어, 이미지 볼륨의 복셀과 이미지 볼륨의 기준면 사이의 수직 거리를 정의한다. 또한, 이미지 볼륨에서의 복셀들과 이미지 볼륨에서의 치과 기준 물체, 예를 들면 치열궁 사이의 거리를 정의할 수 있다. 수동으로 설계된 3D 위치 특징은 이미지 볼륨의 제2 기준면에서 누적 농도 값의 위치를 추가로 정의할 수 있으며, 기준면의 지점에서 거의 정상적으로 작동하는 복셀의 누적된 농도 값을 포함하는 제2 기준면의 지점에서 누적된 농도 값을 정의할 수 있다. 이하 3D 위치 특징의 예를 설명한다.

구강 악안면 구조의 3D 이미지 데이터에서 치열궁의 위치 정보를 제공하는 기준 물체를 결정하기 위함이다. 적합 알고리즘은 다른 (누적) 농도 값에서 미리 결정된 지점에 적합한 곡선(예를 들어, 다항식 공식을 따르는 곡선)을 결정하기 위해 사용할 수 있다.

본 발명의 실시 예에서, 이미지 볼륨의 축 방향 평면(xy 평면)에서의 농도 값들의 점의 집합이 결정될 수 있다. 이러한 축면의 한 지점에서의 누적 농도 값은 축면의 한 지점을 통과하는 평균 복셀의 복셀 값을 합산함으로써 결정될 수 있다. 따라서, 축면에서 획득한 농도 값은 치아의 치열궁과 근사한 곡선을 찾는데 사용될 수 있다.

도 5b는 본 발명의 실시 예는 (수동으로 조작되지 않은) 관련 3D 위치 특징을 생성하는데 이용될 수 있는 머신 러닝 방법을 도시한다. 특히, 도 5b는 분할 3D 신경망에 의해 처리되는 원하는 특징을 생성하도록 훈련될 수있는 3D 심층 신경망 구조를 도시한다. 훈련 후, 이러한 훈련된 모델은 수신된 전체 3D 데이터에 기초하여 관련 3D 위치 특징을 도출하는 전처리기로서 아날로그적인 방법(502)과 유사하게 사용될 수 있다.

수동으로 조작된 3D 위치 특징과 마찬가지로, 목표는 자동 분류와 분할과 잠재적으로 관련있는 분할 3D 딥 러닝 네트워크를 사용하여 수신된 전체 3D 데이터 세트(또는 적어도 상당 부분)와 관련된 3D 위치 특징 정보를 통합하는 것이며, 그렇지 않으면, 분할 3D 딥 러닝 네트워크에 제공되는 부표본들을 이용할 수 없다. 다시, 수동으로 조작된 3D 위치 특징과 마찬가지로 이러한 정보는 수신된 3D 데이터 세트에서 복셀마다 사용 가능해야 한다.

3D 위치 특징을 자동으로 생성하기 위한 이러한 머신 러닝 방법을 구현할 수 있는 가능한 방법 중 하나는 훈련된 심층 신경망이다. 이러한 네트워크는 3D 분할 심층 신경망의 입력에 제공되는 입력 3D 데이터 세트(예를 들면, 구강 악안면 구조의 복셀 표현)에 기초하여 3D 위치 특징을 도출하도록 훈련될 수 있다. 도 5b의 실시 예에서, 전처리된 심층 신경망은 3D U-net 유형의 심층 신경망일 수 있다. 사용 가능한 처리 한계(대부분 메모리 요구 사항)로 인해, 이러한 구성은 수신된 복셀 표현의 해상도에서 작동하지 않는다. 따라서, 제1 해상도(예를 들어, 복셀 당 0.2x0.2x0.2mm)의 제1 복셀 표현인 제1 입력 3D 데이터 세트는 제2 저해상도(예를 들어, 보간 알고리즘을 사용한 복셀 당 1x1x1mm의 해상도)의 제2 복셀 표현으로 다운 샘플링될 수 있다. 그 후, 제2 해상도의 복셀 표현을 기초로 훈련된 3D 심층 신경망은 입력 복셀 3D 위치 특징 정보를 생성할 수 있다. 보간 알고리즘을 사용하여 이 정보를 원래의 제1 해상도까지 일정한 비율로 확대할 수 있다. 이러한 방식으로, 결과적인 3D 위치 특징은 제1 복셀 표현의 복셀과 (공간적으로) 일치한다. 제1 복셀 표현의 복셀은 제1 3D 입력 데이터 세트의 각 복셀에 대한 관련 정보를 생성하며, 수신된 (집합된 버전의) 전체 3D 데이터 세트를 고려한 정보를 생산한다.

이러한 3D 심층 신경망의 전처리 과정은 원하는 목표값(원하는 3D 위치 특징들)에 근사하도록 훈련될 수 있다. 본 실시 예에서, 목표는 예를 들어 3D 심층 신경망의 전처리 과정이 작동하는 해상도에 대한 복셀당 분류 표시일 수 있다. 이러한 분류 표시는 예를 들어 분류된 훈련 복셀 중 동일 영역(136)으로부터 공급될 수 있지만, 수신된 3D 데이터 세트가 다운 샘플링된 것과 동일한 방식으로 다운 샘플링될 수 있다.

전처리 머신 러닝 방법의 이러한 실시예는 대략적인 사전 분할, 구체적으로는 수신된 3D 복셀 표현의 전체(또는 상당 부분)에 대한 정보에 잠재적으로 접근할 수 있는 것으로 간주될 수 있다는 점에 주목한다. 분할 전 단계의 정보를 수신된 3D 이미지 공간의 복셀과 페어링시키면(예를 들어, 업스케일링(upscaling) 방법으로), 이러한 3D 위치 특징들과 수신된 3D 이미지 데이터를 수신된 3D 이미지 해상도에서의 결과를 도출하는 데에 함께 처리할 수 있다.

전처리 네트워크는 합성곱 계층(3D CNNs), 3D 최대 풀링 계층, 3D 비합성곱 계층(3D de-CNNs) 및 밀접하게 연결된 계층과 같은 다양한 3D 신경 네트워크 계층을 사용하여 구현될 수 있다. 계층들은 선형 함수, 쌍곡선 함수, 릴루 함수, PreLU 함수, 시그모이드 함수 등과 같은 다양한 활성화 함수들을 사용할 수 있다. 3D CNN 및 de-CNN 계층은 필터의 양, 필터 크기 및 부표본 파라미터가 다양할 수 있다. 3D CNN 및 de-CNN 계층과 마찬가지로 밀접하게 연결된 계층은 매개 변수를 초기화하는 방법이 다를 수 있다. 드롭아웃 및/또는 일괄 표준화 계층은 구조 전반에 걸쳐 사용될 수 있다.

3D U-net 구조에 따라, 3D CNN 및 3D de-CNN 계층 내부에서 다양한 필터가 훈련되는 동안, 예측 정확도를 높이는 데 도움이 되는 의미있는 기능을 암호화하는 방법이 훈련된다. 훈련 동안에 3D 이미지 데이터 세트(522)와 암호화된 3D 위치 특징 세트(560)는 전자로부터 후자를 최적화하여 예측하는데 사용된다. 손실 함수는 최소화의 척도로 사용될 수 있다. 이러한 최적화는 SGD, Adam 등과 같은 최적화 프로그램을 사용하는 데 도움이 될 수 있다.

이러한 구조는 다양한 내부 해상도 척도를 적용할 수 있으며, 예를 들어 최대 풀링 또는 부표준화된 3D 합성곱을 통해 이전 3D CNN 계층 524, 530, 532 세트의 결과로 효과적으로 하향 조정된 526, 530, 534를 사용할 수 있다. 여기서 ‘의미있는 기능'이라는 용어는 목표 출력 값을 결정하는 데 관련된 정보의 (성공적인)유래를 의미하고, '의미있는 기능'은 필터를 사용하면서 업 스케일링을 효과적으로 수행하는 3D de-CNN 계층을 통해 암호화된다. 이러한 3D de-CNN 계층 538, 544, 554에서 생성된 540, 546, 552 데이터를 동일한 해상도(532 내지 540, 528 내지 546, 및 524 내지 552)에서 작동하는 '마지막' 3D CNN 계층의 데이터와 결합함으로써, 매우 정확하게 예측할 수 있다. 업 스케일링하는 과정 전체에 걸쳐서, 추가적인 3D CNN 계층542, 548, 554이 사용될 수 있다.

검증이 충분히 정확한 결과를 산출할 수 있도록 내부 매개변수를 암호화하는 훈련될 때, 입력 샘플이 제시될 수 있으며 3D 딥 러닝 네트워크는 예측된 3D 위치 특징부(542)를 산출할 수 있다.

도 6은 수동으로 설계된 3D 위치 특징을 결정하는데 사용되는 기준 물체의 예를 나타내며, 이 경우 치열궁에 근사한 곡선을 나타낸다. 본 발명의 실시 예에서, 축면(xy)의 점들의 집합은 높은 밝기값 영역(백색 영역)이 치아 또는 턱 구조 영역일 수 있음을 나타낸다. 치열궁 곡선을 결정하기 위해, 컴퓨터는 치아 또는 턱 복셀로 식별될 수 있는 밝은 복셀(예를 들어, 미리 결정된 임계값 이상의 밝기값을 갖는 복셀)과 관련된 이미지 볼륨의 축면의 영역을 결정할 수 있다. 이러한 높은 광도 영역은 구강 악안면의 아치 구조와 유사한 밝은 영역을 초승달 형태로 배열하는데 사용될 수 있다. 이러한 방식으로, 치열궁 곡선이 결정될 수 있고, 치열궁 곡선은 각각 상부 턱 및 하부 턱의 구강 악안면의 아치 구조의 평균과 유사하다. 본 발명의 다른 실시 예에서는, 상부 및 하부 턱과 각각 관련된 개별적인 치열궁 곡선이 결정될 수 있다.

도 7a 내지 도 7e는 본 발명의 다양한 실시 예에 따른 3D 이미지 데이터의 3D 위치 특징의 예를 도시한다.

도 7a는 (왼쪽에) 3D 이미지 데이터 스택 도면을 도시하고, (오른쪽에) 소위 높이-특징을 시각화한 도면을 도시한다. 이러한 높이 특징은 기준면(702)에 대한 3D CT 이미지 데이터 스택의 이미지 볼륨에서 각 복셀의 z-위치(높이(704))를 암호화할 수 있다. 기준면은 상부 턱, 하부 턱 및 상하 턱을 구성하는 치아와 대략 동일한 거리(최상의 근사치)를 갖는 xy 평면일 수 있다.

다른 3D 위치 특징들은 3D 이미지 데이터 스택의 xy 공간에서의 공간 정보를 암호화하도록 정의될 수 있다. 본 발명의 실시 예에서, 이러한 위치 특징은 치열궁(의 일부)에 근사한 곡선에 기초할 수 있다. 도 7b는 이러한 위치 특징을 도시하며, 도 7b는 (왼쪽에) 3D 이미지 데이터 스택을 도시하고, 도 7b (오른쪽에) 소위 이동-특징을 시각화한 도면을 도시한다. 이동-특징은 치열궁(706)에 근사한 곡선을 기초로 하고, 곡선을 따라 측정된 상대 거리(708)를 결정한다. 여기서, 제로 거리는 2차 다항식의 미분이 (대략) 0인 곡선상의 점(710)으로 정의될 수 있다. 이동 거리는 예를 들어, 도함수가 0인 지점에서 x 축의 어느 한 방향으로 이동할 때 증가한다.

치열궁 곡선에 기초한 3D 위치 특징은 이미지 볼륨에서 각 복셀의 치열궁 곡선(706)까지의 최단 (수직) 거리를 정의할 수 있다. 따라서 이 위치 특징을 '거리 특징'이라 한다. 도 7c는 거리 특징을 나타내며, 도 7c는 (왼쪽에) 3D 이미지 데이터 스택을 도시하고, 도 7c (오른쪽에) 거리-특징을 시각화한 도면을 도시한다. 거리-특징은 제로 거리가 복셀이 치열궁 곡선(708) 상에 위치한다는 것을 의미한다.

또 다른 3D 위치 특징은 개별 치아의 위치 정보를 규정할 수 있다는 것이다. 도 7d는 (치아 특징으로도 지칭될 수 있는) 3D 위치 특징의 예를 도시하며, 도 7d는 (왼쪽에) 3D 이미지 데이터 스택을 도시하고, 도 7d (오른쪽에) 치아 특징을 시각화한 도면을 도시한다. 치아 특징은 복셀 공간의 특정 위치에서 특정 치아의 복셀을 찾을 가능성을 결정하는데 사용되는 정보를 제공할 수 있다. 치아 특징은, 702와 같은 결정된 기준면에 따라 임의의 평면(예를 들어, xy 평면 또는 임의의 다른 평면)의 평균에 대한 별개의 복셀 합을 암호화할 수 있다. 따라서 이 정보는 신경망에 평면에 대해 합산된 원래 공간의 모든 정보에 대한 ‘관점’을 제공한다. 이 관점은 치아 특징을 배제할 때 처리되는 것보다 더 크며, (xy 평면의 712_1,2에 도시된 바와 같이) 모든 정보에 기초하여 선택된 공간의 방향으로 단단한 구조가 존재하는지 여부를 구별하는 수단을 제공할 수 있다.

도 7e는 머신 러닝 전처리기로 생성될 수 있는 3D 위치 특징의 시각화를 도시하며, 특히 도 5b에서 설명한 바와 같이, 3D 심층 신경망의 시각화를 도시한다. 이러한 3D 위치 특징은 3D로 컴퓨터 변환되며, 3D 볼륨이 예측된 값에 대한 임계값 결과라는 것을 나타낸다. 볼륨을 정의하는 표면의 상대적 '거칠기'로부터, 이러한 네트워크와 입력 및 목표 데이터는 분할되는 최종 복셀 표현보다 낮은 3D 해상도로 작동한다는 것을 알 수 있다(본 실시 예의 경우, 복셀 당 1x1x1mm의 해상도가 사용되었다). 목표로서, 3D 딥 러닝 네트워크를 분할하는데 사용된 것과 동일한 훈련 데이터가 사용될 수 있지만, 훈련 데이터는 3D 심층 신경계를 전처리하기 위해 요구되는 적용 가능한 해상도로 다운 샘플링될 수 있다. 이것은 결과적으로 턱(720), 치아(722) 및 신경(724) 구조의 '대략적인' 사전 분할이 포함된 3D 위치 특징으로 이어진다. 본 발명의 실시 예의 목적상, 특정 환자의 하부 턱은 신경 구조의 일부일 가능성이 가장 높은 것으로 분류된 복셀을 나타내도록 변환되지 않았다.

이러한 대략적인 사전 분할은 적절하게 업 샘플링될 수 있다. 예를 들어, 보간법을 사용하여 원하는 분할 해상도(원래 수신된 복셀 분해능)에서의 복셀마다 사전 분할로부터 정보가 공간적으로 일치하도록 보장한다. 예를 들어, 도시된 시각화에서 하나의 복셀로부터의 정보는 원하는 해상도에서 5x5x5 복셀과 공간적으로 일치할 수 있으며, 이 정보는 원하는 해상도에서 모든 적용 가능한 125 복셀과 쌍을 이루어야 한다. 이 후, 이 업샘플링된 정보는 3D 위치 특징들의 세트로서 나타나거나 그에 포함될 수 있고, 도 4를 참조하여 설명된 바와 같이, 분할 3D 심층 신경망에 입력으로 공급될 수 있다.

따라서, 도 5 내지 도 7은 3D 위치 특징이 복셀을 분류하도록 훈련된 심층 신경망의 입력에 제공되는 복셀 표현의 복셀에 대한 정보를 정의하는 것을 나타낸다. 그 정보는 복셀 표현으로부터 이용 가능한 정보의 모든 (또는 실질적인 부분)으로부터 수집될 수 있으며, 수집되는 동안 치과용 기준 물체에 대한 복셀의 위치가 고려될 수 있다. 또한, 그 정보는 제1 복셀 표현에서 복셀의 위치별로 처리될 수 있도록 집계된다.

도 8a 내지 도 8d는 본 발명의 실시 예에 따른 훈련된 딥 러닝 신경망의 출력을 도시한다. 특히, 도 8a 내지 도 8d는 도 2를 참조하여 설명된 훈련 방법을 사용하여 훈련되는 딥 러닝 신경망을 사용하여 분류된 복셀의 3D 이미지를 도시한다. 도 8b 및 8c에 도시된 바와 같이, 복셀은 치아 구조 (도 8b), 턱 구조(도 8c) 또는 신경 구조(도 8d)에 속하는 복셀의 신경망에 의해 분류될 수 있다. 도 8a는 딥 러닝 신경망이 치아, 턱 및 신경 조직으로 분류된 복셀을 포함하는 3D 이미지를 도시한다. 도 8b 내지 도 8d에 도시 된 바와 같이, 분류 프로세스는 정확하지만 여전히 누락되거나 잘못 분류된 다수의 복셀이 존재한다. 예를 들어, 도 8b 및 8c에 도시 된 바와 같이, 턱 구조의 일부일 수 있는 복셀은 치아 복셀로 분류되나, 치아 복셀의 뿌리에 속하는 표면에서는 누락된다. 도 8d에 도시된 바와 같이, 이 문제는 신경 복셀을 분류할 ? 더욱 두드러진다.

(제1 딥 러닝 신경망의 출력을 형성하는) 분류된 복셀에서 분리물 문제를 처리하기 위해, 복셀은 후처리될 수 있다. 도 9는 본 발명의 실시 예에 따른 3D 구강 악안면 구조의 분류된 복셀의 후처리 과정에 대한 흐름도를 도시한다. 특히, 도 9는 본 출원의 도 1 내지 도 8을 참조하여 설명된 바와 같이, 딥 러닝 신경망을 사용하여 분류된 구강 악안면 구조의 복셀 데이터를 후처리 과정에 대한 흐름도를 도시한다.

도 9에 도시 된 바와 같이, 프로세스는 구강 악안면 구조의 분류된 복셀 데이터(902)를 턱 복셀 데이터(904) 및 치아 복셀 데이터(906)로 분류된 복셀과 신경 복셀 데이터(908)로 분류된 복셀로 분할하는 단계를 포함할 수 있다. 이하에서 보다 상세히 설명되는 바와 같이, 턱 및 치아 복셀은 추가적인 제2 딥 러닝 신경망(910)을 사용하여 후처리될 것이다. (구강 악안면 구조의 3D CT 이미지 데이터 스택과 입력과 관련된 위치 특징을 입력으로 사용하는) 초기 제1 딥 러닝 신경망이 이미지 데이터를 기반으로 가능한 최상의 복셀 분류를 생성하는 것과 달리, 두 번째 '후처리‘ 딥 러닝 신경망은 제1 딥 러닝 신경망의 출력의 일부를 복셀로 변환하여, 출력을 원하는 3D 구조와 보다 밀접하게 일치시킨다.

딥 러닝 신경망의 후처리 과정은 치아와 턱의 표현을 암호화한다. 딥 러닝 신경망의 후처리 과정 훈련 동안, 신경망의 매개변수는 제1 딥 러닝 신경망의 출력이 이러한 구강 악안면 구조의 가장 적합한 3D 표현으로 변환되도록 조정된다. 이러한 방식으로, 분류된 복셀에서의 결함(912)은 재구성될 수 있다. 추가적으로, 3D 구조의 표면(914)은 매끄럽게 될 수 있어서, 최상의 실현 가능한 3D 턱 모델 및 3D 치아 모델이 생성될 수 있다. 3D CT 이미지 데이터 스택을 신경망 후처리에 대한 근원 정보로 제외시키는 것은 이 후처리 단계가 이미지 스택 내에서 원하지 않는 분산을 견고하게 만든다.

(CB)CT 이미지의 특성으로 인해, 제1 딥 러닝 신경망의 출력은 (이전에 언급된) 환자의 움직임, 빔 강화 등으로 인한 평균화와 같은 잠재적 요소들로부터 어려움을 겪게 될 것이다. 노이즈의 또 다른 원인은 다른 CT 영상기가 포착한 이미지 데이터의 차이다. 이러한 차이는 이미지 스택 내의 변화하는 많은 노이즈, 동일한 (실제)농도를 나타내는 변화하는 복셀 밝기 값 및 잠재적인 다른 요소와 같은 다양한 요인을 도입하는 결과를 초래한다. 전술한 요소 및 노이즈 원인이 제1 딥 러닝 신경망의 출력에 미치는 영향은 딥 러닝 신경망을 후처리함으로써 제거되거나 적어도 실질적으로 감소되어, 분할된 턱 복셀(918) 및 분할된 치아 복셀(920)로 이어질 수 있다.

분류된 신경 데이터(908)는 턱과 치아 데이터와는 별도로 후처리될 수 있다. CT 이미지 데이터 스택에서 길고 얇은 필라멘트 구조로 나타나는 신경 데이터의 특성은 이 신경 데이터가 딥 러닝 신경망에 의한 후처리에 적합하지 않게 만든다. 대신에, 분류된 신경 데이터는 분할된 신경 데이터(916)를 처리하기 위해 보간 알고리즘을 사용하여 후처리 된다. 이를 위해, 신경 복셀로 분류되고 높은 확률(예를 들어, 95% 이상의 확률)과 관련된 복셀을 적합 알고리즘을 사용하여 신경 구조의 3D 모델을 구성한다. 그 후, 3D 턱, 3D 치아 및 3D 신경 모델은 구강 악안면 구조의 3D 모델로 결합된다.

도 10은 본 발명의 실시 예에 따른 3D 구강 악안면 구조의 분류된 복셀을 후처리하도록 구성된 딥 러닝 신경망의 구조를 도시한다. 딥 러닝 신경망의 후처리 과정은 목표 해상도에서 입력 데이터(이 경우는 분류된 복셀 데이터의 일부)를 처리하도록 구성된 3D CNN 특징 계층의 제1 세트(1004)에 의해 형성된 제1 경로를 포함하여 제1 딥 러닝 신경망과 유사한 구조를 가질 수 있다. 딥 러닝 신경망은 3D CNN 특징 계층의 제2 세트(1006)를 더 포함하는데, 3D CNN 특징 계층의 제2 세트(1006)는 제1 3D CNN 특징 계층에 의해 처리되는 입력 데이터의 상황을 처리하도록 구성되지만, 목표보다 낮은 해상도로 처리되도록 구성된다. 그런 다음, 3D CNN 특징 계층의 제1 및 제2 출력은 분류된 복셀 데이터를 재구성하기 위하여 한 세트의 완전 연결 3D CNN 계층(1008)의 입력에 공급되며, 이를 통해 3D 구강 악안면 구조의 3D 모델과 근접하게 나타낸다. 완전 연결 3D CNN 계층의 출력은 재구성된 복셀 데이터를 제공한다.

신경망을 후처리하는 과정은 원하는 동일한 출력을 나타내는 제1 딥 러닝 신경망과 동일한 목표를 사용하여 훈련될 수 있다. 훈련하는 동안 입력에 노이즈를 제공하여 정규화된 예외 사례를 나타냄으로써 네트워크를 최대한 광범위하게 적용할 수 있다. 딥 러닝 신경망의 후처리 특성상, 후처리를 수행하는 과정은 수신된 복셀 데이터로부터 실현 불가능한 측면을 제거한다. 여기서 요인은 원하는 구강 악안면 구조의 평활화 및 채움을 포함하고, 실행 불가능한 복셀 데이터의 철저한 제거를 포함한다.

도 11a 및 11b는 본 발명의 실시 예에 따라 분류된 복셀의 표면 재구성을 야기하는 후 처리 네트워크의 반복을 도시한다. 특히, 도 11a는 치아 구조의 분류된 복셀의 사진을 도시하며, 복셀은 제1 딥 러닝 신경망의 출력이다. 도면에서 볼 수 있듯이, 입력 데이터의 노이즈 및 기타 요소들은 복셀 분류에서 불규칙성과 인공물을 초래하고, 그 결과 3D 표면 구조는 치아 구조를 나타내는 복셀 세트의 간격을 포함하게 된다. 이러한 불규칙성 및 인공물은 특히 치아의 하치조 신경 구조(1102₁) 및 치근 구조(1104₁), 즉 딥 러닝 신경망이 치아 복셀과 턱뼈의 일부 복셀을 구별해야 하는 영역에서 볼 수 있다.

도 11b는 도 9 및 도 10을 참조하여 설명된 바와 같은 과정에 따른 처리 결과를 도시한다. 도면에서 볼 수 있듯이 딥 러닝 신경망의 후처리 과정은 입력 데이터(분류된 복셀)에 있던 인공물을 성공적으로 제거한다. 후처리 단계는 개별 치아 구조(1104₂)의 정확한 3D 모델을 제공하는 매끄러운 표면을 나타내는 치아의 뿌리 구조(1104₁)와 같은 요철 및 인공물에 의해 실질적으로 영향을 받는 부분을 성공적으로 재구성한다. 신경 구조(1102₂)의 3D 모델을 만들기 위해 적합 알고리즘에 의해 높은 확률의 신경 복셀(1102₁)(예를 들어, 95% 이상의 확률)이 사용된다.

도면은 3D 심층 신경망을 별개의 신경망으로 나타내지만, 각 신경망은 예를 들어 전처리, 분류, 분할 및 후처리 같은 특정 기능에서, 이들 신경망은 또한 서로 연결되어 원하는 기능을 포함하는 하나 또는 두 개의 심층 신경망을 형성할 수 있다. 그러한 경우에 (예를 들어, 본 명세서의 도면을 참조하여 설명되는 바와 같이) 상이한 신경망은 개별적으로 훈련될 수 있다. 그 후, 훈련된 네트워크는 서로 연결되어 하나의 심층 신경망을 형성할 수 있다.

도 12는 본 발명의 실시 예에 따른 예시적인 데이터 처리 시스템을 도시한 블록도이다. 데이터 처리 시스템(1200)은 시스템 버스(1206)를 통해 메모리 요소(1204)에 연결된 적어도 하나의 처리기(1202)를 포함할 수 있다. 이와 같이, 데이터 처리 시스템은 프로그램 코드를 기억 소자(1204) 내에 저장할 수 있다. 또한, 처리기(1202)는 시스템 버스(1206)를 통해 기억 소자(1204)로부터 접근된 프로그램 코드를 실행할 수 있다. 일 양상에서, 데이터 처리 시스템은 프로그램 코드를 저장 및/또는 실행하기에 적합한 컴퓨터로서 구현될 수 있디. 그러나, 데이터 처리 시스템(1200)은 본 명세서에 기술된 기능을 수행할 수 있는 처리기 및 기억 장치를 포함하는 임의의 시스템의 형태로 구현될 수 있음을 이해해야 한다.

기억 소자(1204)는 예를 들어 국부 기억 장치(1208) 및 하나 이상의 대용량 저장 장치(1210)와 같은 하나 이상의 물리적 기억 장치를 포함할 수 있다. 국부 기억 장치는 프로그램 코드의 실제 실행 동안 일반적으로 사용되는 임의 접근 기억 장치 또는 다른 비영구적 메모리 장치를 지칭할 수 있다. 대용량 저장 장치는 하드 드라이브 또는 다른 영구적인 데이터 저장 장치로서 구현될 수 있다. 또한 처리 시스템(1200)은 실행 동안 프로그램 코드가 대용량 저장 장치(1210)로부터 검색되어야 하는 횟수를 감소시키기 위해 적어도 일부 프로그램 코드의 임시 저장을 제공하는 하나 이상의 캐시 기억 장치(도시되지 않음)를 포함할 수 있다.

입력 장치(1212) 및 출력 장치(1214)로 도시 된 입력/출력(I/O) 장치는 데이터 처리 시스템에 추가적으로 연결될 수 있다. 입력 장치는 예를 들어 키보드, 마우스와 같은 위치 결정 장치 등을 포함할 수 있고, 이에 제한되지는 않는다. 출력 장치는 예를 들어 모니터 또는 디스플레이, 스피커 등을 포함할 수 있고, 이에 제한되지는 않는다. 입력 장치 및/또는 출력 장치는 데이터 처리 시스템에 직접 연결되거나 또는 I/O 제어기의 개입을 통해 연결될 수 있다. 또한 통신망 접속기(1216)는 개인용 또는 공용 네트워크의 개입을 통해 다른 시스템, 컴퓨터 시스템, 원격 네트워크 장치 및/또는 원격 저장 장치에 연결될 수 있는 데이터 처리 시스템에 연결될 수 있다. 통신망 접속기는 상기 시스템, 장치 및/또는 네트워크에 의해 상기 데이터로 전송되는 데이터를 수신하기 위한 데이터 수신기를 포함할 수 있고, 상기 시스템, 장치 및/또는 네트워크로 데이터를 전송하기 위한 데이터 송신기를 포함할 수 있다. 모뎀, 케이블 모뎀 및 이더넷 카드는 데이터 처리 시스템(1200)과 함께 사용될 수 있는 다른 유형의 통신망 접속기의 예시들이다.

도 12에 도시된 바와 같이, 기억 소자(1204)는 애플리케이션(1218)에 저장될 수 있다. 데이터 처리 시스템(1200)은 애플리케이션의 실행을 용이하게 할 수 있는 운영 체제(도시되지 않음)를 추가로 실행할 수 있다는 것을 이해해야 한다. 실행 가능한 프로그램 코드의 형태로 구현되는 애플리케이션은 데이터 처리 시스템(1200), 예를 들어 처리기(1202)에 의해 실행될 수 있다. 애플리케이션 실행에 대응하여, 데이터 처리 시스템은 본 명세서에서 더 상세히 설명될 하나 이상의 동작을 수행하도록 구성될 수 있다.

예를 들어, 본 발명의 일 양상에서, 데이터 처리 시스템(1200)은 의뢰인 데이터 처리 시스템을 나타낼 수 있다. 이 경우, 애플리케이션(1218)은 실행될 때 "의뢰인"과 관련하여 본 명세서에서 설명된 다양한 기능을 수행하도록 데이터 처리 시스템(1200)을 구성하는 의뢰인 애플리케이션을 나타낼 수 있다. 의뢰인은 개인용 컴퓨터, 휴대용 컴퓨터, 휴대폰 등을 포함하며, 이에 제한되지 않는다.

다른 양상에서, 데이터 처리 시스템은 서버를 나타낼 수 있다. 예를 들어, 데이터 처리 시스템은 (HTTP)서버를 나타낼 수 있고, 이 경우 애플리케이션(1218)은 실행될 때 (HTTP)서버가 동작을 수행하도록 데이터 처리 시스템을 구성할 수 있다. 또 다른 양상에서, 데이터 처리 시스템은 본 명세서에서 언급된 모듈, 유닛 또는 기능을 나타낼 수 있다.

본 명세서에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 명세서에서 사용하는 “하나”, “그”와 같은 단수 표현은 문맥상 명백하게 다른 것을 뜻하지 않는 한, 복수의 표현을 포함하도록 의도되었다. "포함하다" 및/또는 "포함하는" 용어가 본 명세서에서 사용될 때, 언급된 특징, 정수, 단계, 연산, 요소 및/또는 구성 요소의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 연산, 요소, 구성 요소 및/또는 이들 그룹의 존재 또는 추가를 배제하지는 않는다는 것을 이해될 것이다.

이하의 청구항에서 기능 요소를 추가하는 모든 수단 또는 단계에 대응하는 구조, 재료, 작용 및 등가물은 구체적으로 청구된 다른 청구항의 요소와 결합하여 기능을 수행하기 위한 임의의 구조, 재료 또는 작용을 포함하도록 의도된다.

본 발명의 설명은 예시 및 설명의 목적으로 제시되었지만, 공개된 형태로 본 발명의 모든 것을 망라하거나 제한하려는 것은 아니다. 많은 수정과 변형은 본 발명의 범위 및 사상을 벗어나지 않으면서 당업자에게 명백한 범위에서 이루어질 것이다. 본 실시 예는 본 발명의 원리와 실제 적용을 가장 잘 설명하고, 해당 기술의 당업자가 다양한 변형을 갖는 다양한 실시 예에 대한 본 발명을 이해할 수 있도록 하기위해 선택되어 설명되었다.

Claims

구강 악안면 구조를 나타내는 3D 데이터를 처리하기 위해 컴퓨터로 구현되는 방법으로서,
컴퓨터가 3D 입력 데이터, 바람직하게는 3D 콘 빔 CT (CBCT) 데이터를 수신하고, 3D 입력 데이터는 구강 악안면 구조의 제1 복셀 표현을 포함하고, 복셀은 방사선 농도 값과 관련되며, 복셀 표현의 복셀들은 이미지 볼륨을 정의하며;
전처리 알고리즘은 구강 악안면 구조의 하나 이상의 3D 위치 특징을 결정하기 위해 3D 입력 데이터를 사용하고, 3D 위치 특징은 이미지 볼륨에서 치과용 기준면(예를 들어, 턱과 관련하여 배치된 축면)의 위치 또는 치과용 기준 물체(예를 들어, 턱, 치열궁 및/또는 하나 이상의 치아)의 위치와 관련한 제1 복셀 표현의 복셀 위치에 관한 정보를 정의하며;
컴퓨터가 제1 복셀 표현 및 제1 복셀 표현과 관련된 하나 이상의 3D 위치 특징을 제1 3D 심층 신경망, 바람직하게 3D 합성곱 심층 신경망의 입력에 제공하며, 제1 심층 신경망은 제1 복셀 표현의 복셀을 적어도 턱, 치아 및/또는 신경 복셀로 분류하도록 구성되며;
제1 신경망은 훈련 세트를 기초로 훈련되며, 훈련 세트는 구강 악안면 구조의 3D 이미지 데이터, 훈련 세트의 3D 이미지 데이터로부터 도출된 하나 이상의 3D 위치 특징, 및 추가적으로 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조 일부에 대한 하나 이상의 3D 모델을 포함하고, 하나 이상의 3D 모델은 제1 심층 신경망이 훈련되는 동안에 목표로 사용되며, 바람직하게는 하나 이상의 3D 모델의 적어도 일부가 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조의 일부를 광학적으로 스캐닝하여 생성되며;
컴퓨터가 제1 3D 심층 신경망의 출력으로부터 제1 복셀 표현의 분류된 복셀들을 수신하고, 분류된 복셀들에 기초하여 구강 악안면 구조의 턱, 치아 및/또는 신경 조직 중 적어도 하나의 복셀 표현을 결정하는 것을 특징으로 하는 구현 방법.
제 1 항에 있어서,
하나 이상의 3D 위치 특징을 결정하는 전처리 알고리즘은,
이미지 볼륨에서, 복셀 표현의 복셀과 치과용 기준면 및/또는 치과용 기준 물체 사이의 거리를 결정하고;
이미지 볼륨의 기준면의 하나 이상의 지점에서 복셀의 누적 농도 값과, 기준면의 지점을 통과하는 법선 상에 있거나 근처에 있는 복셀의 누적 농도 값을 포함하는 기준면의 한 지점에서 누적 농도 값을 결정하는 것을 특징으로 하는 구현 방법.
제 2 항에 있어서,
치과용 기준면은 이미지 볼륨에서 구강 악안면 구조의 상부 및/또는 하부 턱으로부터 미리 결정된 거리에 위치한 축면을 포함하거나; 바람직하게 구강 악안면 구조의 상부와 하부 턱과 대략 동일한 거리에 위치한 축면을 포함하거나; 또는,
치과용 기준 물체는 구강 악안면 구조에 의해 나타나는 치열궁의 적어도 일부를 근사하는 치열궁 곡선, 바람직하게 이미지 볼륨의 축면에서 결정되는 치열궁 곡선을 포함하고; 및/또는,
치과용 기준 물체가 하나 이상의 치아를 포함하는 것을 특징으로 하는 구현 방법.
제 1 항에 있어서,
전처리 알고리즘은 제2 3D 심층 신경망을 포함하고,
제2 심층 신경망은, 입력으로 제2 복셀 표현을 수신하도록 훈련되고, 제2 복셀 표현의 각 복셀이 3D 위치 특징, 바람직하게 복셀이 턱, 치아 및/또는 신경 조직을 나타낼 가능성을 보여주는 기준을 포함하는 3D 위치 특징을 결정하도록 훈련되며,
제2 복셀 표현은 제1 복셀 표현의 저해상도 형태이고, 바람직하게 제2 복셀 표현의 해상도는 제1 복셀 표현의 해상도 보다 적어도 3배 낮고,
바람직하게 제2 3D 심층 신경망은 구강 악안면 구조의 3D 이미지 데이터를 기반으로 훈련되며, 추가적으로 제1 심층 신경망을 훈련하기 위한 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조의 일부에 대한 하나 이상의 3D 모델을 기반으로 훈련되는 것을 특징으로 하는 구현 방법.
제 1 항에 있어서,
제1 복셀 표현 및 제1 복셀 표현과 관련된 하나 이상의 3D 위치 특징을 제1 3D 심층 신경망의 입력에 제공하는 것은,
제1 복셀 표현의 각 복셀을 하나의 3D 위치 특징에 의해 정의되는 최소 정보와 연관시키고;
제1 복셀 표현을 제 1 복셀 블록으로 분할하며; 및
제1 복셀 블록을 제1 심층 신경망의 입력에 제공하는 것을 더 포함하며,
제1 복셀 블록의 각 복셀은 방사선 농도 값 및 3D 위치 특징에 의해 정의된 최소 정보와 관련되는 것을 특징으로 하는 구현 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
제1 심층 신경망은 복수의 제1 3D 합성곱 계층 및 적어도 하나의 완전 연결계층에 연결되는 제1 3D 합성곱 계층의 출력을 포함하며,
복수의 제1 3D 합성곱 계층은 제1 복셀 표현으로부터 제1 복셀 블록을 처리하도록 구성되고,
적어도 하나의 완전 연결계층은, 제1 복셀 블록의 복셀을 턱, 치아 및/또는 신경 복셀 중 적어도 하나로 분류하도록 구성되며,
바람직하게 제1 심층 신경망의 입력에 제공되는 각 복셀은 방사선 농도 값 및 적어도 하나의 3D 위치 특성을 포함하는 것을 특징으로 하는 구현 방법.
제 6 항에 있어서,
제1 심층 신경망은 복수의 제2 3D 합성곱 계층 및 적어도 하나의 완전 연결계층에 연결된 복수의 제2 3D 합성곱 계층의 출력을 더 포함하며,
복수의 제2 3D 합성곱 계층은 제1 복셀 표현으로부터 제2 복셀 블록을 처리하도록 구성되고, 제1 및 제2 복셀 블록은 이미지 볼륨에서 동일하거나 실질적으로 동일한 중심점을 가지며, 제2 복셀 블록은 제1 복셀 블록의 현실 차원의 볼륨보다 큰 현실 차원의 볼륨을 나타내고,
복수의 제2 3D 합성곱 계층은 복수의 제1 3D 합성곱 계층의 입력으로 제공되는 제1 복셀 블록의 복셀과 관련된 상황 정보를 결정하도록 구성되는 것을 특징으로 하는 구현 방법.
제 6항 또는 제 7 항에 있어서,
제1 심층 신경망은 복수의 제3 3D 합성곱 계층 및 적어도 하나의 완전 연결계층에 연결되는 복수의 제3 3D 합성곱 계층의 출력을 더 포함하며,
복수의 제3 3D 합성곱 계층은 복수의 제1 3D 합성곱 계층의 입력에 제공되는 최소의 제1 복셀 블록의 복셀과 관련된 하나 이상의 3D 위치 특징을 처리하기 위해 구성되는 것을 특징으로 하는 구현 방법.
제 1 항 내지 제 8 항 중 어느 하나에 있어서,
제1 심층 신경망에 의해 분류된 복셀을 후처리하는 제3 심층 신경망을 더 포함하며,
제3 심층 신경망은 제1 심층 신경망에 의해 분류된 복셀을 입력으로 수신하도록 훈련되고 제1 심층 신경망에 의해 잘못 분류된 복셀을 수정하도록 훈련되며,
바람직하게, 제3 심층 신경망은, 입력으로 제1 심층 신경망이 훈련되는 동안 분류된 복셀을 기반으로 하여 훈련되고, 선택적으로 목표로 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조의 일부에 대한 하나 이상의 3D 모델을 기반으로 하여 훈련되는 것을 특징으로 하는 구현 방법.
구강 악안면 구조의 3D 데이터를 처리하는 심층 신경망 시스템을 훈련하기 위해 컴퓨터로 구현되는 방법으로서,
컴퓨터가 훈련 데이터를 수신하며, 훈련 데이터는 3D 입력 데이터, 바람직하게는 3D 콘 빔 CT (CBCT) 데이터를 포함하며, 3D 입력 데이터는 하나 이상의 구강 악안면 구조의 하나 이상의 복셀 표현 각각을 정의하고, 복셀은 방사선 농도 값과 관련되며, 복셀 표현의 복셀은 이미지 볼륨을 정의하며; 추가적으로, 훈련 데이터는 훈련 데이터의 3D 입력 데이터에 의해 표현되는 구강 악안면 구조 일부의 3D 모델을 더 포함하고;
컴퓨터가 하나 이상의 복셀 표현에서 복셀들의 하나 이상의 3D 위치 특징을 결정하기 위해 하나 이상의 구강 악안면 구조의 하나 이상의 복셀 표현을 각각 전처리하는 전처리 알고리즘을 사용하고, 3D 위치 특징은 이미지 볼륨에서의 치과용 기준면(예를 들어, 턱과 관련하여 배치된 축면)의 위치 또는 치과용 기준 물체(예를 들어, 턱, 치열궁 및/또는 하나 이상의 치아)의 위치와 관련한 구강 악안면 구조의 복셀 표현의 적어도 하나의 복셀의 위치에 관한 정보를 정의하며; 및
컴퓨터가 복셀을 턱, 치아 및/또는 신경 복셀로 분류하는 제1 심층 신경망을 훈련하기 위해 훈련 데이터 및 하나 이상의 3D 위치 특징을 사용하는 것을 특징으로 하는 구현 방법.
제 10 항에 있어서,
제1 심층 신경망에 의해 분류된 복셀을 전처리하는 제3 신경망을 훈련하기 위해 제1 심층 신경망의 훈련 동안 분류된 복셀 및 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조 일부의 하나 이상의 3D 모델을 사용하는 점을 더 포함하며,
제3 신경망에 의한 전처리는 제1 심층 신경망에 의해 잘못 분류된 복셀을 수정하는 것을 특징으로 하는 구현 방법.
구강 악안면 구조의 3D 이미지 데이터 처리에 적합한 컴퓨터 시스템으로서,
전처리 알고리즘 및 제1 심층 신경망을 포함하는 컴퓨터 판독 가능 프로그램 코드가 내장된 컴퓨터 판독 가능 저장 매체; 및
컴퓨터 판독 가능 저장 매체에 연결된 처리기, 바람직하게는 마이크로프로세서를 포함하여 구성되며,
컴퓨터 판독 프로그램 코드의 실행에 대응하여 실행 가능한 동작을 수행하도록 구성되는 처리기는,
3D 입력 데이터, 바람직하게는 3D 콘 빔 CT (CBCT) 데이터를 수신하고, 3D 입력 데이터는 구강 악안면 구조의 제1 복셀 표현을 포함하며, 복셀은 방사선 농도 값과 관련되며, 복셀 표현의 복셀은 이미지 볼륨을 정의하고;
전처리 알고리즘은 구강 악안면 구조의 하나 이상의 3D 위치 특징을 결정하기 위해 3D 입력 데이터를 사용하고, 3D 위치 특징은 치과용 기준면(예를 들어, 턱과 관련하여 배치된 축면)의 위치 또는 치과용 기준 물체(예를 들어, 턱, 치열궁 및/또는 하나 이상의 치아)의 위치와 관련한 제1 복셀 표현의 복셀의 위치에 관한 정보를 이미지 볼륨에서 규정하며;
제1 복셀 표현 및 제1 복셀 표현과 관련된 하나 이상의 3D 위치 특징을 제1 3D 심층 신경망, 바람직하게 3D 합성곱 심층 신경망의 입력에 제공하며, 제1 심층 신경망은 제1 복셀 표현의 복셀을 적어도 턱, 치아 및/또는 신경 복셀로 분류하도록 구성되며;
제1 신경망은 훈련 세트를 기초로 훈련되며, 훈련 세트는 구강 악안면 구조의 3D 이미지 데이터, 훈련 세트의 상기 3D 이미지 데이터로부터 도출된 하나 이상의 3D 위치 특징, 및 추가적으로 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조 일부의 하나 이상의 3D 모델을 포함하고, 제1 심층 신경망이 훈련되는 동안 하나 이상의 3D 모델이 목표로서 사용되며, 바람직하게 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조의 일부를 광학적으로 스캐닝하여 하나 이상의 3D 모델의 적어도 일부가 생성되며;
제1 3D 심층 신경망의 출력으로부터 제1 복셀 표현의 분류된 복셀을 수신하고, 분류된 복셀에 기초하여 구강 악안면 구조의 턱, 치아 및/또는 신경 조직 중 적어도 하나의 복셀 표현을 결정하는 것을 포함하는 것을 특징으로 하는 컴퓨터 시스템.
제 12 항에 있어서,
전처리 알고리즘은 제2 3D 심층 신경망을 포함하고,
제2 심층 신경망은, 입력으로 제2 복셀 표현을 수신하도록 훈련되고, 제2 복셀 표현의 각 복셀이 3D 위치 특징, 바람직하게 복셀이 턱, 치아 및/또는 신경 조직을 나타낼 가능성을 보여주는 기준을 포함하는 3D 위치 특징을 결정하도록 훈련되며,
제2 복셀 표현은 제1 복셀 표현의 저해상도 형태이고, 바람직하게 제2 복셀 표현의 해상도는 제1 복셀 표현의 해상도 보다 적어도 3배 낮고,
바람직하게 제2 3D 심층 신경망은 구강 악안면 구조의 3D 이미지 데이터를 기반으로 훈련되며, 추가적으로 제1 심층 신경망을 훈련하기 위한 훈련 세트의 3D 이미지 데이터의 구강 악안면 구조의 일부에 대한 하나 이상의 3D 모델을 기반으로 훈련되는 것을 특징으로 하는 컴퓨터 시스템.
제 13 항에 있어서,
제1 심층 신경망은 복수의 제1 3D 합성곱 계층을 포함하고, 제1 3D 합성곱 계층의 출력은 적어도 하나의 완전 연결계층에 연결되며,
복수의 제1 3D 합성곱 계층은 제1 복셀 표현으로부터 제1 복셀 블록을 처리하도록 구성되고,
적어도 하나의 완전 연결계층은, 제1 복셀 블록의 복셀을 턱, 치아 및/또는 신경 복셀 중 적어도 하나로 분류하도록 구성되며,
바람직하게 제1 심층 신경망의 입력에 제공되는 각 복셀은 방사선 농도 값 및 적어도 하나의 3D 위치 특성을 포함하며;
추가적으로, 제1 심층 신경망은 복수의 제2 3D 합성곱 계층 및 적어도 하나의 완전 연결계층에 연결된 복수의 제2 3D 합성곱 계층의 출력을 더 포함하며,
복수의 제2 3D 합성곱 계층은 제1 복셀 표현으로부터 제2 복셀 블록을 처리하도록 구성되고, 제1 및 제2 복셀 블록은 이미지 볼륨에서 동일하거나 실질적으로 동일한 중심점을 가지며, 제2 복셀 블록은 제1 복셀 블록의 현실 차원의 볼륨보다 큰 현실 차원의 볼륨을 나타내고,
복수의 제2 3D 합성곱 계층은 복수의 제1 3D 합성곱 계층의 입력으로 제공되는 제1 복셀 블록의 복셀과 관련된 상황 정보를 결정하도록 구성되는 것을 특징으로 하는 컴퓨터 시스템.
컴퓨터의 기억 장치에서 제 1 항 내지 제 11 항 중 어느 하나의 방법 단계가 실행되도록 구성된 소프트웨어 코드 부분을 포함하는 컴퓨터 프로그램 제품.