KR20240018288A

KR20240018288A - 딥러닝을 기반으로 2차원 영상을 이용하여 치과용 ct 영상을 3차원으로 재배향하기 위한 장치 및 이를 위한 방법

Info

Publication number: KR20240018288A
Application number: KR1020220096341A
Authority: KR
Inventors: 조현빈; 이인재; 황보석; 강준혁
Original assignee: 주식회사 덴티움
Priority date: 2022-08-02
Filing date: 2022-08-02
Publication date: 2024-02-13

Abstract

치과용 CT(Computed Tomography) 영상을 3차원으로 재배향하기 위한 장치는 3차원의 CT 영상으로부터 시상면(Sagittal plane), 수평면(Axial plane) 및 관상면(Coronal plane)의 2차원 영상인 복수의 입력 영상을 검출하는 입력영상검출부와, 각각이 학습된 상기 시상면, 상기 수평면 및 상기 관상면에 대응하는 복수의 검출망을 포함하는 딥러닝 모델인 검출 모델을 이용하여 상기 복수의 입력 영상에서 2개의 특징점을 포함하는 복수의 특징 영상을 도출하는 검출부와, 상기 복수의 특징 영상으로부터 상기 시상면, 상기 수평면 및 상기 관상면 각각에 대응하며 기 설정된 기준선과의 차이를 나타내는 회전각을 도출하고, 상기 회전각에 따라 상기 CT 영상을 3차원으로 재배향하는 재배향부를 포함한다.

Description

딥러닝을 기반으로 2차원 영상을 이용하여 치과용 CT 영상을 3차원으로 재배향하기 위한 장치 및 이를 위한 방법{Apparatus and method for reorienting dental CT images in three dimensions using two-dimensional images based on deep learning}

본 발명은 치과용 CT 영상을 3차원으로 재배향하기 위한 기술에 관한 것으로, 보다 상세하게는 딥러닝을 기반으로 2차원 영상을 이용하여 치과용 CT 영상을 3차원으로 재배향하기 위한 장치 및 이를 위한 방법에 관한 것이다.

치과용 CT 영상 촬영 시, 환자의 잘못된 촬영 자세, 예컨대, 턱을 들거나 혹은 내리는 행위, 턱을 돌리는 행위, 고개를 좌측 혹은 우측으로 기우는 행위 등으로 인해 CT 영상에서 상악 치아와 하악 치아가 동시에 나타나거나, 전치부가 가려진 현상이 발생할 수 있다. 이로 인해 CT 영상의 판독에 어려움이 있다.

한국공개특허 제2020-0061143호 (2020년06월02일 공개)

본 발명의 목적은 딥러닝을 기반으로 2차원 영상을 이용하여 치과용 CT 영상을 3차원으로 재배향하기 위한 장치 및 이를 위한 방법을 제공함에 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 치과용 CT(Computed Tomography) 영상을 3차원으로 재배향하기 위한 장치는 3차원의 CT 영상으로부터 시상면(Sagittal plane), 수평면(Axial plane) 및 관상면(Coronal plane)의 2차원 영상인 복수의 입력 영상을 검출하는 입력영상검출부와, 각각이 학습된 상기 시상면, 상기 수평면 및 상기 관상면에 대응하는 복수의 검출망을 포함하는 딥러닝 모델인 검출 모델을 이용하여 상기 복수의 입력 영상에서 2개의 특징점을 포함하는 복수의 특징 영상을 도출하는 검출부와, 상기 복수의 특징 영상으로부터 상기 시상면, 상기 수평면 및 상기 관상면 각각에 대응하며 기 설정된 기준선과의 차이를 나타내는 회전각을 도출하고, 상기 회전각에 따라 상기 CT 영상을 3차원으로 재배향하는 재배향부를 포함한다.

상기 복수의 입력 영상은 상기 시상면의 경우, 상기 CT 영상의 시상면에 대해 서로 다른 깊이로 투사하여 생성하며, 상기 수평면의 경우, 상기 CT 영상의 수평면에 대해 서로 다른 깊이로 투사하여 생성하며, 상기 관상면의 경우, 상기 CT 영상의 관상면 상의 서로 다른 위치에서 관상면에 평행하게 자른 단면을 검출하여 생성되는 것을 특징으로 한다.

상기 2개의 특징점은 상기 시상면의 경우, 상기 입력 영상 상의 상악 및 하악 치열의 양 끝단의 사이에 형성되고, 상기 수평면의 경우, 상기 입력 영상 상의 치열궁의 양 끝단에 형성되고, 상기 관상면의 경우, 상기 입력 영상 상의 하악 뼈의 좌측 하단 및 우측 하단에 형성되는 것을 특징으로 한다.

상기 재배향부는 상기 시상면, 상기 수평면 및 상기 관상면 각각의 복수의 특징 영상 각각의 2개의 특징점을 연결하는 선분인 특징선을 도출하고, 도출된 특징선과 상기 시상면, 상기 수평면 및 상기 관상면 각각의 기 설정된 기준선이 이루는 복수의 회전각을 도출하고, 상기 시상면, 상기 수평면 및 상기 관상면 각각의 복수의 회전각에 대해 앙상블 연산을 수행하여 상기 시상면, 상기 수평면 및 상기 관상면 각각의 최종적인 회전각을 도출하는 것을 특징으로 한다.

상기 검출망은 가중치 연산을 통해 입력되는 입력 영상의 차원을 축소함으로써 입력 영상의 특징을 압축하여 잠재 벡터로 이루어진 특징 지도를 생성하는 전단부와, 가중치 연산을 통해 잠재 벡터로 이루어진 특징 지도를 입력 영상과 동일한 차원으로 복원하면서, 입력 영상에 예측된 2개의 특징점을 포함하는 특징 영상을 생성하는 후단부를 포함한다.

상기 검출망은 하나 이상의 컨벌루션층을 포함하는 전단부와, 교번으로 배열되는 하나 이상의 디컨벌루션층 및 하나 이상의 컨벌루션층을 포함하는 후단부를 포함한다.

상기 장치는 학습이 완료되지 않은 검출망에 대응하여 CT 영상의 시상면 혹은 수평면에 대한 투사의 깊이 혹은 CT 영상의 관상면의 단면의 위치에 따라 구분되는 입력 영상의 형식을 설정하고, 설정된 입력 영상의 형식에 따라 상기 학습용 입력 영상 및 상기 학습용 입력 영상에 대응하는 타겟 영상을 포함하는 학습 데이터 및 상기 학습용 입력 영상에 대응하는 평가용 입력 영상과 상기 평가용 입력 영상에 대응하는 타겟 영상을 포함하는 평가 데이터를 마련하고, 학습 데이터를 이용하여 상기 검출망을 학습시키고, 상기 평가 데이터를 이용하여 상기 검출망에 대한 에러율을 산출하고, 산출된 에러율이 기 설정된 임계치 이상이면, 상기 에러율이 기 설정된 임계치 미만이 될 때까지, 상기 검출망의 상기 입력 영상의 형식을 추가하고, 상기 추가된 입력 영상의 형식에 따라 상기 학습 데이터 및 상기 평가 데이터를 마련한 후, 상기 검출망을 학습시키는 것을 반복하는 모델생성부를 더 포함한다.

상기 모델생성부는 수학식 에 따라 검출망의 에러율을 산출하며, 상기 E는 에러율이고, 상기 N은 평가용 입력 영상의 형식이고, 상기 p는 전체 형식의 평가용 입력 영상에 대응하는 검출망의 정확도의 평균인 것을 특징으로 한다.

상기 모델생성부는 GPU(graphics processing unit)에 의한 연산을 수행하고, 상기 검출부는 CPU(central processing unit)에 의한 연산을 수행하는 것을 특징으로 한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 치과용 CT(Computed Tomography) 영상을 3차원으로 재배향하기 위한 방법은 입력영상검출부가 3차원의 CT 영상으로부터 시상면(Sagittal plane), 수평면(Axial plane) 및 관상면(Coronal plane)의 2차원 영상인 복수의 입력 영상을 검출하는 단계와, 검출부가 각각이 학습된 상기 시상면, 상기 수평면 및 상기 관상면에 대응하는 복수의 검출망을 포함하는 딥러닝 모델인 검출 모델을 이용하여 상기 복수의 입력 영상에서 2개의 특징점을 포함하는 복수의 특징 영상을 도출하는 단계와, 재배향부가 상기 복수의 특징 영상으로부터 상기 시상면, 상기 수평면 및 상기 관상면 각각에 대응하며 기 설정된 기준선과의 차이를 나타내는 회전각을 도출하고, 상기 회전각에 따라 상기 CT 영상을 3차원으로 재배향하는 단계를 포함한다.

상기 3차원으로 재배향하는 단계는 상기 재배향부가 상기 시상면, 상기 수평면 및 상기 관상면 각각의 복수의 특징 영상 각각의 2개의 특징점을 연결하는 선분인 특징선을 도출하는 단계와, 상기 재배향부가 도출된 특징선과 상기 시상면, 상기 수평면 및 상기 관상면 각각의 기 설정된 기준선이 이루는 복수의 회전각을 도출하는 단계와, 상기 재배향부가 상기 시상면, 상기 수평면 및 상기 관상면 각각의 복수의 회전각에 대해 앙상블 연산을 수행하여 상기 시상면, 상기 수평면 및 상기 관상면 각각의 최종적인 회전각을 도출하는 단계를 포함한다.

상기 복수의 특징 영상을 도출하는 단계는 상기 검출망의 전단부가 가중치 연산을 통해 입력되는 입력 영상의 차원을 축소함으로써 입력 영상의 특징을 압축하여 잠재 벡터로 이루어진 특징 지도를 생성하는 단계와, 상기 검출망의 후단부가 가중치 연산을 통해 잠재 벡터로 이루어진 특징 지도를 입력 영상과 동일한 차원으로 복원하면서, 입력 영상에 예측된 2개의 특징점을 포함하는 특징 영상을 생성하는 단계를 포함한다.

상기 방법은 상기 복수의 입력 영상을 검출하는 단계 전, 모델생성부가 학습이 완료되지 않은 검출망에 대응하여 CT 영상의 시상면 혹은 수평면에 대한 투사의 깊이 혹은 CT 영상의 관상면의 단면의 위치에 따라 구분되는 입력 영상의 형식을 설정하는 단계와, 모델생성부가 설정된 입력 영상의 형식에 따라 상기 학습용 입력 영상 및 상기 학습용 입력 영상에 대응하는 타겟 영상을 포함하는 학습 데이터 및 상기 학습용 입력 영상에 대응하는 평가용 입력 영상과 상기 평가용 입력 영상에 대응하는 타겟 영상을 포함하는 평가 데이터를 마련하는 단계와, 모델생성부가 학습 데이터를 이용하여 상기 검출망을 학습시키는 단계와, 모델생성부가 상기 평가 데이터를 이용하여 상기 검출망에 대한 에러율을 산출하는 단계와, 모델생성부가 산출된 에러율이 기 설정된 임계치 이상이면, 상기 에러율이 기 설정된 임계치 미만이 될 때까지, 상기 검출망의 상기 입력 영상의 형식을 추가하고, 상기 추가된 입력 영상의 형식에 따라 상기 학습 데이터 및 상기 평가 데이터를 마련한 후, 상기 검출망을 학습시키는 것을 반복하는 단계를 더 포함한다.

본 발명에 따르면 치과용 CT 촬영 시, 환자의 잘못된 촬영 자세, 예컨대, 턱을 들거나 혹은 내리는 행위, 턱을 돌리는 행위, 고개를 좌측 혹은 우측으로 기우는 행위 등을 CT 영상 상에서 자동으로 보정할 수 있다. 이렇게 보정된 영상은 수평면에서 상악 치아와 하악 치아가 동시에 나타나는 현상을 방지할 수 있으며, 파노라마 영상에서 전치부가 가려진 현상을 해결할 수 있다. 이와 같이, 본 발명의 완전 자동화된 재배향 기술을 통해 일정한 치아 배열을 시각화 하여 임상의가 신속하고 정확하게 판독하는데 도움을 줄 수 있다. 즉, 완전 자동화로 인해 사용자 편의성이 향상된다. 더욱이, 본 발명은 일관성 있는 결과를 제시한다. 이에 따라, 본 발명의 재배향된 CT 영상은 추후에 데이터 주석, 예컨대, segmentation mask, bounding box 등의 작업을 원활하게 할 수 있다.

특히, 본 발명은 전체 스컬(skull) CT 영상이 아닌 코 아래부터 턱까지 촬영된 CT 영상에 대해 3차원으로 재배향할 수 있어 치과용 3D CT 영상에 적합하다.

게다가, 본 발명은 2차원 입력 영상을 인공신경망, 즉, 검출망의 입력 데이터로 이용하기 때문에 3차원 연산을 수행하는 인공신경망에 비해 연산량과 시간이 단축된다. 이에 따라, 본 발명은 학습 시, GPU를 이용하지만, 추론 시, 즉, 특징 영상 도출 시, GPU 없이 CPU 연산만으로 가능하기 때문에 다양한 컴퓨터 환경에 사용될 수 있다.

도 1은 본 발명의 실시예에 따른 딥러닝을 기반으로 2차원 영상을 이용하여 치과용 CT 영상을 3차원으로 재배향하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 치과용 CT 영상과 시상면, 수평면 및 관상면의 입력 영상을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 시상면의 입력 영상 및 특징 영상을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 수평면의 입력 영상 및 특징 영상을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 관상면의 입력 영상 및 특징 영상을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따라 시상면 및 수평면 상에서 서로 다른 깊이로 투사한 입력 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따라 관상면 상의 서로 다른 위치의 단면으로 입력 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 검출 모델을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 특징 영상 및 회전각을 도출하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 검출 모델(DM)을 생성하는 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 실시예에 따른 검출망(DN)의 입력 영상의 형태 및 수를 설정하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 학습 데이터를 설명하기 위한 화면 예이다.
도 13은 본 발명의 실시예에 따른 검출모델(DM)을 기반으로 2차원 영상을 이용하여 치과용 CT 영상을 3차원으로 재배향하기 위한 방법을 설명하기 위한 흐름도이다.
도 14는 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다.

본 발명의 상세한 설명에 앞서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.

특히, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

먼저, 본 발명의 실시예에 따른 딥러닝을 기반으로 2차원 영상을 이용하여 치과용 CT 영상을 3차원으로 재배향하기 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 딥러닝을 기반으로 2차원 영상을 이용하여 치과용 CT 영상을 3차원으로 재배향하기 위한 장치의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 치과용 CT 영상과 시상면, 수평면 및 관상면의 입력 영상을 설명하기 위한 도면이다. 도 3은 본 발명의 실시예에 따른 시상면의 입력 영상 및 특징 영상을 설명하기 위한 도면이다. 도 4는 본 발명의 실시예에 따른 수평면의 입력 영상 및 특징 영상을 설명하기 위한 도면이다. 도 5는 본 발명의 실시예에 따른 관상면의 입력 영상 및 특징 영상을 설명하기 위한 도면이다. 도 6은 본 발명의 실시예에 따라 시상면 및 수평면 상에서 서로 다른 깊이로 투사한 입력 영상을 생성하는 방법을 설명하기 위한 도면이다. 도 7은 본 발명의 실시예에 따라 관상면 상의 서로 다른 위치의 단면으로 입력 영상을 생성하는 방법을 설명하기 위한 도면이다. 도 8은 본 발명의 실시예에 따른 검출 모델을 설명하기 위한 도면이다. 도 9는 본 발명의 실시예에 따른 특징 영상 및 회전각을 도출하는 방법을 설명하기 위한 도면이다.

먼저, 도 1을 참조하면, 본 발명의 실시예에 따른 딥러닝을 기반으로 2차원 영상을 이용하여 치과용 CT 영상을 3차원으로 재배향하기 위한 장치(10, 이하, '재배향장치'로 축약함)는 모델생성부(100), 입력영상검출부(200), 검출부(300) 및 재배향부(400)를 포함한다.

입력영상검출부(200)는 도 2를 참조하면, 3차원 영상인 치과용 CT 영상으로부터 입력 영상을 생성하기 위한 것이다. 도 2의 (A)에 도시된 바와 같이, 치과용 CT 영상은 사람의 코 아래 부분(코와 인중이 만나는 부분: 21)을 상한으로 하고, 턱 부분(22: 턱 끝)을 하한으로 하여 모든 치아가 범위 내에 포함되도록 3차원으로 촬영된 CT 영상이다. 입력영상검출부(200)는 도 2의 (B)와 같이, 치과용 CT 영상(이하, CT 영상으로 축약함)으로부터 시상면(Sagittal plane: SP), 수평면(Axial(Horizontal/Transverse) plane: AP) 및 관상면(Coronal plane: CP)에 대응하여 2차원 영상인 입력 영상을 검출한다.

예컨대, 도 2 내지 도 5를 참조하면, 입력영상검출부(200)는 시상면에 대한 투사(projection)를 통해 도 3의 (A)와 같은 시상면의 입력 영상을 생성할 수 있다. 또한, 입력영상검출부(200)는 수평면에 대한 투사를 통해 도 4의 (A)와 같은 수평면의 입력 영상을 생성할 수 있다. 여기서, 투사 방법은 AIP(Average intensity projection)를 이용하는 것이 바람직하다.

특히, 입력영상검출부(200)는 시상면 및 수평면에 대한 투사를 통해 입력 영상을 생성할 때, 서로 다른 깊이로 투사하여 서로 다른 복수의 입력 영상을 생성할 수 있다. 시상면을 예로 들면, 도 6에 도시된 바와 같이, 입력영상검출부(200)는 시상면에 제1 깊이(d1)로 투사하여 도 6의 (B)와 같은 제1 입력 영상을 생성할 수 있다. 또한, 입력영상검출부(200)는 시상면에 제2 깊이(d2)로 투사하여 도 6의 (C)와 같은 제2 입력 영상을 생성할 수 있다. 그리고 입력영상검출부(200)는 시상면에 제3 깊이(d3)로 투사하여 도 6의 (D)와 같은 제3 입력 영상을 생성할 수 있다. 이와 같이, 입력영상검출부(200)는 서로 다른 깊이로 깊이로 투사하여 서로 다른 복수의 복수의 입력 영상들을 생성할 수 있다. 마찬가지로, 입력영상검출부(200)는 수평면에 대응하여 수평면에 서로 다른 깊이로 투사한 서로 다른 복수의 입력 영상을 생성할 수 있다.

관상면의 경우, 하악 하단 부분의 노이즈로 인해, 투사를 이용한 방법은 사용하기 어렵다. 이에 따라, 본 발명은 관상면의 경우, CT 영상에서 도 5의 (A)와 같이, 관상면에 평행하게 자른(slice) 단면을 나타내는 슬라이스 영상을 입력 영상으로 이용한다. 여기서, 입력영상검출부(200)는 관상면에 대응하여 CT 영상의 관상면 상의 서로 다른 위치에서 관상면에 평행하게 자른(slice) 단면을 나타내는 슬라이스 영상을 복수의 입력 영상으로 이용할 수 있다. 예컨대, 입력영상검출부(200)는 도 7의 (A)와 같은 CT 영상의 제1 위치(S1), 제2 위치(S2) 및 제3 위치(S3)에서 관상면에 평행하게 자른(slice) 단면을 나타내는 슬라이스 영상을 도 7의 (B), (C) 및 (D)와 같은 복수의 입력 영상으로 도출할 수 있다.

검출부(300)는 검출 모델(DM)을 이용하여 시상면, 수평면 및 관상면 각각에 대응하는 복수의 입력 영상으로부터 2개의 특징점을 포함하는 특징 영상(FI)을 도출하기 위한 것이다. 검출모델(DM: Detection Model)은 딥러닝에 의해 생성되는 딥러닝 모델이며, 시상면, 수평면 및 관상면 각각에 대응하는 3개의 검출망(DN: Detection Network), 즉, 시상면검출망(DN1), 수평면검출망(DN2) 및 관상면검출망(DN3)을 포함한다. 여기서, 검출망(DN)은 인공신경망(ANN: Artifitial Neural Network)이 될 수 있다.

도 8을 참조하면, 검출망(DN)은 각각이 복수의 연산을 수행하는 복수의 계층을 포함한다. 또한, 복수의 계층은 가중치를 통해 연결된다. 다른 말로, 어느 하나의 계층의 연산 결과는 가중치가 적용되어 다음 계층의 연산에 입력된다. 즉, 검출망(DN)은 복수의 계층 간 가중치로 연결되는 복수의 연산을 수행한다. 설명의 편의를 위하여, 검출망(DN)의 복수의 계층 간 가중치로 연결되는 복수의 연산을 '가중치 연산'이라고 칭하기로 한다.

구체적으로, 도 8에 도시된 바와 같이, 검출망(DN)은 전단부(F) 및 후단부(R)를 포함한다. 전단부(F)는 하나 이상의 컨벌루션층(Convolution Layer: CL)을 포함한다. 후단부(R)는 교번으로 배열되는 하나 이상의 디컨벌루션층(Deconvolution Layer: DL) 및 하나 이상의 컨벌루션층(CL)을 포함한다. 여기서, 컨벌루션층(CL)은 입력되는 입력 영상(첫 번째 컨벌루션층의 경우) 혹은 이전 계층의 특징 지도(Feauture Map: FM)에 대해 소정의 필터(커널)를 이용하여 가중치를 적용하는 컨벌루션 연산을 수행하고, 활성화 함수에 의한 연산을 수행하여 특징 지도(FM) 혹은 특징 영상(마지막 컨벌루션층의 경우)을 생성한다. 또한, 디컨벌루션층(DL)은 이전 계층의 특징 지도(FM)에 대해 소정의 필터(커널)를 이용하여 가중치를 적용하는 디컨벌루션 연산을 수행하고, 활성화 함수에 의한 연산을 수행하여 특징 지도(FM)를 생성한다. 여기서, 필터(커널)는 각 원소가 가중치인 행렬이 될 수 있다. 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다.

검출망(DN)의 전단부(F)는 가중치 연산을 통해 입력되는 입력 영상(PI)의 차원을 축소함으로써 입력 영상(PI)의 특징을 압축하여 잠재 벡터(latent Vector)로 이루어진 특징 지도(FM)를 생성한다. 검출망(DN)의 후단부(R)는 가중치 연산을 통해 잠재 벡터(latent Vector)로 이루어진 특징 지도(FM)를 입력 영상(PI)과 동일한 차원으로 복원하면서, 입력 영상(PI)에 예측된 2개의 특징점을 포함하는 특징 영상(FI)을 생성한다. 즉, 검출망(DN)은 입력 영상(PI)에 대한 가중치 연산을 통해 2개의 특징점을 포함하는 특징 영상(FI)을 생성한다.

시상면의 입력 영상(PI)에 대응하는 특징 영상(FI)의 경우, 2개의 특징점은 도 3의 (B)에 도시된 바와 같이, 상악 및 하악 치열의 양 끝단의 사이가 될 수 있다. 구체적으로, 2개의 특징점 중 첫 번째 특징점(31)은 상악과 하악의 1번 치아(FDI World Dental Federation notaion을 기준으로 11번과 41번 치아 혹은 21번과 31번 치아)의 사이에 위치하며, 두 번째 특징점(32)은 상악과 하악의 마지막 번호(8번 치아가 없는 경우, 7번 치아: 18(17)번과 48(47)번 사이 혹은 28(27)번과 38(37)번 치아)의 치아의 사이에 위치한다. 수평면의 입력 영상(PI)에 대응하는 특징 영상(FI)의 경우, 2개의 특징점은 도 4의 (B)에 도시된 바와 같이, 입력 영상(PI) 상의 치열궁(dental arch)의 양 끝단(41, 42)이 될 수 있다. 관상면의 입력 영상(PI)에 대응하는 특징 영상(FI)의 경우, 2개의 특징점은 도 5의 (B)에 도시된 바와 같이, 입력 영상(PI) 상의 하악 뼈의 좌측 하단(51) 및 우측 하단(52)이 될 수 있다.

시상면검출망(DN1), 수평면검출망(DN2) 및 관상면검출망(DN3) 각각은 CT 영상의 대응하는 면에서 생성된 서로 다른 복수의 입력 영상(PI)을 입력 받고, 복수의 입력 영상(PI) 각각에 대해 가중치 연산을 통해 2개의 특징점을 포함하는 복수의 특징 영상(FI)을 생성한다.

즉, 시상면검출망(DN1)은 CT 영상의 시상면에 대해 서로 다른 깊이로 투사하여 생성된 복수의 서로 다른 입력 영상(PI)을 입력 받고, 복수의 입력 영상(PI) 각각에 대해 가중치 연산을 통해 2개의 특징점을 포함하는 복수의 특징 영상(FI)을 생성한다. 수평면검출망(DN2)은 CT 영상의 수평면에 대해 서로 다른 깊이로 투사하여 생성된 복수의 서로 다른 입력 영상(PI)을 입력 받고, 복수의 입력 영상(PI) 각각에 대해 가중치 연산을 통해 2개의 특징점을 포함하는 복수의 특징 영상(FI)을 생성한다. 관상면검출망(DN3)은 CT 영상의 관상면의 서로 다른 위치에서 관상면에 평행하게 자른(slice) 단면을 나타내는 슬라이스 영상인 서로 다른 복수의 입력 영상(PI)을 입력 받고, 복수의 입력 영상(PI) 각각에 대해 가중치 연산을 통해 2개의 특징점을 포함하는 복수의 특징 영상(FI)을 생성한다.

도 9를 참조하여, 시상면검출망(DN1)에 대응하는 예를 들면, 입력영상검출부(200)는 CT 영상(CT)에 대해 제1 깊이 내지 제5 깊이(d1, d2, d3, d4, d5)로 투사하여 제1 내지 제5 입력 영상(PI1 내지 PI5)을 생성할 수 있다. 제1 내지 제5 입력 영상(PI1 내지 PI5)은 검출부(300)에 제공되며, 검출부(300)는 이를 검출 모델(DM)에 입력한다. 이때, 검출모델(DM)은 제1 내지 제5 입력 영상(PI1 내지 PI5)을 시상면검출망(DN1)에 입력한다. 그러면, 시상면검출망(DN1)은 제1 내지 제5 입력 영상(PI1 내지 PI5) 각각에 대한 가중치 연산을 통해 2개의 특징점을 포함하는 제1 내지 제5 특징 영상(FI1 내지 FI5)을 생성한다. 도 9의 실시예와 마찬가지로, 수평면검출망(DN2) 및 관상면검출망(DN3) 역시 서로 다른 복수의 입력 영상(PI)에 대한 연산을 통해 복수의 특징 영상(FI)을 생성할 수 있다.

재배향부(400)는 시상면, 수평면 및 관상면 각각의 복수의 특징 영상(FI)을 이용하여 기 설정된 기준으로부터 CT 영상의 오정렬된 정도를 나타내는 회전각을 도출하고, 도출된 회전각에 따라 CT 영상이 기 설정된 기준에 일치하도록 CT 영상(CT)을 3차원으로 재배향한다.

이러한 재배향 방법에 대해 구체적으로 설명하면 다음과 같다. 재배향부(400)는 우선, 전술한 바와 같은 절차를 통해 시상면, 수평면 및 관상면 각각에 대응하는 복수의 특징 영상(FI)이 생성되면, 특징 영상(FI)의 2개의 특징점을 연결하는 선분인 특징선(FL)을 도출한다. 예를 들면, 특징선(FL)은 도 3의 (B), 도 4의 (B) 및 도 5의 (B)에 도시된 바와 같이, 특징 영상(FI)의 2개의 특징점(31, 32/41, 42/51, 52)을 연결하는 선분이다. 그런 다음, 재배향부(400)는 도 3의 (B), 도 4의 (B) 및 도 5의 (B)에 도시된 바와 같이, 특징선(FL)과 기 설정된 기준선(SL)이 이루는 회전각(θs, θa, θp)를 도출한다. 여기서, 시상면의 기준선(SL)은 시상면 상의 수평선이 될 수 있다. 수평면의 기준선(SL)은 수평면 상의 수평선이 될 수 있다. 관상면의 기준선(SL)은 관상면 상의 수평선이 될 수 있다.

특히, 재배향부(400)는 시상면, 수평면 및 관상면 각각의 복수의 특징 영상(FI) 각각으로부터 복수의 회전각을 도출하고, 복수의 회전각에 대해 앙상블(average ensemble) 연산을 수행하여 시상면, 수평면 및 관상면 각각의 회전각을 최종적으로 도출할 수 있다. 이때, 앙상블 연산의 수행 전, 복수의 회전각 중 박스 플롯(box plot)을 통해 소정 범위, 즉, 박스 플롯의 박스를 벗어나는 이상치(outlier)는 소거할 수 있다. 도 9를 참조하여 예를 들면, 재배향부(400)는 시상면의 복수의 특징 영상(FI1 내지 FI5)로부터 복수의 회전각(θs1 내지 θs5)를 도출한 후, 복수의 회전각(θs1 내지 θs5)에 대해 앙상블(average ensemble) 연산을 수행하여 회전각(θs)을 도출할 수 있다. 마찬가지로, 재배향부(400)는 수평면 및 관상면의 복수의 특징 영상에 대해서도 동일한 방법으로 복수의 회전각에 대해 앙상블 연산을 수행하여 수평면 및 관상면에 대응하는 회전각(θa, θp)을 도출할 수 있다. 전술한 바와 같은 방법에 따라 시상면, 수평면 및 관상면에 대응하는 회전각(θs, θa, θp)을 도출한 후, 재배향부(400)는 특징선(FL)이 기준선(SL)과 평행하도록 회전각(θs, θa, θp)의 역방향으로 회전각의 크기만큼 CT 영상을 3차원으로 회전시켜 재배향한다.

모델생성부(100)는 본 발명의 실시예에 따른 검출모델(DM)을 생성하기 위한 것이다. 전술한 바와 같이, 검출모델(DM)은 딥러닝에 의해 생성되는 딥러닝 모델이며, 복수의 검출망(DN)을 포함한다. 이러한 모델생성부(100)의 학습(Deep learning) 방법에 대해서는 아래에서 더 상세하게 설명될 것이다.

한편, 모델생성부(100)의 검출 모델(DM)을 학습시키는 프로세스는 GPU 연산을 사용한다. 반면, 검출부(300)의 특징 영상을 검출하는 프로세스는 CPU 연산만을 사용할 수 있다.

다음으로, 본 발명의 실시예에 따른 검출 모델(DM)을 생성하는 방법에 대해서 설명하기로 한다. 도 10은 본 발명의 실시예에 따른 검출 모델(DM)을 생성하는 방법을 설명하기 위한 흐름도이다. 도 11은 본 발명의 실시예에 따른 검출망(DN)의 입력 영상의 형태 및 수를 설정하는 방법을 설명하기 위한 도면이다. 도 12는 본 발명의 실시예에 따른 학습 데이터를 설명하기 위한 화면 예이다.

어느 하나의 검출망(DN)은 시상면, 수평면 및 관상면 중 어느 하나의 면에 대응한다. 즉, 시상면검출망(DN1), 수평면검출망(DN2) 및 관상면검출망(DN3)이 존재한다. 도 10의 실시예는 시상면검출망(DN1), 수평면검출망(DN2) 및 관상면검출망(DN3) 중 어느 하나의 검출망(DN)을 학습시키는 방법에 대해서 설명한다.

도 10을 참조하면, 모델생성부(100)는 S110 단계에서 학습 대상 검출망(DN)의 입력 영상의 형식을 설정한다. 입력 영상의 형식은 시상면 및 수평면 경우, 투사의 깊이에 따라 구분되며, 관상면의 경우, 단면의 위치에 따라 구분된다. 즉, 시상면 및 수평면에 대응하는 입력 영상의 경우, CT 영상의 시상면 또는 수평면에 대해 서로 다른 깊이로 투사된 영상이고, 관상면에 대응하는 입력 영상의 경우, 관상면의 서로 다른 위치에서 관상면에 평행하게 자른 단면을 나타내는 슬라이스 영상이다. 도 11을 참조하여 예를 들면, S110 단계에서, 모델생성부(100)는 CT 영상(CT)의 시상면에 제1 깊이(d1)로 투사하여 생성된 제1 입력 영상(PI1), 제2 깊이(d2)로 투사하여 생성된 제2 입력 영상(PI2) 및 제3 깊이(d3)로 투사하여 생성된 제3 입력 영상(PI3)을 검출망(DN), 예컨대, 시상면검출망(DN1)의 입력 영상의 형식, 즉, 제1, 제2 및 제3 깊이(d1, d2, d3)로 설정할 수 있다.

모델생성부(100)는 S120 단계에서 앞서(S110) 설정된 입력 영상의 형식에 따라 학습 데이터 및 평가 데이터를 마련한다. 학습 데이터는 학습용 입력 영상(PI) 및 학습용 입력 영상에 대응하는 타겟 영상(TI)을 포함한다. 학습용 입력 영상(PI)은 앞서(S110) 설정된 입력 영상의 형식과 동일한 형식으로 생성된 영상이다. 예컨대, 3개의 형식, 즉, 제1 깊이, 제2 깊이 및 제3 깊이(d1, d2, d3)가 설정되었다면, 제1 입력 영상(PI1), 제2 입력 영상(PI2) 및 제3 입력 영상(PI3)과 같은 영상이 학습용 입력 영상으로 사용될 수 있다. 타겟 영상(TI)은 도 12의 (A), (B) 및 (C)에 도시된 바와 같이, 학습용 입력 영상(PI)에 2개의 특징점을 레이블링하고, 레이블링된 2개의 특징점의 가우시안 분포를 형성하는 히트맵을 이용한다. 평가 데이터는 학습 데이터의 학습용 입력 영상(PI)에 대응하는 평가용 입력 영상(EI)과 평가용 입력 영상(EI)에 대응하는 타겟 영상(TI)을 포함한다. 여기서, 평가용 입력 영상(EI)은 학습용 입력 영상(PI)과 다른 CT 영상을 이용하여 앞서(S110) 설정된 입력 영상의 형식에 따라 대응하는 학습용 입력 영상(PI)과 동일한 형식으로 생성된 영상이다. 예컨대, 3개의 형식, 즉, 제1 깊이, 제2 깊이 및 제3 깊이(d1, d2, d3)가 설정되었다고 가정한다. 그러면, 이에 대응하여, 제1 평가용 입력 영상(EI1), 제2 평가용 입력 영상(EI2) 및 제3 평가용 입력 영상(EI3)과 같은 영상이 평가용 입력 영상으로 사용될 수 있다.

학습 데이터 및 평가 데이터가 마련되면, 모델생성부(100)는 S130 단계에서 학습 데이터를 이용하여 검출망(DN: DN1, DN2, DN3 중 어느 하나)을 학습시킨다. 이러한 S130 단계에 대해 보다 상세하게 설명하면 다음과 같다. 모델생성부(100)는 학습용 입력 영상(PI)을 검출망(DN)에 입력한다. 그러면, 검출망(DN)이 학습용 입력 영상(PI)에 대한 가중치 연산을 통해 특징 영상(FI)을 도출할 수 있다. 이에 따라, 모델생성부(100)는 특징 영상(FI)과 학습용 입력 영상(PI)에 대응하는 타겟 영상(TI)의 차이인 손실을 산출한다. 이러한 손실은 손실함수를 통해 산출될 수 있다. 손실함수는 예컨대, MSE(Mean Squared Error), RMSE(Root Mean Squared Error) 등을 예시할 수 있다. 그런 다음, 모델생성부(100)는 산출된 손실이 최소화되도록 검출망(DN)의 가중치를 수정하는 최적화를 수행한다. 전술한 절차는 복수의 서로 다른 학습 데이터를 이용하여 소정의 조건이 만족될 때까지 반복할 수 있다.

그런 다음, 모델생성부(100)는 S140 단계에서 학습된 검출망(DN)에 대한 에러율을 산출한다. 여기서, 에러율의 산출은 평가 데이터를 이용하여 이루어진다. 이러한 S130 단계에 대해 보다 상세하게 설명하면 다음과 같다. 전술한 바와 같이, 평가용 입력 영상(EI)의 형식은 학습용 입력 영상(PI)의 형식과 동일하며, 이는 앞서(S110) 설정된 입력 영상의 형식에 따른다. 모델생성부(100)는 평가용 입력 영상(EI)의 형식별로 검출망(DN)에 입력한다. S110 단계에서 설정된 바와 같이, 3개의 형식이 설정된 경우, 3개의 평가용 입력 영상(EI1, EI2, EI3)이 개별적으로 입력될 것이다. 그러면, 검출망(DN)이 입력된 평가용 입력 영상(EI)에 대한 가중치 연산을 통해 특징 영상(FI)을 도출할 수 있다. 이에 따라, 모델생성부(100)는 손실함수를 통해 특징 영상(FI)과 평가용 입력 영상(EI)에 대응하는 타겟 영상(TI)의 차이인 오차를 산출한다. 이러한 오차의 역수를 통해 평가용 입력 영상(EI)의 형식별로 정확도를 산출할 수 있다. 일례로, 제1 깊이(d1)로 투사되어 생성된 제1 평가용 입력 영상(EI1)을 검출망(DN)에 입력한 후, 검출망(DN)이 제1 평가용 입력 영상(EI1)에 대한 가중치 연산을 통해 특징 영상(FI)을 도출하면, 모델생성부(100)는 특징 영상(FI)과 제1 평가용 입력 영상(EI1)에 대응하는 타겟 영상(TI)의 차이인 오차를 산출하고, 그 오차의 역수를 정확도로 산출하며, 이는 그 형식, 즉, 제1 깊이(d1)로 생성된 입력 영상에 대한 검출망(DN)의 정확도를 나타낸다. 다른 예로, 제2 깊이(d2)로 투사되어 생성된 제2 평가용 입력 영상(EI2)을 검출망(DN)에 입력한 후, 검출망(DN)이 제2 평가용 입력 영상(EI2)에 대한 가중치 연산을 통해 특징 영상(FI)을 도출하면, 모델생성부(100)는 특징 영상(FI)과 제2 평가용 입력 영상(EI2)에 대응하는 타겟 영상(TI)의 차이인 오차를 산출하고, 그 오차의 역수를 정확도로 산출하며, 이는 그 형식, 즉, 제2 깊이(d2)로 생성된 입력 영상에 대한 검출망(DN)의 정확도를 나타낸다.

그런 다음, 모델생성부(100)는 S140 단계에서 검출망(DN)의 에러율을 산출한다. 이때, 모델생성부(100)는 다음의 수학식 1에 따라 이루어진다.

수학식 1에서, E는 에러율이고, N은 평가용 입력 영상의 형식이고, p는 전체 형식의 평가용 입력 영상에 대응하는 검출망(DN)의 정확도의 평균이다. 즉, p는 복수의 서로 다른 형식의 복수의 평가용 입력 영상 각각을 검출망(DN)에 입력했을 때 산출되는 검출망(DN)의 정확도의 평균을 의미한다.

다음으로, 모델생성부(100)는 S150 단계에서 앞서 산출된 에러율이 기 설정된 임계치 미만인지 여부를 판별한다. S150 단계의 판별 결과, 에러율이 기 설정된 임계치 이상이면, 모델생성부(100)는 S160 단계에서 입력 영상의 형식을 추가한다. 예컨대, 도 12를 참조하면, 앞서(S110) 3가지 형식, 즉, 제1 내지 제3 깊이(d1, d2, d3)를 형식으로 설정하였다면, 제4 깊이(d4)을 입력 영상의 형식에 추가할 수 있다. 그런 다음, S120 단계에서 추가된 형식, 즉, 제1 내지 제4 깊이(d1, d2, d3, d4)를 이용하여 학습 데이터 및 평가 데이터를 마련하면서 전술한 S120 단계 내지 S150 단계를 반복한다.

반면, S150 단계의 판별 결과, 에러율이 기 설정된 임계치 미만이면, S170 단계에서 학습을 종료한다.

본 발명의 실시예에 따른 검출망(DN)은 그 생성되는 형식이 다른 복수의 입력 영상을 처리한다. 이에 따라, 본 발명은 학습 시, 검출망(DN)에 대한 최적화와 함께 그 입력 영상의 형식에 대한 최적화를 수행할 수 있다.

도 10에서 어느 하나의 면에 대응하는 검출망(DN)을 학습시키는 방법에 대해서 설명하였다. 도 10에서 설명된 바와 동일한 방법으로 나머지 면에 대응하는 검출망(DN)을 학습시켜 검출 모델(DM)에 포함시킬 수 있다.

다음으로, 전술한 바와 같은 검출모델(DM)을 기반으로 2차원 영상을 이용하여 치과용 CT 영상을 3차원으로 재배향하기 위한 방법에 대해서 설명하기로 한다. 도 13은 본 발명의 실시예에 따른 검출모델(DM)을 기반으로 2차원 영상을 이용하여 치과용 CT 영상을 3차원으로 재배향하기 위한 방법을 설명하기 위한 흐름도이다. 이러한 도 13을 참조로 하는 실시예는 시상면검출망(DN1), 수평면검출망(DN2) 및 관상면검출망(DN3)을 포함하는 검출 모델(DM)의 학습이 완료된 상태를 가정한다.

도 13을 참조하면, 입력영상검출부(200)는 S210 단계에서 3차원 영상인 CT 영상으로부터 2차원 영상인 복수의 입력 영상을 생성한다. 이때, 입력영상검출부(200)는 CT 영상의 시상면, 수평면 및 관상면 각각에 대응하는 복수의 입력 영상을 생성한다. 이러한 S210 단계에서 복수의 입력 영상은 검출부(300)에 제공된다.

검출부(300)는 S220 단계에서 검출 모델(DM)의 시상면검출망(DN1), 수평면검출망(DN2) 및 관상면검출망(DN3)을 통해 복수의 입력 영상(PI)으로부터 시상면, 수평면 및 관상면 각각에 대응하여 2개의 특징점을 포함하는 복수의 특징 영상(FI)을 도출한다. 이때, 시상면검출망(DN1), 수평면검출망(DN2) 및 관상면검출망(DN3) 각각은 CT 영상의 대응하는 면에서 생성된 서로 다른 복수의 입력 영상(PI)을 입력 받고, 복수의 입력 영상(PI) 각각에 대해 가중치 연산을 통해 2개의 특징점을 포함하는 복수의 특징 영상(FI)을 생성한다. 즉, 시상면검출망(DN1)은 CT 영상의 시상면에 대해 서로 다른 깊이로 투사하여 생성된 복수의 서로 다른 입력 영상(PI)을 입력 받고, 복수의 입력 영상(PI) 각각에 대해 가중치 연산을 통해 2개의 특징점을 포함하며 시상면에 대응하는 복수의 특징 영상(FI)을 생성한다. 수평면검출망(DN2)은 CT 영상의 수평면에 대해 서로 다른 깊이로 투사하여 생성된 복수의 서로 다른 입력 영상(PI)을 입력 받고, 복수의 입력 영상(PI) 각각에 대해 가중치 연산을 통해 2개의 특징점을 포함하며, 수평면에 대응하는 복수의 특징 영상(FI)을 생성한다. 관상면검출망(DN3)은 CT 영상의 관상면의 서로 다른 위치에서 관상면에 평행하게 자른(slice) 단면을 나타내는 슬라이스 영상인 서로 다른 복수의 입력 영상(PI)을 입력 받고, 복수의 입력 영상(PI) 각각에 대해 가중치 연산을 통해 2개의 특징점을 포함하며, 관상면에 대응하는 복수의 특징 영상(FI)을 생성한다.

다음으로, 재배향부(400)는 S230 단계에서 시상면, 수평면 및 관상면 각각에 대응하는 복수의 특징 영상으로부터 시상면, 수평면 및 관상면 각각에 대응하는 회전각(θs, θa, θp)을 도출한다. 이때, 재배향부(400)는 시상면, 수평면 및 관상면 각각에 대응하는 복수의 특징 영상 각각의 특징선(FL)과 기 설정된 기준선(SL)이 이루는 복수의 회전각을 도출하고, 복수의 회전각에 대한 앙상블 연산을 통해 최종적으로 시상면, 수평면 및 관상면 각각에 대응하는 회전각(θs, θa, θp)을 도출한다. 재배향부(400)는 앙상블 연산 이전에, 박스 플롯(box plot)을 통해 이상치(outlier)를 제거할 수 있다.

여기서, 회전각은 CT 영상(CT)에서 피촬영자의 잘못된 자세로 인해 기 설정된 기준으로부터 CT 영상의 오정렬된 정도를 나타낸다. 도 3 내지 도 5를 참조하면, 재배향부(400)는 특징 영상(FI)에서 특징선(FL)을 도출한 후, 도출된 특징선(FL)과 기 설정된 기준선(SL)이 이루는 회전각(θs, θa, θp)를 도출할 수 있다.

보다 구체적으로, 재배향부(400)는 시상면에 대응하는 복수의 특징 영상 각각의 특징선(FL)과 기 설정된 기준선(SL)이 이루는 복수의 회전각을 도출하고, 복수의 회전각에 대한 앙상블 연산을 통해 최종적으로 시상면에 대응하는 회전각(θs)을 도출한다. 또한, 재배향부(400)는 수평면에 대응하는 복수의 특징 영상 각각의 특징선(FL)과 기 설정된 기준선(SL)이 이루는 복수의 회전각을 도출하고, 복수의 회전각에 대한 앙상블 연산을 통해 최종적으로 수평면에 대응하는 회전각(θa)을 도출한다. 그리고 재배향부(400)는 관상면에 대응하는 복수의 특징 영상 각각의 특징선(FL)과 기 설정된 기준선(SL)이 이루는 복수의 회전각을 도출하고, 복수의 회전각에 대한 앙상블 연산을 통해 최종적으로 관상면에 대응하는 회전각(θp)을 도출한다.

다음으로, 재배향부(400)는 S240 단계에서 특징선(FL)이 기준선(SL)과 평행하도록 회전각(θs, θa, θp)의 역방향으로 회전각의 크기만큼 CT 영상(CT)을 회전시켜 재배향한다.

본 발명에 따르면, 딥러닝 모델을 통해 자동으로 3차원 CT 영상에 대한 재배향을 수행한다. 따라서, 사용자가 모니터를 보면서 수동으로 조금씩 조절하는 종래 기술에 것에 비해 작업 시간이 단축되며, 편의성이 향상된다. 더욱이, 수동으로 조절하는 것은 사용자의 주관에 따라 그 결과물의 차이가 현저하지만 본 발명은 딥러닝 모델을 통해 그 결과물이 품질이 일정하게 유지될 수 있다. 게다가, 본 발명은 코 아래부터 턱까지 촬영된 치과용 CT 영상에서도 3차원으로 재배향을 수행할 수 있지만, 종래의 경우, 지정된 마크가 코 아래부터 턱까지의 사이에 존재하지 않는 경우, 재배향을 수행할 수 없다. 그리고 본 발명은 3차원 CT 영상을 직접 이용하지 않고, 2차원 영상을 입력 데이터로 이용함으로써 고사양 GPU 연산이 요구되지 않아 저사양 컴퓨터 환경에서도 활용할 수 있다.

도 14는 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 도 14의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치, 예컨대, 재배향장치(10)가 될 수 있다.

도 14의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.

한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

10: 재배향장치
100: 모델생성부
200: 입력영상검출부
300: 검출부
400: 재배향부

Claims

치과용 CT(Computed Tomography) 영상을 3차원으로 재배향하기 위한 장치에 있어서,
3차원의 CT 영상으로부터 시상면(Sagittal plane), 수평면(Axial plane) 및 관상면(Coronal plane)의 2차원 영상인 복수의 입력 영상을 검출하는 입력영상검출부;
각각이 학습된 상기 시상면, 상기 수평면 및 상기 관상면에 대응하는 복수의 검출망을 포함하는 딥러닝 모델인 검출 모델을 이용하여 상기 복수의 입력 영상에서 2개의 특징점을 포함하는 복수의 특징 영상을 도출하는 검출부; 및
상기 복수의 특징 영상으로부터 상기 시상면, 상기 수평면 및 상기 관상면 각각에 대응하며 기 설정된 기준선과의 차이를 나타내는 회전각을 도출하고, 상기 회전각에 따라 상기 CT 영상을 3차원으로 재배향하는 재배향부;
를 포함하는 것을 특징으로 하는
재배향하기 위한 장치.
제1항에 있어서,
상기 복수의 입력 영상은
상기 시상면의 경우, 상기 CT 영상의 시상면에 대해 서로 다른 깊이로 투사하여 생성하며,
상기 수평면의 경우, 상기 CT 영상의 수평면에 대해 서로 다른 깊이로 투사하여 생성하며,
상기 관상면의 경우, 상기 CT 영상의 관상면 상의 서로 다른 위치에서 관상면에 평행하게 자른 단면을 검출하여 생성되는 것을 특징으로 하는
재배향하기 위한 장치.
제2항에 있어서,
상기 2개의 특징점은
상기 시상면의 경우, 상기 입력 영상 상의 상악 및 하악 치열의 양 끝단의 사이에 형성되고,
상기 수평면의 경우, 상기 입력 영상 상의 치열궁의 양 끝단에 형성되고,
상기 관상면의 경우, 상기 입력 영상 상의 하악 뼈의 좌측 하단 및 우측 하단에 형성되는 것을 특징으로 하는
재배향하기 위한 장치.
제3항에 있어서,
상기 재배향부는
상기 시상면, 상기 수평면 및 상기 관상면 각각의 복수의 특징 영상 각각의 2개의 특징점을 연결하는 선분인 특징선을 도출하고,
도출된 특징선과 상기 시상면, 상기 수평면 및 상기 관상면 각각의 기 설정된 기준선이 이루는 복수의 회전각을 도출하고,
상기 시상면, 상기 수평면 및 상기 관상면 각각의 복수의 회전각에 대해 앙상블 연산을 수행하여 상기 시상면, 상기 수평면 및 상기 관상면 각각의 최종적인 회전각을 도출하는 것을 특징으로 하는
재배향하기 위한 장치.
제1항에 있어서,
상기 검출망은
가중치 연산을 통해 입력되는 입력 영상의 차원을 축소함으로써 입력 영상의 특징을 압축하여 잠재 벡터로 이루어진 특징 지도를 생성하는 전단부; 및
가중치 연산을 통해 잠재 벡터로 이루어진 특징 지도를 입력 영상과 동일한 차원으로 복원하면서, 입력 영상에 예측된 2개의 특징점을 포함하는 특징 영상을 생성하는 후단부;
를 포함하는 것을 특징으로 하는
재배향하기 위한 장치.
제1항에 있어서,
상기 검출망은
하나 이상의 컨벌루션층을 포함하는 전단부; 및
교번으로 배열되는 하나 이상의 디컨벌루션층 및 하나 이상의 컨벌루션층을 포함하는 후단부;
를 포함하는 것을 특징으로 하는
재배향하기 위한 장치.
제1항에 있어서,
학습이 완료되지 않은 검출망에 대응하여 CT 영상의 시상면 혹은 수평면에 대한 투사의 깊이 혹은 CT 영상의 관상면의 단면의 위치에 따라 구분되는 입력 영상의 형식을 설정하고,
설정된 입력 영상의 형식에 따라 상기 학습용 입력 영상 및 상기 학습용 입력 영상에 대응하는 타겟 영상을 포함하는 학습 데이터 및 상기 학습용 입력 영상에 대응하는 평가용 입력 영상과 상기 평가용 입력 영상에 대응하는 타겟 영상을 포함하는 평가 데이터를 마련하고,
학습 데이터를 이용하여 상기 검출망을 학습시키고,
상기 평가 데이터를 이용하여 상기 검출망에 대한 에러율을 산출하고,
산출된 에러율이 기 설정된 임계치 이상이면,
상기 에러율이 기 설정된 임계치 미만이 될 때까지,
상기 검출망의 상기 입력 영상의 형식을 추가하고, 상기 추가된 입력 영상의 형식에 따라 상기 학습 데이터 및 상기 평가 데이터를 마련한 후, 상기 검출망을 학습시키는 것을 반복하는
모델생성부;
를 더 포함하는 것을 특징으로 하는
재배향하기 위한 장치.
제7항에 있어서,
상기 모델생성부는
수학식

에 따라 검출망의 에러율을 산출하며,
상기 E는 에러율이고,
상기 N은 평가용 입력 영상의 형식이고,
상기 p는 전체 형식의 평가용 입력 영상에 대응하는 검출망의 정확도의 평균인 것을 특징으로 하는
재배향하기 위한 장치.
제7항에 있어서,
상기 모델생성부는
GPU(graphics processing unit)에 의한 연산을 수행하고,
상기 검출부는
CPU(central processing unit)에 의한 연산을 수행하는 것을 특징으로 하는
재배향하기 위한 장치.
치과용 CT(Computed Tomography) 영상을 3차원으로 재배향하기 위한 방법에 있어서,
입력영상검출부가 3차원의 CT 영상으로부터 시상면(Sagittal plane), 수평면(Axial plane) 및 관상면(Coronal plane)의 2차원 영상인 복수의 입력 영상을 검출하는 단계;
검출부가 각각이 학습된 상기 시상면, 상기 수평면 및 상기 관상면에 대응하는 복수의 검출망을 포함하는 딥러닝 모델인 검출 모델을 이용하여 상기 복수의 입력 영상에서 2개의 특징점을 포함하는 복수의 특징 영상을 도출하는 단계; 및
재배향부가 상기 복수의 특징 영상으로부터 상기 시상면, 상기 수평면 및 상기 관상면 각각에 대응하며 기 설정된 기준선과의 차이를 나타내는 회전각을 도출하고, 상기 회전각에 따라 상기 CT 영상을 3차원으로 재배향하는 단계;
를 포함하는 것을 특징으로 하는
재배향하기 위한 방법.
제10항에 있어서,
상기 2개의 특징점은
상기 시상면의 경우, 상기 입력 영상 상의 상악 및 하악 치열의 양 끝단의 사이에 형성되고,
상기 수평면의 경우, 상기 입력 영상 상의 치열궁의 양 끝단에 형성되고,
상기 관상면의 경우, 상기 입력 영상 상의 하악 뼈의 좌측 하단 및 우측 하단에 형성되는 것을 특징으로 하는
재배향하기 위한 방법.
제10항에 있어서,
상기 3차원으로 재배향하는 단계는
상기 재배향부가 상기 시상면, 상기 수평면 및 상기 관상면 각각의 복수의 특징 영상 각각의 2개의 특징점을 연결하는 선분인 특징선을 도출하는 단계;
상기 재배향부가 도출된 특징선과 상기 시상면, 상기 수평면 및 상기 관상면 각각의 기 설정된 기준선이 이루는 복수의 회전각을 도출하는 단계; 및
상기 재배향부가 상기 시상면, 상기 수평면 및 상기 관상면 각각의 복수의 회전각에 대해 앙상블 연산을 수행하여 상기 시상면, 상기 수평면 및 상기 관상면 각각의 최종적인 회전각을 도출하는 단계;
를 포함하는 것을 특징으로 하는
재배향하기 위한 방법.
제10항에 있어서,
상기 복수의 특징 영상을 도출하는 단계는
상기 검출망의 전단부가 가중치 연산을 통해 입력되는 입력 영상의 차원을 축소함으로써 입력 영상의 특징을 압축하여 잠재 벡터로 이루어진 특징 지도를 생성하는 단계; 및
상기 검출망의 후단부가 가중치 연산을 통해 잠재 벡터로 이루어진 특징 지도를 입력 영상과 동일한 차원으로 복원하면서, 입력 영상에 예측된 2개의 특징점을 포함하는 특징 영상을 생성하는 단계;
를 포함하는 것을 특징으로 하는
재배향하기 위한 방법.
제10항에 있어서,
상기 복수의 입력 영상을 검출하는 단계 전,
모델생성부가 학습이 완료되지 않은 검출망에 대응하여 CT 영상의 시상면 혹은 수평면에 대한 투사의 깊이 혹은 CT 영상의 관상면의 단면의 위치에 따라 구분되는 입력 영상의 형식을 설정하는 단계;
모델생성부가 설정된 입력 영상의 형식에 따라 상기 학습용 입력 영상 및 상기 학습용 입력 영상에 대응하는 타겟 영상을 포함하는 학습 데이터 및 상기 학습용 입력 영상에 대응하는 평가용 입력 영상과 상기 평가용 입력 영상에 대응하는 타겟 영상을 포함하는 평가 데이터를 마련하는 단계;
모델생성부가 학습 데이터를 이용하여 상기 검출망을 학습시키는 단계;
모델생성부가 상기 평가 데이터를 이용하여 상기 검출망에 대한 에러율을 산출하는 단계;
모델생성부가 산출된 에러율이 기 설정된 임계치 이상이면, 상기 에러율이 기 설정된 임계치 미만이 될 때까지, 상기 검출망의 상기 입력 영상의 형식을 추가하고, 상기 추가된 입력 영상의 형식에 따라 상기 학습 데이터 및 상기 평가 데이터를 마련한 후, 상기 검출망을 학습시키는 것을 반복하는 단계;
를 더 포함하는 것을 특징으로 하는
재배향하기 위한 방법.
제14항에 있어서,
상기 모델생성부는
수학식

에 따라 검출망의 에러율을 산출하며,
상기 E는 에러율이고,
상기 N은 평가용 입력 영상의 형식이고,
상기 p는 전체 형식의 평가용 입력 영상에 대응하는 검출망의 정확도의 평균인 것을 특징으로 하는
재배향하기 위한 방법.