KR20230149097A

KR20230149097A - 3차원 뼈 모델을 재건하는 장치 및 방법

Info

Publication number: KR20230149097A
Application number: KR1020220048360A
Authority: KR
Inventors: 하호건; 이현기; 이종철
Original assignee: 재단법인대구경북과학기술원
Priority date: 2022-04-19
Filing date: 2022-04-19
Publication date: 2023-10-26

Abstract

본 개시의 일 실시 예에 따른 3차원 뼈 모델 재건 방법은 각 단계의 적어도 일부가 프로세서에 의해 수행되는 단계로서, 환자의 뼈를 촬영한 적어도 한 장의 엑스레이 영상을 제공 받는 단계 및 엑스레이 영상을 딥 러닝에 기반한 학습 모델에 입력하여 뼈에 대한 SSM(Statistical Shape Model)의 파라미터를 출력하는 단계를 포함할 수 있다.

Description

3차원 뼈 모델을 재건하는 장치 및 방법{APPARATUS AND METHOD FOR RECONSTUCTING 3D BONE MODEL}

본 개시는 딥 러닝에 기반해서 3차원 뼈 모델을 재건하는 장치 및 방법에 관한 것이다.

종래, 관절 수술의 경우 의료진은 1 cm 미만의 작은 구멍(포탈)을 통해 관절경(arthroscopy)을 삽입하고 관절 속의 손상된 부위를 모니터를 통해 보면서 진단과 치료를 동시에 시행하는 관절경 수술을 수행하고, 관절경 기구를 관절 내로 안전하기 삽입하기 위해서 방사선 투시 장치로 관절 내 구조와 관절경의 이동을 파악하면서 관절경 수술을 시행할 수 있다.

관절경 수술시 수술 도구의 위치 및 뼈의 형태를 파악하기 위하여, CT 영상 등에 기반하여 생성된 환자의 3차원 뼈 모델을 수술 도구 또는 관절경의 위치에 기반하여 표시하는 관절경 수술 내비게이션 기술이 존재한다.

하지만, CT 영상을 획득하기 위하여 환자는 낮은 양이라 할 지라도 방사선에 노출될 수 밖에 없고, 긴급한 수술의 경우 CT 영상 획득 및 CT 영상에 기반한 3차원 뼈 모델 생성에 시간이 소요되는 문제점이 있다.

이를 해결하기 위하여, 종래 엑스레이 영상에 기반하여 3차원 뼈 모델을 생성하는 기술들이 존재한다.

선행기술 1은 도 1 (b)를 참조하면, 2장의 엑스레이 영상으로부터 3차원 뼈 모델을 생성하는 기술로서, 2장의 엑스레이 영상의 환자에 대한 상대 위치 정보를 산출하고, 해당 위치에서 SSM(Statistical Shape Model)의 투영 영상과 2장의 엑스레이 영상을 비교한 결과에 기반하여 SSM을 변형함으로써 환자의 3차원 모델을 생성한다. 선행기술 1은 필수적으로 2차원 엑스레이 영상과 SSM의 정합(registration) 및 영상 비교를 수행함으로써, 영상촬영 장치(엑스레이 촬영 장치)의 특성을 추정하는 캘리브레이션과 3차원 모델 생성을 위해 최적화를 수행해야 한다. 이 경우, 3차원 모델 생성 최적화를 위해 반복적으로 수행되는 유사도 측정 및 정합 결과 모두 3차원 모델의 정확도에 영향을 미치는 문제점이 있다.

선행기술 2는 도 1 (a)를 참조하면, 인코더-디코더 CNN(Convolutional NeuralNetwork)을 훈련시키고, 훈련된 디코더에 2차원 엑스레이 영상을 입력하여 3차원 뼈 모델을 생성하는 기술이다. 선행기술 2는 학습 모델이 3차원 뼈 모델을 직접적으로 출력하지만, 학습 모델의 훈련을 위한 방대한 환자의 영상 자료를 획득하는 어려움이 있고(선행기술 2는 CNN의 입력 이미지로 CT-DRR(Digitally Reconstructed Radiograph) 엑스레이 영상을 사용하지만, 이를 생성하기 위한 CT 영상들은 환자들로부터 획득된다), 이에 따라 훈련 결과에 큰 영향을 미치는 문제점이 있다.

선행기술 1: 한국 등록특허공보 제10-1921988호(2018.11.20. 공고)

선행기술 2: "2D-3D reconstruction of distal forearm bone from actual Xray images of the wrist using convolutional neural networks", Scientific Reports, Article number: 15249 (2021.7.27. 공개)

본 개시의 일 실시 예는 2차원 엑스레이 영상에 기반하여 3차원 뼈 모델을 생성하는 장치 및 방법을 제공한다.

본 개시의 다른 실시 예는 최소한의 2차원 엑스레이 영상에 기반하여 3차원 뼈 모델을 생성하는 장치 및 방법을 제공한다.

본 개시의 다른 실시 예는 2차원 엑스레이 영상에 기반하여 3차원 뼈 모델을 생성하는 학습 모델을 훈련하는 장치 및 방법을 제공한다.

본 개시의 다른 실시 예는 실제 환자의 훈련 데이터 없이 3차원 뼈 모델을 생성하는 학습 모델을 훈련하는 장치 및 방법을 제공한다.

본 개시의 일 실시 예는 3차원 뼈 모델을 재건하는 장치 및 방법을 제공한다.

본 개시의 다른 실시 예는 3차원 뼈 모델을 재건하는 학습 모델을 훈련하는 장치 및 방법을 제공한다.

본 개시의 다른 실시 예는 3차원 뼈 모델을 재건하는 학습 모델의 훈련 데이터를 생성하는 장치 및 방법을 제공한다.

본 개시의 일 실시 예에 따른 3차원 뼈 모델 재건 장치는 딥 러닝에 기반한 적어도 하나의 학습 모델 및 환자의 뼈를 촬영한 적어도 한 장의 엑스레이 영상을 저장하는 저장부, 프로세서 및 프로세서와 전기적으로 연결되고, 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때 프로세서가 엑스레이 영상을 딥 러닝에 기반한 학습 모델에 입력하여 뼈에 대한 SSM의 파라미터를 출력하도록 야기하는 코드를 저장할 수 있다.

본 개시의 일 실시 예에 따른 3차원 뼈 모델 재건을 위한 학습 모델의 훈련 장치는 SSM에 기반한 3차원 모델로부터 생성된 DRR(digitally reconstructed radiographs) 엑스레이 영상에 DRR 엑스레이 영상을 생성하기 위한 SSM의 파라미터로 레이블링한 훈련 데이터를 적어도 일부 이용하여 학습 모델을 훈련할 수 있다.

본 개시의 일 실시 예에 따른 3차원 뼈 모델 재건을 위한 학습 모델의 훈련 데이터 생성 장치는 SSM에 기반한 복셀화한(voxelized) 3차원 모델로부터 DRR 엑스레이 영상을 생성하여 훈련 데이터로 이용할 수 있고, SSM이 대퇴골 SSM인 경우 대퇴골 SSM의 대퇴원위부 관절구(distal condyles)의 형상에 기반하여 결정된 투시 방향에 기반하여 DRR 엑스레이 영상을 생성하여 훈련 데이터로 이용할 수 있다.

본 개시의 실시 예에 따른 3차원 뼈 모델을 생성하는 장치 및 방법 은 최소한의 2차원 엑스레이 영상에 기반하여 환자의 3차원 뼈 모델을 적은 연산량으로 용이하게 생성할 수 있다.

본 개시의 실시 예에 따른 3차원 뼈 모델을 생성하는 장치 및 방법 은 최소한의 2차원 엑스레이 영상에 기반하여 환자의 3차원 뼈 모델을 생성함으로써 환자의 방사선 노출을 감소시킬 수 있다.

본 개시의 실시 예에 따른 3차원 뼈 모델을 생성하는 장치 및 방법 은 환자의 적은 개수의 영상 자료에 기반하여 학습 모델을 훈련시킬 수 있다.

도 1은 종래 기술을 설명하는 도면이다.
도 2는 본 개시의 일 실시 예에 따른 3차원 뼈 모델 재건 장치가 구동하기 위한 환경을 나타낸 도면이다.
도 3은 본 개시의 일 실시 예에 따른 3차원 뼈 모델 재건 장치의 활용 예를 설명하는 도면이다.
도 4는 본 개시의 일 실시 예에 따른 3차원 뼈 모델 재건 장치의 개략적인 구성을 나타내는 블록도이다.
도 5는 본 개시의 일 실시 예에 따른 3차원 뼈 모델 재건 방법을 설명하기 위한 순서도이다.
도 6 내지 도 8은 본 개시의 일 실시 예에 따른 3차원 뼈 모델 재건을 위한 학습 모델을 훈련하는 방법을 설명하는 도면이다.
도 9는 본 개시의 일 실시 예에 따른 3차원 뼈 모델 재건을 위한 학습 모델을 훈련시키는 방법을 설명하기 위한 순서도이다.
도 10 내지 도 11은 본 개시의 일 실시 예에 따른 3차원 뼈 모델 재건을 위한 학습 모델의 훈련 데이터를 생성하는 방법을 설명하는 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

도 2를 참조하여 본 개시의 일 실시 예에 따른 3차원 뼈 모델 재건 장치를 구동하기 위한 환경을 설명한다.

3차원 뼈 모델 재건 장치는 환자의 뼈를 촬영한 적어도 한 장의 엑스레이 영상을 제공 받아, 엑스레이 영상에 기반하여 환자의 SSM(Statistical Shape Model)의 파라미터를 결정한다.

3차원 뼈 모델 재건 장치는 추가적으로 SSM의 파라미터를 외부 장치로 전송하거나 SSM의 파라미터에 기반하여 SSM을 변형하여 환자의 뼈에 대한 3차원 모델을 생성할 수 있다.

일 실시 예에서, 3차원 뼈 모델 재건 장치는 엑스레이 영상 촬영 장치(200)로부터 환자의 뼈를 촬영한 엑스레이 영상을 적어도 한 장 이상 실시간으로 전송받아 딥 러닝 기반의 학습 모델에 입력하여 SSM의 파라미터를 결정할 수 있다. 엑스레이 영상 촬영 장치(200)는 C-arm 엑스레이 영상 촬영 장치(엑스레이 투시 촬영 장치)일 수 있다.

일 실시 예에서, 3차원 뼈 모델 재건 장치는 내비게이션 장치(100)로 구현될 수 있다. 3차원 뼈 모델 재건 장치가 내비게이션 장치(100)로 구현되는 경우 관절경(arthroscopy) 또는 수술 도구의 위치를 모니터링하고, 위치에 관절경의 위치에 기반하여 3차원 뼈 모델을 시뮬레이션하고 이를 디스플레이할 수 있다.

아래에서는 3차원 뼈 모델 재건 장치가 내비게이션 장치(100)인 실시 예로서 설명하지만, 언급한 것처럼 3차원 뼈 모델 재건 장치는 통상의 내비게이션 장치 또는 엑스레이 영상 촬영 장치와 별개로 독립적으로 구현될 수 있다.

본 개시의 실시 예에 따른 내비게이션 장치(100)는 광학적 또는 자기적 마커를 부착한 관절경과 관절경의 위치를 추적하는 위치 추적 장치, 관절경의 카메라 영상을 표시하는 영상 표시 장치와 연동되어 구동될 수 있다.

위치 추적 장치는 관절경 또는 환자의 광학적 마커를 추적하는 경우 광학 카메라 기반의 위치 추적 장치일 수 있고, 대상물의 거리를 감지할 수 있는 센서에 기반할 수 있다. 위치 추적 장치는 광학 트랙커(optical tracker)일 수 있고, 이 경우 마커는 광학 트랙커에서 광학적으로 인식 가능한(retro-reflective)한 마커일 수 있다.

광학 트랙커는 적외선 등의 광학 기반의 능동적(active) 광학 트랙커 또는 수동적(passive) 광학 트랙커일 수 있다. 광학 트랙커는 단안 또는 스테레오 기반의 카메라일 수 있다. 수동적 방식의 광학 트랙킹 기술을 사용하는 경우 광학 트랙커는 적외선 조명 LED를 포함할 수 있다.

위치 추적 장치는 관절경 또는 환자의 전자기적(electromagnetic) 마커를 추적하는 경우 전자기적 센서에 기반한 위치 추적 장치일 수 있다.

위치 추적 장치는 관절경의 위치, 환자의 위치 및 엑스레이 촬영 장치의 위치 중 적어도 어느 하나와 좌표계 정합(registration)을 수행할 수 있다.

관절경은 말단부 또는 일부에 자이로 센서, 관성 센서를 포함할 수 있고, 위치 추적 장치 또는 내비게이션 장치(100)의 통신 모듈(110)은 관절경의 자이로 센서, 관성 센서에서 측정한 데이터를 기반으로 관절경의 자세(pose)를 판단할 수 있다. 내비게이션 장치(100)는 관절경의 자세 변화에 따른 관절경 카메라의 시야각(FOV: Field of View)을 고려하여 도 3과 같이 환자의 뼈 3차원 모델의 대응되는 부분(1020)을 영상 표시 장치에 표시할 수 있다. 환자의 뼈 3차원 모델은 내비게이션 장치(100)에서 결정한 SSM의 파라미터에 기반하여 변형한 3차원 모델이다.

이 경우, 관절경의 카메라의 시야각에 대응되는 부분(1010)보다 넓은 범위에서 환자의 뼈 3차원 모델(1030, 1050)의 대응되는 부분(1020)을 표시함으로써, 의료진에게 넓은 시야를 제공할 수 있다. 또한, 뼈 3차원 모델(1030, 1050)과 그 외 조직(1040의 인대 등)을 명확히 구분 가능하도록 경계를 추가적으로 표시할 수 있다.

영상 표시 장치는 영상을 표시 가능한 모든 디스플레이 장치를 포함한다. 영상 표시 장치는 일반 컴퓨터 모니터일 수 있고, 의료진이 착용한 증강 현실 글래스이거나, 빔 프로젝션일 수 있다. 빔 프로젝션인 경우, 내비게이션 장치(100)는 뼈 3차원 모델을 환자의 위치 및 자세에 기반하여 투영할 수 있다. 일 실시 예에서, 내비게이션 장치(100)는 관절경의 위치에 기반하여 뼈 3차원 모델(1030, 1050)을 증강 현실로 표시할 수 있다.

도 4를 참조하여 본 개시의 일 실시 예에 따른 내비게이션 장치(100)의 구성을 설명한다.

내비게이션 장치(100)는 엑스레이 영상을 입력하여 SSM 파라미터를 출력하는 딥 러닝 기반의 학습 모델 및 환자의 뼈를 뼈를 촬영한 적어도 한 장의 엑스레이 영상을 저장하는 저장부(150), 코드의 실행을 통해 연산 작업을 수행하는 프로세서(130), 프로세서(130)의 수행 코드가 일시적 또는 비 일시적으로 저장되는 메모리(140), SSM 파라미터에 기반하여 시뮬레이션된 뼈의 3차원 모델을 표시하거나 관절경의 영상을 표시하는 디스플레이부(120) 및 데이터 전송을 위한 통신 모듈(100)을 포함할 수 있다.

통신 모듈(100)은 무선 통신부 또는 유선 통신부를 포함할 수 있다.

무선 통신부는, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.

이동통신 모듈은, 이동통신을 위한 통신방식인 LTE(Long Term Evolution) 등에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.

무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈로서, 내비게이션 장치(100)에 내장되거나 외장될 수 있고, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance) 등이 사용될 수 있다.

근거리 통신 모듈은 근거리 통신을 통하여 데이터 송수신을 위한 모듈로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등을 사용할 수 수 있다.

통신 모듈(110)은 모니터를 포함하는 디스플레이부(120)나 외부 장치에 영상 데이터를 전송하거나 관절경에서 촬영된 영상 데이터를 수신하는 케이블(cable) 및 그 연결 인터페이스를 포함할 수 있다.

내비게이션 장치(100)가 관절경의 기계적 전자적 어셈블리를 제어하는 관절경 수술 장치로 통합하여 구현되는 경우, 프로세서(130)는 관절경의 각 구성요소를 제어하는 신호를 발생할 수 있고, 관절경 카메라에서 촬영한 영상을 전처리하여 디스플레이부(120)에 표시할 수 있다. 이 경우, 종래의 관절경 수술 장치의 구성 요소를 추가적으로 포함할 수 있으며, 통상의 기술자에게 공지된 기술을 사용 가능하므로 자세한 설명을 생략한다.

도 5를 참조하여 본 개시의 일 실시 예에 따른 내비게이션 장치(100)의 3차원 뼈 모델 재건 방법을 설명한다.

내비게이션 장치(100)는 환자의 뼈를 촬영한 엑스레이 영상을 제공 받고(S110), 제공 받은 엑스레이 영상을 딥 러닝에 기반한 학습 모델에 입력하여 제공 받은 엑스레이 영상에서 촬영된 뼈에 대응하는 3차원 모델을 구성하기 위한 SSM의 파라미터를 결정할 수 있다(S120).

엑스레이 영상에 기반하여 SSM의 파라미터를 결정하는 딥 러닝 기반의 학습 모델의 실시 예들에 따라서, 한 장 또는 두 장의 엑스레이 영상이 사용될 수 있다. 두 장의 엑스레이 영상을 사용하는 경우, 뼈의 종류에 따라 동일한 뼈에서 다른 부위의 엑스레이 영상을 제공 받거나, 동일한 뼈의 동일한 부위의 다른 시야각에서 촬영한 엑스레이 영상을 제공 받을 수 있다.

예를 들어, 환자의 대퇴골(femur bone)을 촬영한 엑스레이 영상을 학습 모델에 입력하는 경우, 학습 모델의 훈련 데이터에 따라서 대퇴골 근위부(proximal femur)의 관절구(condyles)의 엑스레이 영상 한 장을 입력하거나, 대퇴골 원위부(distal femur)의 관절구 엑스레이 영상을 포함하여 두 장을 입력할 수 있다. 또는, 대퇴골 전체가 촬영된 한 장의 엑스레이 영상을 입력할 수도 있다. 이 경우, 일반 엑스레이 경우 대퇴골 전체를 동시에 촬영하기 위한 촬영 거리 증가로 인해 해상도가 낮아질 수 있으므로, 복수의 엑스레이 영상을 촬영하여 이를 결합한(stitching) 엑스레이 영상을 입력할 수 있다. 단일한 엑스레이 영상 또는 복수의 엑스레이 영상을 이용하여 SSM의 파라미터를 출력하는 학습 모델의 구조는 아래에서 설명한다.

내비게이션 장치(100)는 환자의 뼈를 촬영한 엑스레이 영상을 학습 모델에 입력하기 전에 복수의 학습 모델 중에서 환자의 정보(나이, 성별, 몸무게 및 키 중 적어도 어느 하나)에 기반하여 적합한 학습 모델을 결정하고, 결정된 학습 모델에 엑스레이 영상을 입력할 수 있다. 복수의 학습 모델은 환자의 나이, 성별, 몸무게 및 키 등에 따라 서로 다른 훈련 데이터로 학습된 학습 모델일 수 있다.

학습 모델에 입력되는 엑스레이 영상은 뼈의 종류 별로 미리 정해진 촬영 방향에서 촬영된 엑스레이 영상일 수 있다.

예를 들어, 학습 모델이 대퇴골 3차원 모델인 SSM의 파라미터를 출력하도록 훈련된 경우, 학습 모델에 입력되는 대퇴골 영상은 환자의 대퇴골의 대퇴원위부 관절구(distal condyles)를 기준으로 래터럴(lateral) 방향에 수직인 AP(Antero-Posterior) 방향 또는 PA(Posterior-Antero) 방향에서 환자의 대퇴골의 적어도 일부를 촬영한 영상일 수 있다.

내비게이션 장치(100)가 엑스레이 영상 촬영 장치를 제어하는 경우, 내비게이션 장치(100)는 엑스레이 영상 촬영 장치를 제어하여 학습 모델의 입력에 적합한 엑스레이 영상을 촬영하도록 엑스레이 소스 및 디텍터를 제어할 수 있다. 예를 들어, 학습 모델이 대퇴골 3차원 모델인 SSM의 파라미터를 출력하도록 훈련된 경우, C-arm 엑스레이 영상 촬영 장치의 소스 및 디텍터를 환자의 시상면(sagittal plane)에 수직한 방향으로부터 일정한 범위로 이동하며 촬영한 실시간 엑스레이 영상에서 환자의 대퇴골의 대퇴원위부 관절구를 인식할 수 있다. 내비게이션 장치(100)는 시상면에 수직한 방향의 일정 범위 이내에서 대퇴원위부 관절구의 중첩도가 가장 높은 방향으로 래터럴(측면) 방향을 결정할 수 있다. 내비게이션 장치(100)는 소스 및 디텍터를 환자의 래터럴 방향에 위치시킨 후, 결정된 래터럴 방향에 수직한 방향인 AP(Antero-Posterior) 방향 또는 PA(Posterior-Antero) 방향으로 소스 및 디텍터를 추가 이동시킨 후 환자의 대퇴골의 적어도 일부를 촬영하여 학습 모델에 입력하는 영상을 생성도록 엑스레이 영상 촬영 장치를 제어할 수 있다. AP 방향 또는 PA 방향은 환자의 관상면(coronal plane)을 수직하게 바라보는 방향과 유사할 수 있다.

엑스레이 영상 촬영 장치가 복수의 소스 및 디텍터를 갖는 C-arm 엑스레이 영상 촬영 장치인 경우, 래터럴 방향을 결정하여 하나의 소스 및 디텍터 페어를 위치시킴으로써 자동적으로 다른 페어는 래터럴 방향에 수직한 방향인 AP 방향 또는 PA 방향에 위치하게 된다.

도 6을 참조하여 본 개시의 일 실시 예에 따른 딥 러닝에 기반하여 엑스레이 영상을 입력 받아 SSM의 파라미터를 출력하는 학습 모델을 설명한다.

학습 모델(320)은 입력 데이터(310)로서 환자의 뼈의 적어도 일부를 촬영한 한 장(312) 또는 복수의 엑스레이 영상(316)을 입력 받을 수 있다. 또는, 복수의 엑스레이 영상이 결합된(fused) 영상(314)을 입력 받을 수 있다.

학습 모델(320)은 SSM으로부터 생성된 DRR(digitally reconstructed radiographs) 엑스레이 영상에 DRR 엑스레이 영상을 생성하기 위한 SSM의 파라미터로 레이블링한 데이터를 훈련 데이터의 적어도 일부로서 이용하여 훈련된 학습 모델일 수 있다. 훈련 데이터의 생성은 도 9 내지 도 11을 참조하여 아래에서 설명한다.

딥 러닝 기반의 학습 모델(320)은 CNN 또는 R-CNN(Region based CNN), C-RNN(Convolutional Recursive Neural Network), Fast R-CNN, Faster R-CNN, R-FCN(Region based Fully Convolutional Network), YOLO(You Only Look Once) 또는 SSD(Single Shot Multibox Detector)구조의 신경망을 포함할 수 있다.

학습 모델(320)은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있으며, 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어는 메모리에 저장될 수 있다.

학습 모델(320)은 환자의 뼈의 적어도 일부를 촬영한 한 장(312) 또는 복수의 엑스레이 영상(314, 316)을 입력 받아, SSM 파라미터(330)를 출력할 수 있다. 내비게이션 장치(100) 또는 별개의 장치는 SSM 파라미터(330)에 기반해서 SSM을 변형하여 뼈의 개인화된 3차원 모델(342)을 생성(시뮬레이션)(340)할 수 있다.

내비게이션 장치(100) 또는 별개의 장치는 복수의 뼈 팬텀(phantom) 또는 복수의 환자 CT 영상에서 생성된 뼈의 3차원 모델에 기반하여 SSM을 생성할 수 있다. SSM을 생성하는 것은 종래의 공지된 기술에 기반할 수 있으며 자세한 설명을 생략한다.

도 7을 참조하면, 학습 모델(320)은 사전 훈련된 가중치의 기존 아키텍처를 재사용하는 전이 학습을 통해 훈련된 모델(321)을 이용할 수 있다. 학습 모델은 전이 학습을 통해 훈련된 모델(321)의 출력을 풀링(pooling) 레이어(322), 플래튼(flatten) 레이어(323)로 입력하고 해당 출력을 FCN(Fully Convolutional Networks) 레이어 및 회귀(regression) 레이어로 입력할 수 있다. FCN 레이어는 드롭아웃(dropout)을 적용하여 훈련될 수 있다.

다른 실시 예에서, 복수의 엑스레이 영상(316)을 학습 모델(320)에 입력하는 경우, 각 엑스레이 영상은 서로 다른 전이 학습 모델, 풀링 레이어 및 플래튼 레이어에 입력하고 각 플래튼 레이어의 출력을 연결 시키는 연결 레이어(concatenate layer)에 입력한 후, 연결 레이어의 출력을 FCN 레이어에 입력시키는 구조일 수 있다.

다른 실시 예에서, 도 8을 참조하면, 복수의 엑스레이 영상이 결합된(fused) 영상(314, 314b)을 학습 모델(320, 320b)에 입력하는 경우, 복수의 엑스레이 영상(316b)을 딥러닝 기반의 퓨전 모델(350)에 입력한 결과한 결합된 영상(314, 314b)을 학습 모델(320, 320b)에 입력하는 것일 수 있다. 이 경우, 퓨전 모델(350) 및 학습 모델(320, 320b)은 복수의 엑스레이 영상(316b)이 SSM 파라미터로 레이블링된 데이터를 훈련 데이터의 적어도 일부로서 사용하여 훈련될 수 있다. 레이블링되는 SSM 파라미터는 DRR 이미지인 복수의 엑스레이 영상(316b)을 생성할 때 사용된 SSM 모델의 파라미터이다. 퓨전 모델(350)을 이용하는 경우, 퓨전 모델(350)과 학습 모델(320b)는 동시에 훈련될 수 있다. 따라서, 결합된 영상(314b)의 형태는 도 7 또는 도 8에 개시된 영상의 형태와 다를 수 있다.

도 6 내지 도 8의 학습 모델(320, 320b, 350)의 훈련 데이터로 사용되는 엑스레이 영상들(310)은 SSM 모델에서 생성된 DRR 엑스레이 영상일 수 있다. 도 10에서 설명한다.

도 9를 참조하여 본 개시의 일 실시 예에 따른 딥 러닝에 기반하여 엑스레이 영상을 입력 받아 SSM의 파라미터를 출력하는 학습 모델의 훈련 방법을 설명한다.

내비게이션 장치(100) 또는 학습 모델의 훈련 장치(이하에서는 훈련 장치로서 설명한다)는 복수의 뼈 팬텀 또는 복수의 환자 CT 영상에서 생성된 뼈의 3차원 모델에 기반하여 생성된 SSM을 제공 받고(S210), 제공 받은 SSM의 파라미터를 변경하여 복수의 3차원 모델을 생성할 수 있다(S220).

예를 들어, SSM의 변형 파라미터를 복수로 선택한 경우, 각 파라미터의 간격(step)을 조정하여 하나의 SSM으로부터 복수의 3차원 모델을 생성하거나, 복수의 파라미터의 서로 다른 조합 값으로 복수의 3차원 모델을 생성할 수 있다. 또는 두 가지 방법을 모두 사용하여 복수의 3차원 모델을 생성할 수 있다. 복수의 파라미터의 서로 다른 조합 값은 랜덤하게 결정될 수 있다.

훈련 장치는 SSM에 기반한 복수의 3차원 모델로부터 DRR 엑스레이 영상을 생성할 수 있다(S230).

도 10을 참조하면, 일 실시 예에서, 훈련 장치는 뼈의 종류마다 DRR 엑스레이 영상을 생성(430)하기 위한 가상 엑스레이 소스의 포인트(432) 및/또는 SSM에 기반한 3차원 모델(434)의 위치를 다르게 설정할 수 있다. 예를 들어, 대퇴골인 경우 복수의 대퇴골 SSM에 기반한 3차원 모델(410)의 각 3차원 모델(434)으로부터 대퇴골 근위부의 관절구의 DRR 엑스레이 영상 한 장을 생성하도록 가상 엑스레이 소스의 포인트(432)를 설정하거나 또는 SSM에 기반한 3차원 모델(434)의 위치를 이동하여, 대퇴골 원위부의 관절구의 DRR 엑스레이 영상(436)을 포함하여 두 장을 생성하도록 가상 엑스레이 소스의 포인트(432)를 설정할 수 있다. 또는, 대퇴골 전체의 DRR 엑스레이 영상을 생성하도록 가상 엑스레이 소스의 포인트(432)를 설정할 수 있다. 도 10은 SSM에 기반한 3차원 모델로부터 대퇴골 원위부의 관절구의 DRR 엑스레이 영상(436)을 생성하도록 가상 엑스레이 소스의 포인트(432)를 설정한 것을 도시한다.

훈련 장치는 가상 엑스레이 소스의 포인트(432)로부터 방사되는 것으로 가정된 레이(ray)를 각 SSM에 기반한 3차원 모델(434)에 투사하고, SSM에 기반한 3차원 모델(434)에 투사된 레이가 가상의 디텍터 평면에 형성되는 영상으로 DRR 엑스레이 영상(436)을 생성할 수 있다.

일 실시 예에서, 훈련 장치는 SSM에 기반하여 복셀화한(voxelized) 3차원 모델(434)로 가정하여 DRR 엑스레이 영상(436)을 생성할 수 있다. 예를 들어, SSM은 형상 모델(mesh model)이나 SSM에 기반한 3차원 모델(434) 내부를 값을 가지는 복셀로 변형(또는 전제)하여 레이가 통과하는 각 복셀에서의 레이 감쇄에 기반한 레이 캐스팅에 기반하여 DRR 엑스레이 영상(436)을 생성할 수 있다. 복셀의 값은 동일하게 결정하거나, 복수의 환자의 CT 영상에 기반한 통계적 데이터에 기반하여 설정할 수 있다. 또는, 환자의 나이별 성별에 따라 서로 다른 복셀 분포 값을 갖도록 SSM에 기반한 3차원 모델을 복셀화할 수 있다.

훈련 장치는 생성된 DRR 엑스레이 영상(436)을 해당 DRR 엑스레이 영상이 생성된 SSM에 기반한 3차원 모델(434)을 만들기 위해 이용된 SSM의 파라미터로 레이블링하여 학습 모델의 훈련 데이터로 사용할 수 있다.

훈련 장치는 뼈의 종류마다 DRR 엑스레이 영상을 생성(430)하기 전에 SSM에 기반한 3차원 모델을 정렬(aligning)(420)할 수 있다.

도 11을 참조하여 대퇴골의 SSM 파라미터를 출력하는 학습 모델의 훈련에 사용되는 DDR 엑스레이 영상을 생성하기 위한 대퇴골 SSM에 기반한 3차원 모델(410)의 정렬을 설명한다.

일 실시 예에서, 훈련 장치는 복수의 대퇴골 SSM에 기반한 3차원 모델(410)의 각 3차원 모델을 가상의 공간에 위치시키고(421), 가상의 엑스레이 포인트(432)의 위치에서 바라볼 때 대퇴골원위부의 관절구의 두 개의 둥근 돌기의 중첩 정도가 가장 높은 방향을 래터럴 위치로 결정(423)할 수 있다. 훈련 장치는 래터럴 위치에서 대퇴골을 90도 회전한 방향(425)으로 DRR 엑스레이 영상을 생성하기 위한 대퇴골의 정렬 방향으로 결정할 수 있다.

훈련 장치는 가상의 디텍터 평면에 생성된 대퇴골원위부의 관절구의 면적 또는 대퇴골원위부의 관절구의 인텐시티(intensity)의 평균 또는 대퇴골원위부의 관절구의 인텐시티의 분산 또는 대퇴골원위부의 관절구의 세그먼테이션 등의 영상 처리 기법이나 별도로 훈련된 학습 모델에 입력하여 대퇴골원위부의 관절구의 두 개의 둥근 돌기의 중첩 정도가 가장 높은 방향을 결정할 수 있다.

이후, 훈련 장치는 앞서 설명한 것처럼 대퇴골의 원위부 관절구(427) 또는 근위부 관절구(425) 중 어느 하나를 DRR 엑스레이 영상으로 생성하거나, 둘 모두를 DRR 엑스레이 영상으로 생성할 수 있다.

앞서 설명한 것처럼, 학습 모델은 뼈의 종류 별로 서로 다른 훈련 데이터로 훈련된 학습 모델일 수 있고, 이 경우 학습 모델의 훈련 데이터로 사용되는 DRR 엑스레이 영상을 생성하기 위해 뼈의 SSM에 기반한 3차원 모델을 정렬하는 방법은 뼈마다 다를 수 있다. 뼈의 SSM에 기반한 3차원 모델을 정렬하는 방법은 뼈의 형태학적 특성이 DDR 엑스레이 영상에서 잘 드러날 수 있는 정렬 방법일 수 있다.

전술한 본 개시는, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 각 장치의 프로세서를 포함할 수도 있다.

한편, 상기 프로그램은 본 개시를 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수 있다. 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 개시의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 개시에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 개시에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다. 본 개시에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 인자(factor)에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 개시의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 개시의 사상의 범주에 속한다고 할 것이다.

100: 내비게이션 장치
200: 엑스레이 영상 촬영 장치
310: 입력 데이터
330: SSM 파라미터
342: 뼈의 개인화된 3차원 모델
410, 434: SSM에 기반한 3차원 모델
430, 436: DRR 엑스레이 영상

Claims

각 단계의 적어도 일부가 프로세서에 의해 수행되는 단계로서,
환자의 뼈를 촬영한 적어도 한 장의 엑스레이 영상을 제공 받는 단계; 및
상기 엑스레이 영상을 딥 러닝에 기반한 학습 모델에 입력하여 상기 뼈에 대한 SSM(Statistical Shape Model)의 파라미터를 출력하는 단계를 포함하는,
3차원 뼈 모델 재건 방법.
제1 항에 있어서,
상기 학습 모델은 상기 SSM으로부터 생성된 DRR(digitally reconstructed radiographs) 엑스레이 영상에 상기 DRR 엑스레이 영상을 생성하기 위한 상기 SSM의 파라미터로 레이블링한 훈련 데이터를 적어도 일부 이용하여 훈련된,
3차원 뼈 모델 재건 방법.
제2 항에 있어서,
상기 SSM은 대퇴골 SSM이고, 상기 DRR 엑스레이 영상은 상기 대퇴골 SSM에 기반한 3차원 모델의 대퇴원위부 관절구(distal condyles)의 형상에 기반하여 결정된 투시 방향으로부터 생성된,
3차원 뼈 모델 재건 방법.
제2 항에 있어서,
상기 DRR 엑스레이 영상은 상기 SSM에 기반한 복셀화한(voxelized) 3차원 모델로부터 생성된,
3차원 뼈 모델 재건 방법.
제2 항에 있어서,
상기 학습 모델은 대퇴골의 대퇴원위부 영상 및 대퇴근위부 영상을 결합(fusion)하는 제1 딥러닝 모델 및 상기 제1 딥러닝 모델의 출력인 대퇴원위부 영상 및 대퇴근위부 영상이 결합된 퓨젼 영상을 입력으로 하여 상기 SSM의 파라미터를 출력하는 제2 딥러닝 모델을 포함하는,
3차원 뼈 모델 재건 방법.
제1 항에 있어서,
상기 SSM(Statistical Shape Model)의 파라미터를 출력하는 단계 이전에,
상기 환자의 나이, 성별, 몸무게 및 키 중 적어도 어느 하나를 제공 받는 단계를 더 포함하고,
상기 학습 모델은 복수의 학습 모델 중 상기 환자의 나이, 성별, 몸무게 및 키 중 적어도 어느 하나에 기반하여 선택된 상기 학습 모델인,
3차원 뼈 모델 재건 방법.
제1 항에 있어서,
상기 엑스레이 영상은 대퇴골을 촬영한 영상이고,
상기 SSM은 대퇴골 SSM인,
3차원 뼈 모델 재건 방법.
제1 항에 있어서,
상기 엑스레이 영상은 상기 환자의 대퇴골의 대퇴원위부 관절구(distal condyles)를 기준으로 래터럴(lateral) 방향에 수직인 AP(Antero-Posterior) 방향 또는 PA(Posterior-Antero) 방향에서 상기 환자의 대퇴골의 적어도 일부를 촬영한 영상인,
3차원 뼈 모델 재건 방법.
제1 항에 있어서,
엑스레이 소스 및 디텍터를 이동시키면서 획득한 상기 환자의 실시간 엑스레이 영상에서 상기 환자의 대퇴골의 대퇴원위부 관절구(distal condyles)의 중첩도에 기반하여, 상기 환자의 대퇴골의 대퇴원위부 관절구를 기준으로 래터럴 방향을 결정하는 단계; 및
결정된 래터럴 방향에 수직인 AP(Antero-Posterior) 방향 또는 PA(Posterior-Antero) 방향에서 상기 환자의 대퇴골의 적어도 일부를 촬영하여 상기 엑스레이 영상을 생성하는 단계를 더 포함하는,
3차원 뼈 모델 재건 방법.
딥 러닝에 기반한 적어도 하나의 학습 모델 및 환자의 뼈를 촬영한 적어도 한 장의 엑스레이 영상을 저장하는 저장부;
프로세서; 및
상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고,
상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가,
상기 엑스레이 영상을 딥 러닝에 기반한 상기 학습 모델에 입력하여 상기 뼈에 대한 SSM(Statistical Shape Model)의 파라미터를 출력하도록 야기하는 코드를 저장하는,
3차원 뼈 모델 재건 장치.
제10 항에 있어서,
상기 학습 모델은 상기 SSM에 기반한 3차원 모델로부터 생성된 DRR(digitally reconstructed radiographs) 엑스레이 영상에 상기 DRR 엑스레이 영상을 생성하기 위한 상기 SSM의 파라미터로 레이블링한 훈련 데이터를 적어도 일부 이용하여 훈련된,
3차원 뼈 모델 재건 장치.
제11 항에 있어서,
상기 SSM은 대퇴골 SSM이고, 상기 DRR 엑스레이 영상은 상기 대퇴골 SSM에 기반한 3차원 모델의 대퇴원위부 관절구(distal condyles)의 형상에 기반하여 결정된 투시 방향으로부터 생성된,
3차원 뼈 모델 재건 장치.
제11 항에 있어서,
상기 DRR 엑스레이 영상은 상기 SSM에 기반한 3차원 모델로부터 생성된,
3차원 뼈 모델 재건 장치.
제11 항에 있어서,
상기 학습 모델은 대퇴골의 대퇴원위부 영상 및 대퇴근위부 영상을 결합(fusion)하는 제1 딥러닝 모델 및 상기 제1 딥러닝 모델의 출력인 대퇴원위부 영상 및 대퇴근위부 영상이 결합된 퓨젼 영상을 입력으로 하여 상기 SSM의 파라미터를 출력하는 제2 딥러닝 모델을 포함하는,
3차원 뼈 모델 재건 장치.
제10 항에 있어서,
상기 메모리는 상기 프로세서로 하여금,
상기 환자의 나이, 성별, 몸무게 및 키 중 적어도 어느 하나를 제공 받고, 상기 환자의 나이, 성별, 몸무게 및 키 중 적어도 어느 하나에 기반하여 선택한 상기 학습 모델에 상기 엑스레이 영상을 입력하도록 야기하는 코드를 더 저장하는,
3차원 뼈 모델 재건 장치.
제10 항에 있어서,
상기 엑스레이 영상은 대퇴골을 촬영한 영상이고,
상기 SSM은 대퇴골 SSM인,
3차원 뼈 모델 재건 장치.
제10 항에 있어서,
상기 엑스레이 영상은 상기 환자의 대퇴골의 대퇴원위부 관절구(distal condyles)를 기준으로 래터럴(lateral) 방향에 수직인 AP(Antero-Posterior) 방향 또는 PA(Posterior-Antero) 방향에서 상기 환자의 대퇴골의 적어도 일부를 촬영한 영상인,
3차원 뼈 모델 재건 장치.
제10 항에 있어서,
상기 메모리는 상기 프로세서로 하여금,
엑스레이 소스 및 디텍터를 이동시키면서 획득한 상기 환자의 실시간 엑스레이 영상에서 상기 환자의 대퇴골의 대퇴원위부 관절구(distal condyles)의 중첩도에 기반하여, 상기 환자의 대퇴골의 대퇴원위부 관절구를 기준으로 래터럴 방향을 결정하고, 결정된 래터럴 방향에 수직인 AP(Antero-Posterior) 방향 또는 PA(Posterior-Antero) 방향에서 상기 환자의 대퇴골의 적어도 일부를 촬영하여 상기 엑스레이 영상을 생성하도록 야기하는 코드를 더 저장하는,
3차원 뼈 모델 재건 장치.