KR102392372B1

KR102392372B1 - 인공지능을 이용하여 3차원 곡면 형태의 환부를　저주파필터를 통해 전개하는 방법

Info

Publication number: KR102392372B1
Application number: KR1020200174234A
Authority: KR
Inventors: 유석환
Original assignee: 주식회사 로킷헬스케어
Priority date: 2020-12-14
Filing date: 2020-12-14
Publication date: 2022-05-03
Also published as: KR20220085753A

Abstract

본 명세서는 인공지능을 이용하여 3차원 곡면 형태의 환부를　저주파필터를 통해 전개하는 방법을 개시한다. 본 명세서에 따른 환부 전개 방법은 인공지능을 이용하여 3차원 곡면 형태의 환부를　저주파필터를 통해 전개하는 방법으로서, 3D 환부 모델의 포인트 클라우드에 대해 XZ평면으로 포인트 클라우드를 슬라이싱하고, 차단 주파수(fc)를 환부의 곡면 주파수 보다 α% 높게 설정한 저주파필터(LPF)를 통해 좌표 변환 값을 산출하는 방식으로 전개할 수 있다.

Description

인공지능을 이용하여 3차원 곡면 형태의 환부를　저주파필터를 통해 전개하는 방법{A METHOD OF UNFOLDING THE AFFECTED AREA IN THE FORM OF A 3D CURVED SURFACE THROUGH LOW-PASS FILTER USING ARTIFICIAL INTELLIGENCE}

본 발명은 인공지능을 이용한 환부 데이터 처리에 관한 것이며, 보다 상세하게는 인공지능을 이용하여 3차원 곡면 형태의 환부를　저주파필터를 통해 전개하는 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 명세서에 기재된 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래 기술을 구성하는 것은 아니다.

3D 프린팅(3D printing) 기술의 응용 및 발전 분야인 3D 바이오프린팅(bioprinting)은 3D 프린트 기술을 기반으로 하여, 콜라겐과 같은 세포외기질(Extracellular Matrix: 이하 ECM) 또는 이를 모방한 바이오 잉크(bio-ink)를 세포 및 다른 바이오 물질(biomaterials)와 결합하여 원하는 형태를 만드는 기술이다. 현재 3D 바이오프린팅은 원하는 목적과 생물학적 환경에 맞추어 다양한 방법이 개발되고 있으며, 이와 더불어 다양한 바이오 잉크 역시 연구되고 있다.

이러한 3D 바이오프린팅은 ECM 또는 바이오 잉크를 원하는 형태로 구성하고, ECM 또는 바이오 잉크에 필요한 세포를 배양하여 실제와 같은 기능을 갖는 생체 기관 또는 조직을 제작한다. 3D 바이오프린팅에서 가장 중요한 이슈 중 하나는 세포가 죽지 않고 지속적으로 기능할 수 있도록, 재료가 되는 세포 및 바이오 물질을 최대한 안정하게 보관하고 사용 가능하도록 하는 것이다.

이러한 3D 바이오프린팅에서 출력물의 품질을 좌우하는 중요한 요소 중 하나가 바로 출력물이 얼마나 환부에 일치하는지 이다. 이를 위해서는 환부의 입체 형상을 정확하게 촬영하고, 이를 3D 모델링하는 과정이 중요한 과정으로 취급되어야 한다.

대한민국 등록특허공보　10-1828345 (2018.02.06)

본 명세서는 인공지능을 이용하여 3차원 곡면 형태의 환부를　저주파필터를 통해 전개하는 방법을 제공하는 것을 목적으로 한다.

본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 명세서에 따른 환부 전개 방법은 환부에 대한 3D 데이터를 전개하는 방법으로서, 프로세서가 (a) 환부에 대한 포인트 클라우드로 이루어진 3D 데이터를 저장하는 단계; (b) 3차원 좌표의 기준이 되는 3개의 축 중 제1 축을 기준으로 미리 설정된 샘플링 주파수(fs)에 따라 상기 3D 데이터를 나누는 단계; (c) 상기 (b) 단계에서 나누어진 3D 데이터(이하 '슬라이싱 3D 데이터') 중 어느 한 슬라이싱 3D 데이터의 곡면 주파수보다 미리 설정된 비율만큼 높게 설정된 주파수를 차단 주파수(fc)로 설정하는 단계; (d) 상기 차단 주파수(fc)를 가진 저주파필터에 상기 슬라이싱 3D 데이터를 통과시켜 곡선 포인트를 산출하는 단계; 및 (e) 상기 곡선 포인트를 포함하는 아래 수식을 이용하여 제2 축과 제3 축에 대한 변환된 슬라이싱 3D 데이터를 산출하는 단계;를 포함할 수 있다.

[수식]

P(x, y, z) -> P'(x', y, z')

z'_i= z_i - z_curve_i

z_curve_i : 곡선 포인트의 y_i와 동일

본 명세서의 일 실시예에 따르면, 상기 (a) 단계는, (a-1) 저장된 3D 데이터를 제1 축 및 제2 축에 대한 경사값을 산출하는 단계; (a-2) 산출된 경사값의 벡터 합을 산출하는 단계; 및 (a-3) 백터 합이 제2 축과 이루는 경사만큼 저장된 3D 데이터를 제2 축 방향으로 회전시키는 단계;를 더 포함할 수 있다.

본 명세서의 일 실시예에 따르면, 상기 샘플링 주파수(fs)는 포인트 클라우드의 최소 간격의 1/n 간격(n은 자연수)일 수 있다.

본 명세서의 일 실시예에 따르면, 상기 (d) 단계는, 슬라이싱 3D 데이터 중 제1 축에 대한 값이 0인 지점에서 앞뒤로 패딩 데이터를 더 추가하고 저주파필터를 통과시키는 단계일 수 있다.

본 명세서에 따른 환부 3D 데이터 전개 방법은, 환부 3D 데이터 전개 방법의 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램의 형태로 구현될 수 있다.

발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 명세서에 따르면, 3차원 형상의 환부 3D 모델링 데이터를 3D 프린팅에 적합하도록 전개시킬 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 명세서에 따른 3D 환부 덮개를 생성하는 전체적인 흐름도이다.
도 2는 본 명세서에 따른 3D 환부 덮개의 생산 과정에 대한 보다 구체화된 흐름도이다.
도 3은 본 명세서의 일 실시예에 따른 환부 경계 인식을 위한 인공지능 학습 방법이다.
도 4는 본 명세서에 따른 환부 경계 인식을 위한 인공지능 학습 방법이다.
도 5는 환부 경계 인식을 위한 학습시 사용될 수 있는 기법의 참고도이다.
도 6은 본 명세서에 따른 인공지능 학습 방법에서 후처리의 참고도이다.
도 7은 본 명세서의 다른 실시예에 따른 환부 경계 인식 방법의 흐름도이다.
도 8은 본 명세서에 따른 환부 경계 인식 방법과 관련된 참고도이다.
도 9는 본 명세서의 또 다른 실시예에 따른 환부 경계 인식 방법의 참고도이다.
도 10은 환부 스캔 후 3D 모델링된 환부의 참고도이다.
도 11은 본 명세서의 일 실시예에 따른 환부 3D 데이터 전개 방법이다.
도 12는 곡선 방정식의 다양한 차수에 대한 참고도이다.
도 13은 환부 전개에 대한 참고도이다.
도 14는 본 명세서의 일 실시예에 따른 환부 3D 데이터 전개 방법이다.
도 15는 본 명세서의 일 실시예에 따른 환부 덮개 3D 데이터 생성 방법의 흐름도이다.
도 16은 환부 덮개 3D 데이터의 예시도이다.
도 17은 본 명세서의 다른 실시예에 따른 환부 덮개 3D 데이터 생성 방법의 흐름도이다.

본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 명세서의 권리 범위를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓일 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 명세서에 따른 3D 환부 덮개를 생성하는 전체적인 흐름도이다.

도 1을 참조하면, 병원에서 환자의 환부를 촬영하고, 촬영 자료가 서버를 통해 3D 환부 덮개 생산자에게 전달된다. 생산자는 환부를 촬영한 3D 데이터를 이용하여 환부에 알맞는 3D 환부 덮개를 생산한다.

도 2는 본 명세서에 따른 3D 환부 덮개의 생산 과정에 대한 보다 구체화된 흐름도이다.

도 2를 참조하면, 먼저 환부를 촬영한다. 상기 촬영은 3D 모델을 생성하기 위한 목적이므로, 3D 스캐너 또는 RGB-D 카메라와 같이 3D 데이터를 생성할 수 있는 장치를 이용하여 환부를 촬영할 수 있다.

다음으로, 촬영된 이미지 내에서 환부 영역의 경계를 인식하는 과정이 필요하다. 당뇨병 환자의 발은 피부 표면에서 내부를 향하여 괴사가 진행되는 경우가 있다. 이러한 당뇨성 족부 괴사가 일어난 환부를 메꾸는 3D 환부 덮개를 생산하기 위함이므로, 환부의 경계를 정확하게 인식하는 작업이 필요하다.

다음으로, 촬영 이미지를 3D 데이터로 변환한다. 이때, 변환된 3D 데이터에는 앞서 확인된 환부의 경계에 대한 데이터도 함께 포함될 수 있다.

다음으로, 환부 영역에 대해서만 3D 모델을 생성한다. 환부 3D 모델은 각각의 점에 대한 3차원 좌표로 표현된 포인트 클라우드(Point Cloud) 데이터로 이루어질 수 있다.

다음으로, 환부 3D 모델을 이용하여 환부 덮개용 3D 모델을 생성할 수 있다. 환부 덮개용 3D 모델은 환부를 메꾸는 형상이므로, 환부 3D 모델과 환부 덮개용 3D 모델은 상호 대응하는 형상을 가지고 있다.

다음으로, 3D 바이오 프린터가 환부 덮개용 3D 모델을 이용하여 바이오 생체 소재로 환부 덮개를 출력한다. 환부 덮개는 환부에 부착되어 괴사한 부위가 새 조직으로 채울 수 있도록 도움을 준다.

한편, 본 명세서에서는 당뇨성 족부 괴사를 예시로 본 발명에 대한 상세한 설명은 진행하겠다. 그러나 본 명세서에 기재된 발명인 당뇨성 족부 괴사에만 적용되는 기술은 아니며, 본 명세서에 기재된 예시에 의해 본 발명의 권리범위가 제한되는 것은 아니다. 이하에서, 각 단계에 대한 보다 자세한 설명을 하겠다.

[환부 경계 인식]

환부를 촬영한 이미지에서는 환부와 환부 이외 부분이 함께 촬영된다. 이때, 환부와 환부 이외 부분을 정확하게 구분하기 위해, 환부의 경계에 대한 인식이 필요하다. 환부 경계를 인식시키기 위한 방법으로서, 사람이 직접 환부 경계를 설정하는 방법, 인공지능 학습을 통해 자동으로 경계를 인식시키는 방법, 3D 데이터를 이용하여 경계를 계산하는 방법이 있을 수 있다. 이 중에서 사람이 직접 환부의 경계를 설정하는 방법은, 의사와 같은 전문가가 마우스, 터치펜과 같은 장비를 이용하여 경계 정보를 입력하는 방식이다. 따라서, 사람이 직접 환부 경계를 설정하는 방법을 제외한 나머지 방법에 대해서 보다 자세히 설명하겠다.

<인공지능 학습을 통한 환부 경계 인식>

도 3은 본 명세서의 일 실시예에 따른 환부 경계 인식을 위한 인공지능 학습 방법이다.

도 3을 참조하면, 본 명세서에 따른 인공지능 학습 방법의 개략적인 흐름을 확인할 수 있다. RGB-D 카메라를 이용하여 촬영한 다양한 환자의 환부를 학습용 이미지로 준비한다. 학습학습용 이미지를 이용하여 딥러닝과 같은 인공신경망을 학습시키고, 학습된 인공신경망이 1차적으로 환부의 경계를 인식한 결과물을 출력하게 한다. 이때 1차적으로 인식한 환부의 경계에는 에러를 포함할 수 있다. 이러한 에러는 의사와 같은 전문가에 의해 수정되고, 최종 경계로 인식된 자료를 다시 학습 이미지로 활용하여 강화 학습이 이루어질 수 있다.

이러한 지도 학습 또는 지도 강화 학습은 학습용 데이터가 많을 수록 인공신경망을 성능이 향상될 수 있다. 그러나 수천만개의 이미지 데이터를 손쉽게 구할 수 있는 일반 사물 인식과는 달리, 환부 이미지 데이터는 많은 양의 이미지 데이터(RGB-D 이미지 데이터)를 확보하는 것이 매우 어렵다. 예를 들어, 당뇨성 족부 괴사 환부 이미지 데이터의 경우 환자별로 환부의 상태가 매우 상이하며, 공개되어 있는 가장 큰 규모의 데이터 세트마저도 약 2,000~4,000개 정도에 불과하다. 따라서, 본 명세서에 따른 인공지능 학습 방법은 적은 양의 학습 이미지를 이용하여 보다 효과적인 학습이 이루어질 수 있는 방법을 제시한다.

도 4는 본 명세서에 따른 환부 경계 인식을 위한 인공지능 학습 방법이다.

도 4를 참조하면, 먼저 단계 S10에서 복수의 환부 이미지 데이터를 저장할 수 있다. 상기 환부 이미지 데이터는 2D 이미지 데이터일 수 있고, 또는 3D 이미지 데이터일 수도 있다.

다음 단계 S11에서 각 환부 이미지 데이터를 전처리(pre-processing)할 수 있다. 상기 전처리의 예시로서 측정 정보 분리 또는 데이터 증강 기법이 포함될 수 있다.

측정 정보 분리란, 환부의 크기를 판단하는데 필요한 정보를 환부 이미지 데이터에서 분리하는 것을 의미한다. 병원에서 환부를 촬영하는 경우, 환부의 크기를 알 수 있도록 자(ruler) 또는 마커(marker)를 환부와 함께 촬영하는 경우가 다수 존재한다. 이러한 정보는 이미지 데이터 내 환부의 크기를 판단하는데 도움을 주지만, 환부의 경계를 판단하는 것에는 큰 도움을 주지 못한다. 따라서, 환부 이미지 데이터에서 측정 도구와 관련된 영역을 자르고 남은 영역만 학습용 이미지 데이터로 사용할 수 있다. 이때, 잘려진 측정 도구 영역은 환부의 크기 판단을 위한 측정 정보(예, 사진상 1cm에 해당하는 픽셀 숫자가 1000개인 경우, 0.001로 기록)로 별도로 저장될 수 있다.

데이터 증강 기법(Data augmentation )이란, 제한된 데이터를 학습용 데이터로 증가시키는 방법을 의미한다. 데이터 증강 기법으로서 Color randomization, Adjust image intensity value, enhanced contrast using histogram equalization, contrast-limited adaptive histogram equalization, Blurring(Gaussian/Median), Affine transformation, Brightness randomization 등이 사용될 수 있다.

다음 단계 S12에서 학습 이미지 데이터를 이용하여 인공신경망을 학습 시킬 수 있다. 본 명세서에 따른 인공지능 학습 방법은 환부 경계 인식을 위한 것이므로, 분류(Classification)에 특화된 Faster R-CNN 네트워크에 기반하여 인공신경망이 구성될 수 있다. 그러나 환부 주변에 바운딩 박스(bounding box)를 표시해주는 수준에서 더 나아가, 복잡한 환부 경계를 정확히 인식하기 위하여 RoI Align, Mask R-CNN, Feature Pyramid Network, TTA & Model ensemble 기법들을 추가/변경하여 사용할 수 있다.

도 5는 환부 경계 인식을 위한 학습시 사용될 수 있는 기법의 참고도이다.

도 5의 (a)를 참조하면, 기존 Faster R-CNN의 RoI pooling 방식은 CNN 네트워크를 통해 크기가 작아지는 feature map 상에서 소수점 아래 자리를 버리고 정수로 계산하면서 인식된 사물의 영역이 misalign 되는 문제가 있다. 본 명세서에 따른 인공지능 학습 방법은 정밀한 segmentation을 위하여 bilinear interpolation을 활용하여 소수점 단위로 작아진 feature map 상에서도 정확한 사물 영역을 인식할 수 있다.

도 5의 (b)를 참조하면, Object classification 및 detection 성능이 좋은 Faster R-CNN을 활용하면서 환부의 상세한 테두리를 segmentation 하는 작업에도 활용하기 위하여 별도의 Mask 네트워크를 추가한 Mask R-CNN 구조를 활용할 수 있다. 본 명세서에 따른 인공지능 학습 방법은 Classification을 수행하고 사물 주위로 Bounding box를 생성하는 Faster R-CNN을 그대로 유지하고, 별도로 Mask 네트워크 branch를 구성할 수 있다.

도 5의 (c)를 참조하면, 한 장의 이미지에서 환부가 어떤 크기로 존재할지 예측하기 힘들며, 어떤 경우에는 사진 전체에 환부를 클로즈업되어 있기도 하고, 어떤 경우에는 멀리서 촬영하여 환부가 매우 작게 나타나기도 한다. 이와 같은 이유로 인하여 결과적인 feature map의 크기가 원본 사진에 비해 작아지는 CNN 네트워크 구조는 작은 환부를 인식하는데 어려움을 주기 쉽다. 따라서, 본 명세서에 따른 인공지능 학습 방법은 feature map을 다양한 크기고 up-sampling 해서 feature를 추출하는 feature pyramid network 기법을 활용할 수 있다.

도 5의 (d)를 참조하면, 앞서 학습된 모델을 이용하여 새로운 환부 사진에 대해 prediction을 수행할 경우, 새로 촬영한 사진의 각도, 방향, 크기 등에 따라 같은 환부에 대해서도 서로 다른 결과가 나타날 수 있다. 이를 방지하기 위하여 본 명세서에 따른 인공지능 학습 방법은 학습 이미지를 모델에 입력하기에 앞서 이미지의 각도, 방향, 크기레 다양하게 변화를 주어 각각의 이미지를 인공신경망에 입력하여 예측을 수행한다. Soft NMS를 통해 모든 결과를 통합하여 최종 prediction 결과를 얻을 수 있다.

도 5의 (e)를 참조하면, Faster R-CNN에도 다양한 variant가 존재한다. 본 명세서에 따른 인공지능 학습 방법은 대표적인 variant 3가지(Cascade R-CNN, Deformable Convolution v2, Prime Sample Attention)를 활용하여 별도의 학습을 진행한 후, weighted boxes fusion 기법을 통해 최종 예측 결과를 도출할 수 있다.

한편, 상기 도 5를 참조하여 설명된 학습 방법은 모두 예시에 한하며, 본 명세서에 따른 인공지능 학습 방법이 상기 예시에 제한되는 것은 아니다.

다시 도 4를 참조하면, 단계 S13에서 인공 신경망이 출력한 결과물에 대한 후처리가 이루어 질 수 있다. 상기 후처리는 인공 신경망이 인식한 환부 경계를 보다 부드러운 곡선으로 연결하는 작업이 될 수 있다.

도 6은 본 명세서에 따른 인공지능 학습 방법에서 후처리의 참고도이다.

도 6을 참조하면, segmentation 인식 결과로부터 윤곽(contour)을 인식할 수 있다(a). 그리고 Douglas-Peucker algorithm을 사용하여 윤곽을 구성할 수 있는 최소한의 꼭지점(vertex point)를 추출할 수 있다(b). 추출된 모든 꼭지점들을 Catmull-Rom spline 알고리즘으로 연결하여 날카로운 부분이 없은 부드러운 곡선으로 연결할 수 있다(c). 이때, 사람이 직접 꼭지점들을 이동시킬 수도 있다.

또한, 대부분의 환부 사진 데이터셋은 온전한 환부만을 담고 있는 경우가 대부분이다. 그러나, 실제 수술시에는 빈번히 debridement 라고 하는 손상 또는 감염된 조직을 제거하는 작업을 진행하며 이로 인하여 출혈이 발생하게 된다. 이와 같은 출혈은 머신러닝 알고리즘으로 환부 테두리를 예측하는 데에 있어 부정확한 결과를 낳기 쉬우며, 이를 보정하기 위하여 다음의 후처리를 수행할 수 있다. 출혈 영역 인식은 CIELAB 색공간과 CMYK 색공간에 서로 다른 weight를 주어 조합하면 출혈 영역을 측정할 수 있다. (A(x,y): CIELAB의 A채널, M(x,y): CMYK의 M채널)

출혈 영역에 edge detection을 수행하여 경계를 추출하고, 환부 경계와 출혈영역 경계가 분기하는 지점을 찾는다. 환부경계에 대한 gradient를 계산하고, 해당 지점 주변의 gradient에 따라 Polynomial regression 곡률 방정식의 계수 행렬을 구할 수 있다. 곡률 방정식을 대입하여 해당 구간에 대한 환부 경계를 수정할 수 있다.

상술된 본 명세서에 따른 인공지능 학습 방법을 통해 훈련된 인공신경망을 통해 환부를 촬영한 이미지에서는 환부의 경계를 인식할 수 있다.

<환부의 중심점을 이용한 환부 경계 인식>

앞서 설명한 인공지능을 통한 환부 경계를 인식하는 방법은 환부의 이미지에서 RGB 데이터만을 이용한 방법이라고 할 수 있다. 그러나 상기 환부를 촬영한 이미지 데이터는 RGB-D 데이터일 수 있는바, 환부의 깊이 정보를 활용하여 환부의 경계를 인식하는 방법을 설명하겠다. 이하에서 설명될 방법은 환부의 경계에서 피부와 환부의 경사가 급격하게 변화하는 특성을 이용한 방법이다.

도 7은 본 명세서의 다른 실시예에 따른 환부 경계 인식 방법의 흐름도이다.

도 8은 본 명세서에 따른 환부 경계 인식 방법과 관련된 참고도이다.

도 7을 참조하면, 먼저 단계 S20에서 환부를 촬영한 3D 이미지 데이터를 저장할 수 있다. 상기 3D 이미지 데이터에 대해서는 앞서 설명하였으므로 반복적인 설명은 생략한다.

다음 단계 S21에서 상기 이미지 데이터에서 환부의 내부에 위치한 한 점을 기준점으로 설정할 수 있다. 상기 기준점은 이후 환부 경계를 판단하기 위한 연산에 사용되는 좌표로서, 환부의 중심에 가까울 수록 바람직한 기준점이 될 수 있다.

일 예로, 환부의 경계가 아직 어디 인지 모르는 상황에서 사용자가 입력한 좌표를 기준점으로 설정할 수 있다. 사용자는 3D 이미지 데이터를 디스플레이를 통해 확인하며 환부의 테두리가 가장 많이 보이도록 회전시킬 수 있다. 그리고 사용자는 환부의 경계 안쪽 임의의 부위 바람직하게 중심 부위를 마우스로 클릭하여 선택할 수 있다.

다음 단계 S22에서 상기 기준점(O)을 중심으로 미리 설정된 반경에 포함된 포인트 클라우드들 형성된 삼각형의 평균 법선을 산출할 수 있다(도 8의 (a) 참조). 3D 이미지 데이터는 3차원 좌표상에 점들에 대한 데이터로 표현될 수 있다. 이 3차원 좌표상의 점들을 포인트 클라우드(Point Cloud)라 하고, 3개의 점들로 이루어진 삼각형들을 본 명세서에서는 '3D 삼각면'이라 명명하겠다. 상기 3D 삼각면은 입체 형상을 구성하는 가장 작은 단위의 면에 해당한다. 상기 미리 설정된 반경은 환부 및 환부 경계를 넘어서 정상 피부표면까지 모두 포함할 수 있도록 충분히 크게 설정되는 것이 바람직하다. 각 3D 삼각면의 법선 벡터를 산출하는 것과, 산출된 법선 벡터를 이용하여 평균 법선 벡터를 산출하는 것은 당업자에게 알려져 있으므로 상세한 설명은 생략한다.

이렇게 산출된 평균 법선은 환부 전 영역에 수직하는 축이 될 수 있다. 즉, 환부 전 영역을 가장 잘 나타낼 수 있는 중심 축이 될 수 있다. 따라서, 다음 단계 S23에서 상기 평균 법선과 상기 법선에 수직하는 제1 축을 포함하는 평면을 설정할 수 있다. 바람직하게, 상기 3D 이미지 데이터는 상기 평균 법선이 Z축과 일치하도록 회전될 수 있다. 이 경우, 상기 법선은 Z축이고, 상기 제1 축은 X축이고, 상기 평면은 XZ평면이 될 수 있다(도 8의 (b) 참조).

다음 단계 S24에서 상기 (XZ)평면과 상기 각 3D 삼각면과의 교차점을 산출하고, 상기 교차점을 이용하여 각 3D 삼각면의 기울기를 산출할 수 있다(도 8의 (c) 참조).

다음 단계 S25에서 상기 기준점으로부터 멀어지는 방향으로 인접한 3D 삼각면의 기울기 변화량을 산출할 수 있다.

다음 단계 S26에서 두 가지 기준을 통해 환부 경계로 예상되는 후보를 선택할 수 있다. 우선, 상기 산출된 기울기 변화량들 중 미리 설정된 기준 기울기 변화량값 이하인 유지되는 기울기 변화량들과 관계된 3D 삼각면들을 선택한다. 즉, 기울기의 변화가 급격하지 않은 3D 삼각면들을 선택한다. 그리고 선택된 3D 삼각면들 중 서로 연결된 3D 삼각면들을 연결한 길이가 미리 설정된 기준 길이값 이상으로 유지되는지 여부를 판단한다. 즉, 기울기의 변화 없이 일정 길이 이상 유지되는지 여부이다. 일정 이상 길이가 될 경우, 각 길이의 시작점을 후보 리스트로 저장한다.

환부의 내부에는 괴사에 따라 울퉁불퉁한 표면이 형성될 것이고, 환부 경계에서는 기울기가 급격하게 변화할 것이다. 또한, 환부의 경계 바깥 영역 즉, 정상 피부는 기울기 변화가 거의 없을 것이다. 따라서, 기울기 변화가 별로 없는 상태가 일정 길이 이상 유지되는 곳의 시작이라면, 환부의 경계에서 정상 피부로 이어지는 시작점이 될 수 있다. 따라서, 이 시작점들을 후보 리스트로 저장하는 것이다.

다음 단계 S27에서 상기 단계 S23에서 설정된 (XZ)평면을 상기 평균 법선(Z축)을 회전축으로 하여 미리 설정된 각도로 회전시킬 수 있다. 그리고 회전된 (XZ)평면과 만나는 새로운 3D 삼각면에 대해서 단계 S24 내지 단계 S27을 반복하면서 후보 리스트를 축적할 수 있다.

일 예시에 따르면, 상기 (XZ)평면은 시계방향으로 0.1도씩 회전될 수 있다. 따라서 시작점은 0도라고 가정할 때, 후보 리스트는 0~3599번 축적될 수 있다. 상기 과정을 반복하면서 최초 시작지점인 0도에 도달할 때(단계 S28의 'YES'), 3D 이미지 데이터에 포함된 모든 3D 삼각면에 대한 연산이 완료될 수 있다.

다음 단계 S29에서, 상기 축적된 후로 리스트에 포함된 시작점들 중 미리 설정된 기준 거리(예: 0.5mm) 내에 인접한 시작점들을 서로 연결하여 폐곡선을 형성할 수 있다. 상기 폐곡선이 바로 환부의 경계에 해당할 수 있다.

만약, 단계 S29에서 복수의 폐곡선이 형성될 때, 상기 복수의 폐곡선 중 상기 기준점을 내부에 포함하는 폐곡선을 선택할 수 있다. 또한, 상기 기준점을 내부에 포함하는 폐곡선이 복수인 경우, 가장 큰 폐곡선을 선택할 수 있다.

본 명세서의 일 예시에 따르면, 3D 이미지 데이터 내 표면 색상(RGB값)이 미리 설정된 기준 색상값 이상 변화하는 곳을 추가 정보로 활용하여 폐곡선을 수정 보완할 수 있다. 환부와 정상 피부의 색깔이 서로 상이한 점을 이용하는 것이다.

이후, 폐곡선을 이동 평균으로 스무딩(Smoothing)처리하고, 폐곡선 내 3D 삼각면 정보 리스트를 배열(WL)로 관리할 수 있다. 즉, 환부의 3D 형상만 추출할 수 있다.

<환부의 임시 경계선을 이용한 환부 경계 인식>

한편, 도 7 및 도 8을 참조하여 설명한 환부 경계 인식 방법은 3D 이미지 데이터에 포함된 모든 3D 삼각면에 대한 연산이 이루어진다. 이 과정은 연산량 부담으로 인해 처리 속도를 저하시키는 요인이 될 수 있다. 대략의 환부 경계를 알고 있고, 대략의 환부 경계에서 정확한 경계만 인식시킬 수 있다면, 연산량을 줄여서 속도를 향상시킬 수 있다.

도 9는 본 명세서의 또 다른 실시예에 따른 환부 경계 인식 방법의 참고도이다.

도 9의 (a)를 참조하면, 환부의 경계에 임시 경계선이 설정된 것을 확인할 수 있다. 상기 임시 경계선은 앞서 도 4를 참조하여 설명한 인공지능 학습을 통한 환부 경계 인식 방법을 통해서 설정될 수 있다. 또한, 사용자가 환부의 테두리를 마우스로 클릭 또는 화면 터치를 통해 다각형의 임시 경계선을 지정할 수도 있다. 이 경우, 도 7의 단계 S20에서 환부를 촬영한 3D 이미지 데이터와 환부의 테두리를 포함하는 임시 경계선 데이터를 함께 수신할 수 있다.

도 9의 (b)를 참조하면, 상기 임시 경계선을 기준으로 미리 설정된 길이만큼 확장된 제1 폐곡선(C1)과 미리 설정된 길이만큼 축소된 제2 폐곡선(C2)을 생성할 수 있다.

그리고 도 7의 단계 S21에서 상기 제2 폐곡선 내부 영역을 균등하게 4개로 나누는 2개의 가상선이 교차하는 교차점을 기준점으로 설정할 수 있다. 이후 단계 S22 및 단계 S23은 동일하다.

반면, 도 7의 단계 S24에서 상기 제1 폐곡선과 상기 제2 폐곡선 사이에 위치한 3D 삼각면들에 대해서만 상기 평면과의 교차점을 산출할 수 있다. 즉, 3D 이미지 데이터에 포함된 모든 3D 삼각면이 아닌, 환부의 경계로 예상되는 영역에 대해서만 연산이 이루어진다. 이를 통해 연산량을 줄이고, 연산 속도를 향상시킬 수 있다. 이후, 단계 S25 내지 단계 S29는 동일하다.

[환부 전개]

도 10은 환부 스캔 후 3D 모델링된 환부의 참고도이다.

도 10을 참조하면, 3D 모델링된 환부의 모습을 확인할 수 있다. 도면에 도시된 예시와 같이, 환부의 영역이 족부 하부면에서부터 측면까지 넓게 형성되어 있으므로, 곡면의 형상으로 휘어져 있다. 이러한 환부에 대해서 3D 모델링 데이터를 생성할 경우, 생성된 3D 모델 역시 전체적으로 곡면의 형상을 취하게 될 것이다. 바이오 프린터에서 3차원 곡면 형상을 그대로 입력하고 출력할 경우, 출력 도중에 구조물이 붕괴될 수 있다. 따라서, 바이오 프린터에서 출력 가능하도록 곡면 형상을 수평 방향으로 펼쳐주는 과정이 필요하다.

<회귀분석을 이용한 환부 전개>

도 11은 본 명세서의 일 실시예에 따른 환부 3D 데이터 전개 방법이다.

도 11을 참조하면, 먼저 단계 S30에서 환부에 대한 포인트 클라우드로 이루어진 3D 데이터를 저장할 수 있다. 상기 환부에 대한 포인트 클라우드로 이루어진 3D 데이터는 앞서 도 7 내지 도 9를 참조하여 설명한 환부 경계 인식 방법 실행 이후 추출된 환부의 3D 데이터일 수 있다.

본 명세서의 일 실시예에 따르면, 상기 단계 S30은 이후 계산의 편의를 위해 3D 데이터를 3차원 좌표의 기준이 되는 3개의 축 중 어느 한 축을 기준으로 회전시킬 수 있다. 이 경우, 회전된 3D 데이터의 포인트 좌표값들에 대해서 연산 값의 크기가 줄어들 수 있다. 보다 구체적으로, 저장된 3D 데이터를 제1 축 및 제2 축에 대한 경사값을 산출하고, 산출된 경사값의 벡터 합을 산출하고, 백터 합이 제2 축과 이루는 경사만큼 저장된 3D 데이터를 제2 축 방향으로 회전시킬 수 있다. 본 명세서에서 제1 축은 'Y축', 제2 축은 'X축', 제3 축은 'Z축'으로 설명하겠다. 그러나 상기 예시는 이해의 편의를 위한 것이며, 상기 예시에 본 발명이 제한되는 것은 아니다.

다음 단계 S31에서 Y축을 기준으로 미리 설정된 간격에 따라 상기 3D 데이터를 나눌 수 있다. 이렇게 나누어진 3D 데이터를 이하 '슬라이싱 3D 데이터'라고 명명하겠다. 슬라이싱 간격이 작을 수록 더욱 세밀한 전개가 가능하지만 연산량이 증가하고, 슬라이싱 간격이 클 수록 연산량이 감소하지만, 전개가 세밀하지 못하다. 일 예로, 상기 슬라이싱 간격은, 3D 데이터를 이루는 포인트 클라우드의 평균 포인트 간격의 1/n 간격(n은 자연수)이 될 수 있다.

다음 단계 S32에서 상기 슬라이싱 3D 데이터 중 어느 한 슬라이싱 3D 데이터를 XZ 평면으로 투영할 수 있다. 도 11의 하단에는 슬라이싱 3D 데이터가 XZ 평면으로 투영된 예시를 확인할 수 있다.

다음 단계 S33에서 상기 투영된 슬라이싱 3D 데이터의 외각 경계 포인트들에 대해서 회귀분석(Polynomial Regression)을 통해 환부 경계의 곡선 방정식을 산출할 수 있다. 상기 환부 경계의 곡선은 2차 함수의 형태일 수 있다.

도 12는 곡선 방정식의 다양한 차수에 대한 참고도이다.

도 12를 참조하면, 포인트 클라우드에 대하여 1차 함수, 2차 함수, 3차 함수 및 10차 함수가 도시된 것을 확인할 수 있다. 1차 함수의 경우 언더피팅(underfitting)되고 고차 함수일 수록 오버피팅(overfitting)되는 특징을 확인할 수 있다. 인체의 피부 조직에 발생한 환부의 특징을 고려할 때, 2차 함수가 환부의 형상을 가장 잘 표현할 수 있다. 상기 회귀분석은 아래 수식을 이용하여 환부 경계의 곡선 방정식을 2차 함수의 형태로 산출할 수 있다.

[수식]

회귀분석은 당업자에 알려진 수식과 방식이므로 상세한 설명은 생략한다. 다만, 회귀분석을 통해 산출된 환부 경계이 곡선 방정식은 슬라이싱 3D 데이터의 환부 경계에 대해서 가장 근사하게 표현된 2차함수 형태의 곡선이 된다.

다음 단계 S34에서 상기 환부 경계의 곡선 방정식을 포함하는 아래 수식을 이용하여 제2 축과 제3 축에 대해 변환된 슬라이싱 3D 데이터를 산출할 수 있다.

[수식]

z'_i= z_i - z_curve_i

z_curve_i : 환부 경계의 곡선 방정식의 y_i와 동일

즉, 변환된 슬라이싱 3D 데이터{P(x, y, z)}에서 변환된 3D 슬라이싱 데이터{P'(x', y, z')}의 차이점은 각 포인트와 포인트 사이의 거리만큼 X축을 방향으로 전개가 된다. 이때, 변환된 3D 슬라이싱 데이터를 이루고 있는 포이트 클라우드의 Z값들은 환부의 깊이에 대응하는 차이값만 가질 뿐, 환부의 곡면 형태에 따른 차이값은 반영되어 있지 않게 된다.

한편, 단계 S32 내지 단계 S34는 모든 슬라이싱 3D 데이터에 대해서 적용될때까지 반복 실행된다. 모든 슬라이싱 3D 데이터가 변환된 이후, 변환된 슬라이싱 3D 데이터 다시 통합하면, X축 방향으로 전개된 환부의 형상을 얻을 수 있다.

도 13은 환부 전개에 대한 참고도이다.

도 13을 참조하면, 환부의 경계를 XZ 평면에 투영한 포인트 클라우드들을 전개한 결과이다. 그래프에서 확인할 수 있는 것은 작고 불규칙한 환부의 형상은 유지되면서 큰 곡면이 제거되어 z축 높이가 줄고 x축 길이는 늘어나는 것을 확인할 수 있다. 바이오 프린터에서 유연한 바이오 소재를 이용하여 아래의 형상을 출력한 후 환부에 부착할 경우 전체 환부를 덮으면서 환부의 미세한 굴곡을 잘 덮어줄 수 있도록 모델링될 수 있다.

<저주파필터를 이용한 환부 전개>

도 14는 본 명세서의 일 실시예에 따른 환부 3D 데이터 전개 방법이다.

도 14를 참조하면, 먼저 단계 S40에서 환부에 대한 포인트 클라우드로 이루어진 3D 데이터를 저장할 수 있다. 상기 환부에 대한 포인트 클라우드로 이루어진 3D 데이터는 앞서 도 7 내지 도 9를 참조하여 설명한 환부 경계 인식 방법 실행 이후 추출된 환부의 3D 데이터일 수 있다.

본 명세서의 일 실시예에 따르면, 상기 단계 S40은 이후 계산의 편의를 위해 3D 데이터를 3차원 좌표의 기준이 되는 3개의 축 중 어느 한 축을 기준으로 회전시킬 수 있다. 이 경우, 회전된 3D 데이터의 포인트 좌표값들에 대해서 연산 값의 크기가 줄어들 수 있다. 보다 구체적으로, 저장된 3D 데이터를 제1 축 및 제2 축에 대한 경사값을 산출하고, 산출된 경사값의 벡터 합을 산출하고, 백터 합이 제2 축과 이루는 경사만큼 저장된 3D 데이터를 제2 축 방향으로 회전시킬 수 있다. 본 명세서에서 제1 축은 'Y축', 제2 축은 'X축', 제3 축은 'Z축'으로 설명하겠다. 그러나 상기 예시는 이해의 편의를 위한 것이며, 상기 예시에 본 발명이 제한되는 것은 아니다.

다음 단계 S41에서 Y축을 기준으로 미리 설정된 샘플링 주파수(fs)에 따라 상기 3D 데이터를 나눌 수 있다. 이렇게 나누어진 3D 데이터를 이하 '슬라이싱 3D 데이터'라고 명명하겠다. 샘플링 주파수(fs)가 높을 수록 더욱 세밀한 전개가 가능하지만 연산량이 증가하고, 샘플링 주파수(fs)가 낮을 수록 연산량이 감소하지만, 전개가 세밀하지 못하다. 일 예로, 상기 샘플링 주파수(fs)는 포인트 클라우드의 최소 간격의 1/n 간격(n은 자연수)이 될 수 있다. 도 14의 하단에는 샘플링 주파수에 의해 슬라이싱된 3D 데이터의 예시를 확인할 수 있다.

다음 단계 S42에서 상기 슬라이싱 3D 데이터 중 어느 한 슬라이싱 3D 데이터의 곡면 주파수보다 미리 설정된 비율(a%)만큼 높게 설정된 주파수를 차단 주파수(fc)로 설정할 수 있다. 상기 차단 주파수(fc)는 이후 계산의 편의를 위해 라플라스 역변환 후 차분방정식으로 아래와 같이 표현될 수 있다.

[수식]

다음 단계 S43에서 상기 차단 주파수(fc)를 가진 저주파필터에 상기 슬라이싱 3D 데이터를 통과시켜 곡선 포인트를 산출할 수 있다. 상기 단계 S43에서, 슬라이싱 3D 데이터 중 Y축에 대한 값이 0인 지점에서 앞뒤로 패딩 데이터를 더 추가하고 저주파필터를 통과시킬 수 있다. 이렇게 산출된 곡선 포인트

는 아래와 같이 표현될 수 있다.

[수식]

다음 단계 S44에서 곡선 포인트를 포함하는 아래 수식을 이용하여 X축과 Y축에 대한 변환된 슬라이싱 3D 데이터를 산출

상기 환부 경계의 곡선 방정식을 포함하는 아래 수식을 이용하여 제2 축과 제3 축에 대해 변환된 슬라이싱 3D 데이터를 산출할 수 있다.

[수식]

z'_i= z_i - z_curve_i

z_curve_i : 곡선 포인트의 y_i와 동일

즉, 변환된 슬라이싱 3D 데이터{P(x, y, z_curve_i)}에서 변환된 3D 슬라이싱 데이터{P'(x', y, z')}의 차이점은 각 포인트와 포인트 사이의 거리만큼 X축을 방향으로 전개가 된다. 이때, 변환된 3D 슬라이싱 데이터를 이루고 있는 포이트 클라우드의 Z값들은 환부의 깊이에 대응하는 차이값만 가질 뿐, 환부의 곡면 형태에 따른 차이값은 반영되어 있지 않게 된다.

한편, 단계 S42 내지 단계 S44는 모든 슬라이싱 3D 데이터에 대해서 적용될때까지 반복 실행된다. 모든 슬라이싱 3D 데이터가 변환된 이후, 변환된 슬라이싱 3D 데이터 다시 통합하면, X축 방향으로 전개된 환부의 형상을 얻을 수 있다. 상기 내용은 도 13을 참조하여 설명하였으므로, 반복적인 설명은 생략한다.

[환부 덮개]

도 11 또는 도 14를 참조하여 설명된 환부 3D 데이터 전개 방법에 따라 바이오 프린터로 출력 가능한 3D 데이터를 확보할 수 있다. 그러나 이 과정에서 확보된 3D 데이터는 환부에 대한 데이터이고, 본 발명에서 필요한 것은 환부를 덮을 수 있는 덮개에 대한 데이터가 필요하다.

<환부 덮개 3D 데이터 생성 방법>

도 15는 본 명세서의 일 실시예에 따른 환부 덮개 3D 데이터 생성 방법의 흐름도이다.

도 15를 참조하면, 먼저 단계 S50에서 전개된 환부에 대한 포인트 클라우드로 이루어진 3D 데이터를 저장할 수 있다. 상기 전개된 환부의 3D 데이터는 도 11 또는 도 14를 참조하여 설명된 환부 3D 데이터 전개 방법에 따라 얻을 수 있다.

본 명세서의 일 실시예에 따르면, 상기 단계 S50은 이후 계산의 편의를 위해 3D 데이터를 3차원 좌표의 기준이 되는 3개의 축 중 어느 한 축을 기준으로 회전시킬 수 있다. 이 경우, 회전된 3D 데이터의 포인트 좌표값들에 대해서 연산 값의 크기가 줄어들 수 있다. 보다 구체적으로, 저장된 3D 데이터를 제1 축 및 제2 축에 대한 경사값을 산출하고, 산출된 경사값의 벡터 합을 산출하고, 백터 합이 제2 축과 이루는 경사만큼 저장된 3D 데이터를 제2 축 방향으로 회전시킬 수 있다. 본 명세서에서 제1 축은 'Y축', 제2 축은 'X축', 제3 축은 'Z축'으로 설명하겠다. 그러나 상기 예시는 이해의 편의를 위한 것이며, 상기 예시에 본 발명이 제한되는 것은 아니다.

다음 단계 S51에서 상기 3D 데이터를 이루는 포인트 클라우드 중 환부의 경계를 기준으로 내부에 위치한 포인트 클라우드를 제거할 수 있다. 이때, 상기 경계는 환부 형상의 가장자리 즉, 정상피부와 경계뿐만 아니라, 환부를 이루는 최외각 포인트를 의미할 수 있다.

다음 단계 S52에서 Y축을 기준으로 미리 설정된 간격에 따라 상기 3D 데이터를 나눌 수 있다. 예로, 상기 샘플링 주파수(fs)는 포인트 클라우드의 최소 간격의 1/n 간격(n은 자연수)이 될 수 있다. 도 15의 하단에는 샘플링 주파수에 의해 슬라이싱된 3D 데이터의 예시를 확인할 수 있다.

다음 단계 S53에서 슬라이싱 3D 데이터에 대해서 회귀분석을 통해 곡률 방정식을 산출할 수 있다. 상기 회귀분석을 통해 곡률 방정식을 구하는 과정은 앞서 도 11을 참조하여 설명한 환부 전개 방법에서 설명하였고, 당업자에 알려진 과정이므로 반복 설명은 생략하겠다.

다음 단계 S54에서 슬라이싱 3D 데이터에 포함된 포인트 클라우드의 (X,Y) 좌표값을 상기 곡선 방정식에 대입하여 (Z) 좌표값을 산출할 수 있다. 이렇게 산출된 좌표값 (X, Y, Z)는 '덮개 포인트 클라우드'에 해당한다.

다음 단계 S55에서 상기 덮개 포인트 클라우드 중 환부의 경계를 벗어난 포인트를 제거하고 상기 전개된 환부에 대한 포인트 클라우드와 결합할 수 있다.

도 16은 환부 덮개 3D 데이터의 예시도이다.

도 16을 참조하면, 환부를 덮을 수 있는 형상을 가진 덮개를 확인할 수 있다. 덮개의 상부는 피부 표면과 유사하게 평평한 형상이며, 하부는 환부의 형상에 대응하는 울퉁불퉁한 형상을 가진 것을 확인할 수 있다.

<환부 덮개 출력을 고려한 환부 덮개 3D 데이터 생성 방법>

한편, 도 16에 도시된 환부 덮개는 환부의 가장자리에 정상피부가 존재하는 것을 반영하여 형성된다. 따라서, 도 16에서 확인할 수 있듯이, 환부 덮개의 가장 바깥 경계면이 수직을 단절된 형상을 가질 수 있다. 이렇게 수직으로 단절된 형상을 그대로 바이오 프린터에서 출력할 경우, 덮개의 바깥 영영은 붕괴될 수 있다.

도 17은 본 명세서의 다른 실시예에 따른 환부 덮개 3D 데이터 생성 방법의 흐름도이다.

도 17을 참조하면, 본 명세서의 다른 실시예에 따른 환부 덮개 3D 데이터 생성 방법은 앞서 도 15의 마지막 단계 S55 이후에 실행될 수 있다.

먼저 단계 S56에서 상기 전개된 환부의 3D 데이터를 이루는 포인트 클라우드 중 경계 포인트들이 Z축에 대해 가진 최대값을 산출할 수 있다.

다음 단계 S57에서 상기 경계 포인트들의 Z축에 대한 값을 모두 상기 최대값으로 치환할 수 있다.

다음 단계 S58에서 상기 경계 포인트들의 X,Y 방향으로 미리 설정된 오프셋(offset)만큼 확장한 지점까지 포인트 클라우드의 Z값을 상기 최대값으로 채울 수 있다. 그리고 상기 오프셋 이후 지점부터 포인트 클라우드의 Z 값을 0으로 채울 수 있다. 즉, 환부 덮개를 제작하는 과정에서 환부 덮개를 담을 수 있는 용기의 벽을 세우는 과정이다. 도 17의 하단을 참조하면, 상기 과정을 통해 생성된 환부 덮개 제작용 용기의 3D 형상을 확인할 수 있다.

상기 방법은, 산출 및 다양한 제어 로직을 실행하기 위해 본 발명이 속한 기술분야에 알려진 프로세서, ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로, 레지스터, 통신 모뎀, 데이터 처리 장치 등으로 실행될 수 있다. 또한, 상술한 제어 로직이 소프트웨어로 구현될 때, 상기 제어부는 프로그램 모듈의 집합으로 구현될 수 있다. 이 때, 프로그램 모듈은 메모리 장치에 저장되고, 프로세서에 의해 실행될 수 있다.

상기 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C/C++, C#, JAVA, Python, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims

환부에 대한 3D 데이터를 전개하는 방법으로서, 프로세서가
(a) 환부에 대한 포인트 클라우드로 이루어진 3D 데이터를 저장하는 단계;
(b) 3차원 좌표의 기준이 되는 3개의 축 중 제1 축을 기준으로 미리 설정된 샘플링 주파수(fs)에 따라 상기 3D 데이터를 나누는 단계;
(c) 상기 (b) 단계에서 나누어진 3D 데이터(이하 '슬라이싱 3D 데이터') 중 어느 한 슬라이싱 3D 데이터의 곡면 주파수보다 미리 설정된 비율만큼 높게 설정된 주파수를 차단 주파수(fc)로 설정하는 단계;
(d) 상기 차단 주파수(fc)를 가진 저주파필터에 상기 슬라이싱 3D 데이터를 통과시켜 곡선 포인트를 산출하는 단계; 및
(e) 상기 곡선 포인트를 포함하는 아래 수식을 이용하여 제2 축과 제3 축에 대한 변환된 슬라이싱 3D 데이터를 산출하는 단계;를 포함하는 환부 3D 데이터 전개 방법.
[수식]
P(x, y, z) -> P'(x', y, z')

z'_i= z_i - z_curve_i
z_curve_i : 곡선 포인트의 y_i와 동일
청구항 1에 있어서,
상기 (a) 단계는,
(a-1) 저장된 3D 데이터를 제1 축 및 제2 축에 대한 경사값을 산출하는 단계;
(a-2) 산출된 경사값의 벡터 합을 산출하는 단계; 및
(a-3) 백터 합이 제2 축과 이루는 경사만큼 저장된 3D 데이터를 제2 축 방향으로 회전시키는 단계;를 더 포함하는, 환부 3D 데이터 전개 방법.
청구항 1에 있어서,
상기 샘플링 주파수(fs)는 포인트 클라우드의 최소 간격의 1/n 간격(n은 자연수)인, 환부 3D 데이터 전개 방법.
청구항 1에 있어서,
상기 (d) 단계는, 슬라이싱 3D 데이터 중 제1 축에 대한 값이 0인 지점에서 앞뒤로 패딩 데이터를 더 추가하고 저주파필터를 통과시키는 단계인, 환부 3D 데이터 전개 방법.
컴퓨터에서 청구항 1 내지 청구항 4 중 어느 한 청구항에 따른 환부 3D 데이터 전개 방법의 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램.