KR102374275B1 - 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법 및 그 장치 - Google Patents

Abstract

본 발명은 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법 및 그 장치에 관한 것으로, 서로 다른 모달리티의 입력 의료영상별로 적어도 하나 이상의 특징점을 인식하고, 상기 인식한 특징점을 토대로 모달리티가 서로 다른 입력 의료영상을 간단하고 신속하게 정합할 수 있도록 하며, 상기 정합한 결과를 토대로 적어도 하나 이상의 신체부위에 대한 사이즈를 정확하게 측정하여, 의료, 맞춤형 제품 제작 등과 같이 다양한 목적으로 이용할 수 있도록 하는 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법 및 그 장치에 관한 것이다.

Description

서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법 및 그 장치{METHOD AND APPARATUS FOR MEASURING BODY SIZE BY MATCHING MEDICAL IMAGES WITH DIFFERENT MODALITIES}

본 발명은 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 서로 다른 모달리티의 입력 의료영상별로 적어도 하나 이상의 특징점을 인식하고, 상기 인식한 특징점을 토대로 모달리티가 서로 다른 입력 의료영상을 간단하고 신속하게 정합할 수 있도록 하며, 상기 정합한 결과를 토대로 적어도 하나 이상의 신체부위에 대한 사이즈를 정확하게 측정하여, 의료, 맞춤형 제품 제작 등과 같이 다양한 목적으로 이용할 수 있도록 하는 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법 및 그 장치에 관한 것이다.

최근 의료기술과 의료장비의 급격한 발전으로 인해 환자의 신체에 대한 정밀하고 해상도가 높은 의료영상을 획득이 가능하게 되었다.

상기 의료영상은 환자의 신체에서 특정 병변의 발현, 해당 병변의 위치 및 크기 등과 같이 상기 병변에 대한 다양한 정보를 판독하기 위해 사용된다.

일반적으로, 상기 의료영상은 CT(Computer Tomography) 영상, MRI(Magnetic Resonance Imaging) 영상 , X-ray 영상, 초음파(Ultrasound) 영상과 같이 병변의 종류나 위치, 상기 환자의 신체부위 또는 의료영상의 이용용도에 따라 다양한 모달리티(Modality)를 가지는 영상으로 획득된다.

상기 병변의 경우, 신체의 특정 부분에 발현될 수 있으나, 점진적으로 넓은 범위로 확장되거나, 광범위한 영역에서 발현될 수 있다. 따라서 환자를 효과적으로 치료하기 위해서는 다수의 의료영상을 정합할 필요성이 대두되고 있다.

모달리티가 서로 다른 다수의 의료영상을 정합하는 일예로써, 각 의료영상의 픽셀 또는 복셀의 기하학적 위치에 대한 유사성을 측정하여 정합하는 방법이 있으나, 상기 각 의료영상에 대응되는 픽셀 또는 복셀에 대한 유사성을 하나하나 측정해야 하기 때문에 상기 정합에 장시간 소요되는 문제점이 있다.

한편, 사용자의 의료영상을 병변에 대한 정보를 판독하기 위한 용도로만 사용할 것이 아니라, 상기 의료영상을 토대로 사용자의 신체부위별 사이즈를 측정하여, 해당 사용자에 대한 의료(예: 임플란트 이식)나, 맞춤형 제품 제작(예: 옷, 모자 등) 등과 같이 다양한 목적으로 이용할 수 있다면 상기 의료영상의 활용성을 극대화할 수 있을 것이다.

따라서 본 발명에서는, 적어도 하나 이상의 특징점을 결정한 신체부위별 의료영상을 모달리티별로 학습하여, 학습모델을 생성하고, 서로 다른 적어도 두개이상의 모달리티의 의료영상이 입력되는 경우, 상기 생성한 학습모델에 각각 적용하여 상기 입력된 의료영상에 대한 적어도 하나 이상의 특징점을 각각 인식하고, 상기 인식한 특징점을 토대로 모달리티가 서로 다른 적어도 두개 이상의 상기 의료영상을 간단하게 정합함과 동시에, 상기 정합한 의료영상을 구성하는 복수의 특징점을 이용하여 적어도 하나 이상의 신체부위에 대한 신체 사이즈를 정확하게 측정하여, 상기 측정한 신체 사이즈를 다양한 목적으로 이용할 수 있도록 하는 방안을 제안하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국공개특허 제2015-0027637호(2015.03.12.)는 의료영상들을 정합하는 방법 및 장치에 관한 것으로, 비실시간으로 획득된 제1 의료영상에 적어도 하나의 지점을 선택하여 상기 지점을 포함하는 해부학적 개체 및 지점의 인근에 위치하는 해부학적 개체를 각각 추출하고, 실시간으로 획득되는 제2 의료영상으로부터 상기 제1 의료영상에서 추출된 각 해부학적 개체와 대응되는 해부학적 개체들을 추출하여, 상기 제1 의료영상과 상기 제2 의료영상으로부터 추출된 각각의 해부학적 개체간의 기하학적 관계를 이용하여 상기 제1 의료영상 및 제2 의료영상을 정합하는 의료영상들을 정합하는 방법 및 장치에 관한 것이다.

즉, 상기 선행기술은 두개의 의료영상을 정합할 때, 각 의료영상으로부터 추출되는 해부학적 개체간의 기하학적인 관계를 이용하는 것으로, 적어도 하나 이상의 특징점을 결정한 신체부위별 의료영상을 모달리티별로 학습하는 것이 아니며, 서로 다른 모달리티의 의료영상이 두개이상으로 입력되는 경우, 상기 학습한 결과를 토대로 상기 각 의료영상으로부터 특징점을 인식하여 상기 인식한 특징점을 토대로 상기 의료영상을 간편하게 정합하는 방법 또한 기재하고 있지 않아, 상기 선행기술과 본 발명은 현저한 차이점이 있는 것이 분명하다.

또한 한국등록특허 제1854071호(2018.04.25.)는, 딥러닝을 사용하여 관심 부위 이미지를 생성하는 방법 및 장치에 관한 것으로, MRI(Magnetic Resonance Imaging) 장치로부터 T1(T1-weighted) 이미지, T1CE)(Contrast-enhanced T1-weight) 이미지, T2(T2-weighted) 이미지, FLAIR(Fluid Attenuated Inversion Recovery) 이미지, DWI(Diffusion Weighted Image) 및 PWI(Perfusion Weighted Image)를 포함하는 멀티모달 MR 이미지를 획득하고, 상기 T1 이미지와 차원이 동일하도록 상기 다른 멀티모달 MR 이미지를 정합한 후, PWI/DWI 미스매치(mismatch)방법론을 이용하여 뇌경색 복원 부위 이미지 생성하고, 상기 생성한 뇌경색 복원 부위 이미지를 인식기에 입력하여 역전파를 통해 상기 인식기의 인공 신경망을 학습하도록 하는 딥러닝을 사용하여 관신 부위 이미지를 생성하는 방법 및 장치에 관한 것이다.

즉, 상기 선행기술은 MRI 장치를 통해 획득되는 멀티모달 MRI 영상을 정합하여 관심 부위를 포함하는 이미지를 생성하고, 상기 생성한 이미지를 딥러닝을 통해 학습함으로써, 뇌경색을 예측하도록 하는 것이다.

반면에 본 발명은, 서로 다른 두개 이상의 모달리티의 의료영상으로부터 적어도 하나 이상의 특징점을 인식하고, 상기 인식한 특징점을 토대로 상기 의료영상을 간단하게 정합할 수 있도록 하며, 상기 정합한 의료영상을 구성하는 복수의 특징점을 이용하여 적어도 하나 이상의 신체부위에 대한 신체 사이즈를 측정하여 제공할 수 있도록 하는 것으로, 상기 선행기술과 본 발명은 현저한 차이점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 사용자로부터 서로 다른 적어도 두개 이상의 모달리티의 입력 의료영상을 정합하고, 상기 정합한 의료영상으로부터 적어도 하나 이상의 신체 사이즈를 측정하여 상기 사용자에게 제공하는 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법 및 그 장치를 제공하는 것을 그 목적으로 한다.

또한 본 발명은, 적어도 하나 이상의 특징점과 해당 특징점에 대한 레이블링을 수행한 신체부위별 의료영상을 상기 모달리티별로 학습하여, 학습모델을 생성하고, 입력 의료영상을 상기 생성한 학습모델에 적용하여 상기 각 입력 의료영상에 대한 적어도 하나 이상의 특징점을 인식하고, 상기 인식한 특징점을 토대로 상기 각 의료영상을 모달리티에 상관없이 간편하게 정합할 수 있도록 하는 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법 및 그 장치를 제공하는 것을 그 목적으로 한다.

또한 본 발명은, 상기 정합한 입력 의료영상에 대한 복수의 특징점을 서로 통합하여 연결함으로써, 적어도 하나 이상의 신체부위 또는, 복수의 신체부위가 결합되어 확장된 신체 사이즈를 측정하여 제공함으로써, 상기 측정한 신체 사이즈를 다양한 목적으로 이용할 수 있도록 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법 및 그 장치를 제공하는 것을 그 목적으로 한다.

본 발명의 일 실시예에 따른 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 장치는, 서로 다른 적어도 두개 이상의 모달리티의 입력 의료영상 각각에 대한 적어도 하나 이상의 특징점을 인식하는 특징점 인식부, 적어도 두개 이상의 상기 입력 의료영상에 대한 상기 인식한 적어도 하나 이상의 특징점을 토대로 상기 적어도 두개 이상의 상기 입력 의료영상을 정합하여 정합 의료영상을 생성하는 의료영상 정합부 및 상기 정합한 정합 의료영상으로부터 적어도 하나 이상의 신체부위에 대한 신체 사이즈를 측정하는 신체 사이즈 측정부를 포함하는 것을 특징으로 한다.

또한 상기 특징점 인식부는, 상기 서로 다른 적어도 두개 이상의 모달리티의 각 입력 의료영상에 대해서 적어도 하나 이상의 특징점을 추출하고, 상기 추출한 특징점에 대한 좌표와 레이블을 확인함으로써, 상기 특징점을 인식하는 것을 포함하는 것을 특징으로 한다.

또한 상기 적어도 하나 이상의 특징점을 추출하는 것은, 상기 각 입력 의료영상에 해당하는 신체부위와 모달리티에 따른 적어도 하나 이상의 학습모델을 선택하고, 상기 각 입력 의료영상을 해당하는 상기 선택한 적어도 하나 이상의 학습모델에 적용하여 상기 특징점을 추출하는 것을 특징으로 한다.

또한 상기 신체 사이즈를 측정하는 장치는, 복수의 각 학습용 의료영상에서 적어도 하나 이상의 특징점을 결정하고, 상기 결정한 적어도 하나 이상의 특징점에 대한 좌표와 레이블을 학습하여 학습모델을 생성하고, 상기 생성한 학습모델을 신체부위별, 모달리티별 또는 특징점별로 데이터베이스에 저장하여 관리하는 학습부를 더 포함하는 것을 특징으로 한다.

또한 상기 의료영상 정합부는, 상기 인식한 상기 각 특징점의 좌표와 레이블을 참조하여, 상기 입력 의료영상 간에 중복되는 특징점을 탐색하는 특징점 중복 탐색부, 상기 적어도 두개 이상의 상기 입력 의료영상 중 어느 하나를 기준영상으로 선택하는 기준영상 선택부 및 상기 선택한 기준영상 이외의 다른 입력 의료영상의 상기 중복된 특징점을 상기 선택한 기준영상의 상기 중복된 특징점에 중첩함으로써, 상기 추출한 다른 입력 의료영상의 특징점의 좌표를 상기 선택한 기준영상의 좌표로 변환하여, 상기 두개 이상의 서로 다른 모달리티의 입력 의료영상을 정합하여, 상기 정합 의료영상을 생성하는 정합 의료영상 생성부를 포함하는 것을 특징으로 한다.

또한 상기 신체 사이즈 측정부는, 상기 기준영상의 좌표로 정합된 복수의 특징점을 서로 통합하여 연결함으로써, 복수의 신체부위가 결합되어 확장된 신체 사이즈를 측정하는 것을 포함하는 것을 특징으로 한다.

아울러 본 발명의 일 실시예에 따른 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법은, 서로 다른 적어도 두개 이상의 모달리티의 입력 의료영상 각각에 대한 적어도 하나 이상의 특징점을 인식하는 특징점 인식 단계, 적어도 두개 이상의 상기 입력 의료영상에 대한 상기 인식한 적어도 하나 이상의 특징점을 토대로 상기 적어도 두개 이상의 상기 입력 의료영상을 정합하여 정합 의료영상을 생성하는 의료영상 정합 단계 및 상기 생성한 정합 의료영상으로부터 적어도 하나 이상의 신체부위에 대한 신체 사이즈를 측정하는 신체 사이즈 측정 단계를 포함하는 것을 특징으로 하는 한다.

또한 상기 특징점 인식 단계는, 상기 서로 다른 적어도 두개 이상의 모달리티의 각 입력 의료영상에 대해서 적어도 하나 이상의 특징점을 추출하고, 상기 추출한 특징점에 대한 좌표와 레이블을 확인함으로써, 상기 특징점을 인식하는 것을 포함하며, 상기 적어도 하나 이상의 특징점은, 상기 각 입력 의료영상에 해당하는 신체부위와 모달리티에 따른 적어도 하나 이상의 학습모델을 선택하고, 상기 각 입력 의료영상을 해당하는 상기 선택한 적어도 하나 이상의 학습모델에 적용함으로써, 추출되는 것을 특징으로 한다.

또한 상기 신체 사이즈를 측정하는 방법은, 복수의 각 학습용 의료영상에서 적어도 하나 이상의 특징점을 결정하고, 상기 결정한 적어도 하나 이상의 특징점에 대한 좌표와 레이블을 학습하여 학습모델을 생성하고, 상기 생성한 학습모델을 신체부위별, 모달리티별 또는 특징점별로 데이터베이스에 저장하여 관리하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 의료영상 정합 단계는, 상기 인식한 상기 각 특징점의 좌표와 레이블을 참조하여, 상기 입력 의료영상 간에 중복되는 특징점을 탐색하는 특징점 중복 탐색 단계, 상기 적어도 두개 이상의 상기 입력 의료영상 중 어느 하나를 기준영상으로 선택하는 기준영상 선택 단계 및 상기 선택한 기준영상 이외의 다른 입력 의료영상의 상기 중복된 특징점을 상기 선택한 기준영상의 중복된 특징점에 중첩함으로써, 상기 추출한 다른 입력 의료영상의 특징점의 좌표를 상기 선택한 기준영상의 좌표로 변환하여, 상기 두개 이상의 서로 다른 모달리티의 입력 의료영상을 정합하여, 상기 정합 의료영상을 생성하는 정합 의료영상 생성 단계를 더 포함하며, 상기 신체 사이즈 측정 단계는, 상기 기준영상의 좌표로 정합된 복수의 특징점을 서로 통합하여 연결함으로써, 복수의 신체부위가 결합되어 확장된 신체 사이즈를 측정하는 것을 포함하는 것을 특징으로 한다.

이상에서와 같이 본 발명의 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 장치 및 그 방법에 따르면, 적어도 하나 이상의 특징점을 결정하고, 상기 결정한 특징점에 대한 레이블링을 수행한 신체부위별 의료영상을 모달리티별로 학습하여 학습모델을 생성하고, 사용자로부터 서로 다른 모달리티를 가지는 적어도 두개 이상의 입력 의료영상이 입력되는 경우, 상기 생성한 학습모델을 통해 상기 각 입력 의료영상에 대한 적어도 하나 이상의 특징점을 인식하고, 상기 인식한 특징점을 토대로 상기 입력 의료영상을 정합함으로써, 서로 다른 모달리티를 가지는 의료영상에 대해서도 간편하고 효율적으로 정합할 수 있도록 하는 효과가 있다.

또한 본 발명은, 상기 정합한 입력 의료영상을 이용하여 적어도 하나 이상의 신체부위에 대한 신체 사이즈를 측정하여 제공함으로써, 상기 사용자가 상기 신체 사이즈를 의료, 맞춤형 제품 제작 등과 같이 다양한 목적으로 이용할 수 있도록 하는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 학습과정과 학습네트워크의 구조를 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 학습모델을 통해 서로 다른 모달리티의 입력 의료영상으로부터 특징점을 인식하는 과정을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 또 다른 일 실시예에 따른 학습모델을 통해 서로 다른 모달리티의 입력 의료영상으로부터 특징점을 인식하는 과정을 설명하기 위해 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 서로 다른 모달리티의 입력 의료영상을 정합한 정합 의료영상을 생성하는 과정을 설명하기 위해 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 3차원 의료영상과 2차원 의료영상을 정합하여 정합 의료영상을 생성하는 과정을 설명하기 위해 나타낸 도면이다.
도 7은 본 발명의 또 다른 일 실시예에 따른 3차원 의료영상과 2차원 의료영상을 정합하여 정합 의료영상을 생성하는 과정을 설명하기 위해 나타낸 도면이다.
도 8은 본 발명의 또 다른 일 실시예에 따른 세개의 서로 다른 모달리티의 의료영상을 정합하여 정합 의료영상을 생성하는 과정을 설명하기 위해 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 장치의 구성을 나타낸 블록도이다.
도 10은 본 발명의 일 실시예에 따른 학습모델을 생성하는 절차와 신체 사이즈를 측정하여 제공하는 절차를 설명하기 위해 나타낸 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 장치의 하드웨어 구조를 나타낸 도면이다.

이하, 첨부한 도면을 참조하여 본 발명의 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법 및 그 장치에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

도 1은 본 발명의 일 실시예에 따른 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 장치(100)(이하, 신체 사이즈 측정 장치라 칭함)는, 사용자에 의해 해당 사용자가 구비한 사용자 단말(200)로부터 입력되는 적어도 두개 이상의 입력 의료영상을 상호 정합하고, 상기 정합한 결과를 토대로 적어도 하나 이상의 신체부위에 대한 신체 사이즈를 측정하여 상기 사용자에게 제공하는 기능을 수행한다.

이때, 상기 입력 의료영상은, CT 영상, MRI 영상, 초음파 영상, X-ray 영상 등과 같이 영상 생성 방식 및 원리가 상이한 영상을 포함한다. 즉, 상기 입력 의료영상은 서로 상이한 모달리티(Modality)를 가지며, 상기 사용자가 특정 부분을 지정한 적어도 하나 이상의 임의의 특징점을 포함한다.

이를 위해 상기 신체 사이즈 측정 장치(100)는, 적어도 하나 이상의 학습용 의료영상 프로바이더(300)로부터 다양한 모달리티를 가지는 각종 의료영상을 사전에 설정한 주기에 따라 혹은 실시간으로 수집하여, 학습용 의료영상 데이터베이스(420)에 저장한다.

이때, 상기 학습용 의료영상은, 상기 각 학습용 의료영상별로 적어도 하나 이상의 특징점이 결정되고, 상기 결정된 특징점에 대한 레이블이 부여됨으로써, 레이블링되어 저장된다.

또한 상기 학습용 의료영상 프로바이더(300)는, 상기 학습용 의료영상을 상기 신체 사이즈 측정 장치(100)로 제공하기 위한 것으로, 병원, 한의원과 같은 의료기관 등이 운영하는 서버, 의료영상을 관리하는 데이터 센터, 의사, 의료기관 종사자 또는 개인이 보유한 유무선 통신 단말 등을 포함한다.

또한 상기 신체 사이즈 측정 장치(100)는, 상기 저장한 학습용 의료영상을 학습함으로써, 학습모델을 생성하여 학습모델 데이터베이스(410)에 저장하여 관리한다. 즉, 상기 신체 사이즈 측정 장치(100)는, 상기 학습용 의료영상별로 학습용 의료영상에서 결정한 적어도 하나 이상의 특징점에 대한 레이블과 좌표를 학습하여, 신체부위별, 모달리티별 또는 특징점별로 상기 학습모델을 생성하는 것이다.

여기서, 상기 레이블은, 다른 특징점과 구별되기 위한 정보를 의미하는 것으로, 신체부위별로 레이블링된다. 예를 들어, 신체부위가 목 부분이고, 목의 중앙과 좌우측에 각각 특징점을 결정하였다면 중앙의 특징점은 NC(Neck Center), 상기 목의 좌측 특징점은 NL(Neck Left) 및 상기 목의 우측 특징점은 NR(Neck Right)로 레이블링될 수 있으며, 상기 중앙과 좌우측에 복수의 특징점을 각각 포함하는 경우에는, 문자, 숫자 또는 이들의 조합(예: NC1, NC2 등)으로 레이블링될 수 있다.

또한 상기 좌표는, 상기 결정한 특징점이 상기 학습용 의료영상에서 위치하는 위치정보를 의미한다.

한편, 상기 학습은 이미지 처리에 최적화된 CNN(Convolutional Neural Network)와 같은 학습네트워크를 이용하여 수행되는 것이 바람직하지만, 이에 한정하지 않으며 ANN(Artificial Neural Network), DCNN(Deep CNN) 등과 같은 다양한 학습네트워크를 이용하여 수행될 수 있다.

또한 상기 학습모델은, 상기 학습모델의 출력에 대한 신뢰성을 향상시키기 위해 성별, 연령, 인종, 지역(예: 아시아, 유럽, 북반구, 남반구 등) 등에 따라 세분화되어 생성될 수 있다.

또한 상기 신체 사이즈 측정 장치(100)는, 상기 사용자로부터 서로 다른 모달리티의 입력 의료영상이 적어도 두개 이상으로 입력되는 경우, 상기 각 입력 의료영상의 모달리티와 상기 입력 의료영상에 해당하는 신체부위를 확인한다.

이후, 상기 신체 사이즈 측정 장치(100)는, 상기 확인한 결과에 따라 해당 모달리티 및 신체부위에 따른 적어도 하나 이상의 학습모델을 선택하여, 상기 학습모델 데이터베이스(410)로부터 로딩하고, 상기 각 입력 의료영상을 상기 로딩한 적어도 하나 이상의 학습모델에 각각 적용하여, 상기 각 입력 의료영상에 대한 특징점을 인식한다.

이때, 상기 신체 사이즈 측정 장치(100)는, 사용자가 상기 입력 의료영상에 대한 모달리티 및 신체 부위를 텍스트 형태로 입력하도록 하거나, 사용자 인터페이스를 통해 상기 입력 의료영상에 대한 상기 모달리티 및 신체부위를 선택하도록 함으로써, 상기 입력 의료영상의 모달리티와 신체부위를 확인할 수 있다. 다만 이에 한정하지 않으며, 상기 모달리티와 신체부위를 인식하기 위한 학습모델을 사전에 구축하고 있으면서, 상기 학습모델을 통해 상기 입력 의료영상에 대한 모달리티와 신체부위를 확인할 수 있도록 구현될 수 있다.

또한 상기 학습모델의 입력은, 상기 입력 의료영상이 되며, 출력은 해당 입력 의료영상에 매칭되는 상기 결정한 특징점에 대한 레이블 및 좌표에 대한 확률이다.

즉, 상기 특징점을 인식하는 것은, 상기 적어도 하나 이상의 학습모델에 대한 출력(즉, 확률) 중 제일 높은 값을 선택하여 상기 입력 의료영상에 대한 특징점을 추출하고, 상기 추출한 특징점에 대한 좌표와 레이블을 확인함으로써, 수행된다.

또한 상기 신체 사이즈 측정 장치(100)는, 상기 인식한 특징점을 토대로 상기 입력 의료영상을 정합하여 정합 의료영상을 생성한다.

이때, 상기 신체 사이즈 측정 장치(100)는, 두개의 서로 다른 모달리티의 입력 의료영상에서 상기 정합을 위한 기준영상을 우선적으로 선택한다. 이후, 상기 신체 사이즈 측정 장치(100)는, 상기 인식한 각 입력 의료영상에 대한 특징점 중, 상기 각 입력 의료영상 간에 중복된 특징점을 탐색한다.

또한 상기 신체 사이즈 측정 장치(100)는, 상기 선택한 기준영상에서 상기 탐색한 중복된 특징점에 다른 입력 의료영상에서 상기 탐색한 중복된 특징점을 중첩하고, 상기 다른 입력 의료영상의 특징점에 대한 좌표를 상기 선택한 기준영상의 좌표로 변환함으로써, 상기 정합을 수행하여 상기 정합 의료영상을 생성하게 된다.

한편, 상기 기준영상은, 두개의 입력 의료영상 중 특정 입력 의료영상을 기준으로 타 입력 의료영상을 정합하기 위해 선택되는 것으로, 사전에 설정한 모달리티에 따른 우선순위 또는 신체부위에 따른 우순순위에 따라 선택된다. 다만, 세개 이상의 입력 의료영상을 정합하는 경우에도, 상기 우선순위에 따라 상기 기준영상이 선택되지만, 정합 과정에 있어서 특정 두개 이상의 입력 의료영상이 정합된 경우, 상기 두개 이상의 입력 의료영상이 정합된 정합 의료영상이 기준영상으로 선택된다.

이를 통해, 상기 신체 사이즈 측정 장치(100)는, 서로 다른 모달리티의 입력 의료영상으로부터 적어도 하나 이상의 특징점을 인식하고, 상기 각 입력 의료영상에서 중복된 특징점을 탐색하여, 상기 중복된 특징점을 기준으로 상기 모달리티가 서로 다른 입력 의료영상을 간단하고 신속하게 정합할 수 있다.

또한 상기 입력 의료영상을 정합할 때, 상기 신체 사이즈 측정 장치(100)는, 상기 입력 의료영상의 모달리티와 촬영 자세에 따라 상기 중복된 특징점을 정확하게 중첩하여, 정확한 정합 의료영상을 생성하도록 하며, 상기 정합을 수행하는 과정에 대해서는 도 5 내지 도 8을 참조하여 상세히 설명하도록 한다.

또한 상기 신체 사이즈 측정 장치(100)는, 상기 기준영상의 좌표로 정합된 상기 정합 의료영상에 대한 복수의 특징점을 서로 통합하여 연결함으로써, 개별적인 신체부위 또는 복수의 신체부위가 결합되어 확장된 신체부위에 대한 신체 사이즈를 측정한다.

예를 들어, 상기 두개의 입력 의료영상 중 하나는 손에 대한 의료영상(예: MRI 영상)이고, 또 다른 하나는 팔에 대한 의료영상(예: CT 영상)인 경우에는, 상기 정합을 통해 생성한 정합 의료영상은 손과 팔이 결합된 영상이 되며, 상기 신체 사이즈 측정 장치(100)는 손에 대한 신체 사이즈, 팔에 대한 신체 사이즈, 상기 손과 팔이 결합된 전체 팔에 대한 신체 사이즈 또는 이들의 조합을 포함하는 신체 사이즈를 측정하여 상기 사용자에게 제공하게 된다.

또한 상기 사용자는 상기 측정한 신체 사이즈를 이용하여, 자전거, 의자, 옷, 액세서리 등과 같이 자신이 필요로 하는 제품을 맞춤형으로 제작하는 목적으로 이용하거나, 임플란트(치아 또는 척추) 등과 같이 의료 목적으로 이용하는 것과 같이 다양한 목적으로 이용할 수 있다.

한편, 도 1에는 상기 신체 사이즈 측정 장치(100)에서 상기 신체 사이즈를 측정하여 상기 사용자 단말(200)로 제공하는 것으로 기재되어 있으나, 상기 신체부위별, 모달리티별 또는 특징점별로 생성한 복수의 학습모델을 상기 사용자 단말(200)로 제공하여 저장하도록 하고, 상기 신체 사이즈 측정을 위한 애플리케이션이나 프로그램을 상기 사용자 단말(200)로 제공하여, 설치하도록 함으로써, 상기 사용자가 상기 사용자 단말(200)을 통해 상기 애플리케이션이나 프로그램을 구동함으로써, 사용자 단말(200)에서 자체적으로 상기 신체 사이즈를 측정할 수 있다.

또한 도 1에는, 서로 다른 모달리티의 입력 의료영상을 정합하는 것으로 기재되어 있으나, 상기 정합은 동일한 모달리티의 입력 의료영상을 정합하는 것을 포함하는 개념임을 밝혀둔다.

도 2는 본 발명의 일 실시예에 따른 학습네트워크의 구조를 설명하기 위해 나타낸 도면이다.

도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 학습용 의료영상에 대한 학습은 이미지 처리에 최적화된 학습네트워크인 CNN을 이용하여 수행된다. 본 발명의 CNN으로 구성되는 학습네트워크는, 학습용 의료영상의 모달리티별, 신체부위별, 특징점별로 준비되어, 상기 학습을 수행하여, 상기 모달리티별, 신체부위별 또는 특징점별로 상기 학습모델을 생성하게 된다.

또한 상기 학습네트워크는 학습용 의료영상이 입력되는 입력 레이어, 사전에 설정한 크기의 커널(Kernel)과 상기 학습용 의료영상의 특정 부분을 컨볼루션하는 컨볼루션(Convolution) 레이어, 상기 컨볼루션한 결과를 최대값이나 평균값으로 풀링하여 서브 샘플링을 수행하는 풀링(Pooling) 레이어 및 완전연관 레이어(Fully Connected Layer)를 포함하여 구성된다.

상기 학습용 의료영상은, 풀 컬러(Full Color) 기반의 학습용 의료영상을 사용하는 것이 바람직하지만, 이에 한정되는 것은 아니며, 상기 학습용 의료영상을 그레이 스케일로 변환하거나, 2진화하거나 또는 관심영역(즉, 특징점이 위치한 영역)을 양자화(Quantization)하여 사용될 수 있다.

상기 컨볼루션 레이어는, 특정 가중치를 가지는 상기 커널을 사전에 설정한 스트라이드(상기 학습용 의료영상에서 상기 커널이 이동하는 이동단위를 의미함)에 따라 이동해 가면서, 상기 학습용 의료영상의 특정 부분과 상기 커널의 가중치를 컨볼루션하여, 상기 학습용 의료영상에 대한 특징맵(Feature Map)을 생성하여 출력한다.

상기 풀링 레이어는, 해당 풀링 레이어에 할당된 커널과 스트라이드에 따라 상기 특징맵을 최대값 또는 평균값으로 풀링함으로써, 복수의 서브 이미지 데이터로 서브 샘플링한다.

이때, 상기 컨볼루션 레이어와 상기 풀링 레이어는 하나의 쌍으로 구성되어 적어도 하나 이상으로 구현될 수 있다.

상기 완전연관 레이어는, 상기 서브 샘플링한 복수의 서브 이미지 데이터를 연결시켜 학습용 의료영상의 특징점에 대한 확률을 출력한다. 여기서 상기 확률은 0 ~ 1의 값을 가진다.

또한 상기 신체 사이즈 측정 장치(100)는, 상기 학습용 의료영상의 특징점을 이미 알고 있으므로, 상기 학습네트워크를 통한 학습과정에 있어서 백프로퍼게이션(Back Propagation)을 수행하여, 상기 학습네트워크의 출력에 대한 오차를 최소화하는 방향으로 학습네트워크의 가중치를 조정함으로써, 상기 학습을 통해 생성한 학습모델의 정확도를 향상시킨다.

이때, 상기 신체 사이즈 측정 장치(100)는, 상기 오차에 대한 오차 곡선을 미분하여 기울기를 계산하고, 상기 계산한 결과에 따라 상기 오차 곡선 상에서 이동하는 과정을 반복하여, 상기 오차가 최소화되는 방향으로 상기 학습네트워크의 가중치를 조정함으로써, 상기 백프로퍼게이션을 수행하게 된다.

도 3은 본 발명의 일 실시예에 따른 학습모델을 통해 서로 다른 모달리티의 입력 의료영상으로부터 특징점을 인식하는 과정을 설명하기 위해 나타낸 도면이며, 도 4는 본 발명의 또 다른 일 실시예에 따른 학습모델을 통해 서로 다른 모달리티의 입력 의료영상으로부터 특징점을 인식하는 과정을 설명하기 위해 나타낸 도면이다.

도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 학습모델을 통해 서로 다른 모달리티의 입력 의료영상으로부터 특징점을 인식하는 과정은, 서로 다른 적어도 두개 이상의 모달리티의 입력 의료영상이 사용자 단말(200)로부터 입력되는 경우, 상기 신체 사이즈 측정 장치(100)는, 상기 입력 의료영상의 모달리티와 신체부위를 확인한다.

또한 상기 신체 사이즈 측정 장치(100)는, 상기 확인한 결과에 따라 상기 각 입력 의료영상에 해당하는 적어도 하나 이상의 학습모델을 선택하여 학습모델 데이터베이스(410)로부터 로딩한다.

또한 상기 신체 사이즈 측정 장치(100)는, 상기 각 입력 의료영상에 해당하는 상기 로딩한 각각의 학습모델에 각각 적용하여, 상기 각 입력 의료영상에 대한 특징점을 인식한다.

이때, 상기 특징점은, 상기 학습모델을 통해 상기 각 입력 의료영상에 대한 특징점을 추출하고, 상기 추출한 특징점에 대한 좌표와 레이블을 확인함으로써, 인식된다.

또한 상기 특징점을 추출하는 것은, 상기 학습모델을 통해 출력되는 확률 중 제일 높은 값을 선택함으로써, 수행된다.

또한 상기 학습모델은, 의료영상의 모달리티별, 신체부위별 또는 특징점별로 생성됨은 상술한 바와 같다.

또한 상기 신체 사이즈 측정 장치(100)는, 상기 특징점을 인식할 때, 상기 각각의 입력 의료영상을 로딩한 학습모델에 순차적으로 입력하여 상기 특징점을 인식하거나, 상기 입력 의료영상을 상기 로딩한 학습모델에 병렬적으로 입력하여 사익 특징점을 인식할 수 있다.

또한 상기 각각의 입력 의료영상은, 상기 사용자에 의해 선택된 개별 특징점(A 내지 N)을 포함하며, 상기 학습모델은 상기 개별 특징점에 따라 모달리티별, 신체부위별로 미리 학습되어 생성된 것이다. 또한 각 학습모델은, 상기 입력 의료영상에 대한 특정 특징점(예: A 내지 N)에 대한 확률을 각각 출력하며, 상기 출력한 확률 중 제일 높은 값을 선택함으로써, 상기 각 입력 의료영상에 대한 적어도 하나 이상의 특징점을 인식하게 된다.

한편, 도 4에 도시한 바와 같이, 본 발명의 또 다른 일 실시예에 따른 학습모델은, 모달리티별, 신체부위별로 모든 특징점을 학습한 복합 학습모델로 생성될 수 있다.

이때, 상기 신체 사이즈 측정 장치(100)는, 상기 사용자에 의해 복수의 특징점이 임의로 선택된 복합 특징점을 포함하는 서로 다른 적어도 두개 이상의 모달리티의 입력 의료영상이 입력되는 경우, 상기 각 입력 의료영상의 신체부위와 모달리티를 확인한다.

또한 상기 신체 사이즈 측정 장치(100)는, 상기 확인한 결과에 따라 적어도 하나 이상의 복합 학습모델을 선택하여 상기 학습모델 데이터베이스(410)로부터 로딩하고, 상기 각 입력 의료영상을 해당하는 상기 선택한 복합 학습모델에 각각 적용하여 상기 각 입력 의료영상에 대한 적어도 하나 이상의 특징점을 인식한다.

이때, 상기 복합 학습모델은, 상기 모든 특징점이 매칭되는 확률을 출력하며, 상기 신체 사이즈 측정 장치(100)는, 상기 확률이 사전에 설정된 임계값을 초과하는 경우에, 상기 각 특징점에 대한 좌표와 레이블을 확인함으로써, 상기 각 입력 의료영상으로부터 적어도 하나 이상의 특징점을 인식하게 된다.

또한 상기 학습모델을 통해 상기 각 입력 의료영상에 대한 적어도 하나 이상의 특징점을 인식한 상기 신체 사이즈 측정 장치(100)는, 상기 인식한 적어도 하나 이상의 특징점을 토대로 상기 입력 의료영상을 정합한 정합 의료영상을 생성한다.

이후, 상기 신체 사이즈 측정 장치(100)는, 상기 생성한 정합 의료영상의 각 특징점을 통합하여 연결함으로써, 복수의 신체부위가 결합되어 확장된 신체에 대한 신체 사이즈, 상기 각 신체 부위에 대한 신체 사이즈 또는 이들의 조합을 포함하는 신체 사이즈를 측정하여 사용자 단말(200)로 제공함으로써, 해당 사용자에 따라 다양한 목적으로 이용할 수 있도록 한다.

도 5는 본 발명의 일 실시예에 따른 서로 다른 모달리티의 입력 의료영상을 정합한 정합 의료영상을 생성하는 과정을 설명하기 위해 나타낸 도면이다.

도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 정합 의료영상을 생성하는 과정은, 우선, 상기 신체 사이즈 측정 장치(100)는, 사용자로부터 서로 다른 적어도 두개 이상의 모달리티의 입력 의료영상이 입력되는 경우, 상기 각 입력 의료영상에 대한 적어도 하나 이상의 특징점을 인식한다.

상기 특징점을 인식하는 것은, 상기 모달리티별, 신체부위별 또는 특징점별로 생성한 적어도 하나 이상의 학습모델을 통해 상기 각 입력 의료영상에 대한 적어도 하나 이상의 특징점을 추출하고, 상기 추출한 특징점에 대한 좌표와 레이블을 확인함으로써, 수행됨은 상술한 바와 같다.

또한 상기 신체 사이즈 측정 장치(100)는, 상기 인식한 특징점에 대한 좌표와 레이블을 참조하여 상기 각 입력 의료영상에서 중복되는 특징점을 탐색한다.

또한 상기 신체 사이즈 측정 장치(100)는, 상기 입력 의료영상 중 정합의 기준이 되는 어느 하나의 영상을 선택하여 상기 선택한 영상을 기준영상으로 설정한다.

이때, 상기 기준영상은 사전에 설정한 우선순위에 따라 선택되며, 상기 우선순위는 영상의 모달리티 또는 신체부위에 따라 사전에 설정된다.

예를 들어, 의료영상이 MRI 영상, CT 영상, 초음파 영상으로 구성된다고 가정하면 최우선 순위를 MRI영상, 그 다음 순위를 CT영상, 최하위 순위를 초음파 영상으로 설정할 수 있다. 또 다른 예로써, 신체부위별로 상기 우선순위를 설정한다고 하면, 머리, 흉부, 팔, 손, 다리, 발의 순서로 상기 우선순위를 설정할 수 있다. 즉, 상기 우선순위는, 모달리티 또는 신체부위에 따라 사전에 설정되는 것이다.

또한 상기 신체 사이즈 측정 장치(100)는, 상기 선택한 기준영상 이외의 다른 입력 의료영상의 상기 중복된 특징점을 상기 선택한 기준영상의 중복된 특징점에 중첩한다.

이후, 상기 신체 사이즈 측정 장치(100)는, 상기 다른 입력 의료영상에 대한 특징점의 좌표를 상기 선택한 기준영상의 좌표로 변환함으로써, 상기 입력 의료영상을 정합하여 최종적으로 정합된 정합 의료영상을 생성한다.

또한 상기 입력 의료영상이 세개 이상으로 입력되는 경우, 정합과정에서 생성되는 정합 의료영상을 기준영상으로 선택하고, 나머지 의료영상을 상기 선택한 기준영상에 정합하는 과정을 반복적으로 수행함으로써, 최종적인 정합 의료영상을 생성한다.

예를 들어, 모달리티가 서로 다른 세개의 입력 의료영상이 입력되는 경우, 상기 설정한 우선순위에 따라 두개의 입력 의료영상을 우선 정합하여, 상기 두개의 입력 의료영상을 정합한 정합 의료영상을 생성하고, 상기 생성한 정합 의료영상을 기준영상으로 선택한 후, 나머지 입력 의료영상을 상기 선택한 기준영상에 정합함으로써, 세개 이상의 입력 의료영상을 정합한 정합 의료영상을 생성한다.

한편, 상기 모달리티가 서로 다른 입력 의료영상은, 상기 중복된 특징점의 레이블은 동일하나, 상기 중복된 특징점의 좌표는 상기 각 입력 의료영상의 모달리티 및 촬영 자세에 따라 달라질 수 있다. 즉, 상기 각 입력 의료영상에서 중복된 특징점을 탐색하였더라도, 상기 각 입력 의료영상에서의 중복된 특징점간의 관계(예를 들어, 중복된 특징점 간의 거리)가 달라질 수밖에 없기 때문에 서로 다른 모달리티의 입력 의료영상을 단순히 정합하면 정확한 정합 의료영상을 생성하지 못하는 문제점이 있다.

따라서 상기 신체 사이즈 측정 장치(100)는, 서로 다른 적어도 두개 이상의 모달리티의 입력 의료영상의 모달리티 및 촬영 자세에 따라, 상기 서로 다른 두개 이상의 모달리티의 입력 의료영상을 정확하게 정합하는 기능을 수행한다. 이에 대한 설명은 도 6 및 도 7을 참조하여 상세히 설명하도록 한다.

또한 상기 신체 사이즈 측정 장치(100)는, 상기 기준영상의 좌표로 정합하여 생성된 정합 의료영상에 대한 복수의 특징점을 서로 통합하여 연결함으로써, 복수의 신체부위가 결합되어 확장된 신체부분에 대한 신체 사이즈, 상기 각 신체부위에 대한 신체 사이즈 또는 이들의 조합을 포함하는 신체 사이즈를 측정하여 상기 사용자에게 제공한다.

즉, 상기 신체 사이즈 측정 장치는, 상기 데이터베이스(400)에 저장된 복수의 특징점에 대한 연결정보를 토대로 2차원 또는 3차원 모델링을 수행하여 서로 연결하고, 상기 연결한 결과에 따라 상기 신체 사이즈를 측정하여 사용자에게 제공함으로써, 상기 신체 사이즈를 다양한 목적에 따라 이용할 수 있도록 하는 것이다.

도 6은 본 발명의 일 실시예에 따른 3차원 의료영상과 2차원 의료영상을 정합하여 정합 의료영상을 생성하는 과정을 설명하기 위해 나타낸 도면이며, 도 7은 본 발명의 또 다른 일 실시예에 따른 3차원 의료영상과 2차원 의료영상을 정합하여 정합 의료영상을 생성하는 과정을 설명하기 위해 나타낸 도면이다.

도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 서로 다른 모달리티의 입력 의료영상을 정합한 정합 의료영상을 생성할 때, 상기 신체 사이즈 측정 장치(100)는, 상기 서로 다른 모달리티의 각 입력 의료영상에 대한 적어도 하나 이상의 특징점을 인식하여, 상기 인식한 특징점에 대한 좌표와 레이블을 참조하여 상기 각 입력 의료영상에서 레이블이 동일한 중복된 특징점을 탐색한다.

이후, 상기 신체 사이즈 측정 장치(100)는, 상기 입력 의료영상 중 어느 하나를 기준영상으로 선택하여, 상기 선택한 기준영상의 중복된 특징점에 상기 기준영상 이외의 다른 입력 의료영상의 중복된 특징점을 중첩하고, 상기 다른 입력 의료영상에서 인식한 적어도 하나 이상의 특징점을 상기 선택한 기준영상의 좌표로 변환함으로써, 최종적인 정합 의료영상을 생성하게 된다.

한편, 상기 각 입력 의료영상이 2차원 영상(예: X-ray 영상, 초음파 영상)인 경우, 상기 입력 의료영상을 정합하기 위해서는 최소 2개 이상의 중복된 특징점이 필요하다.

또한 상기 입력 의료영상 중 어느 하나가 CT 영상과 같은 3차원 영상(즉, 입력 의료영상 중 어느 하나가 3차원 복셀로 구성된 경우)인 경우, 상기 입력 의료영상을 정합하기 위해서는 최소 3개 이상의 중복된 특징점이 필요하다. 다만 상기 3차원 영상의 방향(Orientation)이 어느 하나의 촬영축(예: x축)과 직교하고, 다른 입력 의료영상(2차원 영상)의 촬영축과 일치하는 경우, 2개의 중복된 특징점으로 상기 서로 다른 입력 의료영상을 정합할 수 있다.

예를 들어, 가슴 PA(Postero Anterior)를 촬영한 2차원 X-ray 영상의 촬영축은, 정자세로 누워 촬영한 CT 영상의 관상면(Coronal Plane)과 일치하므로 두개의 중복된 특징점으로 상기 2차원 X-ray 영상과 상기 3차원 CT 영상을 상호 정합할 수 있다.

이하에서는, 상기 입력 의료영상의 모달리티가 3차원 영상인 CT 영상과 2차원 영상인 X-ray이며, 상기 2차원 영상의 촬영축과 상기 3차원 영상의 관상면이 일치하는 경우, 중복된 특징점으로 상기 각 입력 의료영상을 정합하는 과정을 설명하도록 한다. 다만, 상기 2차원 영상의 촬영축과 상기 3차원 영상의 관상면이 일치하지 않는 경우에는 최소 3개 이상의 중복된 특징점을 이용하여 상기 각 입력 의료영상을 정합함은 당연할 것이다.

또한 상기 신체 사이즈 측정 장치(100)는, 상기 각 입력 의료영상으로부터 중복된 특징점을 탐색하여, 상기 중복된 특징점을 이용하여 상기 각 입력 의료영상을 정합할 때, 상기 모달리티에 따라 각 의료영상에서의 중복 특징점의 좌표가 상이하여, 각 입력 의료영상에서 중복된 특징점의 관계가 서로 다를 수 있다.

즉, 도 6에 도시한 것과 같이, 제1 입력 의료영상(모달리티: CT, 신체부위: 흉부)에서 탐색한 중복된 특징점(A 및 B)의 거리(L1)와, 상기 제2 입력 의료영상(모달리티: X-ray, 신체부위: 복부)에 탐색한 중복된 특징점(A 및 B)의 거리(L2)가 서로 상이하다.

따라서 상기 신체 사이즈 측정 장치(100)는, 상기 설정한 기준영상(여기서 제1 입력 의료영상이 기준영상으로 선택됨)의 중복된 특징점 중 어느 하나를 선택하고, 상기 선택한 특징점과 대응하는 상기 제2 입력 의료영상의 중복된 특징점을 우선 중첩하여 고정한다.

이후, 상기 신체 사이즈 측정 장치(100)는, 상기 제1 입력 의료영상의 중복된 특징점의 관계(즉, 거리)와 상기 제2 입력 의료영상의 중복된 특징점의 관계(즉, 거리)에 따라 상기 제2 입력 의료영상의 스케일을 변환하거나, 상기 제2 입력 의료영상을 회전하거나 또는 이들의 조합을 수행하여, 상기 제1 입력 의료영상의 나머지 중복된 특징점에 상기 제2 입력 의료영상의 나머지 중복된 특징점을 중첩함으로써, 상기 제1 입력 의료영상과 상기 제2 입력 의료영상을 정확하게 정합한 정합 의료영상을 생성하게 된다.

또한 도 7에 도시한 것과 같이, 상기 각 입력 의료영상의 모달리티 이외에도 촬영 자세에 따라 상기 탐색한 중복된 특징점의 관계(거리)가 달라질 수 있다.

예를 들어, 제1 입력 의료영상이 흉부에 대해 촬영한 3차원 CT 영상이고 촬영 자세가 옆으로 누운 자세이며, 상기 제2 입력 의료영상이 복부에 대해 촬영한 2차원 X-ray 영상이며, 촬영 자세가 정자세인 경우, 상기 제1 입력 의료영상과 제2 입력 의료영상에서 동일한 레이블을 가지는 중복된 특징점을 탐색하였더라도, 상기 각 입력 의료영상에서의 중복된 특징점은 그 좌표가 상이함을 알 수 있다.

따라서 상기 신체 사이즈 측정 장치(100)는, 상기 제1 입력 의료영상과 상기 제2 입력 의료영상 중 기준영상을 선택하고, 도 6을 참조하여 설명한 것과 같이, 상기 선택한 기준영상(예: 제1 입력 의료영상)에서 어느 하나의 중복된 특징점과 이에 대응하는 상기 기준영상 이외의 다른 입력 의료영상(예: 제2 입력 의료영상)의 중복된 특징점을 우선 중첩하여 고정 한 후, 상기 다른 입력 의료영상의 스케일을 변환하거나, 상기 다른 입력 의료영상을 회전하거나 또는 이들의 조합을 수행하여, 상기 중복된 특징점을 중첩함으로써, 정합 의료영상을 최종적으로 생성하게 된다.

즉, 도 6 및 도 7을 참조하여 설명한 것과 같이, 본 발명의 신체 사이즈 측정 장치(100)는, 각 입력 의료영상에서 탐색한 중복된 특징점에 대한 관계를 토대로 상기 각 입력 의료영상의 중복된 특징점을 중첩하여 정확한 정합 의료영상을 생성하게 되는 것이다.

도 8은 본 발명의 또 다른 일 실시예에 따른 세개의 서로 다른 모달리티의 입력 의료영상을 정합하여 정합 의료영상을 생성하는 과정을 설명하기 위해 나타낸 도면이다.

도 8에 도시한 것과 같이, 상기 입력 의료영상이 세개 이상으로 입력되는 경우, 상기 세개 이상의 입력 의료영상을 정합하는 과정은, 도 5를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.

한편, 상기 입력되는 세개 이상의 입력 의료영상 모두가 2차원 의료영상일 때, 상기 각 입력 의료영상의 중복된 특징점을 탐색한 결과, 상기 각 입력 의료영상의 중복된 특징점이 다른 입력 의료영상에 대해 각각 하나씩 하나씩 중복되는 경우, 각각 하나씩 중복된 특징점을 이용하여 상기 세개 이상의 입력 의료영상을 간편하게 정합할 수 있다.

예를 들어, 도 8에 도시한 것과 같이, 세개의 입력 의료영상 중 제1 입력 의료영상에서 탐색한 중복된 특징점(P1 및 P3) 중에서 특징점 P3은 제2 입력 의료영상과 중복되고, 특징점 P1은 제3 입력 의료영상과 중복되며, 상기 제2 입력 의료영상에서 탐색한 중복된 특징점(P2 및 P3) 중에서 특징점 P2가 제3 입력 의료영상과 중복되는 경우, 상기 각각 입력 의료영상은 다른 입력 의료영상과 하나의 중복된 특징점을 가지게 된다.

따라서 상기 신체 사이즈 측정 장치(100)는, 상기 세개의 입력 의료영상 중 어느 하나의 입력 의료영상을 기준영상으로 선택하여, 상기 기준영상의 중복된 특징점에, 다른 하나의 입력 의료영상 중 상기 기준영상의 중복된 특징점과 대응하는 중복된 특징점을 중첩함으로써, 상기 기준영상과 상기 다른 하나의 입력 의료영상을 정합한 정합 의료영상을 생성한다. 이때, 상기 다른 입력 의료영상에서 인식한 적어도 하나 이상의 특징점은 상기 기준영상의 좌료로 변환됨은 상술한 바와 같다.

이후, 상기 생성한 정합 의료영상을 기준영상으로 선택하고, 상기 기준영상으로 선택한 정합 의료영상의 중복 특징점에 대응하는 나머지 하나의 입력 의료영상의 중복 특징점을 중첩하고, 상기 나머지 하나의 입력 의료영상에서 인식한 적어도 하나 이상의 특징점을 상기 기준영상으로 선택한 정합 의료영상의 좌표로 변환함으로써, 최종적으로 상기 세개의 입력 의료영상을 정합한 정합 의료영상을 생성하게 된다.

도 5 내지 도 8을 참조하여 설명한 것과 같이, 본 발명의 신체 사이즈 측정 장치(100)는, 서로 다른 적어도 두개 이상의 모달리티의 입력 의료영상으로부터 중복된 특징점을 탐색하고, 상기 입력 의료영상의 모달리티와 촬영 자세에 따라 상기 중복된 특징점을 간편하게 중첩함으로써, 복잡한 이미지 처리 과정을 수행하지 않으면서도 모달리티가 서로 다른 복수의 입력 의료영상을 신속하고 정확하게 정합할 수 있다.

도 9는 본 발명의 일 실시예에 따른 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 장치의 구성을 나타낸 블록도이다.

도 9에 도시한 바와 같이, 본 발명의 일 실시예에 따른 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 장치(100)(즉, 신체 사이즈 측정 장치)는, 다양한 모달리티의 학습용 의료영상을 수집하는 학습용 의료영상 수집부(110), 상기 학습용 의료영상을 이용하여 특정 입력 의료영상으로부터 적어도 하나 이상의 특징점을 인식하기 위한 학습모델을 생성하는 학습부(120), 사용자 단말(200)로부터 서로 다른 적어도 두개 이상의 모달리티의 입력 의료영상을 입력받는 의료영상 입력부(130), 상기 각 입력 의료영상에 대한 적어도 하나 이상의 특징점을 인식하는 특징점 인식부(140), 신체 사이즈 측정부(150) 및 상기 각 입력 의료영상에 대해 인식한 상기 특징점을 토대로 상기 모달리티가 서로 다른 입력 의료영상을 정합하여 정합 의료영상을 생성하는 의료영상 정합부(160)를 포함하여 구성된다.

상기 학습용 의료영상 수집부(110)는, 적어도 하나 이상의 학습용 의료영상 프로바이더(300)로부터 학습용 의료영상을 수집하는 기능을 수행한다.

이때, 상기 학습용 의료영상은 MRI 영상, CT 영상 등과 같이 다양한 모달리티를 가지며, 신체부위별로 수집된다.

또한 상기 학습부(120)는, 상기 수집한 학습용 의료영상을 모달리티별, 신체부위별로 구분하고, 상기 구분한 학습용 의료영상에 대한 적어도 하나 이상의 특징점을 결정하고, 상기 결정한 특징점에 대한 레이블을 레이블링한다.

또한 상기 학습부(120)는, 상기 결정한 특징점에 대한 레이블링을 수행한 상기 학습용 의료영상을 학습하여, 상기 학습모델을 생성하고, 상기 생성한 학습모델을 학습모델 데이터베이스(410)에 저장하여 관리하는 기능을 수행한다.

상기 특징점을 결정하는 것은, 상기 수집한 복수의 학습용 의료영상에서 적어도 하나 이상의 특징점을 지정하는 것을 의미하며, 상기 레이블링은, 상기 결정한 특징점에 대한 레이블을 부여하는 것을 의미한다.

또한 상기 특징점은, 의사나 영상판독 전문가 등과 같은 의료영상 전문가를 통해 결정된다. 이때, 상기 의료영상 전문가는 상기 수집한 학습용 의료영상을 확인하여 마우스, 키보드, 터치펜과 같은 입력 수단을 통해 신체부위의 경계나 외곽 부분 등에 대한 특징점을 지정하고, 상기 특징점에 대한 레이블을 부여한다. 이때, 상기 특징점은 해부학적으로 위치 및 레이블이 결정되어 있는 부분으로 결정되는 것이 바람직하다.

예를 들어, 신체부위가 목 부위인 경우, 목 부위의 왼쪽 부분, 중앙 부분 및 오른쪽 부분에 대해 각각 하나의 특징점을 결정하였다면, 상기 왼쪽 부분, 중앙 부분 및 오른쪽 부분에 결정한 특징점에 대한 레이블을 'NL', 'NC' 및 'NR'로 각각 부여하는 것이다. 또한 상기 왼쪽 부분, 중앙 부분 및 오른쪽 부분 각각에 적어도 하나 이상의 특징점을 결정하였다면, 상기 부여한 레이블 각각에 숫자(예: NL1, NL2 등)를 조합하여 상기 결정한 특징점에 대한 레이블을 부여할 수 있다.

이러한 특징점 및 레이블은 상기 각 신체부위별로 결정되고 부여된다.

또한 상기 학습모델은, 상기 모달리티별, 신체부위별 또는 특징점별로 각각 생성되어 학습모델 데이터베이스(410)에 저장 및 관리된다.

한편, 상기 학습모델은, 상기 특징점별로 생성되는 것이 바람직하지만, 상기 각 신체부위별 결정된 복수의 특징점(즉, 복합 특징점)을 한 번에 학습하여 생성될 수 있음은 상술한 바와 같다.

또한 상기 학습부(120)는, 상기 학습을 수행하는 과정에서 백프로퍼게이션을 수행하여, 오차를 최소화하는 방향으로 학습 파라미터(가중치)를 조정함으로서, 상기 학습모델을 최적화한다. 상기 학습 파라미터를 조정하는 것은, 도 2를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.

상기 의료영상 입력부(130)는, 상기 사용자 단말(200)로부터 서로 다른 적어도 두개 이상의 모달리티의 입력 의료영상을 입력받는 기능을 수행한다.

또한 상기 특징점 인식부(140)는, 상기 입력 의료영상별로 적어도 하나 이상의 특징점을 인식하는 기능을 수행한다.

이를 위해 상기 특징점 인식부(140)는, 우선 상기 입력 의료영상에 대한 모달리티와 신체부위를 각각 확인한다.

다음으로, 상기 특징점 인식부(140)는, 상기 확인한 결과에 따라 상기 각 입력 의료영상에 해당하는 모달리티와 신체부위에 따른 적어도 하나 이상의 학습모델을 상기 학습모델 데이터베이스(410)로부터 선택하여 로딩한다.

또한 상기 특징점 인식부(140)는, 상기 각 입력 의료영상에 따라 상기 로딩한 적어도 하나 이상의 학습모델에 각각 적용하여 상기 각 입력 의료영상에 대한 적어도 하나 이상의 특징점을 인식한다.

한편, 상기 모달리티와 신체부위를 확인하는 것은, 모달리티와 머리, 흉부, 팔, 다리 등의 각 신체부위를 나타내는 사용자 인터페이스를 상기 사용자 단말(200)로 제공하고, 이를 확인한 사용자가 상기 입력 의료영상별로 모달리티 및 상기 신체부위를 선택하도록 함으로써, 수행된다.

또한 상기 사용자가 직접 상기 입력 의료영상에 대한 모달리티 및 신체부위를 텍스트 형식으로 입력하도록 하거나, 모달리티 및 신체부위를 확인하기 위한 각각의 학습모델에 상기 각 입력의료영상을 적용함으로써, 상기 모달리티 및 신체부위를 자동으로 확인할 수 있다.

또한 상기 특징점을 인식하는 것은, 상기 학습모델을 통해 가장 높은 확률 가지는 값을 선택함으로써, 상기 각 입력 의료영상에 대한 특징점을 추출하고, 상기 추출한 특징점에 대한 좌표와 레이블을 확인함으로써, 수행된다.

또한 상기 의료영상 정합부(160)는, 상기 입력 의료영상 간에 중복된 특징점을 탐색하는 특징점 중복 탐색부(161), 상기 입력 의료영상 중 기준영상을 선택하는 기준영상 선택부(162) 및 상기 선택한 기준영상과 상기 탐색한 탐색결과를 토대로 상기 입력 의료영상을 정합하여 정합 의료영상을 생성하는 정합 의료영상 생성부(163)를 포함하여 구성된다.

또한 상기 특징점 중복 탐색부(161)는, 상기 특징점 인식부(140)에서 인식한 입력 의료영상별 특징점을 토대로 상기 각 입력 의료영상 간에 중복된 특징점을 탐색하는 기능을 수행한다.

이때, 상기 특징점 중복 탐색부(161)는, 상기 인식한 특징점의 좌표와 레이블을 참조하여, 동일한 레이블을 가지는 특징점을 확인함으로서, 상기 각 입력 의료영상 간에 중복된 특징점을 탐색하게 된다.

즉, 상기 각 입력 의료영상별로 인식한 적어도 하나 이상의 특징점 중에서, 동일한 레이블을 가지는 특징점을 상기 각 입력 의료영상 간에 중복된 특징점으로 판단하는 것이다.

또한 상기 기준영상 선택부(162)는, 상기 입력 의료영상 중 사전에 설정한 우선순위에 따라 상기 정합의 기준이 되는 기준영상을 선택하는 기능을 수행한다.

또한 상기 정합 의료영상 생성부(163)는, 상기 선택한 기준영상과 다른 입력 의료영상에서 상기 중복된 특징점을 상기 기준영상의 중복된 특징점에 중첩하고, 상기 다른 입력 의료영상의 특징점에 대한 좌표를 상기 기준영상의 좌표로 변환함으로써, 상기 입력 의료영상을 정합한 정합 의료영상을 생성하는 기능을 수행한다.

한편, 상기 우선순위에 따라 기준영상을 선택하는 것과, 상기 정합 의료영상을 생성하는 과정은 도 5 내지 도 8을 참조하여 설명하였으므로, 더 이상의 상세한 설명은 생략하도록 한다.

또한 상기 신체 사이즈 측정부(150)는, 상기 정합 의료영상을 토대로 신체부위별 신체 사이즈를 측정하여 상기 사용자 단말(200)로 제공하거나, 상기 정합을 통해 복수의 신체부위가 결합되어 확장된 신체부위에 대한 신체 사이즈를 측정하여 상기 사용자 단말(200)로 제공하거나, 또는 상기 신체부위별 신체 사이즈 및 상기 확장된 신체부위에 대한 신체사이즈를 측정하여 상기 사용자 단말(200)로 제공하는 기능을 수행한다.

도 10은 본 발명의 일 실시예에 따른 학습모델을 생성하는 절차와 신체 사이즈를 측정하여 제공하는 절차를 설명하기 위해 나타낸 흐름도이다.

도 10에 도시한 바와 같이, 본 발명의 일 실시예에 따른 학습모델을 생성하는 절차는 우선, 상기 신체 사이즈 측정 장치(100)는 적어도 하나 이상의 학습용 의료영상을 제공하는 학습용 의료영상 프로바이더(300)로부터 학습용 의료영상을 수집하는 학습용 의료영상 수집 단계를 수행한다(S110).

상기 학습용 의료영상 수집 단계는, 상기 머리, 흉부, 손, 팔, 다리 등을 포함하는 학습용 의료영상을 사전에 설정한 주기에 따라 수집하거나, 실시간으로 수집한다.

또한 상기 학습용 의료영상은 다양한 모달리티로 구성됨은 상술한 바와 같다.

다음으로, 상기 신체 사이즈 측정 장치(100)는, 상기 수집한 학습용 의료영상에 대한 적어도 하나 이상의 특징점을 결정하여, 상기 결정한 특징점에 대한 레이블을 부여하는 레이블링을 수행(S120)하고, 상기 레이블링을 수행한 학습용 의료영상을 학습하여 학습모델을 생성(S130)하는 학습단계를 수행한다.

상기 학습단계는, 상기 수집한 학습용 의료영상을 모달리티별, 신체부위별로 분류한다. 이후, 의사나 영상 판독 전문가와 같은 의료영상 전문가를 통해 상기 분류한 학습용 의료영상에 대한 적어도 하나 이상의 특징점을 결정하고 상기 레이블링을 수행함은 상술한 바와 같다.

또한 상기 학습모델은, 상기 학습용 의료영상의 모달리티별, 신체부위별 또는 상기 결정한 특징점별로 생성된다.

또한 상기 학습단계는, 상기 학습과정에서의 오차를 최소화하는 방향으로 학습파라미터를 조정하는 백프로퍼게이션을 수행하여, 상기 학습을 통해 생성된 학습모델이 최적화될 수 있도록 한다.

한편, 상기 신체 사이즈를 측정하는 절차는 우선, 상기 신체 사이즈 측정 장치(100)는, 사용자 단말(200)로부터 서로 다른 모달리티의 입력 의료영상이 입력(S210)되면, 상기 입력 의료영상별로 적어도 하나 이상의 특징점을 인식하는 특징점 인식 단계를 수행한다(S220).

또한 상기 특징점 인식 단계는, 상기 입력된 입력 의료영상의 모달리티와 신체부위에 따라 적어도 하나 이상의 학습모델을 상기 학습모델 데이터베이스(420)에서 선택하여 로딩하고, 상기 로딩한 적어도 하나 이상의 학습모델에 해당되는 상기 입력 의료영상을 각각 적용하여 상기 입력 의료영상별로 적어도 하나 이상의 특징점을 추출하고, 상기 추출한 특징점에 대한 좌표와 레이블을 확인함으로서, 상기 입력 의료영상별로 적어도 하나 이상의 특징점을 인식한다.

한편, 상기 입력 의료영상을 각각 적용하기 위한 적어도 하나 이상의 학습모델을 선택하는 것은, 도 6을 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.

다음으로, 상기 신체 사이즈 측정 장치(100)는, 상기 입력 의료영상별로 인식한 적어도 하나 이상의 특징점을 토대로 상기 입력 의료영상 간에 중복된 특징점을 탐색하는 특징점 중복 탐색 단계를 수행한다(S230).

상기 중복된 특징점을 탐색하는 것은, 상기 인식한 특징점의 좌표와 레이블을 참조하여, 상기 레이블이 동일한 특징점을 확인함으로써, 수행된다.

다음으로, 상기 신체 사이즈 측정 장치(100)는, 상기 탐색한 결과에 따라 상기 입력 의료영상을 정합하여 정합 의료영상을 생성하는 의료영상 정합 단계를 수행한다(S240).

이때, 상기 의료영상 정합 단계는, 사전에 설정한 우선순위에 따라 상기 입력 의료영상 중 어느 하나를 기준영상으로 선택하고, 상기 기준영상 이외의 다른 입력 의료영상에서 상기 탐색한 결과인 중복된 특징점을 상기 기준영상에서 상기 탐색한 결과인 중복된 특징점을 중첩하고, 상기 다른 입력 의료영상의 특징점에 대한 좌표를 상기 기준영상의 좌표로 변환하여, 상기 두개 이상의 서로 다른 모달리티의 입력 의료영상을 정합함으로써, 정합 의료영상을 생성한다.

상기 중첩시, 상기 입력 의료영상의 모달리티와 상기 입력 의료영상의 촬영 자세에 따라 상기 정합을 수행함은 상술한 바와 같다.

다음으로, 상기 신체 사이즈 측정 장치(100)는, 상기 생성한 정합 의료영상을 토대로 신체부위별 또는 복수의 신체부위가 결합되어 확장된 신체부위에 대한 신체 사이즈를 측정(S250)하고, 상기 측정한 신체 사이즈를 상기 사용자 단말(200)로 제공(S260)하는 신체 사이즈 측정 단계를 수행한다.

상기 신체 사이즈를 측정하는 것은, 상기 정합 의료영상의 특징점을 서로 통합하여 연결하여 상기 연결한 특징점 간의 거리를 측정함으로써, 수행됨은 상술한 바와 같다.

도 11은 본 발명의 일 실시예에 따른 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 장치의 하드웨어 구조를 나타낸 도면이다.

도 11에 도시한 바와 같이, 본 발명의 일 실시예에 따른 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 장치(100)의 하드웨어 구조는, 중앙처리장치(1000), 메모리(2000), 사용자 인터페이스(3000), 데이터베이스 인터페이스(4000), 네트워크 인터페이스(5000), 웹서버(6000) 등을 포함하여 구성된다.

상기 사용자 인터페이스(3000)는 그래픽 사용자 인터페이스(GUI, graphical user interface)를 사용함으로써, 사용자에게 입력과 출력 인터페이스를 제공한다.

상기 데이터베이스 인터페이스(4000)는 데이터베이스(400)와 하드웨어 구조 사이의 저장 인터페이스를 제공한다.

상기 네트워크 인터페이스(5000)는 사용자가 보유한 장치 간의 네트워크 연결을 제공한다.

상기 웹 서버(6000)는 사용자가 네트워크를 통해 상기 신체 사이즈 측정 장치(100)로 액세스하기 위한 수단을 제공한다. 대부분의 사용자들은 원격에서 웹 서버로 접속하여 상기 신체 사이즈 측정 장치(100)를 이용할 수 있다.

상술한 구성 또는 방법의 각 단계는, 컴퓨터 판독 가능한 기록매체 상의 컴퓨터 판독 가능 코드로 구현되거나 전송 매체를 통해 전송될 수 있다. 컴퓨터 판독 가능한 기록매체는, 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터를 저장할 수 있는 데이터 저장 디바이스이다.

컴퓨터 판독 가능한 기록매체의 예로는 데이터베이스, ROM, RAM, CD-ROM, DVD, 자기 테이프, 플로피 디스크 및 광학 데이터 저장 디바이스가 있으나 이에 한정되는 것은 아니다. 전송매체는 인터넷 또는 다양한 유형의 통신 채널을 통해 전송되는 반송파를 포함할 수 있다.

또한 컴퓨터 판독 가능한 기록매체는, 컴퓨터 판독 가능 코드가 분산 방식으로 저장되고, 실행되도록 네트워크 결합 컴퓨터 시스템을 통해 분배될 수 있다.

또한 본 발명에 적용된 적어도 하나 이상의 구성요소는, 각각의 기능을 수행하는 중앙처리장치(CPU)(1000), 마이크로프로세서 등과 같은 프로세서를 포함하거나 이에 의해 구현될 수 있으며, 상기 구성요소 중 둘 이상은 하나의 단일 구성요소로 결합되어 결합된 둘 이상의 구성요소에 대한 모든 동작 또는 기능을 수행할 수 있다.

또한 본 발명에 적용된 적어도 하나 이상의 구성요소의 일부는, 이들 구성요소 중 다른 구성요소에 의해 수행될 수 있다. 또한 상기 구성요소들 간의 통신은 버스(미도시)를 통해 수행될 수 있다.

이처럼, 본 발명은 서로 다른 모달리티의 입력 의료영상으로부터 적어도 하나 이상의 특징점을 각각 인식하고, 상기 인식한 특징점을 토대로 상기 서로 다른 모달리티의 입력 의료영상을 간편하고 신속하게 정합하여, 상기 정합한 결과를 토대로 개별 신체부위 또는 개별 신체부위가 결합되어 확장된 신체부위에 대한 신체 사이즈를 정확하게 측정하여 사용자에게 제공함으로써, 상기 신체 사이즈를 다양한 목적으로 이용할 수 있도록 하는 효과가 있다.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.

100: 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 장치
110: 학습용 의료영상 수집부 120: 학습부
130: 의료영상 입력부 140: 특징점 인식부
150: 신체 사이즈 측정부 160: 의료영상 정합부
161: 특징점 중복 탐색부 162: 기준영상 선택부
163: 정합 의료영상 생성부 200: 사용자 단말
300: 학습용 의료영상 프로바이더 400: 데이터베이스

Claims (10)

1. 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 장치에 있어서,
   서로 다른 적어도 두개 이상의 모달리티의 입력 의료영상 각각에 대해서 지정한 적어도 하나 이상의 특징점을 학습모델을 통해 추출하고, 상기 추출한 특징점에 대한 좌표와 레이블을 확인하여 상기 특징점을 인식하는 특징점 인식부;
   각 상기 입력 의료영상에 대해 상기 인식한 적어도 하나 이상의 특징점의 좌표와 레이블을 참조하여, 상기 입력 의료영상 간에 동일한 레이블을 가지는 중복된 특징점을 탐색하여 상기 탐색한 중복된 특징점을 중첩함으로써, 상기 입력 의료영상을 정합하여 정합 의료영상을 생성하는 의료영상 정합부; 및
   상기 정합 의료영상으로부터 복수의 신체부위가 결합되어 확장된 신체부위에 대한 신체 사이즈를 측정하는 신체 사이즈 측정부;를 포함하며,
   상기 좌표와 레이블은, 상기 학습모델에 대한 특징점의 좌표와 레이블이며,
   상기 학습모델은, 상기 좌표와 레이블을 가진 복수의 학습용 의료영상에서 지정하여 결정된 적어도 하나 이상의 특징점 각각을 학습하여 생성되며,
   상기 정합 의료영상은, 상기 입력 의료영상 간에 중복되는 특징점에 대해서, 상기 입력 의료영상 중에서 어느 하나를 기준영상으로 선택하고, 나머지 입력 의료영상의 특징점의 좌표를 상기 선택한 기준영상의 좌표로 변환하여 상기 서로 다른 적어도 두개 이상의 모달리티의 입력 의료영상을 정합함으로써 생성되는 것을 특징으로 하는 장치.
2. 삭제
3. 청구항 1에 있어서,
   상기 특징점을 인식하는 것은,
   상기 지정한 적어도 하나 이상의 특징점에 대한 각 상기 입력 의료영상에 해당하는 신체부위와 모달리티에 따른 적어도 하나 이상의 학습모델을 선택하여, 상기 지정한 적어도 하나 이상의 특징점에 대한 각 상기 입력 의료영상을 상기 선택한 적어도 하나 이상의 학습모델에 입력하고, 각 해당 상기 학습모델의 출력 중 제일 높은 값을 가지는 학습모델에 대한 특징점의 좌표와 레이블을 인식함으로써 수행되는 것을 포함하는 것을 특징으로 하는 장치.
4. 청구항 1에 있어서,
   상기 신체 사이즈를 측정하는 장치는,
   상기 생성한 학습모델을 신체부위별, 모달리티별 또는 특징점별로 데이터베이스에 저장하여 관리하는 학습부;를 더 포함하는 것을 특징으로 하는 장치.
5. 삭제
6. 청구항 1에 있어서,
   상기 신체 사이즈 측정부는,
   상기 기준영상의 좌표로 정합된 복수의 특징점을 서로 통합하여 연결함으로써 복수의 신체부위가 결합되어 확장된 신체 사이즈를 측정하는 것을 포함하는 것을 특징으로 하는 장치.
7. 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 장치에서, 서로 다른 적어도 두개 이상의 모달리티의 입력 의료영상 각각에 대해서 지정한 적어도 하나 이상의 특징점을 학습모델을 통해 추출하고, 상기 추출한 특징점에 대한 좌표와 레이블을 확인하여 상기 특징점을 인식하는 특징점 인식 단계;
   상기 장치에서, 각 상기 입력 의료영상에 대해 상기 인식한 적어도 하나 이상의 특징점의 좌표와 레이블을 참조하여, 상기 입력 의료영상 간에 동일한 레이블을 가지는 중복된 특징점을 탐색하여 상기 탐색한 중복된 특징점을 중첩함으로써, 상기 입력 의료영상을 정합하여 정합 의료영상을 생성하는 의료영상 정합 단계; 및
   상기 장치에서, 상기 정합 의료영상으로부터 복수의 신체부위가 결합되어 확장된 신체부위에 대한 신체 사이즈를 측정하는 신체 사이즈 측정 단계;를 포함하며,
   상기 좌표와 레이블은, 상기 학습모델에 대한 특징점의 좌표와 레이블이며,
   상기 학습모델은, 상기 좌표와 레이블을 가진 복수의 학습용 의료영상에서 지정하여 결정된 적어도 하나 이상의 특징점 각각을 학습하여 생성되며,
   상기 정합 의료영상은, 상기 입력 의료영상 간에 중복되는 특징점에 대해서, 상기 입력 의료영상 중에서 어느 하나를 기준영상으로 선택하고, 나머지 입력 의료영상의 특징점의 좌표를 상기 선택한 기준영상의 좌표로 변환하여 상기 서로 다른 적어도 두개 이상의 모달리티의 입력 의료영상을 정합함으로써 생성되는 것을 특징으로 하는 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법.
8. 청구항 7에 있어서,
   상기 특징점을 인식하는 것은,
   상기 지정한 적어도 하나 이상의 특징점에 대한 각 상기 입력 의료영상에 해당하는 신체부위와 모달리티에 따른 적어도 하나 이상의 학습모델을 선택하여, 상기 지정한 적어도 하나 이상의 특징점에 대한 각 상기 입력 의료영상을 상기 선택한 적어도 하나 이상의 학습모델에 입력하고, 각 해당 상기 학습모델의 출력 중 제일 높은 값을 가지는 학습모델에 대한 특징점의 좌표와 레이블을 인식함으로써 수행되는 것을 포함하는 것을 특징으로 하는 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법.
9. 청구항 7에 있어서,
   상기 신체 사이즈를 측정하는 방법은,
   상기 장치에서, 상기 생성한 학습모델을 신체부위별, 모달리티별 또는 특징점별로 데이터베이스에 저장하여 관리하는 학습 단계;를 더 포함하는 것을 특징으로 하는 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법.
10. 청구항 7에 있어서,
    상기 신체 사이즈 측정 단계는,
    상기 기준영상의 좌표로 정합된 복수의 특징점을 서로 통합하여 연결함으로써 복수의 신체부위가 결합되어 확장된 신체 사이즈를 측정하는 것을 포함하는 것을 포함하는 것을 특징으로 하는 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법.

Images