KR102505614B1

KR102505614B1 - 골관절염 예측 정보 제공 방법 및 장치

Info

Publication number: KR102505614B1
Application number: KR1020190174040A
Authority: KR
Inventors: 김항기
Original assignee: 한국전자통신연구원
Priority date: 2019-12-24
Filing date: 2019-12-24
Publication date: 2023-03-06
Also published as: KR20210081770A; US20210193326A1

Abstract

본 발명의 일 실시예에 따른 골관절염 예측 정보 제공 방법은 사용자의 일 관절 부위의 영상에 대응하는 의료 영상 데이터를 포함하는 입력 데이터를 획득하는 단계, 상기 입력 데이터에 대해 유한 요소 해석(FEA, Finite element analysis) 기반 시뮬레이션을 수행하여 상기 관절 부위의 관절 모델을 생성하는 단계, 상기 입력 데이터를 이용하여 상기 관절 부위의 골격 조직 패턴 정보를 생성하는 단계, 상기 관절 모델 및 상기 골격 조직 패턴 정보를 이용하여 상기 관절 부위의 질환을 예측하는 단계, 및 상기 사용자에게 상기 관절 부위의 질환 예측 결과를 제공하는 단계를 포함한다.

Description

골관절염 예측 정보 제공 방법 및 장치 {METHOD AND APPARATUS OF PROVIDING OSTEOARTHRITIS PREDICTION INFORMATION}

본 발명은 골관절염 예측 정보 제공 방법 및 장치에 관한 것으로, 의료 영상 데이터를 이용하여 골관절염의 발생 가능성 또는 악화 정도를 예측하고, 예측한 결과를 제공하기 위한 방법 및 장치에 관한 것이다.

골관절염(osteoarthritis)은 관절을 보호하고 있는 연골의 손상 혹은 퇴행성 변화로 인해 관절을 이루는 뼈와 인대 등에 손상이 일어나고 염증과 통증이 생기는 질환을 일컫는다.

골관절염을 조기에 진단하거나, 골관절염의 발생 가능성을 예측할 수 있다면 골관절염의 진행을 느리게 하거나, 발생 가능성을 낮추기 위한 처방이 가능하다.

한국 공개 특허 제10-2011-0101009호, 2011년 9월 15일 공개(명칭: 관절염에 대한 바이오마커 및 이를 이용한 관절염 진단)

본 발명은 의료 영상 데이터를 이용하여 골관절염의 발생 가능성 또는 악화 정도를 예측하고, 예측한 결과를 제공하기 위한 방법 및 장치를 제공하는 것을 목적으로 한다.

또한 본 발명은 골관절염의 예측을 위해 유한 요소 해석 기반 시뮬레이션 및 골격 조직 패턴 정보를 함께 이용함으로써, 보다 정확한 예측 결과를 제공하기 위한 방법 및 장치를 제공하는 것을 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 골관절염 예측 정보 제공 방법은 사용자의 일 관절 부위의 영상에 대응하는 의료 영상 데이터를 포함하는 입력 데이터를 획득하는 단계, 상기 입력 데이터에 대해 유한 요소 해석(FEA, Finite element analysis) 기반 시뮬레이션을 수행하여 상기 관절 부위의 관절 모델을 생성하는 단계, 상기 입력 데이터를 이용하여 상기 관절 부위의 골격 조직 패턴 정보를 생성하는 단계, 상기 관절 모델 및 상기 골격 조직 패턴 정보를 이용하여 상기 관절 부위의 질환을 예측하는 단계, 및 상기 사용자에게 상기 관절 부위의 질환 예측 결과를 제공하는 단계를 포함한다.

또한, 상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 골관절염 예측 정보 제공 장치는 적어도 하나의 프로그램이 기록된 메모리, 및 상기 프로그램을 실행하는 프로세서를 포함하며, 상기 프로그램은 사용자의 일 관절 부위의 영상에 대응하는 의료 영상 데이터를 포함하는 입력 데이터를 획득하는 단계, 상기 입력 데이터에 대해 유한 요소 해석(FEA, Finite element analysis) 기반 시뮬레이션을 수행하여 상기 관절 부위의 관절 모델을 생성하는 단계, 상기 입력 데이터를 이용하여 상기 관절 부위의 골격 조직 패턴 정보를 생성하는 단계, 상기 관절 모델 및 상기 골격 조직 패턴 정보를 이용하여 상기 관절 부위의 질환을 예측하는 단계 및 상기 사용자에게 상기 관절 부위의 질환 예측 결과를 제공하는 단계의 수행을 위한 명령어들을 포함한다.

본 발명에 따르면 의료 영상 데이터를 이용하여 골관절염의 발생 가능성 또는 악화 정도를 예측하고, 예측한 결과를 제공하기 위한 방법 및 장치를 제공할 수 있다.

또한 본 발명에 따르면 골관절염의 예측을 위해 유한 요소 해석 기반 시뮬레이션 및 골격 조직 패턴 정보를 함께 이용함으로써, 보다 정확한 예측 결과를 제공하기 위한 방법 및 장치를 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 골관절염 예측 정보 제공 방법을 나타낸 도면이다.
도 2는 본 발명의 다른 일 실시예에 따른 골관절염 예측 정보 제공 방법을 나타낸 동작 흐름도이다.
도 3은 본 발명의 또 다른 일 실시예에 따른 골관절염 예측 정보 제공 방법을 나타낸 도면이다.
도 4는 기계 학습을 위한 입력 값의 일 예를 나타낸 도면이다.
도 5는 기계 학습을 위한 입력 값의 다른 일 예를 나타낸 도면이다.
도 6은 질환 예측 결과의 일 예를 나타낸 도면이다.
도 7은 질환 예측 결과의 다른 일 예를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 골관절염 예측 정보 제공 방법을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 골관절염 예측 정보 제공 방법은 의료 영상 데이터(110)와 동작 캡쳐 데이터(115)를 수집하는 단계, 이들을 이용하여 시뮬레이션을 통한 분석(121) 및 골격 조직 패턴 분석(122)을 수행하는 단계(120), 분석 결과를 바탕으로 기계 학습(machine learning) 기반으로 관절 질환을 예측하는 단계(130), 예측된 자료를 바탕으로 검사지를 출력(141)하거나 상호작용 가능한(interactive) 화면으로 출력(142)하는 단계(140)로 이루어진다.

분석을 위한 의료 영상 데이터는 엑스레이(X-ray) 영상(111), 컴퓨터단층촬영(CT, Computed Tomography) 영상(112) 및 자기공명영상(113, MRI, Magnetic Resonance Imaging) 등이 있으며, 이들을 동시에 사용할 수도 있고, 그 중 하나를 선택하여 사용할 수도 있다.

여기서, 사용자의 동작(걷기, 뛰기 등)을 캡쳐하여 해당 동작 캡쳐 데이터(115)를 시뮬레이션에 적용함으로써 정확도를 더 높일 수 있다.

동작 캡처 데이터는 예컨대, 시간 진행에 따른 관절 회전 각도, 관절 부하 부하(load) 등을 포함할 수 있다.

사용자의 동작 캡쳐 데이터가 없을 경우에는 표준 사용자 동작(걷기, 뛰기 등)의 데이터를 시뮬레이션에 이용할 수 있다.

이러한 입력 데이터를 바탕으로 관절 부위의 3차원 유한 요소 해석(FEA, Finite Element Analysis) 기반 시뮬레이션과, 골격 조직 패턴 분석을 실시할 수 있다.

골관절염의 초기 징후는 연골의 손상에 따른 변성, 골격 조직 패턴의 변화 등으로 나타나며, 유한 요소 해석 시뮬레이션과 조직 패턴 분석을 수행하면 현재 정상인 사람의 차후 몇 년 후의 질환 가능성을 예측할 수 있다.

예를 들어, 무릎 관절의 경우 가장 많이 사용하는 켈그렌-로렌스(KL, Kellgren-Lawrence) 등급(grade)을 기준으로 KL 0(정상)인 사람이 4년 후 KL 2로 될 가능성이 몇 퍼센트(%)라는 것을 예측할 수 있다.

의료 영상 데이터를 이용한 골격 조직 패턴 분석은 골관절염이 진행함에 따라 골격 조직 패턴이 변화한다는 것을 이용하는 것이며, 이러한 변화를 질병 진행 정도에 따라 자동으로 구분할 수 있도록 하는 것이다.

이러한 유한 요소 해석 시뮬레이션 자료와 골격 조직 패턴 자료를 기계 학습(ML, Machine Learning)의 입력 값으로 넣고, 출력으로 소정의(N) 연도 후 질환 정도를 출력할 수 있다.

해당 기계 학습은 기본적으로 입력과 출력을 교사 학습(supervised learning) 방식으로 학습하여 결과를 찾아내는 방식이 활용될 수 있다.

예를 들어, Multi-Layer Perceptron, Support-Vector Machine, Random-Forest 알고리즘, 그리고 Convolutional Neural Network(CNN)과 같은 Deep Learning 알고리즘 등이 사용될 수 있으며, 본 발명의 범위가 이에 한정되는 것은 아니다.

이렇게 예측된 질환 결과를 이용하여 당사자에게 설명하기 위한 출력은 검사지 출력과 상호작용 가능한 화면 출력의 두가지 방식으로 제공될 수 있다.

검사지 출력은 검사 결과를 종이 등에 출력하여 사용자에게 제공하는 것일 수 있다.

상호작용 가능한 화면 출력은 결과를 사용자 단말 등의 상호작용이 가능한 장치에서 각 항목을 좀 더 동적이면서 다양한 방식으로 살펴볼 수 있도록 제공하는 것일 수 있다.

여기서, 사용자 단말은 유무선 통신 환경에서 단말 어플리케이션을 이용할 수 있는 통신 단말기를 의미한다. 예컨대, 사용자 단말은 퍼스널 컴퓨터(personal computer) 또는 스마트폰(smart phone)과 같은 휴대용 단말기일 수 있으며, 본 발명의 사상은 이에 제한되지 아니하며 단말 어플리케이션을 탑재한 단말은 제한 없이 차용될 수 있다.

도 2는 본 발명의 다른 일 실시예에 따른 골관절염 예측 정보 제공 방법을 나타낸 동작 흐름도이다.

도 2를 참조하면, 본 발명의 다른 일 실시예에 따른 골관절염 예측 정보 제공 방법은 사용자의 일 관절 부위의 영상에 대응하는 의료 영상 데이터를 포함하는 입력 데이터를 획득하고(S210), 상기 입력 데이터에 대해 유한 요소 해석(FEA, Finite element analysis) 기반 시뮬레이션을 수행하여 상기 관절 부위의 관절 모델을 생성하고(S220), 상기 입력 데이터를 이용하여 상기 관절 부위의 골격 조직 패턴 정보를 생성하고(S230), 상기 관절 모델 및 상기 골격 조직 패턴 정보를 이용하여 상기 관절 부위의 질환을 예측하고(S240), 상기 사용자에게 상기 관절 부위의 질환 예측 결과를 제공할 수 있다(S250).

여기서 의료 영상 데이터는 상기 관절 부위에 대해 엑스레이(X-ray), 컴퓨터단층촬영(CT, Computed Tomography) 및 자기공명영상(MRI, Magnetic Resonance Imaging) 중 적어도 하나의 방식에 의해 획득된 영상에 대응하는 것일 수 있다.

상기 입력 데이터를 획득하는 단계(S210)는 상기 관절 부위의 측정 데이터에 대응하는 동작 캡처 데이터를 더 포함하는 상기 입력 데이터를 획득하는 단계일 수 있다.

여기서 동작 캡처 데이터는 상기 관절 부위의 가동 시, 시간 진행에 따른 관절의 움직임 및 관절에 걸리는 부하 중 적어도 하나를 측정한 데이터에 대응하는 것일 수 있다.

상기 관절 모델을 생성하는 단계(S220)는 상기 입력 데이터에 대해 3차원 요소 해석 기반 시뮬레이션을 수행하여 상기 관절 부위의 3차원 관절 모델을 생성하고, 상기 3차원 관절 모델에 대해 2차원 정사영(orthogonal projection)을 수행하여 관절 단면 영상을 생성하고, 상기 관절 단면 영상을 포함하는 관절 모델을 생성할 수 있다.

여기서, 관절 단면 영상을 생성하는 단계는 상기 3차원 관절 모델에 포함된 골격들 각각의 가장 긴 축 및 투영 평면이 평행하도록 상기 골격들 각각의 투영 각도를 설정하고, 투영 각도들에 기초하여 상기 3차원 관절 모델에 대해 복수의 관절 단면 영상들을 생성하는 것일 수 있다.

즉, 관절 모델은 상기 복수의 관절 단면 영상들을 포함하는 것일 수 있다.

상기 관절 부위의 질환을 예측하는 단계(S240)는 상기 관절 모델 및 상기 골격 조직 패턴 정보의 기 설정된 기간만큼의 시간 경과 후의 관절 모델 및 골격 조직 패턴을 예측하는 단계를 포함하고, 이는 상기 관절 모델 및 상기 골격 조직 패턴 정보를 기계 학습(machine learning) 모델의 입력 값으로 넣었을 때의 상기 기계 학습 모델의 출력 값을 기초로 상기 시간 경과 후의 관절 모델 및 골격 조직 패턴을 예측하는 단계일 수 있다.

여기서, 기계 학습 모델은 복수의 사용자들로부터 획득된 관절 모델 및 골격 조직 패턴 정보를 이용하여 교사 학습(supervised learning) 방식으로 학습된 모델일 수 있다.

상기 관절 부위의 질환을 예측하는 단계(S240)는 상기 관절 모델 및 골격 조직 패턴에 기초한 켈그렌-로렌스(Kellgren-Lawrence) 등급(grade) 및 기 설정된 기간만큼의 시간 경과 후의 켈그렌-로렌스 등급을 예측하는 단계를 더 포함할 수 있다.

도 3은 본 발명의 또 다른 일 실시예에 따른 골관절염 예측 정보 제공 방법을 나타낸 도면이다.

특히, 도 3은 유한 요소 분석 기반 시뮬레이션과 골격 조직 패턴 분석의 두 가지 분석과, 분석 결과를 바탕으로 한 기계 학습을 수행하여 골관절염 예측 정보를 제공하는 방법을 나타낸다.

도 3을 참조하면, 유한 요소 분석 기반 시뮬레이션과 골격 조직 패턴 분석의 두 가지 분석 모듈의 입력으로 의료 영상 데이터를 사용한다. 유한 요소 분석 기반 시뮬레이션은 사용자의 동작 캡쳐 데이터를 추가로 입력 받아서 더욱 정확한 시뮬레이션을 수행할 수 있다. 만약, 사용자의 동작 캡처 데이터가 없을 경우 표준 동작 데이터를 이용할 수 있다.

유한 요소 분석 기반 시뮬레이션을 위해서 우선 의료 영상 데이터에 대해, 3차원 재구성(reconstruction)을 수행할 수 있다. 컴퓨터단층촬영 영상이나 자기공명영상의 경우 각 절단면의 정보를 이용하여 3차원으로 재구성하는 데에는 여러가지 방법이 사용될 수 있다. 엑스레이의 경우 컴퓨터단층촬영 영상이나 자기공명영상에 비하여 부족한 정보를 바탕으로 3차원 재구성을 수행할 수 있다. 바이플래너(bi-planar) 엑스레이의 경우 수직으로 된 정면과 측면 영상을 제공하므로 3차원 재구성을 원하는 부위를 특징점을 지정하거나 컨투어(contour)를 지정하여 세그먼테이션(segmentation)하고, 미리 구축된 통계적 세이프 모델(statistical shape model)의 주성분 분석(PCA, Principal Component Analysis) 파라미터(parameter)를 조정 하여 최적의 3차원 모양을 찾아내는 방식으로 3차원 재구성을 수행할 수 있다.

3D 재구성하는 부위를 어떻게 정할 지는 시뮬레이션의 결과로 도출하고자 하는 가장 중요한 요소가 어떤 것이 있는지를 파악하여 결정할 수 있다. 무릎 관절을 예를 들면 대퇴골 연골(Femora Cartilage), 정강이 연골(Tibia Cartilage)의 접촉면에 대한 결과값이 가장 중요한 기본 대상이며, 좀 더 정확한 시뮬레이션을 위해서는 추가로 반월판(Meniscus), 슬개골(Patella) 등의 복원을 수행할 수 있다.

이렇게 3차원 재구성된 자료를 바탕으로 유한 요소 분석 기반 시뮬레이션을 수행한다. 유한 요소 분석 기반 시뮬레이션을 수행할 때 해당 3차원 모델의 물성 정보(physical attribute)를 지정해 줄 수 있다. 이러한 정보를 기본 엘라스틱 모델(elastic model)을 예로 들면 질량(mass), 관성텐서(inertia tensor), 푸아송 비(Poisson ratio), 영률(Young's modulus) 등 각 재질(material) 정보와 시간의 흐름에 따른 걸음 걸이 부하(Gait load), 걸음걸이 각도(Gait angle) 등이 물성 정보에 포함될 수 있다. 여기에서 좀 더 정확한 연골 시뮬레이션을 위한 사용자 정의 형태의 재질(material)을 구성할 수 있으며 이 경우 좀 더 복잡하며 정확한 시뮬레이션 결과를 도출할 수 있다.

이렇게 유한 요소 분석 기반 시뮬레이션을 수행하면 각 콘택트(contact) 부위별 부하량 (stress, strain, degeneration 값 등)을 결과값으로 도출할 수 있다.

영상 내 골격 조직 패턴 분석은 입력으로 주어진 의료 영상 전체에서 골격 부위를 찾아내고, 해당 골격 부위의 조직 패턴을 영상 분석함으로써 변화가 얼마나 어떻게 발생하였는지를 찾아내는 것일 수 있다. 영상 내에서 골격 부위를 찾아내는 것은 수동으로 사용자가 지정해 줄 수도 있으며, 영상처리 기법(edge detection, contour 등)이나 기계 학습을 이용하여 자동으로 찾아낼 수 있다. 골격 조직 패턴을 분석하기 위한 사전처리 작업으로 푸리에 변환(Fourier transform)을 통한 하이 패스(high-pass) 필터링, 히스토그램 균일화(HE, Histogram Equalization), 정규화(normalization) 등을 수행함으로써 좀 더 패턴을 구분하기 쉽게 할 수 있다.

해당 기계 학습의 교사 학습은 다음과 같은 방식으로 진행할 수 있다. 입력 데이터와 그에 대응하는 올바른 출력 데이터를 지면 진실(GT, Ground Truth)로 간주하여 입출력 노드(node)에 제공하면 학습 알고리즘에 따른 학습이 수행되고, 차후 새로운 데이터가 입력으로 주어지면, 학습된 내용을 바탕으로 새로운 데이터의 추정 결과를 도출할 수 있다. 입출력 노드 사이에는 적어도 하나의 층으로 이루어진 히든 층(hidden layer)이 존재할 수 있다.

본 발명에서는 기존 환자들 중 엑스레이, 컴퓨터단층촬영, 자기공명영상, 동작 캡처 데이터 중 적어도 하나를 시계열(예: 기준 연도, 2년후, 4년후, 6년후 등)로 추적하여 획득한 것을 지면 진실 데이터로 이용할 수 있다. 해당 데이터를 입력으로 하여 각 연도별 3차원 유한 요소 분석 기반 시뮬레이션, 골격 조직 패턴을 분석하고 기계 학습 모델의 입력으로 사용할 수 있다. 기계 학습 모델의 출력에 대응되는 값은 각 연도별 증상 정도(예: KL Grade)를 사용할 수 있다.

도 4는 기계 학습을 위한 입력 값의 일 예를 나타낸 도면이다.

특히, 도 4는 유한 요소 분석 기반 시뮬레이션 결과의 투영을 통해 기계 학습을 위한 입력 값을 생성하는 방법을 나타낸 도면이다.

도 4를 참조하면, 먼저 본 발명의 일 실시예에 따른 골관절염 예측 정보 제공 장치는 유한 요소 분석 기반 시뮬레이션 결과로 생성된 3차원 관절 모델에 포함된 골격들 별로 정사영(Orthogonal Projection)을 수행하고, 정사영된 이미지의 사이즈를 기계 학습 모델의 입력 값에 대응되게 재조정할 수 있다.

여기서, 3차원 관절 모델에 포함된 골격들 각각에 대해 가장 긴 축과 투영 평면이 평행하도록 투영 각도를 설정하고, 투영 각도들에 기초하여 3차원 관절 모델에 대해 복수의 관절 단면 영상들을 생성할 수 있다.

무릎의 경우 대퇴골 연골(femur cartilage) 뿐만 아니라 콘택트(contact)가 발생하는 정강이 연골(tibia cartilage)도 함께 투영 자료를 생성하여 기계 학습 모델의 입력 값으로 사용할 수 있다. 여기에 나아가, 반월판(meniscus)도 투영하여 기계 학습 모델의 입력 값으로 사용할 수 있다.

도 5는 기계 학습을 위한 입력 값의 다른 일 예를 나타낸 도면이다.

특히, 도 5는 유한 요소 분석 기반 시뮬레이션 결과 값과 골격 조식 패턴 분석 값을 기계 학습 모델의 입력 값으로 사용하는 방법을 나타낸 도면이다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 골관절염 예측 정보 제공 장치는 유한 요소 분석 기반 시뮬레이션 결과에 대해 정사영 투영한 정보 및 골격 조직 패턴에 대해 전처리를 수행한 결과를 기계 학습 모델의 입력 값으로 사용할 수 있다. 각 정보는 연쇄적인(concatenate) 형태로 전달될 수 있다. 나아가, 사용자의 체질량지수(BMI, Body Mass Index), 나이 등의 추가 데이터가 기계 학습 모델의 입력 값으로 사용될 수 있다.

도 6은 질환 예측 결과의 일 예를 나타낸 도면이다.

도 6을 참조하면, 하지 시뮬레이션 및 골격 조식 패턴 분석 결과는 각 질환 예상 결과를 예측 연도별 확률로 보여주며, 각 시뮬레이션, 패턴 결과, 하지 동작 분석 결과를 이미지 형태로 제공될 수 있다.

또한 사용자의 이해를 돕기 위하여 결과 설명을 문장 형태로 제공할 수 있다. 이 때 결과 설명 문장은 각 결과에 따른 문장을 미리 데이터베이스 형태로 만들어 두고 해당 데이터베이스에서 가져오는 방식으로 수행하거나, 문장 조합 또는 선택을 기계 학습 모델을 통한 출력 값을 이용하는 방식으로 수행할 수 있다.

도 7은 질환 예측 결과의 다른 일 예를 나타낸 도면이다.

특히 도 7은 질환 예측 결과를 검사지 형태로 사용자에게 제공하는 예를 나타낸 것이다.

검사지는 검사 결과를 종이 등에 출력하여 제공하는 것으로 사용자에게 전체적인 내용을 한 눈에 보고 휴대하기 용이하게 할 수 있다. 이러한 검사지는 건강검진의 결과로 사용자가 받아보기에 용이한 방식으로 되어 있어서, 다른 검사 결과지와 함께 제공될 수 있다.

비록 도 7에는 도시되지 아니하였으나, 질환 예측 결과는 상호작용 가능한 화면 출력 형태로 사용자에게 제공될 수 있다. 상호작용 가능한 화면은 퍼스널 컴퓨터(personal computer) 또는 스마트폰(smart phone) 등의 장치를 통해 제공될 수 있으며, 각 항목을 좀 더 다양한 방식으로 살펴볼 수 있게 제공할 수 있다.

예를 들면 시뮬레이션 자료를 사용자가 클릭하면 시뮬레이션을 수행할 때의 애니메이션 및 그에 따른 부하 변화를 부위별 색상 변화를 제공할 수 있으며, 골관절염의 진행 상황을 3차원의 다양한 각도에서 살펴볼 수 있게 할 수 있다. 동작 캡처 데이터의 경우 사용자의 의료 영상을 바탕으로 복원된 3차원 스켈레톤skeleton), 연골, 근육 등을 이용하여 애니메이션으로 시각화 하여 제공할 수 있다.

도 8은 본 발명의 일 실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.

본 발명에 따른 골관절염 예측 정보 제공 장치는 컴퓨터 시스템(600)으로서 구현될 수 있다.

도 8을 참조하면, 컴퓨터 시스템(600)은 버스(620)를 통하여 서로 통신하는 하나 이상의 프로세서(610), 메모리(630), 사용자 인터페이스 입력 장치(640), 사용자 인터페이스 출력 장치(650) 및 스토리지(660)를 포함할 수 있다. 또한, 컴퓨터 시스템(600)은 네트워크(680)에 연결되는 네트워크 인터페이스(670)를 더 포함할 수 있다. 프로세서(610)는 중앙 처리 장치 또는 메모리(630)나 스토리지(660)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(630) 및 스토리지(660)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예컨대, 메모리는 ROM(631)이나 RAM(632)을 포함할 수 있다.

본 발명에서 설명하는 특정 실행들은 일 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

110: 의료 영상 데이터 111: 엑스레이(X-ray) 영상
112: 컴퓨터단층촬영(CT, Computed Tomography) 영상
113: 자기공명영상(MRI, Magnetic Resonance Imaging)
115: 동작 캡쳐 데이터 600: 컴퓨터 시스템
610: 프로세서 620: 버스
630: 메모리 631: ROM
632: RAM 640: 사용자 인터페이스 입력 장치
650: 사용자 인터페이스 출력 장치 660: 스토리지
670: 네트워크 인터페이스 680: 네트워크

Claims

골관절염 예측 정보 제공 장치에 의해 수행되는 골관절염 예측 정보 제공 방법에 있어서,
사용자의 일 관절 부위의 영상에 대응하는 의료 영상 데이터를 포함하는 입력 데이터를 획득하는 단계;
상기 입력 데이터에 대해 유한 요소 해석(FEA, Finite element analysis) 기반 시뮬레이션을 수행하여 상기 관절 부위의 관절 모델을 생성하는 단계;
상기 입력 데이터를 이용하여 상기 관절 부위의 골격 조직 패턴 정보를 생성하는 단계;
상기 관절 모델 및 상기 골격 조직 패턴 정보를 이용하여 상기 관절 부위의 질환을 예측하는 단계; 및
상기 사용자에게 상기 관절 부위의 질환 예측 결과를 제공하는 단계
를 포함하는, 골관절염 예측 정보 제공 방법.
청구항 1에 있어서,
상기 관절 모델을 생성하는 단계는
상기 입력 데이터에 대해 3차원 요소 해석 기반 시뮬레이션을 수행하여 상기 관절 부위의 3차원 관절 모델을 생성하는 단계;
상기 3차원 관절 모델에 대해 2차원 정사영(orthogonal projection)을 수행하여 관절 단면 영상을 생성하는 단계; 및
상기 관절 단면 영상을 포함하는 관절 모델을 생성하는 단계
를 포함하는, 골관절염 예측 정보 제공 방법.
청구항 2에 있어서,
상기 관절 단면 영상을 생성하는 단계는
상기 3차원 관절 모델에 포함된 골격들 각각의 가장 긴 축 및 투영 평면이 평행하도록 상기 골격들 각각의 투영 각도를 설정하고, 투영 각도들에 기초하여 상기 3차원 관절 모델에 대해 복수의 관절 단면 영상들을 생성하는 단계이고,
상기 관절 모델은
상기 복수의 관절 단면 영상들을 포함하는, 골관절염 예측 정보 제공 방법.
청구항 1에 있어서,
상기 관절 부위의 질환을 예측하는 단계는
상기 관절 모델 및 상기 골격 조직 패턴 정보의 기 설정된 기간만큼의 시간 경과 후의 관절 모델 및 골격 조직 패턴을 예측하는 단계를 포함하는, 골관절염 예측 정보 제공 방법.
청구항 4에 있어서,
상기 시간 경과 후의 관절 모델 및 골격 조직 패턴을 예측하는 단계는
상기 관절 모델 및 상기 골격 조직 패턴 정보를 기계 학습(machine learning) 모델의 입력 값으로 넣었을 때의 상기 기계 학습 모델의 출력 값을 기초로 상기 시간 경과 후의 관절 모델 및 골격 조직 패턴을 예측하는 단계인, 골관절염 예측 정보 제공 방법.
청구항 5에 있어서,
상기 기계 학습 모델은
복수의 사용자들로부터 획득된 관절 모델 및 골격 조직 패턴 정보를 이용하여 교사 학습(supervised learning) 방식으로 학습된 모델인, 골관절염 예측 정보 제공 방법.
청구항 4에 있어서,
상기 관절 부위의 질환을 예측하는 단계는
상기 관절 모델 및 골격 조직 패턴에 기초한 켈그렌-로렌스(Kellgren-Lawrence) 등급(grade) 및 기 설정된 기간만큼의 시간 경과 후의 켈그렌-로렌스 등급을 예측하는 단계를 더 포함하는, 골관절염 예측 정보 제공 방법.
청구항 1에 있어서,
상기 의료 영상 데이터는
상기 관절 부위에 대해 엑스레이(X-ray), 컴퓨터단층촬영(CT, Computed Tomography) 및 자기공명영상(MRI, Magnetic Resonance Imaging) 중 적어도 하나의 방식에 의해 획득된 영상에 대응하는, 골관절염 예측 정보 제공 방법.
청구항 1에 있어서,
상기 입력 데이터를 획득하는 단계는
상기 관절 부위의 측정 데이터에 대응하는 동작 캡처 데이터를 더 포함하는 상기 입력 데이터를 획득하는 단계인, 골관절염 예측 정보 제공 방법.
청구항 9에 있어서,
상기 동작 캡처 데이터는
상기 관절 부위의 가동 시, 시간 진행에 따른 관절의 움직임 및 관절에 걸리는 부하 중 적어도 하나를 측정한 데이터에 대응하는, 골관절염 예측 정보 제공 방법.
적어도 하나의 프로그램이 기록된 메모리; 및
상기 프로그램을 실행하는 프로세서
를 포함하며,
상기 프로그램은
사용자의 일 관절 부위의 영상에 대응하는 의료 영상 데이터를 포함하는 입력 데이터를 획득하는 단계;
상기 입력 데이터에 대해 유한 요소 해석(FEA, Finite element analysis) 기반 시뮬레이션을 수행하여 상기 관절 부위의 관절 모델을 생성하는 단계;
상기 입력 데이터를 이용하여 상기 관절 부위의 골격 조직 패턴 정보를 생성하는 단계;
상기 관절 모델 및 상기 골격 조직 패턴 정보를 이용하여 상기 관절 부위의 질환을 예측하는 단계; 및
상기 사용자에게 상기 관절 부위의 질환 예측 결과를 제공하는 단계
의 수행을 위한 명령어들을 포함하는, 골관절염 예측 정보 제공 장치.
청구항 11에 있어서,
상기 관절 모델을 생성하는 단계는
상기 입력 데이터에 대해 3차원 요소 해석 기반 시뮬레이션을 수행하여 상기 관절 부위의 3차원 관절 모델을 생성하는 단계;
상기 3차원 관절 모델에 대해 2차원 정사영(orthogonal projection)을 수행하여 관절 단면 영상을 생성하는 단계; 및
상기 관절 단면 영상을 포함하는 관절 모델을 생성하는 단계
를 포함하는, 골관절염 예측 정보 제공 장치.
청구항 12에 있어서,
상기 관절 단면 영상을 생성하는 단계는
상기 3차원 관절 모델에 포함된 골격들 각각의 가장 긴 축 및 투영 평면이 평행하도록 상기 골격들 각각의 투영 각도를 설정하고, 투영 각도들에 기초하여 상기 3차원 관절 모델에 대해 복수의 관절 단면 영상들을 생성하는 단계이고,
상기 관절 모델은
상기 복수의 관절 단면 영상들을 포함하는, 골관절염 예측 정보 제공 장치.
청구항 11에 있어서,
상기 관절 부위의 질환을 예측하는 단계는
상기 관절 모델 및 상기 골격 조직 패턴 정보의 기 설정된 기간만큼의 시간 경과 후의 관절 모델 및 골격 조직 패턴을 예측하는 단계를 포함하는, 골관절염 예측 정보 제공 장치.
청구항 14에 있어서,
상기 시간 경과 후의 관절 모델 및 골격 조직 패턴을 예측하는 단계는
상기 관절 모델 및 상기 골격 조직 패턴 정보를 기계 학습(machine learning) 모델의 입력 값으로 넣었을 때의 상기 기계 학습 모델의 출력 값을 기초로 상기 시간 경과 후의 관절 모델 및 골격 조직 패턴을 예측하는 단계인, 골관절염 예측 정보 제공 장치.
청구항 15에 있어서,
상기 기계 학습 모델은
복수의 사용자들로부터 획득된 관절 모델 및 골격 조직 패턴 정보를 이용하여 교사 학습(supervised learning) 방식으로 학습된 모델인, 골관절염 예측 정보 제공 장치.
청구항 14에 있어서,
상기 관절 부위의 질환을 예측하는 단계는
상기 관절 모델 및 골격 조직 패턴에 기초한 켈그렌-로렌스(Kellgren-Lawrence) 등급(grade) 및 기 설정된 기간만큼의 시간 경과 후의 켈그렌-로렌스 등급을 예측하는 단계를 더 포함하는, 골관절염 예측 정보 제공 장치.
청구항 11에 있어서,
상기 의료 영상 데이터는
상기 관절 부위에 대해 엑스레이(X-Ray), 컴퓨터단층촬영(CT, Computed Tomography) 및 자기공명영상(MRI, Magnetic Resonance Imaging) 중 적어도 하나의 방식에 의해 획득된 영상에 대응하는, 골관절염 예측 정보 제공 장치.
청구항 11에 있어서,
상기 입력 데이터를 획득하는 단계는
상기 관절 부위의 측정 데이터에 대응하는 동작 캡처 데이터를 더 포함하는 상기 입력 데이터를 획득하는 단계인, 골관절염 예측 정보 제공 장치.
청구항 19에 있어서,
상기 동작 캡처 데이터는
상기 관절 부위의 가동 시, 시간 진행에 따른 관절의 움직임 및 관절에 걸리는 부하 중 적어도 하나를 측정한 데이터에 대응하는, 골관절염 예측 정보 제공 장치.