KR102211688B1 - 무릎 자기공명 영상에서의 반월상 연골 분할 방법 및 장치 - Google Patents

무릎 자기공명 영상에서의 반월상 연골 분할 방법 및 장치 Download PDF

Info

Publication number
KR102211688B1
KR102211688B1 KR1020180152566A KR20180152566A KR102211688B1 KR 102211688 B1 KR102211688 B1 KR 102211688B1 KR 1020180152566 A KR1020180152566 A KR 1020180152566A KR 20180152566 A KR20180152566 A KR 20180152566A KR 102211688 B1 KR102211688 B1 KR 102211688B1
Authority
KR
South Korea
Prior art keywords
meniscus
segmentation
region
atlas
cartilage
Prior art date
Application number
KR1020180152566A
Other languages
English (en)
Other versions
KR20200065777A (ko
Inventor
홍헬렌
김현진
김순빈
Original Assignee
서울여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울여자대학교 산학협력단 filed Critical 서울여자대학교 산학협력단
Priority to KR1020180152566A priority Critical patent/KR102211688B1/ko
Publication of KR20200065777A publication Critical patent/KR20200065777A/ko
Application granted granted Critical
Publication of KR102211688B1 publication Critical patent/KR102211688B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)

Abstract

본 개시는, 다중 아틀라스 기반 밝기값 및 형상 정보를 고려하여 반월상 연골을 분할한 후 패치 기반 윤곽선 특징 분류를 통해 반월상 연골의 분할 결과를 개선하는 방법 및 장치에 관한 것이다. 따라서, 일 실시 예에 따른 반월상 연골 자동 분할 방법은, 대상 영상 및 대상영상과 유사한 아틀라스를 이용하여 뼈와 관절연골을 초기 분할하는 단계; 상기 분할된 뼈와 관절연골의 위치를 이용하여 반월상 연골의 관심볼륨영역(VOI: Volume Of Interest)를 결정하는 단계; 상기 관심볼륨영역에서 다중 아틀라스 기반 지역적 가중투표를 통해 반월상 연골 분할영역을 설정하는 단계; 및 상기 반월상 연골 분할영역에 대해 윤곽선 특징을 추출하여 분할 결과를 개선하는 단계를 포함할 수 있다.

Description

무릎 자기공명 영상에서의 반월상 연골 분할 방법 및 장치{A method and apparatus for meniscus segmentation in Knee MR images}
무릎 자기공명 영상에서의 반월상 연골 분할 방법 및 장치에 관한 것으로, 보다 상세하게는 다중 아틀라스 기반 밝기값 및 형상 정보를 고려하여 반월상 연골을 분할한 후 패치 기반 윤곽선 특징 분류를 통해 반월상 연골의 분할 결과를 개선하는 방법 및 장치에 관한 것이다.
반월상 연골(meniscus)은 얇은 C자 모양의 연골로 무릎 안쪽에 위치한 내측 반월상 연골(medial meniscus)과 바깥쪽에 위치한 외측 반월상 연골(lateral meniscus)로 구성되며 대퇴골(femur)과 대퇴부 연골(femoral cartilage)의 하단과 경골(tibia)과 경골 연골(tibial meniscus) 상단 사이에 위치하여 무릎의 하중을 분산시키고 마찰을 줄여 무릎 관절 연골을 보호하는 역할을 한다. 이 때, 반월상 연골이 손상되어 무릎 관절 연골이 변성되고 마모되면서 생기는 무릎 퇴행성관절염(OA: Osteoarthritis)의 조기 진단 및 수술 계획을 위하여 무릎 자기공명(MR: Magnetic Resonance) 영상에서 반월상 연골의 구조적 변화를 확인하고 볼륨을 측정하기 위해 분할이 선행되어야 한다. 그러나 무릎 MR 영상에서 반월상 연골은 인접한 대퇴골, 경골, 내외측 측부 인대(collateral ligaments)와 밝기값이 유사하여 밝기값 기반 분할 기법 적용 시 유사 밝기값을 가진 주변 영역으로 누출(leakage)이 발생할 뿐 아니라 두께가 얇고 환자마다 전각(anterior horn)과 후각(posterior horn)의 굴곡 차이가 큰 형상을 보여 형상 모델 기반 분할 기법 적용 시 분할 정확도가 낮아지는 한계가 있다.
무릎 자기공명 영상에서 반월상 연골을 분할하기 위한 기존의 방법으로 임상의가 수동으로 반월상 연골을 분할하는 방법이 있다. 이러한 수동 분할은 오랜 시간이 소요되며 임상의 간 분할 결과의 차이가 발생하는 한계가 있어 반월상 연골을 자동으로 분할하는 방법이 필요하다.
한편, 반월상 연골의 밝기값 정보를 기반으로 반월상 연골을 자동 분할하는 경우 반월상 연골과 밝기값이 유사하며 인접해 있는 뼈나 내측 및 외측 측부 인대로 누출이 발생하여 오분할 되는 문제가 있다. 또한, 형상 모델을 기반으로 반월상 연골을 자동 분할하는 경우 환자마다 반월상 연골의 형상 변이가 큰 경우 분할 정확도가 낮아지는 한계가 있다.
대한민국 공개특허공보 제10-2006-0021366호, (2006.03.07)
일 실시 예에 따른 반월상 연골 분할 방법은, 뼈와 무릎 관절을 순차적으로 분할함으로써 반월상 연골을 자동으로 위치시켜 분할 범위를 좁혀 형상이 큰 주변 조직과의 정합을 방지하여 정합 정확도를 개선하여 분할 정확도를 높일 수 있다. 또한, 밝기값 분포 정보와 형상 정보를 이용한 지역적 가중 투표를 통해 환자마다 다양한 형상을 띄는 반월상 연골을 고려하여 정합 오류가 발생하더라도 견고하게 반월상 연골을 분할할 수 있다. 나아가, 반월상 연골의 윤곽선이 불분명한 경우, 패치 기반 윤곽선 추출을 통해 반월상 연골과 밝기값이 유사한 측부 인대로의 누출을 제거하여 분할 결과를 개선할 수 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
일 실시 예에 따른 반월상연골 분할 방법은, 대상 영상 및 대상영상과 유사한 아틀라스를 이용하여 뼈와 관절연골을 초기 분할하는 단계; 상기 분할된 뼈와 관절연골의 위치를 이용하여 반월상 연골의 관심볼륨영역(VOI: Volume Of Interest)를 결정하는 단계; 상기 관심볼륨영역에서 다중 아틀라스 기반 지역적 가중투표를 통해 반월상 연골 분할영역을 설정하는 단계; 및 상기 반월상 연골 분할영역에 대해 윤곽선 특징을 추출하여 분할 결과를 개선하는 단계를 포함할 수 있다.
또한, 상기 초기 분할 단계는, 훈련집합에서 대상영상과 유사한 아틀라스를 선정하는 단계; 상기 대상영상에서 다중 아틀라스 기반 지역적 가중 투표를 이용하여 대퇴골 및 경골을 분할하는 단계; 및 상기 대상영상에서 분할된 대퇴골, 경골 및 밝기값 유사도 가중치 중 적어도 하나를 이용하는 지역적 가중 투표를 통해 대퇴부 연골 및 경골 연골을 분할하는 단계를 포함할 수 있다. 보다 구체적으로, 분할된 대퇴골 및 경골의 정보가 이용되며, 다른 여러 가중치를 이용해 대퇴부 연골 및 경골 연골이 분할될 수 있다.
또한, 상기 관심볼륨영역을 결정하는 단계는, 상기 초기 분할단계에서 분할된 대퇴골, 경골, 대퇴부 연골 및 경골 연골의 위치 정보를 기초로 상기 관심볼륨영역의 범위를 결정할 수 있다.
또한, 상기 반월상연골의 분할영역을 설정하는 단계는, 상기 관심볼륨영역에서 대상영상과 상기 선정된 아틀라스간 3차원 영상 기반 유사정합을 수행하고, 정합된 영상의 유사 정도에 기초하여 지역적 가중 투표를 통해 초기 반월상 연골 모델을 생성하는 단계; 및 상기 반월상 연골의 초기 분할 모델과 상기 선정된 아틀라스의 분할 모델간 3차원 모델 기반 어파인 정합을 수행하고, 정합된 영상의 유사 정도에 기초하여 지역적 가중 투표를 통해 상기 반월상연골의 분할영역을 설정하는 단계를 포함할 수 있다.
또한, 상기 분할결과를 개선하는 단계는, 상기 설정된 반월상연골의 분할 영역에서 측부 인대 부위에 관심영역을 지정하는 단계; 및 패치 기반의 윤곽선 특징 분류를 통해 측부 인대로 누출이 발생한 영역을 제거하는 단계를 포함할 수 있다.
또한, 상기 분할결과를 개선하는 단계는, 훈련 영상의 반월상 연골과 주변 영역에서 소정 크기의 패치를 생성하고, 생성된 패치 내에서 학습데이터를 생성하는 단계; 및 상기 분할된 반월상 연골 영역의 i번째 화소에서 상기 학습 데이터와 동일한 크기의 패치를 생성하는 단계를 포함할 수 있다.
또한, 상기 분할결과를 개선하는 단계는, 상기 i번째 화소에서 생성된 패치에서 추출된 특징벡터를 이용하여 상기 i번째 화소가 윤곽선일 제1 확률을 연산하는 단계; 및 상기 제1 확률에 반월상 연골의 형상 가중치와 거리 가중치를 적용하여 제2 확률을 연산하고, 상기 제2확률이 소정 임계값보다 큰 경우 윤곽선으로 분류하여 윤곽선 주변으로 누출이 발생한 영역을 제거하는 단계를 포함할 수 있다.
일 실시예에 따른 반월상연골 분할장치는, 하나 이상의 프로세서; 및 상기 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가 연산을 수행하도록 하는 명령들이 저장된 하나 이상의 메모리를 포함하고, 상기 하나 이상의 프로세서에 의해 수행되는 상기 연산은, 대상 영상 및 대상영상과 유사한 아틀라스를 이용하여 뼈와 관절연골을 초기 분할하는 연산; 상기 분할된 뼈와 관절연골의 위치를 이용하여 반월상 연골의 관심볼륨영역(VOI: Volume Of Interest)를 결정하는 연산; 상기 관심볼륨영역에서 다중 아틀라스 기반 지역적 가중투표를 통해 반월상 연골 분할영역을 설정하는 연산; 및 상기 반월상 연골 분할영역에 대해 윤곽선 특징을 추출하여 분할 결과를 개선하는 연산을 포함할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램, 그리고 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
일 실시 예에 따른 반월상연골 분할 방법은 다중 아틀라스 기반 밝기값 및 형상 정보를 고려하여 반월상 연골을 분할한 후 패치 기반 윤곽선 특징 분류를 통해 반월상 연골의 분할 결과를 개선함으로써 무릎 퇴행성관절염의 조기 진단과 반월상 연골의 수술 계획을 가능하게 한다.
나아가, 무릎 구조와 비슷한 팔꿈치 또는 골반 관전 연골을 분할하는데 활용될 수 있다.
도 1 은 일 실시 예에 따른 반월상 연골 분할 방법을 설명하기 위한 개념도이다.
도 2 는 일 실시 예에 따른 반월상 연골을 설명하기 위한 도이다.
도 3 은 일 실시 예에 따른 반월상 연골 분할 방법을 설명하기 위한 순서도이다.
도 4는 일 실시 예에 따른 반월상 연골의 관심볼륨영역 설정 방법의 일 예를 설명하기위한 순서도이다.
도 5는 일 실시 예에 따른 관심볼륨영역의 일 예를 설명하기 위한 순서도이다.
도 6은 일 실시 예에 따른 반월상 연골의 분할영역을 설정하는 방법을 설명하기 위한 순서도이다.
도 7은 일 실시 예에 따른 반월상영역의 분할 결과를 개선하는 단계를 설명하기 위한 순서도이다.
도 8은 일 실시 예에 따른 반월상영역의 형상 가중치와 거리가중치를 적용하는 일 예를 설명하기 위한 도이다.
도 9 및 도 10은 일 실시 예에 따른 대상 반월상 연골 분할 방법의 정확도를 설명하기 위한 도이다.
도 11 은 일 실시 예에 따른 반월상 연골 분할장치의 내부 구성을 개략적으로 나타낸 도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
도 1 은 일 실시 예에 따른 반월상 연골 분할 방법을 설명하기 위한 개념도이다.
도 1을 참조하면, 일 실시 예에 따른 반월상 연골 분할 시스템은, 반월상연골 분할장치(100) 및 촬영장치(120)를 포함할 수 있다. 또한, 이러한 반월상연골 분할장치 (100) 및 촬영장치(120)는 네트워크(110)로 연결될 수 있다.
우선, 일 실시 예에 따른 촬영장치(120)는 무릎 자기공명 영상을(101)을 촬영한다. 여기서 촬영되는 무릎 자기공명 영상(101)은 반월상연골 분할이 필요한 대상영상이거나, 반월상연골 분할장치(100)를 기계학습 시키기 위한 다중 아틀라스 훈련영상 일 수 있다. 여기서, 촬영장치(120)는 자기공명(MR: Magnetic Resonance) 영상을 촬영하는 장치와 같이 인체의 내부의 뼈와 연골을 촬영할 수 있는 장치를 의미할 수 있다.
다음으로 반월상연골 분할장치(100)는 무릎 자기공명 영상(101)에서, 다중 아틀라스 기반 밝기값 및 형상 정보를 고려하여 반월상 연골을 분할한 후 패치 기반 윤곽선 특징 분류를 통해 반월상 연골의 분할 결과를 개선할 수 있다.
예컨대, 도 2는 일 실시 예에 따른 반월상 연골을 설명하기 위한 도이다.
도 2를 참조하면, 무릎 자기공명 영상에서 반월상 연골(meniscus, 200)은 얇은 C자 모양의 연골로 무릎 안쪽에 위치한 내측 반월상 연골(medial meniscus, 201)과 바깥쪽에 위치한 외측 반월상 연골(lateral meniscus, 202)로 구성되며 대퇴골(femur,205)과 대퇴부 연골(femoral cartilage)의 하단과 경골(tibia, 206)과 경골 연골(tibial meniscus) 상단 사이에 위치하여 무릎의 하중을 분산시키고 마찰을 줄여 무릎 관절 연골을 보호하는 역할을 한다. 그런데 자기공명 영상에서 나타나듯이 인접한 대퇴골(205), 경골(206), 내외측 측부 인대(collateral ligaments, 203, 204)와 밝기값이 유사하여 밝기값 기반 분할 기법 적용 시 유사 밝기값을 가진 주변 영역으로 누출(leakage)이 발생할 뿐 아니라 두께가 얇고 환자마다 전각(anterior horn, 208) 과 후각(posterior horn, 209)의 굴곡 차이가 큰 형상을 보여 형상 모델 기반 분할 기법 적용 시 분할 정확도가 낮아지는 한계가 있다.
따라서, 일 실시예에 따른 반월상연골 분할장치(100)는 무릎 자기공명 영상(101)에서 뼈와 무릎 관절을 순차적으로 분할함으로써 반월상 연골을 자동으로 위치시키고, 분할 범위를 좁혀 형상이 큰 주변 조직과의 정합을 방지하여 정합 정확도를 개선하여 반월상 연골이 분할된 분할 마스크(102)를 생성할 수 있다. 특히, 밝기값 분포 정보와 형상 정보를 이용한 지역적 가중 투표를 통해 환자마다 다양한 형상을 띄는 반월상 연골을 고려하여 정합 오류가 발생하더라도 견고하게 반월상 연골을 분할할 수 있다. 나아가, 반월상 연골의 윤곽선이 불분명한 경우에도, 패치 기반 윤곽선 추출을 통해 반월상 연골과 밝기값이 유사한 측부 인대로의 누출을 제거하여 분할 결과를 개선할 수 있다.
따라서, 일 실시 예에 따른 반월상연골 분할 방법은 반월상 연골의 분할 결과를 개선함으로써 무릎 퇴행성관절염의 조기 진단과 반월상 연골의 수술 계획을 가능하게 한다. 나아가, 무릎 구조와 비슷한 팔꿈치 또는 골반 관전 연골을 분할하는데 활용될 수도 있다.
한편, 일 실시 예에 따른 네트워크(110)는 무선 네트워크뿐만 아니라 유선 네트워크를 포함할 수도 있으며, 촬영장치(120)에서 촬영된 영상을 간유리 음영 결절 분류장치(100)로 전달하기 위한 다양한 수단이 모두 포함되는 것으로 이해될 수 있다.
이하, 도 3 내지 도 10을 참조하여 반월상 연골 분할 방법을 상세히 설명한다.
도 3 은 일 실시 예에 따른 반월상 연골 분할 방법을 설명하기 위한 순서도이다.
도 3을 참조하면, 단계 S300에서, 일실시예에 따른 반월상연골 분할방법은, 대상 영상 및 대상영상과 유사한 아틀라스를 이용하여 뼈와 관절연골을 초기 분할한다. 예컨대, 반월상연골 분할장치는 훈련 아틀라스에서 대상 영상과 유사한 아틀라스를 선정하여, 대퇴골, 대퇴부 연골, 경골 및 경골 연골을 먼저 분리한다.
다음으로, 단계 S310에서, 반월상연골분할방법은 분할된 뼈와 관절연골의 위치를 이용하여 반월상 연골의 관심볼륨영역(VOI: Volume Of Interest)를 결정한다.
예컨대, 반월상 연골은 대퇴골, 대퇴부 연골, 경골 및 경골 연골 사이에 반월상 연골이 위치한다는 해부학 정보를 바탕으로 분할된 대퇴골, 대퇴부 연골, 경골 및 경골 연골의 위치를 기반으로 관심 볼률영역을 자동으로 지정한다. 한편, 관심볼륨영역을 지정하는 방법은 도 4 및 도 5에 대한 설명에서 상세히 후술한다.
다음으로, 단계 S320에서, 일 실시예에 따른 반월상연골 분할방법은 관심볼륨영역에서 다중 아틀라스 기반 지역적 가중투표를 통해 반월상 연골 분할영역을 설정한다. 반월상 연골은 밝기값을 기초로 하여 분할하는 경우 밝기값이 유사한 주변 조직으로 누출이 발생할수 있고, 형상 모델기반으로 분할할 경우 환자마다 반월상 연골의 변이가 큰 경우 분할 정확도가 낮아진다. 따라서, 형상 정보와 밝기값 분표정보를 함께 이용한 지역적 가중 투표를 통해 정합 오류에도 견고한 반월상 연골 분할영역이 설정될 수 있다. 한편, 반월상 연골 분할영역을 설정하는 방법은 도 6에 대한 설명에서 상세히 후술한다.
마지막으로, 단계 S330에서, 일 실시예에 따른 반월상연골 분할방법은 반월상 연골 분할영역에 대해 윤곽선 특징을 추출하여 분할 결과를 개선한다. 예컨대, 지역적 가중투표를 통해 반월상 연골 분할영역을 설정하더라도 측부 인대로의 누출이 발생할 수 있다. 따라서, 설정된 반월상연골의 분할 영역에서 측부 인대 부위에 관심영역을 지정하고, 패치 기반의 윤곽선 특징 분류를 통해 밝기값이 비슷한 측부 인대로 누출이 발생한 영역을 제거할 수 있다.
이 때, 불균일한 밝기값을 갖는 반월상 연골의 내부 영역 및 측부 인대의 윤곽선이 반월상 연골의 윤곽선으로 잘못 선택되는 것을 방지하기 위해 관상면(coronal plane)에서 반월상 연골이 삼각형 형상을 보인다는 형상정보를 기반으로 한 형상 가중치와 반월상 연골의 중심에서 가까울수록 반월상 연골의 내부 영역에 위치해 있고 멀어질수록 측부 인대에 위치해 있다는 거리정보를 기반으로 한 거리 가중치를 고려하여 반월상 연골의 윤곽선이 선택될 수 있다.
한편, 반월상연골 분할결과를 개선하는 방법은 도 7 및 도 8을 참조하여 상세히 후술한다.
도 4는 일 실시 예에 따른 반월상 연골의 관심볼륨영역 설정 방법의 일 예를 설명하기위한 순서도이다. 도 3에서 상술한 단계 S300 및 S310을 보다 상세하게 설명한 것이다.
도 4를 참조하면, 단계S400에서, 반월상 연골의 관심볼륨영역 설정 방법은 훈련집합에서 대상영상과 유사한 아틀라스를 선정한다.
예를 들면, 대상 영상과 유사한 아틀라스를 훈련집합에서 자동으로 선정될 수 있다. 이를 위해 무릎 자기공명(MR)영상에서 뼈 형상 정보를 가장 많이 포함하는 2차원 투영 영상을 생성하기 위해 대상 영상과 훈련 아틀라스에서 시상면 밝기값 평균 투영(SAIP: Sagittal Average Intensity Projection) 영상을 각각 생성한 후, 두 영상 간 2차원 영상 기반 유사 정합과 [수학식 1]과 같이 정합된 두 투영 영상 간 정규화된 평균 밝기값 차이(NADD: Normalized Average Density Difference)를 계산하여 유사 훈련 아틀라스를 선정한다.
Figure 112020102236224-pat00082
이 때,
Figure 112020102236224-pat00002
은 대상 영상의 전체 화소 개수,
Figure 112020102236224-pat00083
은 대상 영상의 i번째 화소 밝기값,
Figure 112020102236224-pat00084
는 훈련 아틀라스의 i번째 화소 밝기값,
Figure 112020102236224-pat00085
은 대상 영상에서의 최대 밝기값을 의미한다.
다음으로, 단계 S410에서, 반월상연골의 관심볼륨영역 설정 방법은 대상영상에서 다중 아틀라스 기반 지역적 가중 투표를 이용하여 대퇴골 및 경골을 분할한다.
예를 들면, 대퇴골 및 경골 분할을 위해서 대상 영상과 선별한 훈련 아틀라스 간 3차원 영상 기반 유사 정합을 수행하고, 지역적 가중 투표를 통해 대퇴골 및 경골의 초기 분할 모델을 예측한 후, 분할된 초기 대퇴골 및 경골 모델과 훈련 아틀라스의 분할 모델 간 3차원 모델 기반 어파인 정합(affine registration)을 수행하고, 지역적 가중 투표를 통해 대퇴골 및 경골을 최종 분할 할 수 있다.
여기서, 대퇴골과 경골의 초기 모델 분할을 위한 지역적 가중 투표는 [수학식 2]를 통해 수행되며, 아틀라스 유사도 가중치 및 밝기값 유사도 가중치를 고려한다.
Figure 112020102236224-pat00086
이 때,
Figure 112020102236224-pat00087
는 대퇴골 및 경골 초기 모델 마스크,
Figure 112020102236224-pat00088
는 아틀라스 유사도 가중치,
Figure 112020102236224-pat00089
는 밝기값 유사도 가중치,
Figure 112020102236224-pat00090
는 j번째 훈련 아틀라스의 i번째 화소의 대퇴골 및 경골 분할 마스크에 따른 투표 값을 의미한다. 아틀라스 유사도 가중치
Figure 112020102236224-pat00091
는 대상 영상과 훈련 아틀라스 영상 간 3차원 영상 기반 유사 정합을 통한 정합 유사 정도를 나타내는 가중치로, 상술한 [수학식 1]을 이용하여 다음의 [수학식 3]과 같이 계산된다.
Figure 112020102236224-pat00092
밝기값 유사도 가중치
Figure 112020102236224-pat00093
는 대상 영상의 i번째 화소
Figure 112020102236224-pat00094
가 훈련 아틀라스에서 추출한 밝기값 히스토그램
Figure 112020102236224-pat00095
에서 대퇴골 및 경골 영역일 확률
Figure 112020102236224-pat00096
을 나타내는 가중치로 [수학식 4]와 같이 계산된다.
Figure 112020102236224-pat00097
대퇴골과 경골의 최종 분할을 위한 지역적 가중 투표는 [수학식 5]를 통해 아틀라스 유사도 가중치 및 밝기값 유사도 가중치를 고려한다.
Figure 112020102236224-pat00098
이 때,
Figure 112020102236224-pat00099
는 대퇴골 및 경골 모델 마스크,
Figure 112020102236224-pat00100
는 아틀라스 유사도 가중치,
Figure 112020102236224-pat00101
는 밝기값 유사도 가중치,
Figure 112020102236224-pat00102
는 j번째 훈련 아틀라스의 i번째 화소의 대퇴골 및 경골 분할 마스크에 따른 투표 값을 의미한다. 아틀라스 유사도 가중치
Figure 112020102236224-pat00103
는 대상 영상의 초기 대퇴골 및 경골 분할 모델과 훈련 아틀라스의 분할 모델 간 3차원 모델 기반 어파인 정합을 통해 구한 분할 모델 간 유사 정도를 나타내는 가중치로 [수학식 6]과 같이 계산되고, 밝기값 유사도 가중치
Figure 112020102236224-pat00104
는 상술한 [수학식 4]를 이용하여 계산될 수 있다.
Figure 112020102236224-pat00105
이 때,
Figure 112018120267528-pat00026
는 [수학식 7]과 같이 두 모델 간 평균거리차이(ADD: Average Distance Difference)로 계산된다.
Figure 112020102236224-pat00106
이 때,
Figure 112020102236224-pat00028
은 대상 영상의 초기 대퇴골 및 경골 모델의 전체 화소 개수,
Figure 112020102236224-pat00107
은 대상 영상 모델의 i번째 화소,
Figure 112020102236224-pat00108
는 훈련 아틀라스 영상 모델의 i번째 화소를 나타낸다.
Figure 112020102236224-pat00031
Figure 112020102236224-pat00109
Figure 112020102236224-pat00110
간의 최소 거리를 계산하는 함수이고,
Figure 112020102236224-pat00034
는 대상 영상과 훈련 아틀라스 영상의 모델 간 최대거리를 나타낸다.
다음으로, 단계 S420에서, 반월상연골 관심볼륨영역 설정 방법은 대상영상에서 분할된 대퇴골, 경골 및 밝기값 유사도 가중치 중 적어도 하나를 이용하는 지역적 가중 투표를 통해 대퇴부 연골 및 경골 연골을 분할한다.
예를 들면, 대퇴부 연골과 경골 연골이 각각 대퇴골과 경골에 인접해 있다는 형상 정보를 이용하여 선행 분할한 대퇴골 및 경골의 어파인 변환을 적용해 대퇴부 연골 및 경골 연골을 정렬시킨 후 아틀라스 유사도 가중치, 밝기값 유사도 가중치, 대퇴골 및 경골과 대퇴부 연골 및 경골 연골 사이의 거리 유사도 가중치, 판도 유사도 가중치를 고려한 지역적 가중 투표를 통해 대퇴부 연골 및 경골 연골을 분할한다. 이때, 대퇴부 연골 및 경골 연골 모델 마스크 C는 다음의 [수학식 8]을 통해 계산될 수 있다.
Figure 112020102236224-pat00111
여기서,
Figure 112020102236224-pat00112
는 아틀라스 유사도 가중치,
Figure 112020102236224-pat00113
는 밝기값 유사도 가중치,
Figure 112020102236224-pat00114
는 뼈-무릎 관절 연골 사이의 거리 유사도 가중치,
Figure 112020102236224-pat00115
는 판도 유사도 가중치,
Figure 112020102236224-pat00116
는 j번째 훈련 아틀라스의 i번째 화소의 대퇴부 연골 및 경골 연골 마스크에 따른 투표 값을 나타내고, 아틀라스 유사도 가중치
Figure 112020102236224-pat00117
는 분할 모델과 훈련 아틀라스의 분할 모델 간 3차원 모델 기반 어파인 정합을 통해 구한 분할 모델 간 유사 정도를 나타내는 가중치로 [수학식 6]과 같이 계산하고, 밝기값 유사도 가중치
Figure 112020102236224-pat00118
는 [수학식 4]를 이용하여 계산된다. 뼈-무릎 관절 연골 사이의 거리 유사도 가중치
Figure 112020102236224-pat00119
는 대상 영상의 뼈의 표면에서의 거리와 훈련 아틀라스의 뼈-무릎 관절 연골 평균 거리 차이를 통한 무릎 관절 연골의 범위를 제한하는 가중치로 다음의 [수학식 9]와 같이 계산된다.
Figure 112020102236224-pat00120
이 때,
Figure 112020102236224-pat00121
는 대상 영상의 i번째 화소의 뼈 표면에서의 거리,
Figure 112020102236224-pat00122
는 훈련 아틀라스의 뼈-무릎 관절 연골 평균 거리를 의미한다. 판도 유사도 가중치
Figure 112020102236224-pat00123
는 대상 영상과 훈련 아틀라스의 판도의 차이를 통한 무릎 관절 연골 모델 판형의 정도를 판단하는 가중치로 [수학식 10]과 같이 계산된다.
Figure 112020102236224-pat00124
이 때,
Figure 112020102236224-pat00125
는 대상 영상의 i번째 화소의 판도,
Figure 112020102236224-pat00126
는 훈련 아틀라스의 i번째 화소의 판도를 의미하고,
Figure 112020102236224-pat00051
는 판도 변수로 실험적으로 50으로 산정하였다. 판도는 헤시안 행렬(Hessian matrix)의 고유값 분해를 이용하여 [수학식 11]과 같이 계산된다.
Figure 112020102236224-pat00127
이 때, 헤시안 행렬의 고유값은
Figure 112020102236224-pat00128
를 만족한다.
다음으로, 단계 S430에서, 반월상 연골의 관심볼륨영역 설정 방법은 분할된 대퇴골, 경골, 대퇴부 연골 및 경골 연골의 위치 정보를 기초로 관심볼륨영역의 범위를 결정한다.
구체적으로, 선행으로 분할한 대퇴골, 경골, 대퇴부 연골, 경골 연골의 정보를 이용하여 반월상 연골의 관심볼륨영역(VOI)을 지정하여 자동 위치화 한다. 반월상 연골의 두께는 5mm 내외이고 무릎 관절 연골 사이에 위치한다는 임상적 정보를 활용할수 있다.
예를 들면, 도 5는 일 실시 예에 따른 관심볼륨영역의 일 예를 설명하기 위한 순서도이다. 내측 반월상 연골의 경우 도 5의(a)와 같이 무릎 안쪽의 최대 좌표와 영상의 중앙 좌표를 이용하여 관심볼륨영역(VOI)의 좌우 크기를 지정하고, 외측 반월상 연골의 경우 도 5의(b)와 같이 무릎 바깥쪽의 최대 좌표와 영상의 중앙 좌표를 이용하여 관심볼륨영역(VOI)의 좌우 크기를 지정한 후, 대퇴부 연골의 최하단 값에서 7mm 하단의 좌표와 경골 연골의 최상단 값에서 7mm 상단의 좌표를 이용하여 내측 및 외측 반월상 연골 각각의 상하 관심볼륨영역(VOI)의 경계를 지정한다.
상술한 방법을 따라 반월상 연골의 관심 볼륨영역을 설정하는 방법은, 뼈와 무릎 관절 연골을 순차적으로 분할함으로써 반월상 연골의 공간적 위치를 자동으로 지정하여 분할 범위를 좁혀 형상이 큰 주변 조직으로의 정합을 방지해 정합 정확도를 개선한다.
도 6은 일 실시 예에 따른 반월상 연골의 분할영역을 설정하는 방법을 설명하기 위한 순서도이다.
도 6을 참조하면, 단계 S600에서, 반월상 연골의 분할영역을 설정하는 방법은 상기 관심볼륨영역에서 대상영상과 상기 선정된 아틀라스간 3차원 영상 기반 유사정합을 수행하고, 정합된 영상의 유사 정도에 기초하여 지역적 가중 투표를 통해 초기 반월상 연골 모델을 생성한다.
예를 들면, 반월상 연골의 관심볼륨영역(VOI)에서 대상 영상과 훈련 아틀라스 간 3차원 영상 기반 유사 정합을 수행한 후 정합된 영상의 유사 정도에 따라 아틀라스 유사도 가중치를 부여하고, 정합된 대상 영상과 훈련 아틀라스 간 밝기값 유사 정도에 따라 밝기값 유사도 가중치를 부여한 지역적 가중 투표를 통해 상술한 수학시 2를 이용하여 초기 반월상 연골 모델을 생성한다
다음으로, 단계 S610에서, 반월상 연골의 분할영역을 설정하는 방법은 반월상 연골의 초기 분할 모델과 상기 선정된 아틀라스의 분할 모델간 3차원 모델 기반 어파인 정합을 수행하고, 정합된 영상의 유사 정도에 기초하여 지역적 가중 투표를 통해 상기 반월상연골의 분할영역을 설정한다.
즉, 반월상 연골의 초기 분할 모델과 훈련 아틀라스의 분할 모델 간 3차원 모델 기반 어파인 정합을 수행한 후 정합된 두 모델 간 유사 정도에 따른 아틀라스 유사도 가중치와 밝기값 유사 정도에 따른 밝기값 유사도 가중치를 고려한 지역적 가중 투표를 통해 상술한 [수학식 5]를 이용하여 반월상 연골 분할을 수행한다.
이러한 반월상 연골 분할 방법은 형상 정보와 밝기값 분포 정보를 이용한 지역적 가중 투표를 통해 환자마다 다양한 형상을 띄는 반월상 연골의 형상 정보를 고려할 수 있고, 반월상 연골의 밝기값 분포를 고려함으로써 정합 오류에도 견고하게 반월상 연골을 분할할 수 있다.
도 7은 일 실시 예에 따른 반월상 영역의 분할 결과를 개선하는 방법을 설명하기 위한 순서도이다.
단계 S700에서, 반월상 영역의 분할 결과를 개선하는 방법은 훈련 영상의 반월상 연골과 주변 영역에서 소정 크기의 패치를 생성하고, 생성된 패치 내에서 학습데이터를 생성한다.
예를 들면, 훈련 영상의 반월상 연골과 주변 영역에서 3x3 크기의 패치를 생성한 후 생성된 패치 내에서 세로 방향의 소벨 기울기(sobel gradient) 특징 벡터를 추출하여 학습 데이터를 생성해 SVM 분류기를 학습시킨다. 이 때, 선행으로 분할한 반월상 연골 영역에서 내측 반월상 연골의 경우 분할된 영역의 무릎 안쪽의 최대 좌표와 분할된 영역의 중앙 좌표를 이용하여 관심 영역의 좌우 크기를 지정하고, 외측 반월상 연골의 경우 분할된 영역의 무릎 바깥쪽의 최대 좌표와 분할된 영역의 중앙 좌표를 이용하여 관심 영역의 좌우 크기를 지정하며, 분할된 영역의 최상단 좌표와 최하단 좌표를 이용하여 상하 크기를 지정하여 관심영역(ROI)를 지정한다.
다음으로, 단계 S710에서, 반월상 영역의 분할 결과를 개선하는 방법은 분할된 반월상 연골 영역의 i번째 화소에서 상기 학습 데이터와 동일한 크기의 패치를 생성한다. 또한, 단계 S720에서, 상기 i번째 화소에서 생성된 패치에서 추출된 특징벡터를 이용하여 상기 i번째 화소가 윤곽선일 제1 확률을 연산한다.
예를 들면, 분할된 반월상 연골 영역의 i번째 화소에서 학습 데이터와 동일한 크기의 패치를 생성하고, 해당 패치 내에서 세로 방향의 소벨 기울기 특징 벡터를 추출하여 테스트 데이터를 생성한 후, SVM 분류기를 통해 해당 화소가 윤곽선일 확률
Figure 112020102236224-pat00129
을 구할 수 있다.
다음으로, 단계 S730에서, 반월상 영역의 분할 결과를 개선하는 방법은 제1 확률에 반월상 연골의 형상 가중치와 거리 가중치를 적용하여 제2 확률을 연산하고, 상기 제2확률이 소정 임계값보다 큰 경우 윤곽선으로 분류하여 윤곽선 주변으로 누출이 발생한 영역을 제거한다.
예를 들면,
Figure 112020102236224-pat00130
에 반월상 연골의 형상 가중치와 거리 가중치를 적용하여 반월상 연골의 윤곽선일 확률
Figure 112020102236224-pat00131
을 측정한 후 [수학식 12]와 같이 임계값
Figure 112020102236224-pat00057
보다 큰 경우 윤곽선으로 분류한다. 내측 반월상 연골의 경우 최종 분류된 윤곽선의 무릎 안쪽 누출을 제거하고, 외측 반월상 연골의 경우 최종 분류된 윤곽선의 무릎 바깥쪽 누출을 제거한다.
Figure 112020102236224-pat00132
이 때,
Figure 112020102236224-pat00133
은 i번째 화소에서의 형상 가중치,
Figure 112020102236224-pat00134
은 i번째 화소에서의 거리 가중치를 의미하고,
Figure 112020102236224-pat00135
는 실험적으로 산정된 50%일 수 있다.
한편, 도 8은 일 실시 예에 따른 반월상영역의 형상 가중치와 거리가중치를 적용하는 일 예를 설명하기 위한 도이다.
도 8(a)는 형상 가중치
Figure 112020102236224-pat00136
은 반월상 연골이 삼각형 형상을 보인다는 형상 정보를 바탕으로 분할된 반월상 연골에서 측부 인대가 인접하게 되는 중간 영역을 누적하여 2차원의 확률맵을 생성했을 때, 반월상 연골의 내부 영역 및 누출이 발생한 측부 인대 영역의 경우 누적 확률이 높고, 반월상 연골의 윤곽선의 경우 상대적으로 누적 확률이 낮게 되는 예를 도시한다. 따라서, 반월상 연골 윤곽선의 위치 범위를 형상 정보를 바탕으로 제한하는 가중치로 [수학식 13]과 같이 계산한다.
Figure 112020102236224-pat00137
이 때,
Figure 112020102236224-pat00138
은 반월상 연골 영역의 누적 확률을 의미하고, 지수함수를 취하여 1∼2.71 사이의 값을 갖게 한다.
도 8(b)의 거리 가중치
Figure 112020102236224-pat00139
는 분할된 반월상 연골 영역의 중심점과 i번째 화소의 거리 차이가 클수록 측부 인대에 위치하고 작을수록 반월상 연골의 중심점 주위에 위치하게 되는 예를 도시한다.
따라서, 반월상 연골 윤곽선의 위치 범위를 거리 정보를 바탕으로 제한하는 가중치로 [수학식 14]와 같이 계산한다.
Figure 112020102236224-pat00140
이 때,
Figure 112020102236224-pat00141
는 i번째 화소에서의 x좌표,
Figure 112020102236224-pat00142
는 분할된 반월상 연골 영역의 중심점 x좌표,
Figure 112020102236224-pat00143
는 분할된 반월상 연골 영역의 최대 x좌표를 의미하고, 지수함수를 취하여 1∼2.71 사이의값을 갖게 한다.
도 9 및 도 10은 일 실시 예에 따른 대상 반월상 연골 분할 방법의 정확도를 설명하기 위한 도이다.
도 9는 정성적인 평가를 위해 다중 아틀라스 기반 지역적 가중 투표를 통한 반월상 연골 분할 결과(Method A) 및 나아가 패치 기반 윤곽선 특징 분류를 통한 분할 개선 결과(Method B)를 전문가들의 수동 분할 결과와 비교한 일 예이다.
Method A의 경우 도 9의 (c)와 같이 밝기값이 유사한 내측 및 외측 측부 인대로 누출이 발생하는 문제가 있지만 Method B의 경우 도 9의 (d)와 같이 패치 기반 윤곽선 특징 분류를 통해 내외측 측부 인대로 발생한 누출을 제거하여 수동 분할 윤곽선과 유사함을 확인할 수 있다.
정량적 평가를 위해 수동 분할 결과를 실측치로 하여 다이스 유사계수(DSC: Dice Similarity Coefficient), 민감도(sensitivity), 특이도(specificity) 및 정확도(accuracy)를 [수학식 15]를 통해 측정하여 비교하였다. 다이스 유사계수는 수동 분할 영역과 자동 분할 영역간의 중복률을 계산하였고, 민감도는 수동 분할 영역에서 자동 분할 영역이 존재하는 비율을 계산하였고, 특이도는 수동 분할 영역이 아닌 영역에서 자동 분할 영역이 아닌 영역의 비율을 계산하였으며, 정확도는 수동 분할 영역에서 자동 분할 영역이 존재하고 수동 분할 영역이 아닌 영역에서 자동 분할 영역이 아닌 영역의 비율을 계산하였다.
Figure 112020102236224-pat00144
이 때, TP는 반월상 연골로 수동 분할한 영역에서 반월상 연골로 자동 분할된 영역이고, FN는 반월상 연골로 수동 분할 한 영역에서 반월상 연골이 아닌 영역으로 자동 분할된 영역이고, FP는 반월상 연골이 아닌 영역으로 수동 분할한 영역에서 반월상 연골로 자동 분할된 영역이고, TN는 반월상 연골이 아닌 영역으로 수동 분할한 영역에서 반월상 연골이 아닌 영역으로 자동 분할된 영역을 의미한다.
도 10에서 Medthod B를 적용하였을 때 Method A 대비 윤곽선 특징 분류를 통해 밝기값이 유사한 측부 인대로의 누출을 제거하여 내측 반월상 연골의 경우, 다이스 유사계수와 특이도가 각각 7.25%, 1.93% 향상되었고, 외측 반월상 연골의 경우, 다이스 유사계수와 특이도가 각각 1.31%, 0.35% 향상되었다. 따라서, 일 실시예에 따른 반월상 연골 분할 방법의 정확도는 전문의가 직접 진단한 것과 근접한 수즌의 결과를 제시함을 알 수 잇다.
도 11은 일 실시 예에 따른 반월상 연골 분할장치의 내부 구성을 개략적으로 나타낸 도이다.
반월상연골 분할장치(100)는 후술하는 기능을 수행할 수 있는 기기로서, 예를 들어 서버 컴퓨터, 개인 컴퓨터 등으로 구성될 수 있다. 일 실시예에서, 반월상연골 분할장치(100)는 하나 이상의 프로세서(130) 및/또는 하나 이상의 메모리(140)를 포함할 수 있다.
일 실시 예에 따라 하나 이상의 프로세서(130)에 의해 수행되는 연산은, 대상 영상 및 대상영상과 유사한 아틀라스를 이용하여 뼈와 관절연골을 초기 분할하는 연산; 상기 분할된 뼈와 관절연골의 위치를 이용하여 반월상 연골의 관심볼륨영역(VOI: Volume Of Interest)를 결정하는 연산; 상기 관심볼륨영역에서 다중 아틀라스 기반 지역적 가중투표를 통해 반월상 연골 분할영역을 설정하는 연산; 및 상기 반월상 연골 분할영역에 대해 윤곽선 특징을 추출하여 분할 결과를 개선하는 연산을 포함할 수 있다. 물론 이러한 연산에만 한정되는 것은 아니며, 일 실시 예에 따른 반월상연골 분할장치(100)는 도 1 내지 도 10에서 상술된 반월상연골 분할 방법들을 수행할 수 있음은 통상의 기술자에게 자명하다.
일 실시예에서는, 반월상연골 분할장치(100)의 이 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 반월상연골 분할장치(100)에 추가될 수 있다. 또한 추가적으로(additionally) 또는 대체적으로(alternatively), 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 반월상연골 분할장치(100) 내, 외부의 구성요소들 중 적어도 일부의 구성요소들은 버스, GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고 받을 수 있다.
하나 이상의 메모리(140)는 다양한 데이터를 저장할 수 있다. 메모리(140)에 저장되는 데이터는, 반월상연골 분할장치(100)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예: 프로그램)를 포함할 수 있다. 메모리(140)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 하나 이상의 메모리(140)는, 하나 이상의 프로세서(130)에 의한 실행 시, 하나 이상의 프로세서(130)가 연산을 수행하도록 하는 명령들을 저장할 수 있다. 일 실시예에서, 하나 이상의 메모리(140)는 하나 이상의 사용자에 대한 개인화 정보 및/또는 하나 이상의 상품에 대한 추천 정보를 저장할 수 있다. 본 개시에서, 프로그램 내지 명령은 메모리(140)에 저장되는 소프트웨어로서, 반월상연골 분할장치(100)의 리소스를 제어하기 위한 운영체제, 어플리케이션 및/또는 어플리케이션이 장치의 리소스들을 활용할 수 있도록 다양한 기능을 어플리케이션에 제공하는 미들 웨어 등을 포함할 수 있다.
하나 이상의 프로세서(130)는, 소프트웨어(예: 프로그램, 명령)를 구동하여 프로세서(130)에 연결된 반월상연골 분할장치(100)의 적어도 하나의 구성요소를 제어할 수 있다. 또한 프로세서(130)는 본 개시와 관련된 다양한 연산, 처리, 데이터 생성, 가공 등의 동작을 수행할 수 있다. 또한 프로세서(130)는 데이터 등을 메모리(140)로부터 로드하거나, 메모리(140)에 저장할 수 있다
일 실시예에서, 반월상연골 분할장치(100)는 통신 인터페이스(도시되지 않음)를 더 포함할 수 있다. 통신 인터페이스는, 반월상연골 분할장치(100)와 다른 서버 또는 다른 외부 장치(예: 촬영장치(120))간의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 통신 인터페이스는 eMBB(enhanced Mobile Broadband), URLLC(Ultra Reliable Low-Latency Communications), MMTC(Massive Machine Type Communications), LTE(long-term evolution), LTE-A(LTE Advance), UMTS(Universal Mobile Telecommunications System), GSM(Global System for Mobile communications), CDMA(code division multiple access), WCDMA(wideband CDMA), WiBro(Wireless Broadband), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), GPS(Global Positioning System) 또는 GNSS(global navigation satellite system) 등의 방식에 따른 무선 통신을 수행할 수 있다.
본 개시에 따른 반월상연골 분할장치(100)의 다양한 실시예들은 서로 조합될 수 있다. 각 실시예들은 경우의 수에 따라 조합될 수 있으며, 조합되어 만들어진 반월상연골 분할장치(100)의 실시예 역시 본 개시의 범위에 속한다. 또한 전술한 본 개시에 따른 반월상연골 분할장치(100)의 내/외부 구성 요소들은 실시예에 따라 추가, 변경, 대체 또는 삭제될 수 있다. 또한, 전술한 반월상연골 분할장치(100)의 내/외부 구성 요소들은 하드웨어 컴포넌트로 구현될 수 있다.
한편, 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 반월상연골 분할장치
110: 네트워크
120: 촬영장치

Claims (9)

  1. 반월상 연골 자동 분할 방법에 있어서,
    반월상연골 분할장치가 대상 영상 및 상기 대상 영상과 유사한 아틀라스를 이용하여 뼈와 관절연골을 초기 분할하는 단계;
    상기 반월상연골 분할장치가 상기 분할된 뼈와 관절연골의 위치를 이용하여 반월상 연골의 관심볼륨영역(VOI: Volume Of Interest)를 결정하는 단계;
    상기 반월상연골 분할장치가 상기 관심볼륨영역에서 다중 아틀라스 기반 지역적 가중투표를 통해 반월상 연골 분할영역을 설정하는 단계; 및
    상기 반월상연골 분할장치가 상기 반월상 연골 분할영역에 대해 윤곽선 특징을 추출하여 분할 결과를 개선하는 단계를 포함하고,
    상기 초기 분할 단계는,
    훈련집합에서 상기 대상 영상과 유사한 아틀라스를 선정하는 단계;
    상기 대상 영상에서 다중 아틀라스 기반 지역적 가중 투표를 이용하여 대퇴골 및 경골을 분할하는 단계; 및
    상기 대상 영상에서 분할된 대퇴골, 경골 및 밝기값 유사도 가중치 중 적어도 하나를 이용하는 지역적 가중 투표를 통해 대퇴부 연골 및 경골 연골을 분할하는 단계를 포함하고,
    상기 관심볼륨영역 결정 단계는 상기 초기 분할 단계에서 분할된 대퇴골, 경골, 대퇴부 연골 및 경골 연골의 위치 정보를 기초로 상기 관심볼륨영역의 범위를 결정하는 것을 특징으로 하는, 방법.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서, 상기 반월상연골의 분할영역을 설정하는 단계는,
    상기 반월상연골 분할장치가 상기 관심볼륨영역에서 상기 대상 영상과 상기 선정된 아틀라스간 3차원 영상 기반 유사정합을 수행하고, 정합된 영상의 유사 정도에 기초하여 지역적 가중 투표를 통해 초기 반월상 연골 모델을 생성하는 단계; 및
    상기 반월상연골 분할장치가 상기 반월상 연골의 초기 분할 모델과 상기 선정된 아틀라스의 분할 모델간 3차원 모델 기반 어파인 정합을 수행하고, 정합된 영상의 유사 정도에 기초하여 지역적 가중 투표를 통해 상기 반월상연골의 분할영역을 설정하는 단계를 포함하는, 방법.
  5. 제 1항에 있어서, 상기 분할 결과를 개선하는 단계는,
    상기 설정된 반월상연골의 분할 영역에서 측부 인대 부위에 관심영역을 지정하는 단계; 및
    패치 기반의 윤곽선 특징 분류를 통해 측부 인대로 누출이 발생한 영역을 제거하는 단계를 포함하는, 방법.
  6. 제 1항에 있어서,
    상기 분할 결과를 개선하는 단계는,
    훈련 영상의 반월상 연골과 주변 영역에서 소정 크기의 패치를 생성하고, 생성된 패치 내에서 학습데이터를 생성하는 단계; 및
    상기 분할된 반월상 연골 영역의 i번째 화소에서 상기 학습 데이터와 동일한 크기의 패치를 생성하는 단계를 포함하는, 방법.
  7. 제 6항에 있어서, 상기 분할 결과를 개선하는 단계는,
    상기 i번째 화소에서 생성된 패치에서 추출된 특징벡터를 이용하여 상기 i번째 화소가 윤곽선일 제1 확률을 연산하는 단계; 및
    상기 제1 확률에 반월상 연골의 형상 가중치와 거리 가중치를 적용하여 제2 확률을 연산하고, 상기 제2 확률이 소정 임계값보다 큰 경우 윤곽선으로 분류하여 윤곽선 주변으로 누출이 발생한 영역을 제거하는 단계를 포함하는 방법.
  8. 하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가 연산을 수행하도록 하는 명령들이 저장된 하나 이상의 메모리를 포함하고,
    상기 하나 이상의 프로세서에 의해 수행되는 상기 연산은,
    대상 영상 및 상기 대상 영상과 유사한 아틀라스를 이용하여 뼈와 관절연골을 초기 분할하는 연산;
    상기 분할된 뼈와 관절연골의 위치를 이용하여 반월상 연골의 관심볼륨영역(VOI: Volume Of Interest)을 결정하는 연산;
    상기 관심볼륨영역에서 다중 아틀라스 기반 지역적 가중투표를 통해 반월상 연골 분할영역을 설정하는 연산; 및
    상기 반월상 연골 분할영역에 대해 윤곽선 특징을 추출하여 분할 결과를 개선하는 연산을 포함하고,
    상기 초기 분할 연산은,
    훈련집합에서 상기 대상 영상과 유사한 아틀라스를 선정하는 연산;
    상기 대상 영상에서 다중 아틀라스 기반 지역적 가중 투표를 이용하여 대퇴골 및 경골을 분할하는 연산; 및
    상기 대상 영상에서 분할된 대퇴골, 경골 및 밝기값 유사도 가중치 중 적어도 하나를 이용하는 지역적 가중 투표를 통해 대퇴부 연골 및 경골 연골을 분할하는 연산을 포함하고,
    상기 관심볼륨영역을 결정하는 연산은 상기 초기 분할 단계에서 분할된 대퇴골, 경골, 대퇴부 연골 및 경골 연골의 위치 정보를 기초로 상기 관심볼륨영역의 범위를 결정하는 것을 특징으로 하는, 반월상 연골 분할 장치.
  9. 하드웨어인 컴퓨터와 결합되어, 제1항, 제5항 내지 제7항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 반월상 연골 분할 프로그램.
KR1020180152566A 2018-11-30 2018-11-30 무릎 자기공명 영상에서의 반월상 연골 분할 방법 및 장치 KR102211688B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180152566A KR102211688B1 (ko) 2018-11-30 2018-11-30 무릎 자기공명 영상에서의 반월상 연골 분할 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180152566A KR102211688B1 (ko) 2018-11-30 2018-11-30 무릎 자기공명 영상에서의 반월상 연골 분할 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200065777A KR20200065777A (ko) 2020-06-09
KR102211688B1 true KR102211688B1 (ko) 2021-02-02

Family

ID=71082190

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180152566A KR102211688B1 (ko) 2018-11-30 2018-11-30 무릎 자기공명 영상에서의 반월상 연골 분할 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102211688B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102236340B1 (ko) * 2019-03-29 2021-04-02 서울여자대학교 산학협력단 자기공명 영상에서의 골-연골 복합체 모델링을 이용한 연골 분할 방법 및 장치
KR102330981B1 (ko) * 2020-12-30 2021-12-02 이마고웍스 주식회사 딥러닝을 이용한 ct 영상의 악안면골 자동 분할 방법
CN113706491B (zh) * 2021-08-20 2024-02-13 西安电子科技大学 基于混合注意力弱监督迁移学习的半月板损伤分级方法
KR102607593B1 (ko) * 2021-09-30 2023-11-30 서울여자대학교 산학협력단 딥러닝 기반 무릎 자기 공명 이미지의 반월상 연골을 분할하는 방법, 이를 위한 프로그램 및 장치
CN116309751B (zh) * 2023-03-15 2023-12-19 浙江医准智能科技有限公司 影像处理方法、装置、电子设备及介质
CN116630427B (zh) * 2023-07-24 2023-10-31 杭州键嘉医疗科技股份有限公司 一种ct图像中髋骨和股骨自动定位的方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666834B1 (ko) 2015-08-07 2016-10-17 서울여자대학교 산학협력단 무릎 자기공명영상에서의 전방십자인대 분할 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7022506B2 (en) 2000-02-23 2006-04-04 The Trustees Of The University Of Pennsylvania Method and device for treating osteoarthritis, cartilage disease, defects and injuries in the human knee
KR101769808B1 (ko) * 2015-11-19 2017-08-21 삼성전자주식회사 무릎 자기공명영상의 관절연골 분할 장치 및 그 분할 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666834B1 (ko) 2015-08-07 2016-10-17 서울여자대학교 산학협력단 무릎 자기공명영상에서의 전방십자인대 분할 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
무릎 MR 영상에서 다중 아틀라스 기반 지역적 가중투표를 이용한 대퇴부 연골 자동 분할(Journal of KIISE, Vol. 43, No. 8, 2016. 8/김현아 외 3인/pp. 869-877)*

Also Published As

Publication number Publication date
KR20200065777A (ko) 2020-06-09

Similar Documents

Publication Publication Date Title
KR102211688B1 (ko) 무릎 자기공명 영상에서의 반월상 연골 분할 방법 및 장치
US9646229B2 (en) Method and system for bone segmentation and landmark detection for joint replacement surgery
US20200175307A1 (en) System and method for surgical guidance and intra-operative pathology through endo-microscopic tissue differentiation
US9801601B2 (en) Method and system for performing multi-bone segmentation in imaging data
US20210182622A1 (en) Method and system for image segmentation and identification
JP5417321B2 (ja) 半自動式輪郭検出方法
US10540770B2 (en) Method and apparatus for fully automated segmentation of joint using patient-specific optimal thresholding and watershed algorithm
JP6564018B2 (ja) 放射線画像の肺野セグメンテーション技術及び骨減弱技術
CN109859210B (zh) 一种医学数据处理装置及方法
KR102228087B1 (ko) 의료영상에서의 특정연골 분할 방법 및 장치
CN115393272B (zh) 基于深度学习的膝关节髌骨置换三维术前规划系统及方法
KR20200137768A (ko) 두부경부 컴퓨터단층촬영영상에서의 안와뼈 분할 방법 및 장치
WO2020110774A1 (ja) 画像処理装置、画像処理方法、及びプログラム
Jacinto et al. Multi-atlas automatic positioning of anatomical landmarks
US20090310883A1 (en) Image processing apparatus, method, and program
JP5137243B2 (ja) 対象領域抽出装置および方法ならびにプログラム
Podsiadlo et al. Automated selection of trabecular bone regions in knee radiographs
KR102216022B1 (ko) 두부경부 컴퓨터 단층 촬영 영상에서 안와뼈 평균형상 모델링 방법 및 장치
CN112529900A (zh) 匹配乳腺图像中roi的方法、装置、终端与存储介质
CN115131301B (zh) 基于深度学习的智能识别骨关节炎的方法及系统
Sha et al. The improved faster-RCNN for spinal fracture lesions detection
US10687899B1 (en) Bone model correction angle determination
Straka et al. Bone segmentation in CT-angiography data using a probabilistic atlas
CN113962957A (zh) 医学图像处理方法、骨骼图像处理方法、装置、设备
CN109564685B (zh) 鲁棒的肺叶分割

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant