KR101599219B1 - 3차원 의료 영상에서 랜드마크들의 자동 등록을 위한 장치 및 방법 - Google Patents

3차원 의료 영상에서 랜드마크들의 자동 등록을 위한 장치 및 방법 Download PDF

Info

Publication number
KR101599219B1
KR101599219B1 KR1020140031858A KR20140031858A KR101599219B1 KR 101599219 B1 KR101599219 B1 KR 101599219B1 KR 1020140031858 A KR1020140031858 A KR 1020140031858A KR 20140031858 A KR20140031858 A KR 20140031858A KR 101599219 B1 KR101599219 B1 KR 101599219B1
Authority
KR
South Korea
Prior art keywords
candidates
landmark
feature extraction
landmarks
learning
Prior art date
Application number
KR1020140031858A
Other languages
English (en)
Other versions
KR20140114308A (ko
Inventor
프라빈 굴라카
알렉세이 브로니스라보비치 다니레비치
드미트리 알렉산드로비치 코로브첸코
마하일 니코라에비치 리차코브
마하일 유리에비치 시로텐코
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20140114308A publication Critical patent/KR20140114308A/ko
Application granted granted Critical
Publication of KR101599219B1 publication Critical patent/KR101599219B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 의료 기기에 관한 것이며, 특히 의료 영상들 상의 해부학적 지점(랜드마크)들의 자동 등록에 관한 방법 및 디바이스에 관한 것이다. 이는 3차원 의료 영상들의 랜드마크들의 자동 등록 방법에 관한 것이며, 3차원 의료 영상의 획득, 탐색 지점들의 집합의 결정, 지점들의 특징의 추출, 필요한 랜드마크들 상의 후보들의 집합의 형성, 후보들의 필터링, 필요한 랜드마크들의 최종 위치의 출력과 같은 동작의 수행을 제공한다. 여기에서 탐색 지점들의 설정의 결정은 통계 지도의 사용을 갖는 3차원 영상 내에서 탐색 지점들의 그리드의 설정에 의해 수행되고, 통계 지도는 3차원 영상 내부의 신체의 조사된 부분에 대응하는 경계 박스에 부착되고, 지점들의 특징의 추출은 이러한 각 지점에 대한 주변 컨텍스트의 선택 및 특징 추출 다층 알고리즘의 적용에 의해 수행되고, 상기 후보들의 집합의 형성은 특징의 추출 알고리즘의 대응하는 출력 값을 사용하여 필요한 랜드마크들의 각 유형 및 각 탐색 지점에 대한 품질의 측정의 계산에 의해 수행되고, 상기 후보들의 필터링은 품질 측정값에 대한 미리 계산된 임계값들 및 통계 지도의 수단에 의해 수행된다. 여기에서 최종 위치의 출력은 필터링 후에 남아있는 모든 후보들을 필요한 랜드마크들의 종류별 제한 내에서 정렬하고, 품질 측정치의 가장 큰 값을 갖는 후보들 또는 품질 측정치의 가장 큰 값을 갖는 필요한 수의 후보들을 출력하는 것에 의해서 수행된다. 청구된 방법의 구현에 기초하는 장치 및 데이터 캐리어도 또한 본발명의 일부이다.

Description

3차원 의료 영상에서 랜드마크들의 자동 등록을 위한 장치 및 방법 { SYSTEM AND METHOD FOR AUTOMATIC REGISTRATION OF ANATOMIC POINTS IN 3D MEDICAL IMAGES}
본 발명은 의료 기기에 관한 것이며, 특히 의료 영상 상의 랜드마크들의 자동 등록을 위한 방법 및 장치에 관한 것이다.
의료 영상 상의 랜드마크들의 자동 등록은 컴퓨터의 방법 어플리케이션에 의해 보통 해결된다. 그러한 방법 중 일부는 상기 해부학적 구조들 또는 지점(랜드마크)들을 검출하기 위해 수동으로 조절하는 알고리즘을 사용한다. 다른 방법에서 그 접근은 해부학적 구조들 또는 지점들의 위치의 검출을 제공할 수 있는, 검출부의 형성을 위한 기계 학습에 기초하여 사용된다. 영상 상에 랜드마크의 등록을 위한 전형적인 방법은 일부 윈도우 수단에 의해 지정된 영상의 스캐닝 및, 필요한 해부학적 구조의 위치의 조사를 위해 각 위치에 대한 윈도우 컨텐츠의 분류 작업으로 구성된다. 알려진 다양한 알고리즘은 이러한 유형의 분류 작업의 솔루션에 적용될 수 있는데, 예를 들면, 마코비안 네트워크를 사용하는, 부스팅 사용, 일반 목적의 특징 추출(Haar의 특징과 같은) 유형이다.
US Pat. 8160322 [1]는 기계 학습 방법을 적용하는 해부학적 구조의 등록 방법을 설명한다. 이 특허에 기재된 방법의 주요 아이디어는 구체적 위치에 일부 필요한 해부학적 지점(랜드마크)의 조사를 위한 영상의 선택된 단면에 대한 분류기의 캐스케이드(cascade) 적용으로 구성된다. 분류기는 고정된 다양한 공간 특징을 사용한다. 분류의 마지막 절차는 부스팅 방법을 사용하여 구성된다. 분류 후에, 모든 후보는 학습 샘플에서 취해진 공간 통계 정보를 사용하여 수행된 검증 절차를 통과한다. 또한, 후보들은 고정된 임계값을 사용하여 품질에 의해 필터링된다. 특징 추출 알고리즘은 지도 학습을 사용하여 조정된다.
US Pat. 8218849 [2]는 결합된 컨텍스트에 의해 랜드마크들을 자동으로 등록하는 방법을 설명한다. 결합된 컨텍스트는 별개로 취해진 랜드마크들의 가능한 위치에 의해 형성된 일부 랜드마크들의 결합된 특징들의 집합을 의미한다. 제1 단계에서, 랜드마크들의 후보의 형성은 제한된 일부 공간에서 기계 학습의 적용 및 확률 부스팅 트리의 사용에 의해 수행된다. 지정된 방법에서, 위치, 방향, 스케일은 지속적으로 추정된다: a) 트레이닝된 분류기는 위치의 추정에 적용된다, b) 트레이닝된 분류기는 위치 및 방향의 추정에 적용된다. C) 트레이닝된 분류기는 스케일의 추정에 적용된다. 하르의 특징은 낮은 수준의 특징으로 사용된다. 랜드마크들 상의 최고 후보들의 선택은 각 개별 지점의 발생 확률 및 랜드마크들의 일부 조합의 결합된 컨텍스트에 대응하는 확률(예를 들어, 두 가지 유형의 랜드마크를 찾는 것이 필요한 경우의 지점 쌍)을 고려하여 수행된다. 기재된 방법은 심장의 자기 공명 영상에서 심장 캡 및 기초 평면의 등록을 위한 분석 특허에서 적용된다.
US 특허출원 20100119137 [3]은 특허 [2]에 기재된 방법과 유사하지만 랜드마크들의 상대적 위치를 고려하는 기하학적 모델이 그 안에서 부가적으로 사용되는 랜드마크들의 등록 방법을 설명한다. 제1 랜드마크의 초기 위치는 제한된 부분공간에서 학습을 사용하는 위에 기술된 방법에 의해 추정된다. 그 후에 마킹된 의료 영상에서 습득한 기하학적 모델은 제1 랜드마크의 위치에 할당된다. 따라서, 해부학 지점들의 다른 종류의 탐색 영역이 설정된다. 다른 랜드마크들의 위치는 제한된 부분공간에서 학습을 사용하는 위에 기술된 방법에 의해 획득된 영역 내부에서 결정된다. 분류는 확률 증폭 트리를 사용하여 수행된다. 적용 분야는 뇌의 자기 공명 영상이다.
US 특허 출원 20100254582 [4]는 3차원 의료 영상에서 랜드마크들의 자동 등록 방법을 설명한다. 지정된 방법에서 등록은 랜드마크들 상의 후보들의 선택 및 그들 사이의 이진 연결의 구성에 의해 수행된다. 후보 등록은 공간 히스토그램에 기초하여 형성된 특징 분류에 의해 수행된다. 그런 다음 최고 후보의 결정은 후보의 관련 집합에 카르코프 네트워크 모델의 적용에 의해 수행된다.
위에 언급된 방법들의 단점이 될 수 있는 것은 다음과 같다. 알고리즘의 대부분은 2차원 의료 영상들과만 작업할 수 있다. 이러한 경우 그러한 알고리즘의 적용 분야가 좁아질 수 있다. 일부 방법은 긴 시간 동안 만들어지는 고해상도의 고품질 의료 영상들과만 동작할 수 있다. 실질적으로 모든 방법은 분류 작업의 해결을 위해 특징 추출 알고리즘을 적용한다. 대체적으로, 그러한 알고리즘은 경험상의 정보를 사용하여 수동으로 조정될 수 있다. 특정 케이스에서 일반적인 목적의 특징 추출 알고리즘의 트레이닝된 모델들은 사용된 데이터의 특수성을 고려할 필요 없이 사용된다. 그러한 상황에서, 기계 학습 접근의 가능성이 완전히 실현되지는 않는다. 또한 특징의 다레벨 계층 대신에, 특징들 중 단 하나의 레벨이 주기적으로 형성된다. 일부 접근에서 랜드마크들의 후보들은 대응하는 임계치에 의해 필터링되나, 그러한 임계치도 대체적으로 수동으로 조정된다.
청구된 발명의 솔루션이 지향하는 작업은 그러한 지점들의 각 유형의 제한 내에서 독자적인 요구 지점들의 위치들 및 이러한 유형들 각각에 대한 몇몇 지점들의 위치를 또한 검출하도록 허용하는 3차원 의료 영상들에서 랜드마크들의 자동 등록에 대한 진보된 접근이다.
3차원 의료 영상들 상의 랜드마크들의 자동 등록을 위한 이 방법에 기초한 방법 및 장치의 개발로 인해 기술적 결과가 얻어진다.
여기에서 3차원 의료 영상들의 랜드마크들의 자동 등록 방법은 동작의 수행을 제공하는데, 예를 들어 3차원 의료 영상의 획득, 탐색 지점들의 집합의 결정, 상기 지점들의 특징의 추출, 랜드마크들 상의 후보들의 설정 형성, 상기 후보들의 필터링, 랜드마크들의 최종 위치의 출력으로서, 다음의 특징을 가진다.
상기 탐색 지점 설정의 결정은 통계 지도를 사용하는 3차원 영상 내에서 탐색 지점들의 그리드(랜드마크들 상의 미래 후보들)의 설정에 의해 수행되는데, 상기 통계 지도는 3차원 영상 내부에서 신체의 조사된(스캔된) 부분에 대응하는 경계 박스에 부착된다.
경계 박스는 볼륨의 중요한 부분만을 둘러싸는 3차원 사각 큐비클이다. 예를 들어, 뇌의 MRI 볼륨 경계 박스는 뇌 주변의 빈 공간을 무시한다. 경계박스는 전체 볼륨의 좌표 축으로의 적분 프로젝션을 통하여 계산되고, 프로젝션이 소정의 임계치보다 높은 영역을 찾게된다. 경계 박스의 사용으로 인하여 장치가 탐색해야 하는 영역(탐색 지점들)이 감소하여 처리시간이 감소한다.
탐색해야 하는 영역은 통계 지도(아틀라스)의 적용에 의해 추가로 감소된다. 통계 지도는 신체의 특정 부분의 랜드마크(예를 들어, 뇌의 랜드마크는 뇌의 CCP(Corpus Callosum Anterior), CCA(Copus Callosum Posterior)가 될 수 있다.)의 위치에 관한 통계적 분포 정보를 담고 있다. 위치가 마킹된 많은 의료 영상으로부터 이러한 통계 지도가 형성된다.
상기 지점들의 특징 추출은 이러한 각 지점에 대한 주변 컨텍스트의 선택 및 특징 추출 다층 알고리즘의 적용에 의해 수행된다. 지점에 대한 주변 컨텍스트는 지점의 주변에 있는 특징들로서, 이러한 특징들을 통하여 상기 지점이 랜드마크에 부합하는지 알 수 있게 된다.
상기 후보들의 집합의 형성은 특징 추출 알고리즘의 대응하는 출력 값을 사용하여 랜드마크들의 각 유형 및 각 탐색 지점들에 대한 품질 측정의 계산에 의해 수행된다.
상기 후보들의 필터링은 품질 측정 값에 대한 미리 계산된 임계값들 및 통계 지도에 의해 수행된다.
상기 최종 위치들의 출력은, 랜드마크들의 각 유형의 제한 내에서 필터링 후에 남은 모든 후보들의 정렬 및 품질 측정의 최대값을 갖는 후보 또는 품질 측정의 최대값을 갖는 필요한 수의 후보들의 출력에 의해 수행된다.
본발명의 일실시예는 3차원 의료 영상들에 있어서 랜드마크들의 자동등록을 위한 청구된 장치로서,
프로그램의 저장 능력을 갖고 실행되는 저장 디바이스;
프로그램의 실행 능력을 갖고 실행되는, 저장 장치에 연결된 CPU로서, 다음의 단계를 실행하는 장치를 포함한다.
A. 획득된 3차원 의료 영상 내부에 신체의 조사된 일부의 경계 박스의 추정;
B. 경계 박스에 통계 지도를 부착;
C. 통계 지도의 사용으로 3차원 의료 영상 내부의 탐색 지점들의 그리드의 결정;
D. 탐색 지점들의 그리드로부터 각 지점에 대한 주변 컨텍스트들의 결정;
E. 선택된 컨텍스트들에 대한 특징 추출 다층 알고리즘의 적용;
F. 특징 추출 알고리즘의 대응하는 출력 값에 기초하여, 랜드마크들의 각 유형 및 각 탐색 지점에 대한 품질 측정의 계산에 의해, 랜드마크들 상에 후보들의 집합의 형성;
G. 통계 지도 및 미리-계산된 임계값의 사용으로서 후보들을 필터링;
H. 품질에 의해 랜드마크들의 각 유형의 제한 내에서 남아있는 후보들의 정렬; 및
I. 품질 측정의 가장 큰 값을 갖는 필요한 수의 후보들 또는 품질 측정의 가장 큰 값을 갖는 후보들의 출력.
청구된 발명은 이용가능한 프로토 유형들과 달리, 짧은 시간에 얻어진 낮은 해상도를 갖는 3차원 의료 영상들에 적용가능한 새로운 방법을 기술한다. 본 발명에서 주요한 진보사항은 초기 단계에서 알고리즘 모델의 자율 학습 결과로서 습득된 특징들의 추출 다층 알고리즘의 적용이다. 특징을 추출하는 몇몇 계층은 입력 데이터의 계층적 표현을 제공한다. 계층들은 컴포넌트들에 대한 데이터의 최적의 분리 및 분리된 데이터의 변환을 이끌고, 입력 데이터가 속하는 분류들의 결과 마킹들이 마지막 계층들에서 획득된 특징들에 의해 쉽게 형성될 수 있다. 입력 데이터에 관련된 특징들의 불변성(invariance)의 다양한 유형들을 제공하기 위한 집중 및 표준화 계층들이 특징 추출 알고리즘에서 사용된다. 자율 특징 추출 알고리즘 모델 학습의 장점은 데이터로부터 직접적으로 학습된다는 것과, 획득된 알고리즘이 사용되는 데이터의 잠재된 일관성 및 특성을 설명할 수 있다는 것으로 구성된다. 또한, 학습을 위해서 입력 상의 마킹된 데이터의 큰 집합을 가질 필요가 없다는 것이다. 방법의 하나 이상의 특징은 탐색 영역을 줄이기 위해 간단한 통계적 지도가 경계 박스에 부착된 것으로 구성된다. 또 다른 장점은 랜드마크들 상의 후보들의 필터링을 위한 특별한 임계값들의 계산이다. 이러한 임계값은 제1 및 제2 종류의 분류 에러를 포함하는 일부 손실 함수의 최소화에 의해 사전적으로 계산된다. 청구된 방법은 올바른 등록 확률에 의해, 각 유형에 대한 랜드마크들의 집합을 출력할 수 있다.
청구된 발명에 기재된 방법은 지정된 방법의 한계 내에서 랜드마크들의 자동 등록 방법을 하는 다른 방법과 다른 다음의 특징이 있는데,
통계 지도의 후속 부착을 위해 신체의 조사된 부분에서 경계 박스의 추정;
탐색 영역의 한정을 위한 통계 지도의 사용;
특징 추출 다층 알고리즘의 사용은 입력 데이터의 특징의 계층적 표현의 형성을 위한 특징 추출 계층들, 집중 계층들 및 표준화 계층들을 포함;
마킹된 데이터의 작은 집합만을 사용하여, 알고리즘을 조정하기 위한 특징 추출 알고리즘 모델의 예비적 자율 학습을 위한 스파스(sparse) 인코딩의 사용;
사용된 입력 데이터의 유형에 대해 일반적인 일관성을 인식할 수 있는 알고리즘을 획득하기 위해 특징 추출 알고리즘 모델에서 예비적인 자율 학습을 위한 스파스 인코딩의 사용; 및
제1 및 제2 종류의 에러의 총수의 감소에 의해 랜드마크들에 대한 후보들의 필터링을 위한 최적 임계값들의 계산 방법을 사용이다.
청구된 발명의 본질은 다음의 도면들에 의하여 추가로 설명된다.
도 1 - 랜드마크들의 자동 등록 방법의 주요 단계
도 2 - 경계 박스의 추정
도 3 - 다양한 유형의 랜드마크들의 통계적 분포의 결합으로서 영역을 탐색
도 4 - 특징 추출 알고리즘의 다층 모델 학습 과정의 주요 단계
도 5 - 특징을 추출하는 계층들의 자율 학습 과정을 나타내는 흐름도
도 6 - 청구된 발명이 구현될 수 있는 장치의 예
의료 영상 처리 분야에서 조사된 영상에 대한 해부학적 구조의 적절한 인식이 필요한 많은 작업이 있다. 이러한 구조의 설명 방법들 중 하나 및 그들의 상대적 위치의 결정은 상기 구조들에 존재하는 특정한 해부학적 지점(랜드마크)의 사용이다. 이러한 랜드마크 위치의 자동 획득은 뷰의 플래닝, 세그먼테이션과 같은 의료 영상의 연구와 연결된 많은 절차에서 중요한 지점이 될 수 있다. 청구된 발명은 3차원 의료 영상에 대한 랜드마크의 자동 등록 방법을 기재한다. 결과로서 방법은 각 유형의 해부학적 구조에 대한 몇몇 지점의 위치 및 각 유형의 제한 내에서 고유한 랜드마크의 위치를 출력할 수 있다. 청구된 방법은 도 1에 마킹된 적어도 하나의 단계를 포함할 수 있다.
도 1의 (a)를 참조하면, 의료 장치(100)는 영상 획득부(150) 및 제어부(160)를 포함한다. 그리고, 의료 장치(100)는 디스플레이 부(170), 사용자 인터페이스 부(180), 및 메모리(190) 중 적어도 하나를 더 포함할 수 있다. 영상 획득부(150)는 3차원 영상을 획득한다.
제어부(160)는 3차원 영상의 일부에 대응하는 경계 박스에 통계 지도를 부착하여, 탐색 지점들의 집합을 결정한다. 그리고, 결정된 탐색 지점들의 특징을 추출한다. 그리고, 적어도 하나의 랜드마크에 대한 후보들의 집합을 형성하고, 후보들을 필터링한다. 그런 다음, 필터링된 적어도 하나의 후보를 이용하여 랜드마크의 최종 위치를 출력한다.
디스플레이 부(170)는 랜드마크의 최종 위치를 나타내는 의료 영상을 디스플레이할 수 있다.
사용자 인터페이스는 사용자로부터 통계 지도의 입력을 받는다. 의료 영상 상에 존재하는 랜드마크는 사용자 인터페이스를 통하여 입력될 수 있다.
메모리(190)는 제어부와 연결되어 장치의 동작에 필요한 메모리 공간을 제공한다. 예를 들어, 3차원 영상에서 랜드마크에 대한 후보들의 집합이나, 필터링된 후보들의 집합을 저장할 수 있다.
이하에서는, 의료 장치(100)에서 수행하는 동작을 도 1의 (b) 내지 도 5를 참조하여 상세히 설명한다.
도 1의 (b)는 본 발명의 일 실시예에 따른 3차원 의료 영상에서 랜드마크들의 자동 등록 방법을 설명하기 위한 플로우차트이다. 3차원 의료 영상에서 랜드마크들의 자동 등록 방법은 도 1의 (b)에 도시된 적어도 하나의 단계를 포함한다.
3차원 의료 영상의 획득은 제1 단계(101)에서 수행된다. 그리고 제2 단계(102)에서 지정된 영상에 대해 경계 박스의 추정이 이루어진다. 절차는 각 측면의 빈 공간이 무시되는 의료 영상의 주요 부분의 경계의 탐색을 나타낸다. 예를 들어, 뇌의 자기공명단층촬영의 영상에 대하여 경계 박스는 단순히 머리를 둘러싸고, 그 주변의 검은 빈공간을 무시한다. 다음 단계(103)에서 미리 계산된 통계 지도가 경계 박스에 부착된다. 부착된 통계 지도는 제 4단계(104)에서 탐색 지점들의 그리드 (랜드마크들 상의 미래 후보들)의 생성에 사용된다. 그런 다음 본발명의 주요 부분이 시작된다. 특징 추출 다층 알고리즘(단계 107)이 선택된 그리드의 각 지점(포인트)에 적용된다(모든 지점이 스캔될 때까지. 즉 조건(105)이 만족될 때까지). 실제로 이 절차는 이러한 지점 각각의 선택된 컨텍스트에 대한 분류를 수행하는데(단계 106), 지점이 일 유형의 랜드마크인지 또는 랜드마크가 아닌 영역에 대응하는지에 대한 분류를 수행한다. 그러나 특징의 추출 알고리즘의 출력은 뚜렷하지 않다. 특징 출력 벡터는 이 클래스 또는 저 클래스에 속하는(특정 유형의 랜드마크인지 아닌) 지정된 지점의 가능성으로 연결된 값의 벡터로서 해석될 수 있다. 지점이 랜드마크가 아닐 경우의 상황에 대한 그리고 랜드마크들의 각 유형에 대한 특징 벡터에 기초하여, 품질 측정값이 계산된다 -- 이 클래스 중 하나에 속하는 이 지점의 수도(pseudo)-확률(단계 108). 그런 다음, 단계(109)에서 통계 지도 및 탐색 영역에 속하는 모든 지점들의 프로세싱 후에 모든 후보들이 미리 계산된 임계값을 이용하여 필터링된다. 나아가, 단계(110)에서 랜드마크들의 각 유형의 제한 내에서 모든 후보들은 품질 측정값에 의해 정렬되고, 품질 측정에서 가장 높은 값을 갖는 미리 정해진 수의 후보들은 랜드마크들의 검출된 위치로서 모든 절차의 종료시에 출력된다(단계 111). 기재된 발명에서 기계 학습 방법은 특징 추출 다층 알고리즘의 형성에 적용된다. 전체 방법의 중요한 부분은 특징 추출 알고리즘의 학습 모델의 절차이다(도 4). 학습 과정은 랜드마크들의 등록을 위한 주요 절차와 무관하게 실행될 수 있다. 언급된 단계들은 아래 더 상세하게 설명된다.
입력 데이터. 청구된 방법에 기재된 방법은 MRT, CT, PET(positron emission tomography) 등과 같은 다양한 기술 수단에 의해 획득될 수 있는 3차원 의료 영상 내에서 작동할 수 있다. 상기 방법은 낮은 해상도의 입력 영상에 대해 충분히 안정적이다. 낮은 해상도를 갖는 영상이 충분히 짧은 시간 동안 획득될 수 있다는 것에 이점이 존재한다.
경계 박스. 청구된 발명에 기재된 방법은 입력 3차원 의료 영상에 대한 경계 박스의 추정으로 시작된다. 도 2는 2차원의 경우에서 경계 박스의 추정의 예를 나타낸다. 3차원의 경우 계산은 유사하게 이루어진다. 경계 박스는 조사된 신체의 영상을 중요 부분(202)으로 한정한다. 좌표 축 상의 모든 영상(201)의 적분 프로젝션(203-204)을 계산하고, 나아가 프로젝션이 일부 임계값들(205-206) 위인 영역들의 탐색에 의해 절차는 계속 수행된다. 경계 박스는 경계 지점들이 임계 값들(207-210) 내의 프로젝션들의 교차점들의 끝 지점(211, 212, 213, 214)인 인터벌들의 다이렉트 프로덕트(direct product)로서 획득될 수 있다. 볼륨의 적분 프로젝션(integral projection)은 지정된 지점의 값이 좌표가 고정되고 지정된 지점과 동일한 지점들에서 취해진 볼륨의 모든 값들의 합계와 동일한 일차원 함수이다. 영이 아닌 임계값의 사용은 조사된 영상의 가장자리에서 오직 노이즈만을 포함하는 영역을 잘라낼 수 있게 한다.
통계 지도. 통계 지도는 신체의 조사된 부분 내에 존재하는 랜드마크(랜드마크)들의 통계적 분포에 관한 정보를 포함한다. 통계지도는 적어도 하나의 마킹된 3차원 의료 영상들에 기초하여 형성된다. 경계 박스는 조사된 의료 영상 내에서 신체의 조사된 부분의 위치 불확실성으로 인한 분산된 마킹된 지점들의 영역을 제한하는데 사용된다. 일부 3차원 의료 영상에서 랜드마크들의 위치는 전체 볼륨에서 경계 박스에 할당된 좌표의 로컬 장치의 위치로 변환된다. 그런 다음 계산된 랜드마크들의 위치에 기초하여 몇몇 마킹된 의료 영상들에 대해서 이러한 랜드마크들의 일반화된 공간 분포가 추정된다. 초기의 경우 이러한 분포는 좌표의 균일한 로컬 장치에 있는 모든 마킹된 지점들(랜드마크들의 구체적 유형에 대한)의 콘벡스 커버에 의해 제공될 수 있다.
탐색 지점들의 그리드(Que)의 형성. 탐색 지점들의 그리드는 선택된 컨텍스트가 특징 추출 다층 알고리즘의 입력 데이터로 제출되는 3차원 의료 영상의 지점들의 집합이다. 이러한 그리드는 미리 계산된 통계 지도를 기반으로 생성된다. 도 3은 탐색 지점이 획득되는 전체 3차원 의료 영상(301)의 하위영역을 도시한다. 탐색 지점들은 필요한 지점들의 각 유형을 위한 랜드마크들의 통계적 분포에 대응하는 하위영역(302-304)의 조합인 하위영역(305)으로부터 선택된다. 탐색 지점들은 하위영역에서 일부 소정의 단계에 따라 선택된다(즉, 다음 지점들 사이의 거리). 이런 탐색 영역의 축소는 계산의 속도향상 및 제1 종 에러의 발생확률의 감소로 이어진다.
특징 추출 다층 알고리즘의 적용. 청구된 방법의 주요 부분은 탐색 지점들의 그리드의 각 지점에 대한 특징 추출 다층 알고리즘의 반복 적용으로 구성된다. 특징 추출 작업은 현재 지점의 주변 컨텍스트로부터 복셀 데이터의 일부를 선택하고 나아가 이 데이터를 특징 추출 다층 알고리즘의 입력값으로 제출하는 것으로 구성된다. 특징 추출 다층 알고리즘은 기계 학습 방법을 사용하여 형성된다. 특징 추출 알고리즘은 각 유사한 입력에 대해 대응하는 출력 벡터를 생성한다. 이 벡터는 랜드마크들의 각 유형에 대한 품질 측정치의 계산 및 지정된 탐색 지점이 랜드마크들의 어떤 유형에도 속하지 않을 경우에 사용된다. 품질 측정은 지정된 탐색 지점이 일부 랜드마크를 나타내거나 랜드마크들의 어떠한 유형도 나타내지 않을 경우의 확률에 대응한다. 다음은, 품질 측정치의 계산을 위한 일 실시예이다. 만약 계산이 이루어지는 랜드마크들의 유형이 현재 탐색 지점에 적용되는 특징 추출 알고리즘 출력 벡터의 가장 큰 값을 가지는 경우, 품질 측정은 출력 벡터의 가장 큰 값과 출력 벡터의 두 번째 큰 값과의 차이와 동일하다. 그렇지 않고, 만약 랜드마크들의 지정된 유형이 출력 벡터에서 가장 큰 값을 가지지 않는 경우, 품질의 측정치는 이 값과 출력 벡터로부터의 가장 큰 값의 차이와 동일하다.
결과의 획득 및 결과의 필터링. 탐색 지점들의 그리드로부터 각 지점에 대한 특징 추출 알고리즘의 적용 결과는 엘리먼트들이 품질 측정치의 위에 기술된 값들인 벡터들의 집합이다. 랜드마크들의 후보들의 집합은 랜드마크들의 각 유형에 대해 선택된다. 그러한 후보는 랜드마크의 위치 및 대응하는 품질 측정값의 조합을 나타낸다. 랜드마크들의 유형들의 전체 집합에 대하여, 후보들은 통계 지도의 관점에서 지정된 위치에서 상기 랜드마크의 발생 확률에 따라 필터링된다. 미리 계산된 임계값에 의해 추가적인 필터링이 또한 이루어지며, 측정값이 특정 임계값 아래인 모든 후보는 고려에서 제외된다. 이러한 임계값은 마킹된 3차원 의료 영상의 집합에 기초하여 미리 계산된다. 계산은 제1 및 제2 종류의 에러를 결합하는 손실 함수를 최소화하는 임계값의 탐색에 의해 수행된다. 최적 임계값은 마킹된 3차원 의료 영상들의 이용가능한 모든 집합 상에 분류 결과의 테스트 단계에서 발생한 제1 및 제2 종류의 에러 사이의 균형을 제공한다. 이 균형은 할당된 태스크의 종류에 따라 절충 파라미터의 변화에 의해 보정될 수 있다. 남아있는 모든 후보들은 다른 유형과 별도로 랜드마크들의 일 유형의 범위 내에서 품질의 측정에 의해 정렬된다. 그리고, 랜드마크들의 각 유형에 대한 요구에 따라, 청구된 발명은 최고 후보(품질 측정치의 가장 큰 값을 갖는 후보)의 출력 또는 후보들의 집합(필터링 후에 남아있는 후보들 또는 품질 측정의 가장 큰 값을 갖는 후보들의 고정된 수)의 출력을 갖는다.
특징 추출 알고리즘의 다층 모델의 학습. 특징 추출 다층 알고리즘은 탐색 지점들의 컨텍스트의 특징을 얻기 위해 사용된다. 특징 추출 알고리즘에 포함된, 변환 계층들은 모든 알고리즘의 동작을 정의하는 가중치의 집합을 포함한다. 이러한 가중치의 조정 프로세스는 기계 학습 방법에 기초한다. 도 4에 마킹된 학습 프로세스. 학습 기반이 구축되는 몇몇 3차원 의료 영상이 이 절차의 구현을 위해 필요하다. 처음에 이러한 영상들은 임의의 방식으로 처리되어야 하고 수동으로 마킹되어야 한다(단계 401). 의사 또는 다른 전문가는 선택된 3차원 의료 영상에 마킹되는 랜드마크들의 위치를 지정해야 한다. 학습 자료는 추가로 형성된다(402 단계). 학습 자료는 볼륨에서 선택된 일부 지점들에 대응하는 선례(precedents)로 구성된다. 선례는 클래스의 마킹 및 볼륨의 대응 지점의 주변 컨텍스트로부터 추출된 복셀 데이터의 일부의 조합을 나타낸다. 학습 자료는 랜드마크들에 대응하는 선례로 구성되고 상기 선례는 해부학적 구조가 없는 볼륨으로부터의 지점들에 대응한다. 최근 선례는 볼륨으로부터 랜덤하게 선택되고 관심 랜드마크들로부터 충분한 거리인 지점들에 대응한다. 게다가 몇몇 선례에 대한 공간적 왜곡의 적용에 의해 위에 기술된 선례들로부터 얻어진 학습 기초에 대해 더해진다. 이는 입력 데이터의 변화에 대한 특징 추출 알고리즘의 불변성을 개선한다. 그것은 3차원 의료 영상이 소량만 이용가능할 경우 학습 기초를 다변화하는 것을 도와준다. 특징 추출 알고리즘의 모델 학습의 두 단계는 학습 기초가 생성된 후에 실행된다.
제1 단계에서 자율 학습은 특징을 추출하는 계층들의 가중치 W(엘리먼트 509)가 초기화되는 것을 사용하여 수행된다(단계 403). 이 동작은 다음의 최적화 작업의 솔루션에 의해 각 계층에 대해 개별적으로 실행된다.
Figure 112015070372548-pat00001

여기에서 Y는 학습 자료, y는 학습 자료부터의 계층의 입력,
Figure 112015070372548-pat00002
는 y에 대한 스파스 코드,
Figure 112015070372548-pat00003
는 W에 의존하는 함수로서 입력 y를 출력 계층으로 전환한다
최적화는 확률 그라데이션 하강에 의해 이루어진다. 학습 선례 (엘리먼트 501)는 사전 D (엘리먼트 502)를 사용하여 스파스 코드(엘리먼트 504)로 인코딩된다. 특징들(엘리먼트 511)은 특징 추출의 절차 후에 획득된다(단계 510). 특징들(엘리먼트 511) 및 스파스 코드(엘리먼트 504)에 기초하여 계산된 손실 함수의 값(엘리먼트 512)은 웨이트들 W의 값의 업데이트에 대한 그라디언트의 계산(단계 513)에 사용된다. 임의의 입력에 대한 스파스 코드의 계산은 다음의 최적화 작업(단계 503)의 솔루션 중에 실행된다.
Figure 112015070372548-pat00004

여기에서 D는 사전, y는 입력 벡터, z는 인코딩된 벡터(코드),
Figure 112015070372548-pat00005
는 최적 스파스 코드이다.
위에 나타난 식에서, 입력 y는 일부 사전 D로부터의 오직 작은 수의 기초 엘리먼트들의 선형 조합으로 표현되고, 이에 따라 얻어진 코드 z(분해하는 값으로부터의 벡터)는 드물다(sparse). 사전 D는 (선례의 마킹들을 사용하지 않고) 자율 학습을 통해 학습 기초에 기초하여 얻어질 수 있다. 최적 사전 D의 탐색에 대한 자율 학습 방법 적용의 이점은 사전이 데이터로부터 직접 습득된다는 것에 있다. 여기에서 D는 사용된 데이터의 잠재된 일관성 및 특정 성질을 최적으로 기술한다. 이러한 접근의 하나 이상의 장점은 사전 학습에 대한 마킹된 데이터의 상당량을 입력할 필요가 없다는 것이다. D의 탐색은 다음과 같은 최적화 작업의 솔루션에 대응한다:
Figure 112015070372548-pat00006

여기에서 Y는 학습 기초, y는 학습 기초로부터의 계층의 입력,
Figure 112015070372548-pat00007
은 y에 대한 스파스 코드,
Figure 112015070372548-pat00008
는 사전이다.
최적화 작업은 확률 그라데이션 하강에 의해 해결된다. 스파스 코드의 디코딩(단계 505)은 디코딩된 데이터(엘리먼트 506)의 획득을 위해 만들어진다. 학습 선례(엘리먼트 501) 및 디코딩된 데이터(엘리먼트 506)에 기초하여 계산된 손실 함수의 값(엘리먼트 507)은 사전 D의 값을 업데이트하기 위한 그라데이션 계산(단계 508)에 사용된다. D의 보정 과정은 고정된 사전 D에서 입력 y에 대한 최적의 스파스 코드를 찾기 위해 인터리브한다. 자율 학습 절차가 완료되면, 획득된 특징 추출 알고리즘은 입력 데이터의 양호한 계층 특징 표현인 다층 스파스 코드의 계산에 조정된다.
지도 특징 추출 알고리즘의 학습 모델(단계 404)은 다음 단계에서 수행된다. 결과로서 알고리즘은 특정 시점에서 랜드마크의 임의의 유형의 발생확률에 대응하는 특징을 출력할 수 있다. 학습은 다음의 최적화 문제의 해결책에 의해 수행된다:
Figure 112015070372548-pat00009

여기에서 Y는 학습 기초, y는 학습 기초로부터의 특징 추출 알고리즘의 입력,
Figure 112015070372548-pat00010
는 입력 y에 대응하는 표시 상에 기초하여 형성된 벡터,
Figure 112015070372548-pat00011
는 W에 의존하며 특징 추출 알고리즘의 출력에서 입력 y의 총 변환을 정의한다.
이러한 최적화 동안 특징 추출 알고리즘은 마킹에 의해 규정된 벡터들에 더 가까운 종료(exits)의 출력을 조정한다. 이 최적화 작업은 또한 확률 그라데이션 하강에 의해 해결된다. 절차의 초기 단계에서, 알고리즘의 계층의 일부 가중치는 자율 예비 학습 단계에서 계산된 값들에 의해 초기화된다. 완전히 형성된 특징 추출 알고리즘은 지정된 입력이 특정 클래스에 속하는 확률의 각 클래스에 할당하기 위한 또는 분류 작업의 솔루션에 직접 사용될 수 있는 특징 벡터를 출력할 수 있다.
랜드마크들의 자동 등록 시스템. 청구된 발명이 구현될 수 있는 시스템의 일례가 도 6에 제시된다. 시스템은 3차원 의료 영상을 획득하기 위한 의료 기기(장치)(601), 컴퓨터(602), 및 조작자의 콘솔(603)로 구성된다. 3차원 의료 영상이 의료 기기에 의해 획득된 후, 영상을 갖는 컴퓨터 파일은 컴퓨터 메모리(605)에 저장된다. 운영자는 콘솔의 컨트롤러(607)를 사용하여 의료 진단의 특정 작업을 해결하는 프로그램을 시작한다. 프로그램은 컴퓨터 CPU(604) 상에서 수행되고 서브프로그램으로서 랜드마크들의 자동 등록 모듈(608)을 포함한다. 프로그램 작동의 결과는 콘솔의 모니터(606) 상에서 보여지고 분석될 수 있다.
3차원 의료 영상을 획득할 수 있는 본 발명의 일 실시예가 도 7에 제시된다. 3차원 영상의 일부에 대응하는 경계 박스를 추정 또는 결정하고, 이러한 경계박스에 통계 지도를 적용하여 탐색할 지점들의 집합을 형성한다. 이후 탐색할 지점들을 각각 필터링하고 필터링된 결과에 따라 적어도 하나의 랜드마크의 최종 위치를 출력한다.
청구된 발명에 기재된 방법은 진단 분류 의료 영상의 프로세스와 연결된 많은 절차들 중 하나의 단계로서 포함될 수 있고, 사용되는 의료 기기의 일부로서 독립 시스템 또는 소프트웨어의 형태로 구현될 수 있다.
본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (47)

  1. 3차원 의료 영상에서 랜드마크의 자동 등록 방법으로서,
    3차원 영상을 획득하는 단계;
    상기 3차원 영상의 일부에 대응하는 경계 박스에, 대상체의 해부학적 구조에 관한 통계적 분포 정보를 포함하는 통계 지도를 부착하여, 탐색 지점들의 집합을 결정하는 단계;
    상기 결정된 탐색 지점들의 특징을 추출하는 단계;
    상기 추출된 특징에 기초하여, 상기 랜드마크에 대한 후보들의 집합을 형성하는 단계;
    상기 통계 지도에 기초하여, 상기 후보들 각각의 위치에 대하여, 상기 랜드마크가 위치할 확률을 결정하고, 상기 결정된 확률에 기초하여, 상기 후보들을 필터링하는 단계; 및
    상기 필터링된 적어도 하나의 후보를 이용하여 상기 랜드마크의 최종 위치를 출력하는 단계를 포함하는,
    3차원 의료 영상에서 랜드마크의 자동 등록 방법.
  2. 제 1항에 있어서,
    상기 탐색 지점들의 집합을 결정하는 단계는 상기 통계 지도를 사용하여 상기 3차원 영상 내부에서 탐색 지점들의 그리드를 설정하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제 1항에 있어서,
    상기 탐색 지점들의 특징을 추출하는 단계는 상기 탐색 지점들 각각의 주변 컨텍스트를 선택하는 단계 및 특징 추출 다층(multilayer) 알고리즘을 상기 주변 컨텍스트에 적용하는 단계를 포함하는, 방법.
  4. 제 1항에 있어서,
    상기 후보들의 집합을 형성하는 단계는 특징 추출 다층 알고리즘의 출력을 사용하여, 랜드마크의 유형 및 각 탐색 지점에 대한 품질 측정치를 계산하는 단계를 포함하는, 방법.
  5. 제 1항에 있어서,
    상기 후보들을 필터링하는 단계는 통계지도 및 품질 측정값을 위한 미리 계산된 임계값에 의해 상기 후보들을 필터링하는 단계를 포함하는, 방법.
  6. 제 1항에 있어서,
    상기 최종 위치를 출력하는 단계는 필터링 후에 남아있는 모든 후보들을 랜드마크의 유형의 제한 내에서 품질에 의해 정렬하는 단계 및 품질 측정치의 가장 큰 값을 갖는 후보들 또는 품질 측정치의 가장 큰 값을 갖는 필요한 수의 후보들을 출력하는 단계를 포함하는, 방법.
  7. 제 1항에 있어서,
    상기 경계 박스는 좌표축에 대한 3차원 영상의 적분 프로젝션에 의해 추정되는, 방법.
  8. 제 1항에 있어서,
    상기 통계 지도는 마킹된 3차원 의료 영상에서 랜드마크의 올바른 위치에 의해 형성되는, 방법.
  9. 제 3항에 있어서,
    상기 탐색 지점들 각각의 주변 컨텍스트를 선택하는 단계는 중심이 지정된 지점에 위치한 3차원 의료 영상으로부터의 서브영역의 선택에 의해 수행되는, 방법.
  10. 제 3항에 있어서,
    상기 탐색 지점들 각각의 주변 컨텍스트를 선택하는 단계는 상기 지점을 통과하는 3차원 의료 영상의 3개의 직교 섹션들의 선택에 의해 수행되는, 방법.
  11. 제 3항에 있어서,
    상기 특징 추출 다층 알고리즘은 특징을 추출하는 계층들, 집중 계층들 및 평준화(normalizing) 계층들로부터 형성되는, 방법.
  12. 제 3항에 있어서,
    상기 특징 추출 다층 알고리즘은 학습 단계에 기초하여 얻어지는, 방법.
  13. 제 12항에 있어서,
    상기 학습 단계는,
    적어도 하나의 3차원 의료 영상의 전처리 및 마킹을 수행하는 단계;
    상기 마킹된 3차원 의료 영상의 집합에 기초하여 학습 기초를 형성하는 단계;
    자율 학습에 의해 특징을 추출하는 알고리즘에서 특징의 추출을 담당하는 계층들의 초기화를 수행하는 단계;
    상기 마킹을 사용하여, 특징 추출 다층 알고리즘 모델의 지도 학습을 수행하는 단계를 포함하는, 방법.
  14. 제 13항에 있어서,
    상기 학습 기초를 형성하는 단계는 3차원 영상에서 랜덤하게 선택된 위치들에 대응하는 랜드마크의 어떠한 유형에도 대응되지 않는 선례 및 마킹된 3차원 영상의 랜드마크의 올바른 위치에 대응하는 선례를 조합하는 단계를 포함하는, 방법.
  15. 제 13항에 있어서,
    상기 학습 기초를 형성하는 단계는 공간 왜곡의 적용에 의해 얻어진 선례의 기초에 삽입하는 단계를 포함하는, 방법.
  16. 제 13항에 있어서,
    상기 자율 학습은 특징 추출 다층 알고리즘에서 특징 추출을 담당하는 계층들의 가중치의 탐색에 의해 수행되어, 상기 계층들의 출력은 대응하는 스파스 엔코더의 출력들과 상이하며, 상기 스파스 엔코더는 스파스 코딩의 적용에 의해 획득되며, 상기 스파스 코딩의 적용은 기본 엘리먼트들의 사전의 탐색을 포함하며, 상기 스파스 엔코더는 상기 사전의 기본 엘리먼트들에 의한 지정된 입력의 확장 계수인 스파스 코드를 출력하는, 방법.
  17. 제 13항에 있어서,
    상기 지도 학습은 확률 기울기 하강 방법에 기초하여 수행되는, 방법.
  18. 제 1항에 있어서,
    상기 후보들을 필터링하는 단계는 통계 지도에 따른 통계 정보의 사용에 의해 수행되는, 방법.
  19. 제 4항에 있어서,
    상기 품질 측정치에 대한 임계치는 제1 및 제2 종류의 에러를 결합하는 손실 함수를 최소화하는 값인, 방법.
  20. 3차원 의료 영상에서 랜드마크의 자동 등록을 위한 장치로서,
    프로그램 저장 능력을 갖는 저장 디바이스;
    상기 저장 디바이스에 연결된 프로그램 실행 능력을 갖는 CPU를 포함하고,
    상기 CPU는,
    A. 획득된 3차원 의료 영상 내부에서 신체의 조사된 부분의 경계 박스를 추정하는 명령;
    B. 대상체의 해부학적 구조에 관한 통계적 분포 정보를 포함하는 통계 지도를 경계 박스에 부착하는 명령;
    C. 상기 통계 지도를 사용하여 3차원 의료 영상 내부에 탐색 지점들의 그리드를 결정하는 명령;
    D. 상기 탐색 지점들의 그리드로부터 각 지점에 대한 주변 컨텍스트들을 선택하는 명령;
    E. 선택된 컨텍스트들에 대한 특징 추출 다층 알고리즘을 적용하는 명령;
    F. 상기 특징 추출 다층 알고리즘의 대응 출력을 사용하여, 랜드마크의 유형에 대한 탐색 지점 각각의 품질의 측정치의 계산에 의해 랜드마크에 대한 후보들의 집합을 형성하는 명령;
    G. 통계지도에 기초하여, 상기 후보들 각각의 위치에 대하여, 상기 랜드마크가 위치할 확률을 결정하고, 상기 결정된 확률 및 미리 계산된 임계치를 사용하여 후보들을 필터링하는 명령;
    H. 품질에 의해 랜드마크의 유형의 제한 내에서 상기 후보들을 정렬하는 명령;
    I. 품질 측정치의 가장 큰 값을 갖는 후보들 또는 품질 측정의 가장 큰 값을 갖는 필요한 수의 후보들을 출력하는 명령을 수행하는,
    랜드마크의 자동 등록을 위한 장치.
  21. 제 20항에 있어서,
    상기 경계 박스는 좌표들의 축에 대한 3차원 영상의 적분 프로젝션에 의해 추정되는, 랜드마크의 자동 등록을 위한 장치.
  22. 제 20항에 있어서,
    상기 통계 지도는 마킹된 3차원 의료 영상들의 랜드마크의 올바른 위치에 의해 형성되는, 랜드마크의 자동 등록을 위한 장치.
  23. 제 20항에 있어서,
    상기 탐색 지점에 대한 주변 컨텍스트의 선택은 중심점이 지정된 지점에 위치한 3차원 의료 영상으로부터의 서브 영역의 선택에 의해 수행되는, 랜드마크의 자동 등록을 위한 장치.
  24. 제 20항에 있어서,
    상기 탐색 지점에 대한 주변 컨텍스트의 선택은 지정된 지점을 관통하는 3차원 의료 영상의 3개의 직교 섹션의 선택에 의해 수행되는, 랜드마크의 자동 등록을 위한 장치.
  25. 제 20항에 있어서,
    상기 특징 추출 다층 알고리즘은 특징 추출 계층들, 집중 계층들, 표준화 계층들로 구성되는,
    랜드마크의 자동 등록을 위한 장치.
  26. 제 20항에 있어서,
    상기 특징 추출 다층 알고리즘은 학습 절차에 기초하여 얻어지는,
    랜드마크의 자동 등록을 위한 장치.
  27. 제 26항에 있어서,
    상기 학습 절차는,
    적어도 하나의 3차원 의료 영상을 프로세싱하고 마킹하는 절차;
    마킹된 3차원 의료 영상의 집합 상에 기초하여 학습 기초를 형성하는 절차;
    자율 학습에 의해 특징 추출 다층 알고리즘에서 특징 추출을 담당하는 계층들을 초기화하는 절차;
    마킹을 사용하여, 특징 추출 다층 알고리즘 모델의 지도 학습을 구현하는 절차를 포함하는,
    랜드마크의 자동 등록을 위한 장치.
  28. 제 27항에 있어서,
    상기 학습 기초의 형성은 3차원 영상에서 랜덤하게 선택된 위치에 대응하고 랜드마크의 임의의 유형에 대응하지 않는 선례들, 및 마킹된 3차원 영상의 랜드마크의 올바른 위치에 대응하는 선례들의 조합에 의해 수행되는, 랜드마크의 자동 등록을 위한 장치.
  29. 제27항에 있어서,
    상기 학습 기초의 형성은 공간 왜곡의 적용에 의해 획득된 선례들의 기초에서 삽입을 포함하는,
    랜드마크의 자동 등록을 위한 장치.
  30. 제 27항에 있어서,
    상기 자율 학습은 특징 추출 다층 알고리즘에서, 특징 추출을 담당하는 계층들의 가중치들의 탐색에 의해 수행되어, 그 출력들은 대응하는 스파스 인코더들의 출력으로부터 다르며, 상기 스파스 인코더들은 스파스 코딩의 접근에 의해 획득되며, 상기 스파스 코딩의 접근은 기본 엘리먼트의 사전의 탐색을 포함하며, 상기 스파스 인코더들은 상기 사전의 기본 엘리먼트에 의한 입력의 확장 계수인 스파스 코드를 출력하는,
    랜드마크의 자동 등록을 위한 장치.
  31. 제 27항에 있어서,
    상기 지도 학습은 확률 기울기 하강의 방법에 기초하는,
    랜드마크의 자동 등록을 위한 장치.
  32. 제 20항에 있어서,
    상기 후보들의 필터링은 통계적으로 부정확한 위치를 갖는 후보들을 필터링하기 위한 목적으로 통계 지도에 따른 통계 정보의 사용으로 수행되는,
    랜드마크의 자동 등록을 위한 장치.
  33. 제 20항에 있어서,
    상기 품질 측정치에 대한 임계치는 제1 및 제2 종류의 에러를 결합하는 손실 함수를 최소화하는 값인,
    랜드마크의 자동 등록을 위한 장치.
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
KR1020140031858A 2013-03-18 2014-03-18 3차원 의료 영상에서 랜드마크들의 자동 등록을 위한 장치 및 방법 KR101599219B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2013111932/08A RU2530220C1 (ru) 2013-03-18 2013-03-18 Система и способ для автоматической регистрации анатомических точек в объемных медицинских изображениях
RU2013111932 2013-03-18

Publications (2)

Publication Number Publication Date
KR20140114308A KR20140114308A (ko) 2014-09-26
KR101599219B1 true KR101599219B1 (ko) 2016-03-03

Family

ID=51580410

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140031858A KR101599219B1 (ko) 2013-03-18 2014-03-18 3차원 의료 영상에서 랜드마크들의 자동 등록을 위한 장치 및 방법

Country Status (5)

Country Link
US (1) US9799115B2 (ko)
EP (1) EP2977921B1 (ko)
KR (1) KR101599219B1 (ko)
RU (1) RU2530220C1 (ko)
WO (1) WO2014148806A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101952887B1 (ko) * 2018-07-27 2019-06-11 김예현 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스
WO2020040349A1 (ko) * 2018-08-21 2020-02-27 디디에이치 주식회사 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치
WO2022149664A1 (ko) * 2021-01-07 2022-07-14 디디에이치 주식회사 의료 영상 분석 방법 및 이를 이용한 장치
KR102473828B1 (ko) 2022-05-13 2022-12-05 주식회사 쓰리디오엔에스 의료 영상의 랜드마크 위치 설정 가이드 방법, 장치 및 컴퓨터프로그램
KR20230039899A (ko) 2021-09-14 2023-03-22 주식회사 잇다헬스케어 랜드마크 추출장치 및 그것의 동작방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547098B1 (ko) * 2014-01-08 2015-09-04 삼성전자 주식회사 영상 생성 장치 및 그 제어 방법
KR101636876B1 (ko) * 2014-11-03 2016-07-06 삼성전자주식회사 의료 영상 처리 장치 및 방법
US10692226B2 (en) * 2016-05-04 2020-06-23 Koninklijke Philips N.V. Medical atlas registration
CN108711170B (zh) * 2018-05-21 2022-04-08 武汉山骁科技有限公司 一种基于拓扑不变性的圈地方法
KR102130963B1 (ko) * 2018-07-09 2020-07-08 라온피플 주식회사 두부이미지 분석 장치 및 이미지 분석 방법
CN110021021A (zh) 2018-07-09 2019-07-16 乐人株式会社 头部图像分析装置及图像分析方法
EP3671660A1 (en) * 2018-12-20 2020-06-24 Dassault Systèmes Designing a 3d modeled object via user-interaction
KR102331034B1 (ko) * 2020-12-10 2021-12-01 이마고웍스 주식회사 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR102334519B1 (ko) * 2020-12-14 2021-12-06 이마고웍스 주식회사 치과용 3차원 스캔 데이터의 간소화된 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
US20220270240A1 (en) * 2021-02-23 2022-08-25 Siemens Healthcare Gmbh Fully automatic inline processing for pc-mri imagesfully automatic inline processing for pc-mri images using machine learning
US20230022057A1 (en) * 2021-07-16 2023-01-26 Taiwan Semiconductor Manufacturing Company, Ltd. Method for retrieving images from database
KR102372962B1 (ko) * 2021-08-04 2022-03-11 (주)아인사이트 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003180679A (ja) 2001-08-31 2003-07-02 Sogen Boku 医療映像処理システム及び処理方法
JP2011244939A (ja) 2010-05-25 2011-12-08 Toshiba Corp 医用画像診断装置、画像情報処理装置及び治療支援データ表示用制御プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010036302A1 (en) * 1999-12-10 2001-11-01 Miller Michael I. Method and apparatus for cross modality image registration
EP1344187B1 (en) 2000-11-24 2009-03-25 Kent Ridge Digital Labs Methods and apparatus for processing medical images
KR20090010995A (ko) * 2006-05-26 2009-01-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 의료 이미징 데이터를 이용하는 카테터 추적 시스템을 위한향상된 교정 방법
US8160322B2 (en) * 2007-08-02 2012-04-17 Siemens Medical Solutions Usa, Inc. Joint detection and localization of multiple anatomical landmarks through learning
DE602007003849D1 (de) * 2007-10-11 2010-01-28 Mvtec Software Gmbh System und Verfahren zur 3D-Objekterkennung
US8194936B2 (en) * 2008-04-25 2012-06-05 University Of Iowa Research Foundation Optimal registration of multiple deformed images using a physical model of the imaging distortion
US8218849B2 (en) * 2008-09-04 2012-07-10 Siemens Corporation Method and system for automatic landmark detection using discriminative joint context
US8363918B2 (en) * 2008-11-12 2013-01-29 Siemens Aktiengesellschaft Method and system for anatomic landmark detection using constrained marginal space learning and geometric inference
US10489673B2 (en) * 2009-04-03 2019-11-26 Siemens Healthcare Gmbh System and method for detecting landmarks in a three-dimensional image volume
JP4909377B2 (ja) * 2009-06-02 2012-04-04 キヤノン株式会社 画像処理装置及びその制御方法、コンピュータプログラム
KR20120111871A (ko) * 2011-03-29 2012-10-11 삼성전자주식회사 3차원적 모델을 이용한 신체 장기의 영상 생성 방법 및 장치
US20120253170A1 (en) 2011-03-29 2012-10-04 Samsung Electronics Co., Ltd. Method and apparatus for generating medical image of body organ by using 3-d model
US20130044927A1 (en) * 2011-08-15 2013-02-21 Ian Poole Image processing method and system
KR101982149B1 (ko) * 2011-09-05 2019-05-27 삼성전자주식회사 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치
RU120799U1 (ru) * 2012-05-17 2012-09-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Национальный исследовательский Томский государственный университет" (ТГУ) Система поиска областей интереса в трехмерных медицинских изображениях

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003180679A (ja) 2001-08-31 2003-07-02 Sogen Boku 医療映像処理システム及び処理方法
JP2011244939A (ja) 2010-05-25 2011-12-08 Toshiba Corp 医用画像診断装置、画像情報処理装置及び治療支援データ表示用制御プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101952887B1 (ko) * 2018-07-27 2019-06-11 김예현 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스
WO2020040349A1 (ko) * 2018-08-21 2020-02-27 디디에이치 주식회사 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치
KR20200023703A (ko) * 2018-08-21 2020-03-06 디디에이치 주식회사 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치
KR102099390B1 (ko) * 2018-08-21 2020-04-09 디디에이치 주식회사 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치
WO2022149664A1 (ko) * 2021-01-07 2022-07-14 디디에이치 주식회사 의료 영상 분석 방법 및 이를 이용한 장치
KR20230039899A (ko) 2021-09-14 2023-03-22 주식회사 잇다헬스케어 랜드마크 추출장치 및 그것의 동작방법
KR102473828B1 (ko) 2022-05-13 2022-12-05 주식회사 쓰리디오엔에스 의료 영상의 랜드마크 위치 설정 가이드 방법, 장치 및 컴퓨터프로그램

Also Published As

Publication number Publication date
RU2530220C1 (ru) 2014-10-10
EP2977921A1 (en) 2016-01-27
WO2014148806A1 (ko) 2014-09-25
US20160284089A1 (en) 2016-09-29
US9799115B2 (en) 2017-10-24
RU2013111932A (ru) 2014-09-27
EP2977921A4 (en) 2016-11-23
KR20140114308A (ko) 2014-09-26
EP2977921B1 (en) 2019-02-27

Similar Documents

Publication Publication Date Title
KR101599219B1 (ko) 3차원 의료 영상에서 랜드마크들의 자동 등록을 위한 장치 및 방법
US7916919B2 (en) System and method for segmenting chambers of a heart in a three dimensional image
US7941462B2 (en) Method and apparatus for classification of coronary artery image data
US7916917B2 (en) Method of segmenting anatomic entities in digital medical images
CN105849775B (zh) Pet/mr系统中的密度引导的衰减图生成
US9251596B2 (en) Method and apparatus for processing medical images
US9367924B2 (en) Method and system for segmentation of the liver in magnetic resonance images using multi-channel features
CN110036409B (zh) 使用联合深度学习模型进行图像分割的系统和方法
CN108109170B (zh) 医学图像扫描方法及医学影像设备
US9542741B2 (en) Method and system for automatic pelvis unfolding from 3D computed tomography images
Ismail et al. Detection of white matter abnormalities in MR brain images for diagnosis of autism in children
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
KR101645292B1 (ko) 3차원 의료 영상들에서 2차원 뷰의 자동 플래닝을 위한 방법 및 시스템
US20120027277A1 (en) Interactive iterative closest point algorithm for organ segmentation
US9317926B2 (en) Automatic spinal canal segmentation using cascaded random walks
CN114359642A (zh) 基于一对一目标查询Transformer的多模态医学图像多器官定位方法
EP3877949A1 (en) Systems and methods for semi-automatic tumor segmentation
US7983464B2 (en) System and method for corpus callosum segmentation in magnetic resonance images
CN114387317A (zh) Ct图像和mri三维图像的配准方法、装置
CN108597589B (zh) 模型生成方法、目标检测方法及医学成像系统
CN110728685B (zh) 一种基于对角体素的局部二值模式纹理算子的脑组织分割方法
EP1760659A1 (en) Method of segmenting anatomic entities in digital medical images
CN112530554B (zh) 一种扫描定位方法、装置、存储介质及电子设备
Gleason et al. Automatic screening of polycystic kidney disease in x-ray CT images of laboratory mice
JP7325310B2 (ja) 医用画像処理装置、医用画像解析装置、及び、標準画像作成プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200130

Year of fee payment: 5