KR20200032651A - 3차원 영상 재구성 장치 및 그 방법 - Google Patents

3차원 영상 재구성 장치 및 그 방법 Download PDF

Info

Publication number
KR20200032651A
KR20200032651A KR1020190114294A KR20190114294A KR20200032651A KR 20200032651 A KR20200032651 A KR 20200032651A KR 1020190114294 A KR1020190114294 A KR 1020190114294A KR 20190114294 A KR20190114294 A KR 20190114294A KR 20200032651 A KR20200032651 A KR 20200032651A
Authority
KR
South Korea
Prior art keywords
image
images
intercept
reconstruction
intercepted
Prior art date
Application number
KR1020190114294A
Other languages
English (en)
Other versions
KR102245693B1 (ko
Inventor
이동영
김유경
이재성
변민수
신성아
강승관
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to PCT/KR2019/012086 priority Critical patent/WO2020060196A1/ko
Priority to US17/276,291 priority patent/US11978146B2/en
Publication of KR20200032651A publication Critical patent/KR20200032651A/ko
Application granted granted Critical
Publication of KR102245693B1 publication Critical patent/KR102245693B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 2차원 의료 영상의 3차원 재구성 방법에 관한 것이다. 3차원 재구성 장치는 임의의 절편 간격을 가지는 연속적인 2차원 영상들을 수신하는 통신부, 2차원 영상들간의 특징점에 기초하여 인접한 2차원 영상 사이에 위치하는 하나 이상의 절편 영상을 생성하는 절편 영상 생성부, 그리고 생성된 절편 영상을 이용하여 2차원 영상을 3차원 영상으로 재구성하여 제공하는 제어부를 포함한다.

Description

3차원 영상 재구성 장치 및 그 방법{APPARATUS FOR THREE DIMENSION IMAGE RECONSTRUCTION AND METHOD THEREOF}
3차원 영상 재구성 장치 및 그 방법이 제공된다.
3차원 (three-dimensional, 3D) 영상은 의료 영상 등에서 환자의 진단과 질병 예측 등의 용도로 널리 쓰이며 그 필요성이 점차 증대되고 있다. 하지만 높은 품질의 3차원 영상을 획득하는 데에는 많은 어려움이 있다. 특히, 데이터 저장 용량이 충분히 뒷받침 되어야 하고 세밀한 촬영이 요구되기 때문에 촬영 시간이 오래 걸린다는 큰 단점이 있다.
그에 반해, 2차원 영상은 얻는 시간이 짧다는 점에서 가장 널리 이용되고 있다. 그러므로 MRI를 비롯하여 3차원 영상을 얻기 위해 2차원 촬영을 통해 절편의 크기를 늘려 3차원의 한 축 방향으로 드문드문 이미지를 얻는 방법이 이용된다.
이에 따라 촬영되는 절편 영상에서는 자세한 구조를 알 수 있으나 촬영된 절편 사이에서는 정량적인 영상 평가 또는 정성적인 영상 평가가 어렵다.
한편, 최근 많은 분야에서 복잡하고 고차원적인 문제를 효율적으로 해결하기 위해 빅데이터 기반의 인공 딥러닝 알고리즘에 대한 연구가 진행되고 있다. 특히, 기존 자료에 기초하여 데이터를 예측하고, 해당 데이터의 분류를 정리함에 있어서, 데이터의 보간, 생성 또는 재구성 관련 분야에서 효과적으로 적용할 수 있다.
따라서, 이와 같은 인공 신경망을 이용하여 2D 영상에서 3차원 영상으로 재구성하는 기술이 요구된다.
본 발명의 해결하고자 하는 과제는 2차원 의료 영상의 절편 사이의 구체적인 정보를 정확하고 빠르게 복구하여 품질이 향상된 3차원 의료 영상을 제공하기 위한 것이다.
상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 사용될 수 있다.
본 발명의 하나의 실시예에 따른 3차원 재구성 장치는 임의의 절편 간격을 가지는 연속적인 2차원 영상들을 수신하는 통신부, 인접한 2차원 영상들간의 특징점에 기초하여 2차원 영상 사이에 위치하는 하나 이상의 절편 영상을 생성하는 절편 영상 생성부, 그리고 생성된 절편 영상을 이용하여 2차원 영상을 3차원 영상으로 재구성하여 제공하는 제어부를 포함한다.
절편 영상 생성부는, 2차원 영상에서 복셀 데이터 그룹을 선택하고, 선택한 복셀 데이터 그룹을 학습된 딥러닝 알고리즘에 적용하는 과정을 반복하여 2차원 영상 사이에 위치하는 절편 영상을 3차원의 영상 형태로 생성할 수 있다.
3차원 영상의 원 데이터에 기초하여 생성된 2차원 학습 데이터를 딥러닝 알고리즘에 적용하여 2차 학습 데이터 사이에 위치하는 하나 이상의 절편 영상을 생성하면 원데이터에 기초하여 딥러닝 알고리즘을 학습시키는 학습부를 더 포함할 수 있다.
학습부는, 2차원 학습 데이터에 대해 선형 보간을 수행하고, 선형 보간된 인접한 2차원 학습 데이터 사이에 위치하는 절편 영상을 생성하며, 생성한 절편 영상에 대응하는 원 데이터와의 오차를 산출하여 일치 여부를 검증하면, 오차 값이 임계치 이하의 값이 되는 절편 영상이 생성되도록 딥러닝 알고리즘에 포함된 복수 개 필터의 가중치를 재조정하여 반복 학습시킬 수 있다.
학습부는, 딥러닝 알고리즘에서 초고해상도 절편 이미지를 생성함에 있어, 입력과 출력간의 충실도를 유지하고자 다음 수학식을 통해 도출되는 손실 함수가 최소가 되는 파라미터를 도출할 수 있다.
Figure pat00001
여기서, m은 배치 크기, nv는 복셀 수, y는 참조 데이터, xs는 희소 샘플링된 입력, f는 생성 네트워크, Lfid는 충실도 손실, Lper는 피처 공간의 지각적 손실, 는 특정 신경망의 중간 기능을 수행하는 특징 맵, γ2는 손실 함수에 대한 튜닝 파라미터이다.
절편 영상 생성부는, 2차원 영상의 복셀 데이터 그룹에 대응하여 블록화하고, 딥러닝 알고리즘에서 컨볼루션의 단계에서의 각 블록의 특징과 디컨볼루션 단계에서의 각 블록의 특징을 연결하여 절편 영상의 고해상도 복셀 데이터 그룹이 생성되면, 미리 설정된 필터 적용 간격에 기초하여 절편 영상을 생성할 수 있다.
절편 영상 생성부는, 그라디언트 페널티 항을 포함하는 WGAN-GP 손실 함수, 충실도 손실 함수 그리고 지각적 손실 함수를 이용하여 미리 도출된 파라미터를 적용한 최소화된 손실 값이 연산되도록 하는 절편 영상을 생성할 수 있다.
본 발명의 하나의 실시예에 따른 3차원 재구성 장치의 3차원 영상 재구성 방법은 임의의 절편 간격을 가지는 연속적인 2차원 영상들을 수신하는 단계, 2차원 영상들 간의 특징점에 기초하여 인접한 2차원 영상 사이에 위치하는 하나 이상의 절편 영상을 생성하는 단계, 그리고 생성된 절편 영상을 이용하여 2차원 영상을 3차원 영상으로 재구성하여 제공하는 단계를 포함한다.
본 발명의 하나의 실시예는 2차원 영상 사이에 정보를 재구성하여 구체적인 정보를 정확하게 복구하여 제공함으로써, 환자의 진단 또는 연구를 진행함에 있어 저비용으로 정량적, 통계적 분석을 할 수 있다.
본 발명의 하나의 실시예는 일정 이상의 절편 간격의 영상에서 확인하기 어려웠던 대뇌피질의 두께 등의 생리, 해부학적 지표들을 구체적이고 정량적으로 도출할 수 있다.
본 발명의 하나의 실시예는 3차원 의료 영상을 촬영할 때 유실된 부분에 대해서도 정확하고 빠르게 해당 부분의 구체적인 정보를 복구하여 3차원 의료 영상을 제공할 수 있다.
도 1은 본 발명의 하나의 실시예에 따른 영상을 재구성하는 3차원 재구성 장치를 나타낸 개념도이다.
도 2는 본 발명의 하나의 실시예에 따른 3차원 재구성 장치의 구성도이다.
도 3은 본 발명의 하나의 실시예에 따른 3차원 재구성 장치의 영상 재구성 방법을 나타낸 순서도이다.
도 4는 본 발명의 하나의 실시예에 따른 2차원 의료 영상의 3차원 재구성하는 딥러닝 기반의 방법을 나타내는 도면이다.
도 5는 본 발명의 하나의 실시예에 따른 신경망의 구조를 나타낸 예시도이다.
도 6은 본 발명의 하나의 실시예에 따른 3차원 재구성 방법과 선형 보간, 그리고 U-net을 통한 재구성 결과를 나타낸 예시도이다.
도 7은 도 6의 영상 재구성 결과에 대한 정확도 평가 결과를 나타낸 그래프이다.
도 8은 본 발명의 하나의 실시예에 따른 뇌 이미지에 대한 3차원 재구성 방법과 선형 보간, 그리고 U-net을 통한 재구성 결과를 나타낸 예시도이다.
도 9는 도 8의 영상 재구성 결과에 대한 3D 다이스 계수를 비교하기 위한 그래프이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 하나의 실시예에 따른 영상을 재구성하는 3차원 재구성 장치를 나타낸 개념도이다.
도 1에 도시한 바와 같이, 3차원 재구성 장치(200)는 2차원 영상을 수신하면 미리 학습된 딥러닝 알고리즘(100)을 통해 3차원 영상으로 재구성하여 제공한다.
여기서, 2차원 영상은 피사체에 대한 연속적인 2차원 영상의 집합을 의미하며, 각각의 2차원 영상은 임의의 절편 간격을 가진다.
예를 들어, 3차원 재구성 장치(200)는 2차원 단면상을 나타내는 자기 공명 영상 (Magnetic Resonance imaging, MRI)을 수신하여 미리 학습된 딥러닝 알고리즘(100)을 통해 3차원 영상의 자기 공명 영상으로 재구성하여 제공할 수 있다.
한편, 3차원 재구성 장치(200)가 영상을 재구성하기 이전에 딥러닝 알고리즘(100)을 구축하기 위한 학습을 수행할 수 있다.
이때, 동일한 영상에 대한 3차원 영상과 2차원 영상을 학습 데이터로 구비하고, 2차원 영상 사이의 절편 영상을 생성함에 있어, 3차원 영상과 동일하게 재구성할 수 있도록 딥러닝 알고리즘(100)을 학습시킬 수 있다.
예를 들어, 딥러닝 알고리즘(100)은 머신 러닝 중에서 지도 학습으로 함수의 정의역과 공역이 각각 데이터로 주어져 있는 상태에서 설정된 목적함수를 최소화하는 매개변수를 최적화를 통해 찾아내도록 학습될 수 있다.
또한, 딥러닝 알고리즘(100)은 학습 데이터와 독립적으로 구성된 시험 데이터를 집어넣어 얼마나 함수가 잘 학습되었는지 평가될 수 있다.
한편, 딥러닝 알고리즘(100)은 딥러닝 알고리즘은 영상 처리에 특화되었다고 알려진 콘볼루션 신경망(CNN, convolutional neural network)이나 생성적 적대 신경망(GAN, generative adversarial network), WGAN (Waserstein GAN)등을 포함할 수 있다.
콘볼루션 신경망(CNN)의 예로는 VGGNet, ResNet, DnCNN, DenseNet 등이 있으며, 생성적 적대 신경망(Generative Adversarial Network: GAN)은 생성(Generator: G)와 판별(Discriminator: D)의 두 신경망 모델의 경쟁을 통해 학습하고 결과물을 생성해낸다.
생성자(G)는 실제에 가까운 데이터를 생성하는 것을 목적으로 실제 데이터를 학습하고 이를 바탕으로 데이터를 생성하고, 판별자(D)는 생성자(G)가 생성한 데이터를 실제인지, 거짓인지 판별하도록 학습한다.
WGAN-GP는 WGAN의 향상된 알고리즘으로 k-Lipschitz constraints를 적용하기 위한 패널티항을 추가한다,
이하에서는 3차원 재구성 장치(200)가 WGAN_GP의 딥러닝 알고리즘을 사용하여 2차원 영상을 3차원으로 재구성하는 것으로 설명하지만, 반드시 이에 한정되는 것은 아니다.
보다 상세하게 3차원 재구성 장치(200)에 적용되는 WGAN_GP의 손실 함수(LWGAN-GP)는 다음 수학식 1과 같다.
Figure pat00002
여기서 E는 주어진 분포에서 기대되는 값이고,“~”기호는이 분포에서 얻은 표본을 의미하며,
Figure pat00003
생성 된 데이터를 나타낸다. 그리고 Pg 생성된 데이터의 분포, x and Pr실제 데이터를 나타내며, λ 파라미터는 10으로 설정된다.
Figure pat00004
는 임의로 보간 된 값으로 0에서 1까지의 균일한 샘플링과 가중치 합계로 구현된다. 그리고 D는 판별 네트워크로, 실제 또는 가짜 값을 결정하는데 사용하는 로직 함수를 나타낸다.
한편, 수학식 1에서 첫번째와 두번째 항은 생성된 데이터와 실제 데이터 분포 사이의 Wasserstein 거리를 최소화하여 네트워크가 실제 데이터 분포 사이의 보다 현실적인 샘플을 생성하도록 한다.
마지막 항은 텐서플로(Tensorflow)에서 자동 차별화를 사용하여 구현되는
Figure pat00005
에 대한 로직함수의 기울기를 계산하여 1-Lipschitz 제약을 구현한다.
이하에서는 도 2을 이용하여 딥러닝 알고리즘을 이용하여 2차원 영상을 3차원 영상으로 재구성하여 제공하는 3차원 재구성 장치에 대해서 상세하게 설명한다.
도 2는 본 발명의 하나의 실시예에 따른 3차원 재구성 장치의 구성도이다.
도 2에 도시한 바와 같이, 3차원 재구성 장치(200)는 통신부(210), 절편 영상 생성부(220), 제어부(230) 그리고 학습부(240)를 포함한다.
통신부(210)는 연동되는 영상 촬영 기기, 의료 기기, 의료영상 저장 시스템 등과 같은 단말 또는 서버와 네트워크로 연결되어 데이터를 송수신할 수 있다.
이때, 송수신되는 데이터는 연속적인 2차원 영상, 슬라이스, 절편 영상 등을 의미하지만 이에 한정되는 것은 아니며, 절편 간격이 일정 값 이상을 갖는 3차원 영상의 단층 촬영 영상을 포함할 수 있다.
절편 영상 생성부(220)는 2차원 영상들간의 특징점에 기초하여 인접한 2차원 영상 사이에 위치하는 하나 이상의 절편 영상을 생성한다.
이때, 절편 영상 생성부(220)는 학습된 딥러닝 알고리즘을 통해 조정된 가중치를 적용하여 절편 영상을 생성한다. 그리고 절편 영상 생성부(220)는 생성된 절편 영상과 2차원 영상 사이의 하나 이상의 절편 영상을 생성할 수 있다.
절편 영상 생성부(220)는 입력되거나 설정된 절편 간격을 가지도록 반복하여 절편 영상을 생성할 수 있으며, 절편 영상은 3차원 영상으로 생성될 수 있다. 이때, 절편 영상 생성부(220)는 2차원 영상의 복셀 데이터 그룹에 대응하여 절편 영상의 고해상도 복셀 데이터 그룹이 생성되면, 미리 설정된 필터 적용 간격에 기초하여 반복 적용함으로써 절편 영상을 생성할 수 있다.
그리고 제어부(230)는 생성된 절편 영상을 이용하여 2차원 영상을 3차원 영상으로 재구성하여 제공한다. 생성된 절편 영상은 3차원 영상으로 형성되며, 3차원 절편 영상을 이용하여 수신한 2차원 영상을 3차원 영상으로 재구성하여 제공할 수 있다.
학습부(240)는 학습 데이터를 이용하여 딥러닝 알고리즘을 미리 학습한다.
학습부(240)는 학습 데이터와 해당 학습 데이터의 3차원 영상인 원 데이터를 입력받거나 입력된 3차원 영상인 원데이터를 이용하여 학습 데이터를 생성할 수 있다.
예를 들어 학습부(240)는 절편 간격이 제1 임계치 이하인 3차원 영상의 원 데이터에 대해서 절편 간격이 제2 임계치 이상이 되도록 2차원 영상으로 늘린 2차원 학습 데이터를 생성할 수 있다.
여기서 제1 임계치는 제2 임계치보다 큰 값을 가지며, 각 임계치는 추후에 학습하고자 하는 조건에 따라 사용자에 의해 용이하게 변경 및 설계 가능하다.
그리고 학습부(240)는 학습된 딥러닝 알고리즘에 대해 일정시간 간격 또는 설정된 주기마다 해당 딥러닝 알고리즘을 재학습하여 업데이트를 수행할 수 있다.
또한, 학습부(240)는 재구성된 3차원 영상에 대응하여 정확도를 검증할 수 있다. 정확도를 검증할 때에는 다음 수학식 2와 같이, 영상 품질에 대해 피크 신호 대 잡음비 (PSNR), 구조적 유사성 (SSIM) 및 고주파수 오류 표준 (HFEN)등을 이용할 수 있다.
Figure pat00006
여기서, Ix는 테스트 이미지, Iy는 참조 이미지, MSE는 이들 사이의 평균 제곱 오차, μ(·) 및 σ(·)는 두 이미지의 평균 및 분산 또는 공분산을 의미하며, c1 = (0.01 Х d)2 및 c2 = (0.03 Х d)2를 나타낸다.
그리고 d는 이미지 강도의 최대 차이이고. LoG()는 3D 가우시안의 라플라시안(Laplacian of Gaussian)필터 함수이며, 필터 커널의 크기는 15 픽셀 x 15 픽셀 x 15 픽셀로 나타낸다.
이때, 학습부(240)는 3차원 재구성 장치(200) 내부에 포함되는 것으로 설명하였으나, 적용 현장 및 상황에 따라 학습하는 단말 또는 서버, 장치 등은 별도로 구비되도록 형성될 수 있다.
한편, 3차원 재구성 장치(200)는 서버, 단말, 또는 이들이 결합된 형태일 수 있다.
단말은 각각 메모리(memory), 프로세서(processor)를 구비함으로써 연산 처리 능력을 갖춘 장치를 통칭하는 것이다. 예를 들어, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등이 있다.
서버는 복수개의 모듈(module)이 저장되어 있는 메모리, 그리고 메모리에 연결되어 있고 복수개의 모듈에 반응하며, 단말에 제공하는 서비스 정보 또는 서비스 정보를 제어하는 액션(action) 정보를 처리하는 프로세서, 통신 수단, 그리고 UI(user interface) 표시 수단을 포함할 수 있다.
메모리는 정보를 저장하는 장치로, 고속 랜덤 액세스 메모리(high-speed random access memory, 자기 디스크 저장 장치, 플래시 메모리 장치, 기타 비휘발성 고체 상태 메모리 장치(non-volatile solid-state memory device) 등의 비휘발성 메모리 등 다양한 종류의 메모리를 포함할 수 있다.
통신 수단은 단말과 서비스 정보 또는 액션 정보를 실시간으로 송수신한다.
UI 표시 수단은 장치의 서비스 정보 또는 액션 정보를 실시간으로 출력한다. UI 표시 수단은 UI를 직접적 또는 간접적으로 출력하거나 표시하는 독립된 장치일 수도 있으며, 또는 장치의 일부분일 수도 있다.
이하에서는 3차원 재구성 장치(200)의 2차원 영상 사이의 절편 영상을 생성하여 3차원 영상으로 재구성하는 과정에 대해서 상세하게 설명한다.
도 3은 본 발명의 하나의 실시예에 따른 3차원 재구성 장치의 영상 재구성 방법을 나타낸 순서도이다.
3차원 재구성 장치(200)는 임의의 절편 간격을 가지는 2차원 영상을 수신한다(S310).
3차원 재구성 장치(200)는 절편 간격이 미리 설정된 간격 이상을 가지는 2차원 영상인지 여부를 확인할 수 있다.
예를 들어, 3차원 재구성 장치(200)는 실시간으로 각각의 의료 기기에 연동되어 촬영 영상을 수집할 수 있고 별도의 데이터베이스(미도시함)에 접속하여 영상을 수집할 수 있다.
그리고 3차원 재구성 장치(200)는 2차원 영상에 대해서 선형 보간을 수행할 수 있다.
다음으로 3차원 재구성 장치(200)는 2차원 영상 사이의 절편 영상을 생성한다(S320).
이때, 3차원 재구성 장치(200)는 학습된 딥러닝 알고리즘을 이용하여 2차원 영상 사이에 위치하는 하나 이상의 절편 영상을 3차원으로 생성할 수 있다. 여기서, 학습된 딥러닝 알고리즘은 3차원 재구성 장치(200) 또는 별도의 단말/서버 등을 통해 S310 단계 이전에 학습된다.
이하에서는 도 4 및 도 5를 이용하여 3차원 재구성 장치(200)의 딥러닝 알고리즘의 학습 과정과 학습된 딥러닝 알고리즘에 대해서 상세하게 설명한다.
도 4는 본 발명의 하나의 실시예에 따른 2차원 의료 영상의 3차원 재구성하는 딥러닝 기반의 방법을 나타내는 도면이고, 도 5는 본 발명의 하나의 실시예에 따른 신경망의 구조를 나타낸 예시도이다.
도 4에 도시한 바와 같이, 3차원 재구성 장치(200)는 절편 간격이 제1 임계치 이하인 3차원 영상의 원 데이터(Fully sampled MRI)에 대해서 절편 간격이 제2 임계치 이상이 되도록 2차원 영상으로 늘린 2차원 학습 데이터(Sparsely sampled MRI)를 이용하여 학습한다.
그리고 3차원 재구성 장치(200)는 기준 이미지에 대해 축 방향으로 5 번째 슬라이스마다 샘플링한다. 그리고 3차원 재구성 장치(200)는 딥러닝 알고리즘을 통해 생성한 고해상도 이미지와 비교하기 위해 선형 보간을 수행한다.
3차원 재구성 장치(200)는 선형 보간된 2차원 학습 데이터(Linearly interpolated MRI)에서 복셀 데이터 그룹(3D Patch)를 추출하여 딥러닝 알고리즘에 입력값으로 적용할 수 있다.
다시 말해 3차원 재구성 장치(200)에서 학습되고 적용되는 딥러닝 알고리즘은 복셀 데이터 그룹(3D patch)의 형태(32x32x32)로 입력값이 적용되며, 동일한 형태의 복셀 데이터 그룹(3D patch)의 형태(32x32x32)로 출력값이 도출된다. 여기서, 복셀 데이터 그룹의 형태는 하나의 예시로 반드시 이에 한정하는 것은 아니다.
예를 들어, 3차원 재구성 장치(200)는 복셀 데이터 그룹(3D patch)의 중심이 추출 된 뇌 이미지에 있는 경우, 스트라이드(Stride, 필터 적용 간격)가 16으로 설정된 훈련을 위해 선형 보간 된 데이터로부터 32 Х 32 Х 32 크기의 입력 복셀 데이터 그룹을 추출 한다. 이때, 3차원 재구성 장치(200)는 입력 이미지 강도를 -1에서 1까지의 범위로 정규화할 수 있다. 이러한 과정을 반복하여 3차원 재구성 장치(200)는 배치 크기가 12 인 총 439,479 개의 훈련 패치를 획득할 수 있다.
도 5에 도시한 바와 같이, 예를 들어 딥러닝 알고리즘(Neural network)는 9 개의 고밀도 블록과 전이 레이어로 구성될 수 있다. 그리고 딥러닝 알고리즘에는 5 개의 컨볼루션 레이어를 갖는 각각의 조밀한 블록은 다음 전이 레이어에 이어진다.
여기서 다음 전이 레이어는 스트라이드가 적용된 컨볼루션 전이 레이어를 갖는 4 개의 블록, 전이 레이어가 없는 블록 그리고 디컨볼루션 천이 레이어를 가지는 4개의 블록들을 의미할 수 있다.
다시 말해, 딥러닝 알고리즘의 컨볼루션 레이어는 프로세스에 포함되는 레이어를 연결하여 이전 레이어의 기능을 유지할 수 있다.
이때, 컨볼루션 레이어와 디컨볼루션 레이어의 사이즈가 동일한 경우에 대응하여 서로 블록에 대한 특징값이 연결될 수 있다.
이에 컨볼루션 레이어는 다음 수학식 3과 같이 나타낼 수 있다.
Figure pat00007
여기서 xl는 ith 레이어의 특징 값을 나타내며, Hl은 활성화 함수 (지수 선형 단위)의 구성 및 lth 번째 레이어의 일괄 정규화를 나타낸다.
3차원 재구성 장치(200)는 수학식 3과 같이, 더 깊은 네트워크를 생성할 수 있는 덴스넷(DenseNet) 구조를 이용하기 위해 각 구조를 블록화(복셀 데이터 그룹/3D patch)한다. 그리고 3차원 재구성 장치(200)는 각 불록을 지름길(short-cut path)와 같이 연결할 수 있다.
상세하게는 도 4 그리고 수학식 3과 같이, 밀도가 높은 블록의 각 컨볼루션 연산은 이전 출력값을 모두 포함되도록 연결되며, 동일한 수의 채널을 생성하기 때문에, 이전 레이어의 연결이 다음 레이어의 입력 채널 수를 증가시킬 수 있다.
따라서, 1 Х 1 Х 1 컨볼루션과 3 Х 3 Х 3 컨볼루션을 적용하여 데이터를 압축하는 과정을 수행한다.
예를 들어, 첫 번째 고밀도 블록 레이어에는 16 개의 채널이면, 연결되는 전이 레이어는 첫 4 개의 조밀한 블록 뒤의 전이 레이어는 (2 Х 2 Х 2) 컨볼루션을 사용하여 서브 샘플링 된 이미지를 샘플링하여 더 큰 수용 필드를 달성한다. 반면, 마지막 4 개의 조밀한 블록에서 디컨볼루션 (전이된 컨볼루션) 전이 레이어는 컨볼루션 블록에 연계된다.
다시 말해 조밀한 블록의 스트라이드가 적용된 컨볼루션 단계에서 계산되는 특징은 각각의 컨볼루션 단계에서 동일한 치수가 유지되도록 그라이언트(gradient)의 역전파를 위한 디컨볼루션의 조밀한 블록의 특징과 연결된다.
특히, 본 발명에서 적용하는 딥러닝 알고리즘은 실제 데이터 세트와 구별할 수 없는 사실적인 데이터 세트를 생성하기 위해 생성된 데이터 세트를 검증하기 위한 검증 네트워크를 포함한다.
예를 들어, 검증 네트워크는 8개의 3D 컨볼루션 레이어와 인스턴트 정규화, 그리고 누수 정류 선형 유닛으로 구성될 수 있다.
이때, 검증 네트워크는 네트워크 끝단에서 완전히 연결된 단일 레이어로 구성될 수 있다.
이처럼, 3차원 재구성 장치(200)는 최대 풀링보다 스트라이드가 적용된 컨볼루션을 사용하여 차별화된 딥러닝 알고리즘을 구현한다.
한편 3차원 재구성 장치(200)는 딥러닝 알고리즘에서 초고해상도 절편 이미지를 생성함에 있어, 입력과 출력간의 충실도를 유지하고자 다음 수학식 4를 이용하여 딥러닝 알고리즘을 최적화한다.
Figure pat00008
여기서, m은 배치 크기, nv는 복셀 수, y는 참조 데이터, xs는 희소 샘플링된 입력, f는 생성 네트워크를 나타낸다. 여기서 Lfid는 충실도 손실로, 생성 네트워크의 참조와 출력 간의 컨텐츠 차이를 줄일 수 있다. Lper는 피처 공간의 지각적 손실, 는 특정 신경망의 중간 기능을 수행하는 특징 맵, γ2는 손실 함수에 대한 튜닝 파라미터이다.
이때, 빠른 훈련을 위해 입력 패치의 중앙 슬라이스만 사용하여 지각 손실을 평가할 수 있다. 이와 같은 네트워크 교육에 대한 총 손실은 이러한 프로세스 이후의 충실도와 지각 손실의 합으로 얻을 수 있다.
여기서, 3차원 재구성 장치(200)는 Lfid 만을 이용하여 알고리즘을 최적화하는 기존의 신경망 알고리즘(예를 들어, U-Net)에 비해 Lper (지각적 손실)과 LWGAN-GP를 함께 이용한다. 여기서, Lper 와 LWGAN-GP는 생성되는 이미지의 정확도를 향상시키기 위한 것으로, 특히 뇌의 회백질 및 백질과 같은 세부 구조에 대한 정확도를 향상시킬 수 있다.
그러므로 3차원 재구성 장치(200)는 수학식 4에서 손실 함수(L)가 최소화되도록 반복 학습을 통해 최적화된 파라미터(필터의 가중치)를 도출할 수 있다.
3차원 재구성 장치(200)는 최적화된 파라미터가 도출되면, 학습을 완료하고 학습된 딥러닝 알고리즘에 대한 파라미터를 연동되는 데이터베이스에 저장할 수 있다.
다음으로, 3차원 재구성 장치(200)는 미리 학습된 딥러닝 알고리즘을 이용하여 수신한 2차원 영상에 대한 다수개의 절편 영상을 생성할 수 있다.
이때, 절편 영상은 2차원 영상 간에 연결되는 영상을 의미한다.
3차원 재구성 장치(200)는 2차원 영상간의 제1 절편 영상을 생성하고, 2차원 영상과 제1 절편 영상 사이에 제2 절편 영상을 생성할 수 있으며, 이와 같은 반복으로 2차원 영상간에 절편 영상의 간격이 제1 임계치 이하가 되는 복수개의 절편 영상을 생성할 수 있다.
3차원 재구성 장치(200)는 절편 영상을 이용하여 2차원 영상을 3차원 영상으로 재구성하여 제공한다(S330).
3차원 재구성 장치(200)는 복수개의 절편 영상을 연이어 3차원 영상으로 재구성하면, 해당 3차원 영상을 연동되는 사용자 단말 또는 서버로 전송할 수 있다.
한편, 3차원 재구성 장치(200)는 설정된 간격에 따라 학습된 딥러닝 알고리즘을 재학습할 수 있으며, 그에 따라 각 레이어에 적용되는 가중치등을 업데이트할 수 있다.
이하에서는 도 6 내지 도 9를 이용하여 3차원 재구성 장치의 정확도에 대해서 상세하게 설명한다.
도 6은 본 발명의 하나의 실시예에 따른 3차원 재구성 방법과 선형 보간, 그리고 U-net을 통한 재구성 결과를 나타낸 예시도이고 도 7은 도 6의 영상 재구성 결과에 대한 정확도 평가 결과를 나타낸 그래프이다.
도 6에 도시한 바와 같이, 뇌의 관상면(Coronal), 시상면(Sagittal), 그리고 수평면(transaxial)에 있어서 기준 데이터(Reference data)에 대한 선형 보간 (Linear interpolation)과 U-NET 알고리즘 그리고 본 발명의 3차원 재구성 방법(Proposed networks)을 통해 3차원 영상으로 재구성한 결과를 나타낸다.
도 6에서 각 열은 수평면(횡축 평면)의 137번째에서 140번째 슬라이스를 나타내며, 관상 평면의 95번째 슬라이스 그리고 사상면의 125번째 슬라이스 이미지를 나타낸다.
선형 보간, U-net, 본 발명에 따라 재구성한 결과를 살펴보면, 선형 보간을 통해 재구성한 결과는 정확도가 매우 낮은 반면에, U-net과 본 발명에서 제안한 방법에 따른 3차원 영상을 재구성한 경우, 정확도가 매우 높은 것을 알 수 있다.
그 중에서도 U-net을 이용한 경우보다 본 발명에서 제안한 방법에 따른 재구성된 3차원 영상이 디테일한 부분에서 더 정확도가 높은 것을 확인할 수 있다. 예를 들어, 수평면(횡축 평면)의 138번째(왼쪽에서 두번째) 영상을 확인해보면 기준 데이터(Reference data)와 본 발명에서 제안한 발명에 따른 영사에는 없는 그림자 형체가 U-net에서 표시된 것을 알 수 있다.
또한 도 7에 도시한 바와 같이, 기준 데이터에 대한 다양한 초해상도(super-resolution, SR) 방법에 대한 정확도를 평가할 수 있다.
도 7의 (a)는 선형 보간, U-net, 본 발명에서 제안하는 방법에 대해서 3차원 영상의 피크 신호 대 잡음비(Peak Signal to Noise Ratio, PSNR)을 나타낸 그래프이다.
도 7의 (a)를 보면 본 발명에서 제안한 방법에 대해 PSNR의 값이 가장 높은 것을 알 수 있다. 여기서 PSNR은 영상의 화질을 측정하기 위해 주로 사용되는 파라미터 값으로, 영상의 노이즈가 0이면 PSNR은 무한대의 값을 가질 수 있다. 다시 말해, PSNR의 값이 클수록 영상의 화질이 높다고 평가할 수 있다.
도 7의 (b)는 3D 영상의 구조적 유사성(Structural Similarity Metric, SSIM)을 나타낸 그래프로, 기준 데이터와 각 방법에 따라 재구성한 3차원 영상간의 유사도를 평가한다. 도 7의 (b)에서도 본 발명에서 제안하는 방법에 대해서 유사도가 가장 높은 것을 알 수 있다.
도 7의 (c)는 3D 영상의 고주파수 오류 표준 값(High Frequency Error Norm, HFEN)을 나타낸 그래프로, 본 발명에서 제안하는 방법이 가장 낮은 것을 알 수 있다.
도 8은 본 발명의 하나의 실시예에 따른 뇌 이미지에 대한 3차원 재구성 방법과 선형 보간, 그리고 U-net을 통한 재구성 결과를 나타낸 예시도이고, 도 9는 도 8의 영상 재구성 결과에 대한 3D 다이스 계수를 비교하기 위한 그래프이다.
도 8에 도시한 바와 같이, 관상면의 회백질(Coronal GM), 시상면의 회백질(Sagittal GM), 관상면의 백질(Coronal WM), 시상면의 백질(Sagittal WM), 관상면의 뇌척수액(Coronal CSF) 그리고 시상면의 뇌척수액(Sagittal CSF)에 대해서, 기준 데이터(Reference data)에 대한 선형 보간 (Linear interpolation)과 U-NET 알고리즘 그리고 본 발명의 3차원 재구성 방법(Proposed networks)을 통해 3차원 영상으로 재구성한 결과를 나타낸다.
도 8의 노란색 화살표를 살펴보면, 선형 보간과 U-net의 방법인 경우, 기준 데이터에 비교하여 회백질(GM) 세그먼트의 복구가 정밀하지 않다는 것을 알 수 있다. 반면에, 본 발명에서 제안하는 방법은 기준 데이터에 대해 정밀하게 재구성된 이미지를 확인할 수 있다.
그리고 도 9에 도시한 바와 같이, 기준 데이터와 재구성된 초해상도 영상 간의 3D 다이스 계수를 나타낸 것으로, 회백질(GM), 백질(WM) 그리고 뇌척수액(CSF)에 대응하여 발명에서 제안한 방법에 따른 3D 다이스 계수가 가장 높은 것을 확인할 수 있다.
참고로 3D 다이스 계수(3D dice coefficient)는 모델의 성능 평가의 척도 중의 하나로, 1에 가까운 값을 가질수록 성능이 좋고, 0에 가까울수록 성능이 좋지 않다고 측정한다.
이와 같이, 본 발명에 따르면, 3차원 영상 재구성 장치(200)는 학습된 신경망을 통해 정확도가 높은 절편 영상을 생성하여 보다 빠르고 효율적으로 품질이 향상된 3차원 의료 영상을 생성할 수 있다.
본 발명의 하나의 실시예에 따른 방법을 실행시키기 위한 프로그램은 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.
컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 여기서 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함된다.
이상에서 본 발명의 바람직한 하나의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 딥러닝 알고리즘 200: 3차원 영상 재구성 장치
210: 통신부 220: 절편 영상 생성부
230: 제어부 240: 학습부

Claims (12)

  1. 임의의 절편 간격을 가지는 연속적인 2차원 영상들을 수신하는 통신부,
    인접한 상기 2차원 영상들간의 특징점에 기초하여 상기 2차원 영상 사이에 위치하는 하나 이상의 절편 영상을 생성하는 절편 영상 생성부, 그리고
    생성된 상기 절편 영상을 이용하여 상기 2차원 영상을 3차원 영상으로 재구성하여 제공하는 제어부
    를 포함하는 3차원 재구성 장치.
  2. 제1항에서,
    상기 절편 영상 생성부는,
    상기 2차원 영상에서 복셀 데이터 그룹을 선택하고, 선택한 상기 복셀 데이터 그룹을 학습된 딥러닝 알고리즘에 적용하는 과정을 반복하여 상기 2차원 영상 사이에 위치하는 상기 절편 영상을 3차원의 영상 형태로 생성하는 3차원 재구성 장치.
  3. 제2항에서,
    3차원 영상의 원 데이터에 기초하여 생성된 2차원 학습 데이터를 딥러닝 알고리즘에 적용하여 상기 2차 학습 데이터 사이에 위치하는 하나 이상의 절편 영상을 생성하면 상기 원 데이터에 기초하여 상기 딥러닝 알고리즘을 학습시키는 학습부를 더 포함하는 3차원 재구성 장치.
  4. 제3항에서,
    상기 학습부는,
    상기 2차원 학습 데이터에 대해 선형 보간을 수행하고, 선형 보간된 인접한 2차원 학습 데이터 사이에 위치하는 절편 영상을 생성하며, 생성한 상기 절편 영상에 대응하는 상기 원 데이터와의 오차를 산출하여 일치 여부를 검증하면, 상기 오차 값이 임계치 이하의 값이 되는 절편 영상이 생성되도록 상기 딥러닝 알고리즘에 포함된 복수 개 필터의 가중치를 재조정하여 반복 학습시키는 3차원 재구성 장치.
  5. 제3항에서,
    상기 학습부는,
    딥러닝 알고리즘에서 초고해상도 절편 이미지를 생성함에 있어, 입력과 출력간의 충실도를 유지하고자 다음 수학식을 통해 도출되는 손실 함수가 최소가 되는 파라미터를 도출하는 3차원 재구성 장치.
    Figure pat00009

    여기서, m은 배치 크기, nv는 복셀 수, y는 참조 데이터, xs는 희소 샘플링된 입력, f는 생성 네트워크, Lfid는 충실도 손실, Lper는 피처 공간의 지각적 손실, 는 특정 신경망의 중간 기능을 수행하는 특징 맵, γ2는 손실 함수에 대한 튜닝 파라미터임
  6. 제2항에서,
    상기 절편 영상 생성부는,
    상기 2차원 영상의 복셀 데이터 그룹에 대응하여 블록화하고, 상기 딥러닝 알고리즘에서 컨볼루션의 단계에서의 각 블록의 특징과 디컨볼루션 단계에서의 각 블록의 특징을 연결하여 상기 절편 영상의 고해상도 복셀 데이터 그룹이 생성되면, 미리 설정된 필터 적용 간격에 기초하여 절편 영상을 생성하는 3차원 재구성 장치.
  7. 제2항에서,
    상기 절편 영상 생성부는,
    그라디언트 페널티 항을 포함하는 WGAN-GP 손실 함수, 충실도 손실 함수 그리고 지각적 손실 함수를 이용하여 미리 도출된 파라미터를 적용한 최소화된 손실 값이 연산되도록 하는 절편 영상을 생성하는 3차원 재구성 장치.
  8. 임의의 절편 간격을 가지는 연속적인 2차원 영상들을 수신하는 단계,
    상기 2차원 영상들 간의 특징점에 기초하여 인접한 상기 2차원 영상 사이에 위치하는 하나 이상의 절편 영상을 생성하는 단계, 그리고
    생성된 상기 절편 영상을 이용하여 상기 2차원 영상을 3차원 영상으로 재구성하여 제공하는 단계
    를 포함하는 3차원 재구성 장치의 3차원 영상 재구성 방법.
  9. 제8항에서,
    상기 하나 이상의 절편 영상을 생성하는 단계는,
    상기 2차원 영상에서 복셀 데이터 그룹을 선택하고, 선택한 상기 복셀 데이터 그룹을 학습된 딥러닝 알고리즘에 적용하는 과정을 반복하여 상기 2차원 영상 사이에 위치하는 상기 절편 영상을 3차원의 영상 형태로 생성하는 3차원 재구성 장치의 3차원 영상 재구성 방법.
  10. 제9항에서,
    상기 하나 이상의 절편 영상을 생성하는 단계는,
    상기 2차원 영상의 복셀 데이터 그룹에 대응하여 블록화하고, 상기 딥러닝 알고리즘에서 컨볼루션의 단계에서의 각 블록의 특징과 디컨볼루션 단계에서의 각 블록의 특징을 연결하여 상기 절편 영상의 고해상도 복셀 데이터 그룹이 생성되면, 미리 설정된 필터 적용 간격에 기초하여 절편 영상을 생성하는 3차원 재구성 장치의 3차원 영상 재구성 방법.
  11. 제8항에서,
    상기 하나 이상의 절편 영상을 생성하는 단계는,
    그라디언트 페널티 항을 포함하는 WGAN-GP 손실 함수, 충실도 손실 함수 그리고 지각적 손실 함수를 이용하여 미리 도출된 파라미터를 적용한 최소화된 손실 값이 연산되도록 하는 절편 영상을 생성하는 3차원 재구성 장치의 3차원 영상 재구성 방법.
  12. 제8항에서,
    상기 수신하는 단계 이전에 3차원 영상의 원 데이터에 기초하여 생성된 2차원 학습 데이터 사이에 위치하는 절편 영상을 생성하고, 생성한 상기 절편 영상에 대응하는 상기 원 데이터와의 오차를 산출하여 일치 여부를 검증하면, 상기 오차 값이 임계치 이하의 값이 되는 절편 영상이 생성되도록 딥러닝 알고리즘에 포함된 복수 개 필터의 가중치를 재조정하여 반복 학습시키는 단계를 더 포함하는 3차원 재구성 장치의 3차원 영상 재구성 방법.
KR1020190114294A 2018-09-18 2019-09-17 3차원 영상 재구성 장치 및 그 방법 KR102245693B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2019/012086 WO2020060196A1 (ko) 2018-09-18 2019-09-18 3차원 영상 재구성 장치 및 그 방법
US17/276,291 US11978146B2 (en) 2018-09-18 2019-09-18 Apparatus and method for reconstructing three-dimensional image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180111678 2018-09-18
KR1020180111678 2018-09-18

Publications (2)

Publication Number Publication Date
KR20200032651A true KR20200032651A (ko) 2020-03-26
KR102245693B1 KR102245693B1 (ko) 2021-04-29

Family

ID=69958683

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190114294A KR102245693B1 (ko) 2018-09-18 2019-09-17 3차원 영상 재구성 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102245693B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365581A (zh) * 2020-11-17 2021-02-12 北京工业大学 一种基于rgb数据的单视角和多视角三维重建方法及装置
CN112634438A (zh) * 2020-12-24 2021-04-09 北京工业大学 基于对抗网络的单帧深度图像三维模型重建方法及装置
KR20210135039A (ko) * 2020-05-04 2021-11-12 재단법인대구경북과학기술원 조건부 생성 적대적 네트워크를 이용한 의료 영상의 예측을 위한 방법 및 장치
KR20220005275A (ko) * 2020-07-06 2022-01-13 한국생산기술연구원 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템 및 방법
KR20220026143A (ko) 2020-08-25 2022-03-04 연세대학교 산학협력단 두경부 의료영상을 자동으로 분할하는 딥러닝 모델을 위한 학습 데이터 증강 장치 및 방법
WO2022107998A1 (ko) * 2020-11-18 2022-05-27 재단법인대구경북과학기술원 3차원 영상 영역화 방법 및 장치
WO2022187768A1 (en) * 2021-03-04 2022-09-09 GE Precision Healthcare LLC System and methods for inferring thickness of object classes of interest in two-dimensional medical images using deep neural networks
KR102468718B1 (ko) * 2021-10-29 2022-11-18 (주)넥스트빅스튜디오 심층신경망을 이용하여 3차원 디지털 트윈 공간을 제공하기 위한 장치 및 방법
CN116805284A (zh) * 2023-08-28 2023-09-26 之江实验室 基于特征迁移的三维磁共振平面间超分辨重建方法和系统
US11830227B2 (en) 2020-05-12 2023-11-28 Lunit Inc. Learning apparatus and learning method for three-dimensional image

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476957B1 (ko) 2020-12-11 2022-12-12 가천대학교 산학협력단 의료 영상 기반 홀로그램 제공 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140223368A1 (en) * 2013-02-05 2014-08-07 Nk Works Co., Ltd. Image processing apparatus, computer-readable medium storing an image processing program, and image processing method
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140223368A1 (en) * 2013-02-05 2014-08-07 Nk Works Co., Ltd. Image processing apparatus, computer-readable medium storing an image processing program, and image processing method
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210135039A (ko) * 2020-05-04 2021-11-12 재단법인대구경북과학기술원 조건부 생성 적대적 네트워크를 이용한 의료 영상의 예측을 위한 방법 및 장치
US11830227B2 (en) 2020-05-12 2023-11-28 Lunit Inc. Learning apparatus and learning method for three-dimensional image
KR20220005275A (ko) * 2020-07-06 2022-01-13 한국생산기술연구원 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템 및 방법
KR20220026143A (ko) 2020-08-25 2022-03-04 연세대학교 산학협력단 두경부 의료영상을 자동으로 분할하는 딥러닝 모델을 위한 학습 데이터 증강 장치 및 방법
CN112365581A (zh) * 2020-11-17 2021-02-12 北京工业大学 一种基于rgb数据的单视角和多视角三维重建方法及装置
CN112365581B (zh) * 2020-11-17 2024-04-09 北京工业大学 一种基于rgb数据的单视角和多视角三维重建方法及装置
WO2022107998A1 (ko) * 2020-11-18 2022-05-27 재단법인대구경북과학기술원 3차원 영상 영역화 방법 및 장치
CN112634438A (zh) * 2020-12-24 2021-04-09 北京工业大学 基于对抗网络的单帧深度图像三维模型重建方法及装置
WO2022187768A1 (en) * 2021-03-04 2022-09-09 GE Precision Healthcare LLC System and methods for inferring thickness of object classes of interest in two-dimensional medical images using deep neural networks
US11842485B2 (en) 2021-03-04 2023-12-12 GE Precision Healthcare LLC System and methods for inferring thickness of anatomical classes of interest in two-dimensional medical images using deep neural networks
KR20230062462A (ko) * 2021-10-29 2023-05-09 (주)넥스트빅스튜디오 레퍼런스 이미지의 검증을 통해 자연스러운 3차원 디지털 트윈을 생성하기 위한 방법 및 장치
KR102468718B1 (ko) * 2021-10-29 2022-11-18 (주)넥스트빅스튜디오 심층신경망을 이용하여 3차원 디지털 트윈 공간을 제공하기 위한 장치 및 방법
CN116805284A (zh) * 2023-08-28 2023-09-26 之江实验室 基于特征迁移的三维磁共振平面间超分辨重建方法和系统
CN116805284B (zh) * 2023-08-28 2023-12-19 之江实验室 基于特征迁移的三维磁共振平面间超分辨重建方法和系统

Also Published As

Publication number Publication date
KR102245693B1 (ko) 2021-04-29

Similar Documents

Publication Publication Date Title
KR102245693B1 (ko) 3차원 영상 재구성 장치 및 그 방법
Liu et al. Perception consistency ultrasound image super-resolution via self-supervised CycleGAN
US10624558B2 (en) Protocol independent image processing with adversarial networks
KR102210474B1 (ko) 양전자방출 단층촬영 시스템 및 그것을 이용한 영상 재구성 방법
CN110858315B (zh) 考虑较少训练数据的基于深度机器学习的磁共振成像质量分类
US11978146B2 (en) Apparatus and method for reconstructing three-dimensional image
CN111784671A (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
US10970837B2 (en) Automated uncertainty estimation of lesion segmentation
KR102053527B1 (ko) 이미지 처리 방법
Luo et al. Bayesian MRI reconstruction with joint uncertainty estimation using diffusion models
CN109118487B (zh) 基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法
CN114742802B (zh) 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法
Zhang et al. CNN‐Based Medical Ultrasound Image Quality Assessment
WO2020234349A1 (en) Sampling latent variables to generate multiple segmentations of an image
US11933870B2 (en) Contrast and/or system independent motion detection for magnetic resonance imaging
CN111681297B (zh) 图像重建方法、计算机设备和存储介质
KR102526487B1 (ko) 딥러닝 모델의 학습을 위한 의료 데이터의 처리 방법, 프로그램 및 장치
CN116486156A (zh) 融合多尺度特征上下文的全视野数字切片图像分类方法
Sciarra et al. Reference-less ssim regression for detection and quantification of motion artefacts in brain mris
JP2021099794A (ja) ディープニューラルネットワークおよび測定データの再帰的間引きを使用して医用画像を再構築するためのシステムおよび方法
CN111080730B (zh) 基于跨通道和空间加权卷积特征的脑图像解码方法及系统
CN109820507A (zh) 疾病辅助诊断方法及装置
KR102546620B1 (ko) 딥러닝 모델의 학습을 위한 의료 데이터의 처리 방법, 프로그램 및 장치
US11967004B2 (en) Deep learning based image reconstruction
Rahman Fast Magnetic Resonance Image Reconstruction with Deep Learning using an Efficientnet Encoder

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right