KR102150478B1 - 딥러닝 기반의 x-선 영상 뼈 감쇄 장치 및 방법 - Google Patents

딥러닝 기반의 x-선 영상 뼈 감쇄 장치 및 방법 Download PDF

Info

Publication number
KR102150478B1
KR102150478B1 KR1020180071569A KR20180071569A KR102150478B1 KR 102150478 B1 KR102150478 B1 KR 102150478B1 KR 1020180071569 A KR1020180071569 A KR 1020180071569A KR 20180071569 A KR20180071569 A KR 20180071569A KR 102150478 B1 KR102150478 B1 KR 102150478B1
Authority
KR
South Korea
Prior art keywords
ray image
fake
ray
bone
original
Prior art date
Application number
KR1020180071569A
Other languages
English (en)
Other versions
KR20190143708A (ko
Inventor
윤일동
오동렬
Original Assignee
한국외국어대학교 연구산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국외국어대학교 연구산학협력단 filed Critical 한국외국어대학교 연구산학협력단
Priority to KR1020180071569A priority Critical patent/KR102150478B1/ko
Publication of KR20190143708A publication Critical patent/KR20190143708A/ko
Application granted granted Critical
Publication of KR102150478B1 publication Critical patent/KR102150478B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/482—Diagnostic techniques involving multiple energy imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5294—Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 딥러닝 기반 X-선 영상에서의 뼈 감쇄 장치로, 듀얼 에너지 X-선 장치로 촬영된 제1 원본 X-선 영상이 입력됨에 따라 뼈를 감쇄 또는 제거된 위조 X-선 영상으로 변환하여 출력하는 신경망인 생성부와, 생성부로부터 출력된 위조 X-선 영상 또는 듀얼 에너지 X-선 장치로 뼈 감쇄되도록 촬영된 X-선 영상이 입력됨에 따라 진위 여부를 판별하는 신경망인 판별부와, 판별부로부터 출력된 진위 여부에 따라 제1 원본 X-선 영상과 쌍을 이루는 뼈가 감쇄되도록 촬영된 제2 원본 X-선 영상과 위조 X-선 영상 간의 거리차를 최소화시키도록 생성부 신경망의 가중치 또는 파라미터를 갱신하는 조정부를 포함한다.

Description

딥러닝 기반의 X-선 영상 뼈 감쇄 장치 및 방법{Apparatus and Method for Bone Suppression from X-ray Image based on Deep Learning}
본 발명은 X-선 영상에서 뼈를 감쇄시키는 기술에 관한 것으로, 특히 딥러닝 기반으로 X-선 영상에서 뼈를 감쇄시키는 장치 및 방법에 관한 것이다.
흉부 X선 영상에서 폐 질환을 보다 잘 검출하기 위해서 갈비뼈를 감쇄시키는 기법들이 많이 연구되어 오고 있는데, 최근에는 듀얼 에너지 X-선(Dual Energy X-Ray : 이하 'DXR'로 기재함)으로 보다 간편하고 성공적으로 뼈의 영향을 줄일 수 있게 되었다.
DXR은 X-선의 에너지 크기를 달리하여 동일한 영역에 대한 X-선 영상을 두 번 촬영하여, 뼈가 감쇄되지 않은 X-선 영상과 뼈가 감쇄된 X-선 영상을 촬영하게 된다. 그런데, 이러한 DXR는 X-선 영상을 두 번 촬영하여야 하므로, 번거로울 뿐만 아니라 방사능에 노출된다는 위험이 있다. 또한, 심장처럼 계속적으로 동작하는 기관은 그 경계선 부근에서 잡음(artifact)이 발생한다는 단점이 있다.
따라서, 최근에는 이러한 DXR의 단점을 극복하기 위해 영상 분류, 음성 인식 등 인공 지능의 다양한 분야에서 사용되고 있는 심층 학습(Deep Learning)을 기반으로 하는 X-선 영상에서 뼈를 감쇄하는 기술이 개발되고 있다. 그런데, 기존의 딥 러닝 기반 모델들은 생성된 영상과 라벨링된 영상 간의 거리(distance)를 좁히기 위해 주로 전체 영상에 대한 거리 평균값을 최소화하는 방식을 취하므로, 뼈 감쇄시킨 영상이 흐릿해질 수 있을 뿐만 아니라, 뼈가 감쇄된 부분이 뭉개질 수 있다.
본 발명은 딥 러닝을 기반으로 하는 X-선 영상에서 뼈를 감쇄시키는 장치 및 방법을 제공한다.
본 발명은 생성적 적대 신경망(Generative Adversarial Network: GAN)의 위조를 판단하는 프레임워크를 도입하여, 뼈 감쇄된 영상에서 흐릿하거나 뭉개지는 현상을 개선시키는 딥 러닝 기반 X-선 영상에서 뼈를 감쇄시키는 장치 및 방법을 제공한다.
본 발명은 딥러닝 기반 X-선 영상에서의 뼈 감쇄 장치로, 듀얼 에너지 X-선 장치로 촬영된 제1 원본 X-선 영상이 입력됨에 따라 뼈를 감쇄 또는 제거된 위조 X-선 영상으로 변환하여 출력하는 신경망인 생성부와, 생성부로부터 출력된 위조 X-선 영상 또는 듀얼 에너지 X-선 장치로 뼈 감쇄되도록 촬영된 X-선 영상이 입력됨에 따라 진위 여부를 판별하는 신경망인 판별부와, 판별부로부터 출력된 진위 여부에 따라 제1 원본 X-선 영상과 쌍을 이루는 뼈가 감쇄되도록 촬영된 제2 원본 X-선 영상과 위조 X-선 영상 간의 거리차를 최소화시키도록 생성부 신경망의 가중치 또는 파라미터를 갱신하는 조정부를 포함한다.
본 발명은 딥러닝 기반 X-선 영상에서의 뼈 감쇄 방법으로, 듀얼 에너지 X-선 장치로 촬영된 제1 원본 X-선 영상이 입력됨에 따라 뼈를 감쇄 또는 제거된 위조 X-선 영상으로 변환하는 단계와, 위조 X-선 영상 또는 듀얼 에너지 X-선 장치로 뼈 감쇄되도록 촬영된 X-선 영상이 입력됨에 따라 진위 여부를 판별하는 단계와, 판별된 진위 여부에 따라 제1 원본 X-선 영상과 쌍을 이루는 뼈가 감쇄되도록 촬영된 제2 원본 X-선 영상과 위조 X-선 영상 간의 거리차를 최소화하도록 신경망의 가중치 또는 파라미터를 갱신하는 단계를 포함한다.
본 발명은 흉부 X-선 영상에서 갈비뼈 형상을 감쇄 또는 제거하여 갈비뼈 형상에 가려져 있던 폐의 병변을 정확히 판독할 수 있게 해준다. 예컨대, X-선 영상에서 갈비뼈와 쇄골 일부를 제거해 폐 부분의 가시성을 확보하여 뼈 뒤쪽의 폐 병변의 발견을 용이하게 해주어 진단 정확성을 향상시킨다.
또한, 본 발명은 생성적 적대 신경망(Generative Adversarial Network: GAN)의 위조를 판단하는 프레임워크를 도입하여, 뼈 감쇄된 영상에서 흐릿하거나 뭉개지는 현상을 개선시킨다.
도 1은 본 발명의 일 실시 예에 따른 딥러닝 기반 X-선 영상에서의 뼈 감쇄 장치의 블록 구성도이다.
도 2는 본 발명에 따른 X-선 영상의 일예를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 딥러닝 기반 X-선 영상에서의 뼈 감쇄 방법을 설명하기 위한 순서도이다.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세하게 설명한다. 본 명세서에서 사용되는 용어 및 단어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 발명의 의도 또는 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예에서 사용된 용어는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
본 발명은 딥러닝 기반으로 훈련된 인공 신경망을 사용하여 X-선 영상에서의 뼈를 제거 또는 감쇄시키는 기술을 제공한다. 특히, 적대적 생성 네트워크(Generative Adversarial Network : GAN)로 훈련된 훈련 모델을 이용하게 된다.
기본 동작의 원리는 GAN을 통해 DXR에 의해 촬영되어 쌍을 이루는 뼈가 감쇄되지 않은 촬영 X-선 영상을 입력으로 하고, 뼈가 감쇄된 촬영 X-선 영상을 라벨링(labeling)된 훈련 데이터(training data)로 하여 미리 학습될 수 있다. 하기에서는 설명의 편의를 위해 DXR에 의해 촬영되어 쌍을 이루는 뼈가 감쇄되지 않은 촬영 X-선 영상을 제1 원본 X-선 영상으로 기재하고, 뼈가 감쇄된 촬영 X-선 영상을 제2 원본 X-선 영상으로 기재하기로 한다.
도 1은 본 발명의 실시 예에 따른 딥러닝 기반 X-선 영상에서의 뼈 감쇄 장치의 블록 구성도이고, 도 2는 본 발명에 따른 딥러닝 기반 X-선 영상에서의 뼈 감쇄 과정에서의 X-선 영상의 일 예를 도시한 도면이다.
도 1을 참조하면, 딥러닝 기반 X-선 영상에서의 뼈 감쇄 장치는 크게 생성부(Generator)(100), 판별부(Discriminator)(200) 및 조정부(300)를 포함하는 적대적 생성망(Generative Adversarial Network : GAN)을 사용한다.
GAN에서 생성부(100) 및 판단부(200)는 번갈아 훈련되는데, 그 역할이 위조 지폐 제작자와 경찰의 역할과 유사하다. 즉, 범죄자들은 위조 지폐를 제작하고 경찰들은 위조 여부를 구분해내는데, 범죄자들은 경찰들이 판별하지 못하도록 더욱 정교하게 지폐를 위조하게 되며 경찰들은 더욱 정밀하게 위조지폐를 판별하게 된다. 그 결과, 범죄자들은 일반인들은 결코 구분하지 못할 위조 지폐를 만들어내게 된다.
이처럼, 생성부(100)는 제2 원본 X-선 영상와 위조 X선 영상과의 차이를 최소화하도록 학습하게 되고, 판별부(200)는 위조 X선 영상과 제2 원본 X-선 영상을 구별하도록 학습된다. 그 결과, 생성부(100)는 판별부(200)가 판별하지 못하도록 더욱 정교하게 위조 X선 영상을 위조하도록 학습하게 되는 것이다.
생성부(100)는 도 2의 (a)에 도시된 바와 같은 제1 원본 X-선 영상이 입력됨에 따라, 제1 원본 X-선 영상에서 뼈를 감쇄시켜, 도 2의 (c)에 도시된 바와 같은 제2 원본 X-선 영상과 가까운 도 2의 (b)에 도시된 바와 같은 위조 X선 영상을 생성하는 인공 신경망 학습 모델이다. 즉, 생성부(100)는 판별부(200)를 속일 수 있는 위조 X-선 영상을 만들기 위해 학습된다.
판별부(200)는 생성부(100)가 생성한 결과물인 도 2의 (b)에 도시된 바와 같은 위조 X선 영상과 도 2의 (e)에 도시된 바와 같은 DXR에 의해 촬영된 X-선 영상을 비교하여 진위(Real/Fake) 여부를 판별하여 출력한다. 판별부(200)는 생성부(100)가 생성한 위조 X선 영상을 올바로 된 라벨(label)로 예측하도록 재훈련된다.
이러한 학습과정을 통해서 판별부(200)는 위조 X선 영상에 대한 위조 식별 성능이 향상되며, 그에 따라 생성부(100)는 판별부(200)에 의해 식별되지 않기 위해 제2 원본 X-선 영상과 더욱 비슷한 위조 X선 영상을 구현하는 성능이 향상된다.
조정부(300)는 판별부(200)로부터 출력된 진위 여부에 따라 제1 원본 X-선 영상과 쌍을 이루는 뼈가 감쇄되도록 촬영된 제2 원본 X-선 영상과 위조 X-선 영상 간의 거리차를 최소화시키도록 생성부(100) 신경망의 가중치 또는 파라미터를 갱신한다. 즉, 판별부(200)로부터 출력된 진위 여부에 따라 손실(Loss)을 산출하여 생성부(100)에 전달하여, 오차를 전파시키도록 한다. 그러면, 생성부(100)는 손실(Loss)을 최소화하도록 인공 신경망의 가중치를 역전파(backpropagation) 방식으로 업데이트하면서 학습된다.
그런데, 본 발명의 일 실시 예에 따라 사용되는 GAN은 최근에 비약적인 성장을 이루었으나, 모드 붕괴(mode collapse)라는 문제는 완전히 해결되지 못하고 있다.
모드 붕괴(mode collapse)란, 생성부(100)에서 판별부(200)가 잘 구분해내지 못하는 샘플만을 생성하는 것을 의미한다. 이는 생성부(100)가 생성한 위조 X-선 영상에 대한 크로스 엔트로피(cross-entropy)를 판별부(200)가 잘 구분하지 못하는 영상에 초점을 맞추게 되는 것에서 비롯된다. 즉, GAN에서의 학습 과정은 생성부(100) 및 판별부(200)를 구성하는 인공 신경망이 상호 간에 균형을 맞추며 확률 분포를 학습하는 것인데, 판별부(200)가 생성부(100)에 의해 생성된 위조 X-선 영상을 모두 구별하여 생성부(100)의 학습 성능이 개선되지 않거나, 생성부(100)에 의해 생성된 위조 X-선 영상을 잘 구별하지 못하여 생성부(100)가 올바른 확률 분포를 학습하지 못하게 되는 것과 같이 학습 과정에서 수렴에 실패하는 경우가 많다. 즉, 판별부(200) 및 생성부(100)의 균형을 맞추기 어렵기 때문에, 판별부(200)가 모든 생성 영상에 대해 구분을 잘하거나, 모드 붕괴(mode collapse)로 인해 학습 수렴에 실패하는 경우가 많다.
따라서, 본 발명에서는 이러한 GAN에서의 모드 붕괴(mode collapse)의 문제를 해소시켜, 학습의 안정성과 뼈 제거 또는 감쇄에 대한 최대 신호 대 잡음비(Peak Signal-to-noise ratio, PSNR)를 개선시키기 위해 미니 배치 판별(minibatch discrimination) 및 히스토리 버퍼(history buffer)를 이용한 재귀 최적화(recurrent optimization) 기법을 활용한다.
따라서, 본 발명의 다른 실시 예에 따라, 딥러닝 기반 X-선 영상에서의 뼈 감쇄 장치는 히스토리 버퍼(400)를 더 포함하고, 판별부(200)는 미니 배치 계층(mini batch layer)을 더 포함할 수 있다.
히스토리 버퍼(400)는 생성부(100)가 과거에 생성한 적어도 하나의 위조 X-선 영상을 저장하고, 판별부(200)는 히스토리 버퍼(400)에 저장된 적어도 하나의 과거 위조 X-선 영상을 다음 학습 과정에서도 반영하게 된다. 즉, 현재 위조 X-선 영상의 진위 여부를 판별함과 아울러 히스토리 버퍼(400)에 저장된 과거 위조 X-선 영상을 읽어들여 진위 여부를 판별하게 된다. GAN 프레임 워크는 학습 과정 중에 불안정한 학습을 보이는데, 이는 판별부(200)가 과거의 생성 결과를 모두 잊어버리기(catastrophic forgetting) 때문이다.
히스토리 버퍼(400)는 푸쉬/팝(push/pop) 과정에서 셔플(shuffle)을 통하여, 과거에 생성된 위조 X-선 영상도 학습에 반영되도록 수 있다. 판별부(200)는 해당 히스토리 버퍼(400)에 저장된 위조 X-선 영상들을 모두 구분하도록 학습이 되며, 이를 통해 생성부(100) 및 판별부(200) 모두 더 안정적으로 수렴하게 되고, 재귀 최적화(recurrent optimization)와 동일한 효과를 가지게 된다.
미니 배치 판별(minibatch discrimination)은 판별부(200)가 하나의 영상을 보고 진위 여부를 파악하는 것보다 배치(batch) 단위로 복수의 영상들을 파악하는 것을 의미한다.
실제 학습 과정의 배치는 배치 단위의 확률적 경사 하강법(Stochastic Gradient Descent : SGD)을 수행하기 위한 데이터 묶음 (배치)를 의미하는 것이고, 확률적 경사하강법에 적용하기 위해 필요한 loss 값은 결국 배치 안에 있는 데이터를 한 장씩 판별부(200)가 보고 판단한 결과를 평균을 내는 것이다. 이와 같이, 미니 배치 판별(minibatch discrimination)의 의미는 판별부(200)가 한 장씩 보고 판별된 결과의 평균이 아닌, 전체를 바라보고 판별하는 것이라고 볼 수 있다.　
한편, 일 실시 예에 따라, 생성부(100)는 인코더(Encoder)와 디코더(Decoder)로 구성되어, 인코딩 과정을 통해 저차원 공간에서 특징을 변환한 후, 이를 다시 디코딩하는 과정을 거친다. 이는 인코더를 사용하여 입력 데이터를 압축하는 과정이 없으면 연산량도 많아지고, GPU 메모리의 한계가 있으므로 레이어를 깊게 적층할 수 없는 단점을 극복하기 위함이다.
본 발명에 따른 인코더의 구성 블록의 일 예는 하기의 <표 1>과 같고, 디코디의 구성 블록의 일 예는 하기의 <표 2>와 같다. 그러나, 이는 본 발명의 일 예일 뿐 본 발명은 이에 한정되지 않는다.
Operation Feature maps Stride Batch Norm Activation Fn.
residual block 64 2 Yes Leaky ReLU
residual block 64 2 Yes Leaky ReLU
residual block 128 2 Yes Leaky ReLU
residual block 128 2 Yes Leaky ReLU
residual block 256 2 Yes Leaky ReLU
residual block 256 2 Yes Leaky ReLU
residual block 320 2 Yes Leaky ReLU
Operation Feature maps Stride Batch Norm. Activation Fn.
residual block 256 2 Yes Leaky ReLU
residual block 256 2 Yes Leaky ReLU
residual block 128 2 Yes Leaky ReLU
residual block 128 2 Yes Leaky ReLU
residual block 64 2 Yes Leaky ReLU
residual block 64 2 Yes Leaky ReLU
residual block 1 2 Yes Leaky ReLU
<표 1> 및 <표 2>를 참조하면, 생성부(100)는 인코더 및 디코더에서 각각 7개씩 총 14개의 잔류 블록(residual block)들로 구성될 수 있다. 잔류 블록(residual block)들 각각은 기본적으로 2개의 3x3 콘볼루션 계층(convolution layer)으로 이루어져 있으며, 출력 채널 변경시 1x1 콘볼루션 계층(convolution layer)이 하나 더 추가되어 입력을 출력 채널에 맞게 변환되도록 할 수 있다. 따라서, 본 발명의 일 실시 예에 따라, 생성부(100)는 총 36개의 콘볼루션 계층(convolution layer)으로 이루어질 수 있다.
또한, 인코더와 디코더 사이에는 쌍을 이루며 인코딩 과정을 디코딩 과정으로 넘겨주도록 스킵 연결(skip connection)되는데, 예컨대, <표 1>의 첫 번째 잔류 블록(residual block)에 의해 압축된 출력 정보가 <표 2>의 마지막 두번째 잔류 블록(residual block)의 출력 부분에 합쳐져서 다음 계층으로 입력될 수 있다. 따라서, 생성부(100)는 스킵 연결(skip connection)을 이용하기 때문에 U-Net 구조를 띄고 있지만, 각 컨볼루션 계층(convolution layer)을 잔류 블록(residual block)으로 대체한다.
한편, 본 발명의 일 실시 예에 따라, 판별부(200)의 구성 블록의 일 예는 하기의 <표 3>과 같다. 그러나, 이는 본 발명의 일 예일 뿐 본 발명은 이에 한정되지 않는다.
Operation Kernel Feature maps Stride Batch Norm. Activation Fn.
Convolution 3x3 32 2 Yes Leaky ReLU
Convolution 3x3 32 2 Yes Leaky ReLU
Convolution 3x3 64 2 Yes Leaky ReLU
Convolution 3x3 64 2 Yes Leaky ReLU
Convolution 3x3 128 2 Yes Leaky ReLU
Convolution 3x3 128 2 Yes Leaky ReLU
Convolution 3x3 256 2 Yes Leaky ReLU
Minibatch Discrimination
Dense - 1 - No Sigmoid
<표 3>을 참조하면, 판별부(200)는 7개의 콘볼루션 계층(Convolution Layer)으로 이루어져 있고, 미니 배치 판별(minibatch discrimination)을 위한 flatten 과정을 거친 후 단일 sigmoid logit을 위한 완전 연결 계층(fully connected layer)인 dense layer가 존재한다.
판별부(200)의 미니 배치 판별(minibatch discrimination) 계층에서는 하나의 영상을 보고 진위 여부를 파악하지 않고 배치 단위로 파악하는 것을 의미한다. 실제 학습 과정의 배치(batch)는 배치 단위의 확률적 경사 하강법(Stochastic Gradient Descent : SGD)을 수행하기 위한 것으로, 판별부(200)가 한 번의 포워딩(forwarding)에서 각 영상을 독립적으로 본 것의 집합이다. 따라서, 이러한 학습 방식은 생성부(100) 및 판별부(200)가 위조 영상들 간의 의존성(dependency)을 고려하지 않게 된다. 미니 배치 판별(minibatch discrimination)은 일반적으로 판별부(200)의 출력 전 계층(layer)에서 배치(batch) 단위의 위조 영상들 간의 차이 절대값인 L1-distance를 측정한다.
전술한 바와 같은 학습된 딥러닝 기반 X-선 영상에서의 뼈 감쇄 장치에 뼈가 감쇄되지 않은 X-선 영상이 입력되면, X-선 영상에서 뼈를 감쇄시킨 X-선 영상이 획득될 수 있다.
도 3은 본 발명의 실시 예에 따른 딥러닝 기반 X-선 영상에서의 뼈 감쇄 방법을 설명하기 위한 순서도이다.
도 3을 참조하면, 딥러닝 기반 X-선 영상에서의 뼈 감쇄 장치는 GAN을 통해 훈련시킬 데이터로 GAN에 입력시킬 뼈가 감쇄되지 않은 촬영 X-선 영상인 제1 원본 X-선 영상과, 라벨링(labeling)시킬 뼈가 감쇄된 촬영 X-선 영상인 제2 원본 X-선 영상을 DXR을 통해 획득한다(S310).
그런 후, 딥러닝 기반 X-선 영상에서의 뼈 감쇄 장치는 도 2의 (a)에 도시된 바와 같은 제1 원본 X-선 영상이 입력됨에 따라, 제1 원본 X-선 영상에서 뼈를 감쇄시켜, 도 2의 (c)에 도시된 바와 같은 제2 원본 X-선 영상과 가까운 도 2의 (b)에 도시된 바와 같은 위조 X선 영상을 생성한다(S320). 즉, 판별이 어려운 위조 X-선 영상을 만들기 위해 학습된다. 그런 후, 딥러닝 기반 X-선 영상에서의 뼈 감쇄 장치는 생성된 위조 X-선 영상을 저장한다(S330).
딥러닝 기반 X-선 영상에서의 뼈 감쇄 장치는 도 2의 (b)에 도시된 바와 같은 위조 X선 영상과 도 2의 (e)에 도시된 바와 같은 DXR에 의해 촬영된 X-선 영상을 비교하여 진위(Real/Fake) 여부를 판별하여 출력한다(S340). 즉, 생성한 위조 X선 영상을 올바로 된 라벨(label)로 예측하도록 재훈련된다. 이때, 딥러닝 기반 X-선 영상에서의 뼈 감쇄 장치는 저장된 적어도 하나의 과거 위조 X-선 영상을 다음 학습 과정에서도 반영하게 된다. 즉, 현재 위조 X-선 영상의 진위 여부를 판별함과 아울러 저장된 과거 위조 X-선 영상을 읽어들여 진위 여부를 판별하게 된다. 이를 통해 GAN의 생성망 및 판별망이 더 안정적으로 수렴하게 되고, 재귀 최적화(recurrent optimization)와 동일한 효과를 가지게 된다. 또한, 딥러닝 기반 X-선 영상에서의 뼈 감쇄 장치는 판별함에 있어, 미니 배치 판별(minibatch discrimination)을 수행한다. 즉, 하나의 영상을 보고 진위 여부를 파악하는 것보다 배치(batch) 단위로 복수의 영상들을 파악하는 것이다.
딥러닝 기반 X-선 영상에서의 뼈 감쇄 장치는 판별된 진위 여부에 따라 제1 원본 X-선 영상과 쌍을 이루는 뼈가 감쇄되도록 촬영된 제2 원본 X-선 영상과 위조 X-선 영상 간의 거리차를 최소화시키도록 신경망의 가중치 또는 파라미터를 갱신한다(S350).
상술한 내용을 포함하는 본 발명은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체 또는 정보저장매체에 저장되고, 컴퓨터에 의하여 판독되고 실행함으로써 본 발명의 방법을 구현할 수 있다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상 바람직한 실시예를 들어 본 발명을 상세하게 설명하였으나, 본 발명은 전술한 실시 예에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진자에 의하여 여러 가지 변형이 가능하다.

Claims (6)

  1. 듀얼 에너지 X-선 장치로 촬영된 제1 원본 X-선 영상이 입력됨에 따라 뼈를 감쇄 또는 제거된 위조 X-선 영상으로 변환하여 출력하는 신경망인 생성부와,
    생성부에 의해 생성된 적어도 하나의 위조 X-선 영상을 저장하는 히스토리 버퍼와,
    생성부로부터 출력된 위조 X-선 영상 또는 듀얼 에너지 X-선 장치로 뼈 감쇄되도록 촬영된 X-선 영상이 입력됨에 따라 진위 여부를 판별하는 신경망인 판별부와,
    판별부로부터 출력된 진위 여부에 따라 제1 원본 X-선 영상과 쌍을 이루는 뼈가 감쇄되도록 촬영된 제2 원본 X-선 영상과 위조 X-선 영상 간의 거리차를 최소화시키도록 생성부 신경망의 가중치 또는 파라미터를 갱신하는 조정부를 포함하되,
    판별부는 현재 위조 X-선 영상의 진위 여부를 판별함과 아울러 히스토리 버퍼에 저장된 과거 위조 X-선 영상을 읽어들여 진위 여부를 판별하는 딥러닝 기반 X-선 영상에서의 뼈 감쇄 장치.
  2. 삭제
  3. 제1 항에 있어서, 판별부는
    미니 배치 판별(minibatch discrimination)을 수행하는 딥러닝 기반 X-선 영상에서의 뼈 감쇄 장치.
  4. 듀얼 에너지 X-선 장치로 촬영된 제1 원본 X-선 영상이 입력됨에 따라 뼈를 감쇄 또는 제거된 위조 X-선 영상으로 변환하는 단계와,
    생성된 적어도 하나의 위조 X-선 영상을 히스토리 버퍼에 저장하는 단계와,
    위조 X-선 영상 또는 듀얼 에너지 X-선 장치로 뼈 감쇄되도록 촬영된 X-선 영상이 입력됨에 따라 진위 여부를 판별하는 단계와,
    판별된 진위 여부에 따라 제1 원본 X-선 영상과 쌍을 이루는 뼈가 감쇄되도록 촬영된 제2 원본 X-선 영상과 위조 X-선 영상 간의 거리차를 최소화하도록 신경망의 가중치 또는 파라미터를 갱신하는 단계를 포함하되,
    판별하는 단계는 현재 위조 X-선 영상의 진위 여부를 판별함과 아울러 히스토리 버퍼에 저장된 과거 위조 X-선 영상을 읽어들여 진위 여부를 판별하는 딥러닝 기반 X-선 영상에서의 뼈 감쇄 방법.
  5. 삭제
  6. 제4 항에 있어서, 판별하는 단계는
    미니 배치 판별(minibatch discrimination)을 수행하는 딥러닝 기반 X-선 영상에서의 뼈 감쇄 방법.
KR1020180071569A 2018-06-21 2018-06-21 딥러닝 기반의 x-선 영상 뼈 감쇄 장치 및 방법 KR102150478B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180071569A KR102150478B1 (ko) 2018-06-21 2018-06-21 딥러닝 기반의 x-선 영상 뼈 감쇄 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180071569A KR102150478B1 (ko) 2018-06-21 2018-06-21 딥러닝 기반의 x-선 영상 뼈 감쇄 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190143708A KR20190143708A (ko) 2019-12-31
KR102150478B1 true KR102150478B1 (ko) 2020-09-01

Family

ID=69051688

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180071569A KR102150478B1 (ko) 2018-06-21 2018-06-21 딥러닝 기반의 x-선 영상 뼈 감쇄 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102150478B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529818B (zh) * 2020-12-25 2022-03-29 万里云医疗信息科技（北京）有限公司 基于神经网络的骨影抑制方法、装置、设备及存储介质
WO2022177044A1 (ko) * 2021-02-18 2022-08-25 연세대학교 산학협력단 주목 메커니즘 기반의 멀티 스케일 조건부 적대적 생성 신경망을 활용한 고해상도 흉부 x선 영상 생성 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018511443A (ja) 2015-04-13 2018-04-26 ケース ウエスタン リザーブ ユニバーシティ 二重エネルギーｘ線冠動脈カルシウムのグレード付け
JP2018075356A (ja) 2016-11-02 2018-05-17 国立研究開発法人量子科学技術研究開発機構 Ｘ線透視装置およびｘ線透視方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018511443A (ja) 2015-04-13 2018-04-26 ケース ウエスタン リザーブ ユニバーシティ 二重エネルギーｘ線冠動脈カルシウムのグレード付け
JP2018075356A (ja) 2016-11-02 2018-05-17 国立研究開発法人量子科学技術研究開発機構 Ｘ線透視装置およびｘ線透視方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hojjat Salehinejad 외 4명, Generalization of Deep Neural Networks for Chest Pathology Classification in X-Rays Using Generative Adversarial Networks, 2018 IEEE ICASSP(2018.04.15. 공개)*
Maxim Gusarev 외 4명, Deep Learning Models for Bone Suppression in Chest Radiographs, 2017 IEEE Conference on Computational Intelligence in Bioinformatics and Computational Biology(2017.08.23. 공개)*

Also Published As

Publication number Publication date
KR20190143708A (ko) 2019-12-31

Similar Documents

Publication Publication Date Title
CN109255322B (zh) 一种人脸活体检测方法及装置
CN111753595A (zh) 活体检测方法和装置、设备和存储介质
KR102150478B1 (ko) 딥러닝 기반의 x-선 영상 뼈 감쇄 장치 및 방법
CN112668519A (zh) 基于MCCAE网络和Deep SVDD网络的异常人脸识别活体检测方法及系统
CN110674824A (zh) 基于R2U-Net的手指静脉分割方法、装置和存储介质
WO2020066257A1 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
CN112528782B (zh) 水下鱼类目标检测方法及装置
WO2012109670A1 (en) Systems, methods, and media for detecting an anatomical object in a medical device image
CN113255571B (zh) 抗jpeg压缩的伪造图像检测方法
Vaishnavi et al. Deep learning approaches for detection of covid-19 using chest x-ray images
CN116453232A (zh) 人脸活体检测方法、人脸活体检测模型的训练方法和装置
CN111612749B (zh) 基于肺部影像的病灶检测方法和装置
JPH03102477A (ja) 放射線画像処理装置
CN113033582A (zh) 模型训练方法、特征提取方法及装置
CN113887357B (zh) 一种人脸表示攻击检测方法、系统、装置及介质
KR102550338B1 (ko) 저선량 ct 영상 노이즈 저감 장치와 이를 위한 학습 장치 및 방법
KR102538209B1 (ko) 얼굴 인식을 위한 심층 소프트맥스 협업 표현 분류 장치 및 그 방법
US11875898B2 (en) Automatic condition diagnosis using an attention-guided framework
Tashk et al. A CNN Architecture for Detection and Segmentation of Colorectal Polyps from CCE Images
CN115619706A (zh) 一种基于深度学习的肺结节检测方法
KR102299360B1 (ko) 딥러닝 기반 이미지 복원을 이용한 성별 인식 장치 및 방법
CN109886916B (zh) 一种胶囊镜图像筛选方法及装置
CN114463799A (zh) 一种活体检测方法、装置及计算机可读存储介质
CN112700430A (zh) 一种基于深度学习的正畸影像图片智能识别方法
Suryawan et al. A Deep Learning Approach For COVID 19 Detection Via X-Ray Image With Image Correction Method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant