KR102454975B1 - 딥러닝 기반 고화질 엑스레이 영상 생성 방법, 장치 및 프로그램 - Google Patents

딥러닝 기반 고화질 엑스레이 영상 생성 방법, 장치 및 프로그램 Download PDF

Info

Publication number
KR102454975B1
KR102454975B1 KR1020200153324A KR20200153324A KR102454975B1 KR 102454975 B1 KR102454975 B1 KR 102454975B1 KR 1020200153324 A KR1020200153324 A KR 1020200153324A KR 20200153324 A KR20200153324 A KR 20200153324A KR 102454975 B1 KR102454975 B1 KR 102454975B1
Authority
KR
South Korea
Prior art keywords
ray image
quality
ray
network
deep learning
Prior art date
Application number
KR1020200153324A
Other languages
English (en)
Other versions
KR20220067616A (ko
Inventor
전석원
민병석
김형철
Original Assignee
(주)자비스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)자비스 filed Critical (주)자비스
Priority to KR1020200153324A priority Critical patent/KR102454975B1/ko
Priority to PCT/KR2021/016502 priority patent/WO2022108250A1/ko
Publication of KR20220067616A publication Critical patent/KR20220067616A/ko
Application granted granted Critical
Publication of KR102454975B1 publication Critical patent/KR102454975B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/083—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the radiation being X-rays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Toxicology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

딥러닝 기반 고화질 엑스레이 영상 생성 방법이 제공된다. 본 발명의 일 면에 따른 전자 장치가 수행하는 딥러닝 기반 고화질 엑스레이 영상 생성 방법은, 전자 장치가 적어도 하나의 저화질 엑스레이 영상을 상기 파라미터 모델이 적용된 딥러닝 네트워크에 입력하여, 상기 파라미터 모델이 적용된 딥러닝 네트워크를 통해 고화질 엑스레이 영상을 산출하는 단계;를 포함할 수 있다.

Description

딥러닝 기반 고화질 엑스레이 영상 생성 방법, 장치 및 프로그램{SYSTEM, METHOD AND PROGRAM FOR CREATING HIGH DEFINITION X-RAY IMAGE BASEN ON DEEP-LEARNING}
본 발명은 딥러닝 기반 고화질 엑스레이 영상 방법, 장치 및 프로그램에 관한 것으로, 보다 자세하게는 다양한 화질의 엑스레이 영상 및 고화질 엑스레이 영상을 쌍(pair)으로 학습하여 다양한 화질의 엑스레이 영상으로부터 고화질 엑스레이 영상을 생성하는 방법, 장치 및 프로그램에 관한 것이다.
품질 검사에서 활용되는 엑스레이 검사 공정은 검사의 정확도 향상을 위해 고품질의 엑스레이 영상 획득이 필요하다. 종래의 경우, 검사 대상에 대한 다수의 이미지를 얻기 위해 많은 프레임을 촬영하여 화소 단위의 평균값을 산출함으로써 화질을 개선 및 보정하는 과정을 진행하였기 때문에 검사 대상 고품질 이미지를 얻는데 많은 시간이 소요되는 문제가 있었으며, 양산 단계에서의 현실적인 문제로 인해 검사 시간을 단축하고자 할 경우에는 화질 개선을 도모하기 어려워 고품질 이미지를 획득하기 어려운 문제점이 있었다.
JP 5161845 KR 2020-0059712 US 2020-0258222
본 발명이 해결하고자 하는 과제는 다양한 화질의 엑스레이 영상을 딥러닝 네트워크에 입력하여 고화질 엑스레이 영상을 빠르게 획득하는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 전자 장치가 수행하는 딥러닝 기반 고화질 엑스레이 영상 생성 방법은, 전자 장치가 적어도 하나의 저화질 엑스레이 영상을 상기 파라미터 모델이 적용된 딥러닝 네트워크에 입력하여, 상기 파라미터 모델이 적용된 딥러닝 네트워크를 통해 고화질 엑스레이 영상을 산출하는 단계;를 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
본 발명에 따르면, 소량의 엑스레이 영상만 확보되어도 엑스레이 검사를 위한 고화질 엑스레이 영상을 손쉽게 획득할 수 있다.
또한, 본 발명에 따르면, 고화질 엑스레이 영상을 손쉽게 획득함에 따라 엑스레이 검사 공정의 효율성을 높일 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1 은 본 발명의 일 실시 예에 따른 딥러닝 기반 고화질 영상 생성 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 딥러닝 기반 고화질 영상 생성 방법을 설명하기 위한 흐름도이다.
도 3 내지 도 7은 본 발명의 일 실시 예에 따른 딥러닝 기반 고화질 영상 생성 방법을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 학습 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 'X-ray 영상'은 X-ray 튜브, X-ray 디텍터를 통해 얻어진 영상을 의미한다. 예를 들어, X-ray 영상은 2D 이미지와 연속적인 2D 이미지 집합으로부터 reconstruction(재구성)을 거친 CT 이미지, 재구성을 거친 CT 볼륨 데이터의 slice(단면) 이미지를 포함한다.
본 명세서에서 저화질 엑스레이 영상은 X-ray 촬영(노출)시간이 짧은 엑스레이 영상을 의미한다.
본 명세서에서 고화질 엑스레이 영상은 X-ray 촬영(노출)시간이 긴 영상을 의미한다.
도 1 은 본 발명의 일 실시 예에 따른 딥러닝 기반 고화질 영상 생성 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 딥러닝 기반 고화질 영상 생성 방법을 실행하는 전자 장치(100)는 제어부(110), 데이터베이스(120) 및 딥러닝 네트워크를 포함할 수 있으며, 영상 획득 장치(200)와 네트워크를 통해 연결되어 엑스레이 영상을 수신할 수 있다. 예를 들어, 영상 획득 장치(200)는 2D 디텍터(210), 3D 디텍터(220), 엑스레이 튜브(230) 및 광원을 포함할 수 있다. 2D 디텍터(210), 3D 디텍터(220) 및 엑스레이 튜브(230)는 각각 엑스레이 영상을 획득할 수 있는 장치이며 기존의 공지된 구성으로 이루어질 수 있다. 이외에도,　영상 획득 장치(200)는 이동 객체의 모션을 촬영할 수 있는 장치 및　CT　디텍터를　추가로 구비할 수 있다. 광원은 투과성 광원인 테라헤르츠일 수 있다.
일 실시 예에서, 제어부(110)는 고화질 영상을 생성하는 각종 동작을 전반적으로 제어할 수 있으며, 데이터베이스(120)는 다양한 화질의 엑스레이 영상, 고화질 엑스레이 영상 및 학습데이터셋 등을 저장할 수 있다.
일 실시 예에서,　제어부(110)는 인공 신경망 모델, SVM,　및 딥 러닝(deep learning)을 포함하는 모든 기계학습 모델의 알고리즘 및 관련 애플리케이션을 수행하는 연산 능력이 있는 하드웨어 유닛으로 구성될 수 있다.　예를 들어,　제어부(110)는 중앙 처리 장치(Central Processing Unit),　마이크로 프로세서(microprocessor)　및 그래픽 프로세서(Graphic Processing Unit)　중 적어도 하나로 구성될 수 있다.　또한,　제어부(110)는 기계 학습 모델 알고리즘 또는 애플리케이션을 저장하는 메모리를 더 포함할 수 있다.
일 실시 예에서, 전자 장치(100)는 다양한 화질의 엑스레이 영상과 고화질 엑스레이 영상을 페어(pair) 데이터로 함께 학습시켜서, 실제 검사 공정에서는 다양한 화질의 엑스레이 영상을 딥러닝 네트워크에 입력하여 고화질 엑스레이 영상을 빠르게 확보할 수 있다. 특히, 이동 객체의 경우에는 이동속도가 빠른 다양한 화질의 엑스레이 영상 및 이동속도가 느린 고화질 엑스레이 영상을 상기 방법과 동일하게 학습시켜서 고화질 엑스레이 영상을 확보할 수 있다.
한편, 다양한 화질의 엑스레이 영상은 엑스레이 촬영시간이 긴 엑스레이 영상 및 엑스레이 촬영시간이 짧은 엑스레이 영상을 포함할 수 있으며, 예를 들어, 주로 촬영시간이 짧은 엑스레이 영상을 포함할 수 있다.
구체적으로, X-RAY 영상의 특수성에 따르면, 다양한 화질의 엑스레이 영상이 합성되어 고화질 엑스레이 영상이 생성될 수 있다. 즉, 일반적인 이미지들은 다양한 화질의 이미지들을 여러 개 합성한다 하더라도 촬영시간이 길어지지 않지만, 엑스레이 영상은 다양한 화질의 이미지들이 더 많이 합성될수록 촬영시간이 길어질 수 있다. 따라서, 합성 대상이 된 다양한 화질의 이미지 N개와, N개의 합성으로 인해 생성된 고화질 이미지 1개가 서로 N:1 페어링되어 학습데이터로 구성될 수 있으며, 이를 통해 딥러닝 네트워크를 기계학습시킬 수 있다.
일 실시 예에서, 전자 장치(100)는 1개의 엑스레이 영상(엑스레이 촬영시간이 긴 엑스레이 영상 또는 촬영 시간이 짧은 엑스레이 영상)을 딥러닝 네트워크(130)에 입력하여 1개의 고화질 엑스레이 영상을 출력할 수 있으며, 또한, 이와 달리 전자 장치(100)는 M개의 엑스레이 영상(엑스레이 촬영시간이 긴 엑스레이 영상 또는 촬영시간이 짧은 엑스레이 영상 포함)을 딥러닝 네트워크(130)에 입력하여 1개의 고화질 엑스레이 영상을 출력할 수도 있다. 물론, 이 때 M개는 실제 고화질 엑스레이 영상을 합성하는데 필요한 N개보다 적어야 한다. 왜냐하면, N=M이면 기계학습하는 효과가 없기 때문이다. 여기서, N과 M은 자연수이다.
한편, 본 발명에서 딥러닝 네트워크(130)를 이용한 엑스레이 영상의 화질 개선은, 예를 들면, 2D X-ray 이미지, CT를 위한 2D 이미지 집합, recontstruction(재구성)을 거친 CT 볼륨 데이터의 slice(단면) 이미지를 대상으로 할 수 있으며, 이외에도 엑스레이 영상으로 분류될 수 있는 모든 영상을 대상으로 할 수 있다.
또한, 본 발명에서 딥러닝 네트워크(130)를 이용한 엑스레이 영상의 촬영 시간을 길게 하는 구성은 고정객체(피사체) 영상, 이동객체(피사체) 영상에 적용될 수 있다.
또한, 본 발명에서 딥러닝 네트워크(130)를 거쳐서 촬영 시간이 길어진 엑스레이 영상은 검사 장비에 적용될 수 있으며, 반도체 불량 검출, PCB 기판 불량 검출, 식품 및 제약 분야의 이물질 검출 등의 검사에 다양하게 활용될 수 있다.
예컨대,　본 발명을 통해 도출된 고화질 엑스레이 영상은　하이브리드　검사 방식에 활용될 수 있다.　하이브리드　검사 방식은　2D　불량후보를　검출하는　1단계 및　3D CT　정밀 검사를 수행하는　2단계로 이루어질 수 있다. 1단계에서는 영상 향상/이진화,　검사대상 영역 추출,　검사 특징 값 추출,　기계학습을　이용한 검사 및 불량 후보 존재 여부를 판단하는 동작들이 순차적으로 수행될 수 있다.　불량 후보가 존재할 경우, 2단계가 진행될 수 있으며, 2단계에서는　360도 영상촬영, Reconstruction,　검사대상 영역 판단 (Heuristic region searching　기법 적용), cross section　기반 불량 검사(Rule based reasoning)　및 최종 불량을 판단하는 동작들이 순차적으로 수행될 수 있다.
한편, 엑스레이 영상은 고유의 특성 상 엑스레이의 입력 프레임을 더 많이 평균화(averaging)할수록 엑스레이 촬영 시간이 길어질 수 있다. 따라서, 엑스레이 영상을 평균화하지 않은 이미지를 ‘live 이미지’ 라고 하며, 고화질 엑스레이 영상은 live 이미지를 평균화하여 얻어질 수 있고, 저화질 엑스레이 영상은 live 이미지 혹은 일정 시간 동안 동일한 피사체를 촬영한 이미지들을 평균화(averaging)한 이미지일 수 있다.
도 2는 본 발명의 일 실시 예에 따른 딥러닝 기반 고화질 영상 생성 방법을 설명하기 위한 흐름도이다. 도 3 내지 도 7은 본 발명의 일 실시 예에 따른 딥러닝 기반 고화질 영상 생성 방법을 설명하기 위한 예시도이다. 도 2의 동작들은 도 1의 전자 장치(100)를 통해 수행될 수 있다.
도 2 내지 도 7을 참조하면, 일 실시 예에서, 전자 장치(100)는 동작 21에서, 적어도 하나의 엑스레이 영상(51)을 파라미터 모델(140)이 적용된 딥러닝 네트워크(130)에 입력하여, 파라미터 모델(140)이 적용된 딥러닝 네트워크(130)를 통해 고화질 엑스레이 영상(52)을 산출할 수 있다.
예를 들어, 전자 장치(100)는 1개의 엑스레이 영상 또는 M개(M은 자연수)의 엑스레이 영상을 파라미터 모델(140)이 적용된 딥러닝 네트워크(130)에 입력하여, 파라미터 모델(140)이 적용된 딥러닝 네트워크(130)를 통해 고화질 엑스레이 영상을 산출할 수 있다. 여기서, 상기 M은 상기 N보다 작은 것을 특징으로 한다. 또한, 적어도 하나의 엑스레이 영상은 촬영시간이 짧은 엑스레이 영상 또는 촬영시간이 긴 엑스레이 영상을 포함할 수 있다.
한편, 딥러닝 네트워크(130)의 입력과 출력 영상은 SISO(Single-Input Single-Output) 또는 MISO(Multiple-Input Single-Output)으로 구성될 수 있다.
일 실시 예에서, 도 6 및 도 7에 도시된 바와 같이, 파라미터 모델(140)이 적용된 딥러닝 네트워크(130)는 슈퍼 레졸루션 네트워크(super resolution network) 및 디노이징 네트워크(denoising network)를 포함할 수 있다. 슈퍼 레졸루션 네트워크(150)는 엑스레이 촬영 시간을 길게 하기 위한 딥러닝 네트워크일 수 있고, 디노이징 네트워크(160)는 노이징 개선을 위한 딥러닝 네트워크일 수 있다.
예를 들어, 도 6에 도시된 바와 같이, 슈퍼 레졸루션 네트워크(150) 및 디노이징 네트워크(160)는 직렬로 연결될 수 있다. 구체적으로, 전자 장치(100)는 적어도 하나의 엑스레이 영상(61, Input image, Ⅰin, Win(가중치))을 슈퍼 레졸루션 네트워크(150)에 입력하여, 슈퍼 레졸루션 네트워크(150)를 통해 제1 엑스레이 영상(Image, Ⅰsr, Wsr(가중치))을 산출할 수 있고, 제1 엑스레이 영상을 디노이징 네트워크(160)에 입력하여, 디노이징 네트워크(160)를 통해 제2 엑스레이 영상(Image, Ⅰdn, Wdn(가중치))을 산출할 수 있고, 적어도 하나의 엑스레이 영상, 제1 엑스레이 영상 및 제2 엑스레이 영상을 이용하여 1개의 고화질 엑스레이 영상(62, Output image, Ⅰout)을 하기 수학식 1과 같이 산출할 수 있다.
Figure 112020122844636-pat00001
또한, 예를 들어, 도 7에 도시된 바와 같이, 슈퍼 레졸루션 네트워크(150) 및 디노이징 네트워크(160)는 병렬로 연결될 수 있다. 전자 장치(100)는 적어도 하나의 엑스레이 영상(71, Input image, Ⅰin, Win(가중치))을 슈퍼 레졸루션 네트워크(150) 및 디노이징 네트워크(160)에 각각 입력하여, 슈퍼 레졸루션 네트워크(150) 및 디노이징 네트워크(160)를 통해 각각 제1 엑스레이 영상(Image, Ⅰsr, Wsr(가중치)) 및 제2 엑스레이 영상(Image, Ⅰdn, Wdn(가중치))을 산출할 수 있고, 적어도 하나의 엑스레이 영상, 제1 엑스레이 영상 및 제2 엑스레이 영상을 이용하여 1개의 고화질 엑스레이 영상(72, Output image, Ⅰout)을 상기 수학식 1과 같이 산출할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 학습 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 일 실시 예에서, 전자 장치(100)는 동작 81에서, N개(N은 자연수)의 엑스레이 영상을 획득할 수 있다. 예를 들어, 전자 장치(100)는 영상 획득 장치(200)로부터 엑스레이 영상을 수신할 수 있다. 다양한 화질의 엑스레이 영상 또는 고화질 엑스레이 영상은 2D 이미지, 연속적인 2D 이미지 집합으로부터 재구성(reconstruction)된 CT 이미지, 상기 CT 이미지의 단면(slice) 이미지 및 동영상 중 적어도 하나를 포함할 수 있다. 예컨대, 도 3에 도시된 바와 같이, 다양한 화질(주로 저화질)의 엑스레이 영상(a) 및 고화질 엑스레이 영상(b)은 서로 화질에서 차이가 있을 수 있다.
일 실시 예에서, 전자 장치(100)는 동작 22에서, N개의 엑스레이 영상을 합성하여 1개의 고화질 엑스레이 영상을 생성할 수 있다. 예를 들어, 전자 장치(100)는 N개의 엑스레이 영상을 평균화(averaging)하거나 선명도를 높이는 후처리 작업을 하여 1개의 고화질 엑스레이 영상을 생성할 수 있다.
일 실시 예에서, 전자 장치(100)는 동작 23에서, N개의 엑스레이 영상과 고화질 엑스레이 영상을 페어링(pairing)하여 학습데이터셋을 구축할 수 있다. 따라서, 합성 대상이 된 엑스레이 영상 N개와, N개의 합성으로 인해 생성된 고화질 엑스레이 영상 1개가 서로 N:1 페어링되어 학습데이터로 구성될 수 있으며, 이를 통해 딥러닝 네트워크(130)를 기계학습시킬 수 있다.
일 실시 예에서, 전자 장치(100)는 동작 24에서, 학습데이터셋을 기반으로 딥러닝 네트워크(130)를 트레이닝하여 파라미터 모델(140)을 산출할 수 있다. 예를 들어, 도 4에 도시된 바와 같이 N개의 엑스레이 영상(41)과 1개의 고화질 엑스레이 영상(42)을 딥러닝 네트워크(130)에 입력할 수 있으며, 이때 1개의 고화질 엑스레이 영상(42)은 정답 값(ground truth) 기능을 할 수 있다. 또한, 파라미터 모델(140)은 딥러닝 네트워크(130)에 적용되는 각종 가중치를 포함할 수 있다.
예컨대,　기계학습 모델의 일 분야인 딥 러닝 네트워크는　컨볼루션　신경망 모델(Convolution Neural Network, CNN),　정류 선형 유닛(Recified　Linear Unit,　ReLU)　등과 같은 공지의 딥 러닝 기술을 포함할 수 있다.
본 발명의 일 면에 따른 전자 장치가 수행하는 딥러닝 기반 고화질 엑스레이 영상 생성 방법은, 전자 장치가 적어도 하나의 저화질 엑스레이 영상을 상기 파라미터 모델이 적용된 딥러닝 네트워크에 입력하여, 상기 파라미터 모델이 적용된 딥러닝 네트워크를 통해 고화질 엑스레이 영상을 산출하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 고화질 엑스레이 영상을 산출하는 단계는, 상기 전자 장치가 1개의 엑스레이 영상 또는 M개(M은 자연수)의 엑스레이 영상을 상기 파라미터 모델이 적용된 딥러닝 네트워크에 입력하여, 상기 파라미터 모델이 적용된 딥러닝 네트워크를 통해 고화질 엑스레이 영상을 산출하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 엑스레이 영상은 촬영시간이 짧은 엑스레이 영상 또는 촬영시간이 긴 엑스레이 영상을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 저화질 엑스레이 영상 또는 상기 고화질 엑스레이 영상은 2D 이미지, 연속적인 2D 이미지 집합으로부터 재구성(reconstruction)된 CT 이미지, 상기 CT 이미지의 단면(slice) 이미지 및 동영상 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 파라미터 모델이 적용된 딥러닝 네트워크는 슈퍼 레졸루션 네트워크(super resolution network) 및 디노이징 네트워크(denoising network)를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 고화질 엑스레이 영상을 산출하는 단계는, 상기 전자 장치가 상기 적어도 하나의 저화질 엑스레이 영상을 상기 슈퍼 레졸루션 네트워크에 입력하여, 상기 슈퍼 레졸루션 네트워크를 통해 제1 엑스레이 영상을 산출하는 단계; 상기 전자 장치가 상기 제1 엑스레이 영상을 디노이징 네트워크에 입력하여, 상기 디노이징 네트워크를 통해 제2 엑스레이 영상을 산출하는 단계; 및 상기 적어도 하나의 저화질 엑스레이 영상, 상기 제1 엑스레이 영상 및 상기 제2 엑스레이 영상을 이용하여 상기 1개의 고화질 엑스레이 영상을 산출하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 고화질 엑스레이 영상을 산출하는 단계는, 상기 전자 장치가 상기 적어도 하나의 저화질 엑스레이 영상을 상기 슈퍼 레졸루션 네트워크 및 상기 디노이징 네트워크에 각각 입력하여, 상기 슈퍼 레졸루션 네트워크 및 상기 디노이징 네트워크를 통해 각각 제1 엑스레이 영상 및 제2 엑스레이 영상을 산출하는 단계; 및 상기 적어도 하나의 저화질 엑스레이 영상, 상기 제1 엑스레이 영상 및 상기 제2 엑스레이 영상을 이용하여 상기 1개의 고화질 엑스레이 영상을 산출하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치가 N개(N은 자연수)의 엑스레이 영상을 획득하는 단계; 상기 전자 장치가 상기 N개의 엑스레이 영상을 합성하여 1개의 고화질 엑스레이 영상을 생성하는 단계; 상기 전자 장치가 상기 N개의 엑스레이 영상과 상기 고화질 엑스레이 영상을 페어링(pairing)하여 학습데이터셋을 구축하는 단계; 및 상기 전자 장치가 상기 학습데이터셋을 기반으로 딥러닝 네트워크를 트레이닝하여 파라미터 모델을 산출하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 1개의 고화질 엑스레이 영상을 생성하는 단계는, 상기 전자 장치가 상기 N개의 엑스레이 영상을 평균화(averaging)하거나 선명도를 높이는 후처리 작업을 하여 상기 1개의 고화질 엑스레이 영상을 생성하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 제어부 및 엑스레이 영상을 저장하는 데이터베이스를 포함하며 딥러닝 기반 고화질 엑스레이 영상을 생성하는 전자 장치는, 상기 제어부가 적어도 하나의 엑스레이 영상을 상기 파라미터 모델이 적용된 딥러닝 네트워크에 입력하여, 상기 파라미터 모델이 적용된 딥러닝 네트워크를 통해 고화질 엑스레이 영상을 산출할 수 있다.
딥러닝 기반 고화질 엑스레이 영상 생성 프로그램은 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 전자 장치
200 : 영상 획득 장치

Claims (10)

  1. 전자 장치가 수행하는 딥러닝 기반 고화질 엑스레이(X-ray) 영상 생성 방법에 있어서,
    전자 장치가 적어도 하나의 엑스레이 영상을 파라미터 모델이 적용된 딥러닝 네트워크에 입력하여, 상기 파라미터 모델이 적용된 딥러닝 네트워크를 통해 고화질 엑스레이 영상을 산출하는 단계;를 포함하고,
    상기 딥러닝 네트워크는, 슈퍼 레졸루션 네트워크(super resolution network) 및 디노이징 네트워크(denoising network)를 포함하며,
    상기 고화질 엑스레이 영상을 산출하는 단계는,
    상기 전자 장치가 적어도 하나의 저화질 엑스레이 영상을 상기 슈퍼 레졸루션 네트워크에 입력하여, 상기 슈퍼 레졸루션 네트워크를 통해 제1 엑스레이 영상을 산출하는 단계;
    상기 전자 장치가 상기 제1 엑스레이 영상을 상기 디노이징 네트워크에 입력하여, 상기 디노이징 네트워크를 통해 제2 엑스레이 영상을 산출하는 단계; 및
    상기 적어도 하나의 저화질 엑스레이 영상, 상기 제1 엑스레이 영상 및 상기 제2 엑스레이 영상을 이용하여 상기 고화질 엑스레이 영상을 산출하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 고화질 엑스레이 영상 생성 방법.
  2. 제1 항에 있어서, 상기 고화질 엑스레이 영상을 산출하는 단계는,
    상기 전자 장치가 1개의 엑스레이 영상 또는 M개(M은 자연수)의 엑스레이 영상을 상기 파라미터 모델이 적용된 딥러닝 네트워크에 입력하여, 상기 파라미터 모델이 적용된 딥러닝 네트워크를 통해 고화질 엑스레이 영상을 산출하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 고화질 엑스레이 영상 생성 방법.
  3. 제1 항에 있어서, 상기 저화질 엑스레이 영상은, 상기 고화질 엑스레이 영상보다 촬영시간이 짧은 것을 특징으로 하는 딥러닝 기반 고화질 엑스레이 영상 생성 방법.
  4. 제1 항에 있어서, 상기 저화질 엑스레이 영상 또는 상기 고화질 엑스레이 영상은, 2D 이미지, 연속적인 2D 이미지 집합으로부터 재구성(reconstruction)된 CT 이미지, 상기 CT 이미지의 단면(slice) 이미지 및 동영상 중 적어도 하나를 포함하는 것을 특징으로 하는 딥러닝 기반 고화질 엑스레이 영상 생성 방법.
  5. 삭제
  6. 삭제
  7. 전자 장치가 수행하는 딥러닝 기반 고화질 엑스레이(X-ray) 영상 생성 방법에 있어서,
    전자 장치가 적어도 하나의 엑스레이 영상을 파라미터 모델이 적용된 딥러닝 네트워크에 입력하여, 상기 파라미터 모델이 적용된 딥러닝 네트워크를 통해 고화질 엑스레이 영상을 산출하는 단계;를 포함하고,
    상기 딥러닝 네트워크는, 슈퍼 레졸루션 네트워크(super resolution network) 및 디노이징 네트워크(denoising network)를 포함하며,
    상기 고화질 엑스레이 영상을 산출하는 단계는,
    상기 전자 장치가 적어도 하나의 저화질 엑스레이 영상을 상기 슈퍼 레졸루션 네트워크 및 상기 디노이징 네트워크에 각각 입력하여, 상기 슈퍼 레졸루션 네트워크 및 상기 디노이징 네트워크를 통해 각각 제1 엑스레이 영상 및 제2 엑스레이 영상을 산출하는 단계; 및
    상기 적어도 하나의 저화질 엑스레이 영상, 상기 제1 엑스레이 영상 및 상기 제2 엑스레이 영상을 이용하여 상기 고화질 엑스레이 영상을 산출하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 고화질 엑스레이 영상 생성 방법.
  8. 전자 장치가 수행하는 딥러닝 기반 고화질 엑스레이(X-ray) 영상 생성 방법에 있어서,
    상기 전자 장치가 N개(N은 자연수)의 엑스레이 영상을 획득하는 단계;
    상기 전자 장치가 상기 N개의 엑스레이 영상을 합성하여 1개의 고화질 엑스레이 영상을 생성하는 단계;
    상기 전자 장치가 상기 N개의 엑스레이 영상과 상기 고화질 엑스레이 영상을 페어링(pairing)하여 학습데이터셋을 구축하는 단계; 및
    상기 전자 장치가 상기 학습데이터셋을 기반으로 딥러닝 네트워크를 트레이닝하여 파라미터 모델을 산출하는 단계;를 포함하고,
    상기 1개의 고화질 엑스레이 영상을 생성하는 단계는,
    상기 전자 장치가 상기 N개의 엑스레이 영상을 평균화(averaging)하거나 선명도를 높이는 후처리 작업을 하여 상기 1개의 고화질 엑스레이 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 고화질 엑스레이 영상 생성 방법.
  9. 엑스레이 영상을 저장한 데이터베이스; 및
    적어도 하나의 엑스레이 영상을 파라미터 모델이 적용된 딥러닝 네트워크에 입력하여, 상기 파라미터 모델이 적용된 딥러닝 네트워크를 통해 고화질 엑스레이 영상을 산출하는 제어부;를 포함하고,
    상기 딥러닝 네트워크는, 슈퍼 레졸루션 네트워크(super resolution network) 및 디노이징 네트워크(denoising network)를 포함하며,
    상기 제어부는,
    적어도 하나의 저화질 엑스레이 영상을 상기 슈퍼 레졸루션 네트워크에 입력하여, 상기 슈퍼 레졸루션 네트워크를 통해 제1 엑스레이 영상을 산출하고,
    상기 제1 엑스레이 영상을 상기 디노이징 네트워크에 입력하여, 상기 디노이징 네트워크를 통해 제2 엑스레이 영상을 산출하며,
    상기 적어도 하나의 저화질 엑스레이 영상, 상기 제1 엑스레이 영상 및 상기 제2 엑스레이 영상을 이용하여 상기 고화질 엑스레이 영상을 산출하는 것을 특징으로 하는 딥러닝 기반 고화질 엑스레이 영상을 생성하는 전자 장치.
  10. 엑스레이 영상을 저장한 데이터베이스; 및
    N개(N은 자연수)의 엑스레이 영상을 획득하고,
    상기 N개의 엑스레이 영상을 합성하여 1개의 고화질 엑스레이 영상을 생성하고,
    상기 N개의 엑스레이 영상과 상기 고화질 엑스레이 영상을 페어링(pairing)하여 학습데이터셋을 구축하며,
    상기 학습데이터셋을 기반으로 딥러닝 네트워크를 트레이닝하여 파라미터 모델을 산출하는 제어부;를 포함하고,
    상기 제어부는,
    상기 1개의 고화질 엑스레이 영상을 생성 시에, 상기 N개의 엑스레이 영상을 평균화(averaging)하거나 선명도를 높이는 후처리 작업을 하여 상기 1개의 고화질 엑스레이 영상을 생성하는 것을 특징으로 하는 딥러닝 기반 고화질 엑스레이 영상 생성 장치.
KR1020200153324A 2020-11-17 2020-11-17 딥러닝 기반 고화질 엑스레이 영상 생성 방법, 장치 및 프로그램 KR102454975B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200153324A KR102454975B1 (ko) 2020-11-17 2020-11-17 딥러닝 기반 고화질 엑스레이 영상 생성 방법, 장치 및 프로그램
PCT/KR2021/016502 WO2022108250A1 (ko) 2020-11-17 2021-11-12 딥러닝 기반 고화질 엑스레이 영상 생성 방법, 장치 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200153324A KR102454975B1 (ko) 2020-11-17 2020-11-17 딥러닝 기반 고화질 엑스레이 영상 생성 방법, 장치 및 프로그램

Publications (2)

Publication Number Publication Date
KR20220067616A KR20220067616A (ko) 2022-05-25
KR102454975B1 true KR102454975B1 (ko) 2022-10-18

Family

ID=81709348

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200153324A KR102454975B1 (ko) 2020-11-17 2020-11-17 딥러닝 기반 고화질 엑스레이 영상 생성 방법, 장치 및 프로그램

Country Status (2)

Country Link
KR (1) KR102454975B1 (ko)
WO (1) WO2022108250A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020141908A (ja) 2019-03-07 2020-09-10 株式会社日立製作所 医用撮像装置、医用画像処理装置、医用画像処理プログラム、及び、機械学習モデル

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101132536B1 (ko) * 2008-12-02 2012-04-02 삼성메디슨 주식회사 영상 정합을 수행하는 시스템 및 방법
JP5161845B2 (ja) 2009-07-31 2013-03-13 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
KR20190139580A (ko) * 2018-06-08 2019-12-18 연세대학교 산학협력단 딥러닝을 이용한 고화질 심장 영상 생성장치 및 그 방법
KR102182048B1 (ko) 2018-11-21 2020-11-23 이희신 엑스선 영상 산란 보정 시스템 및 방법
EP3692918B1 (de) 2019-02-08 2021-05-19 Siemens Healthcare GmbH Lernbasierte korrektur von rasterartefakten in der röntgenbildgebung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020141908A (ja) 2019-03-07 2020-09-10 株式会社日立製作所 医用撮像装置、医用画像処理装置、医用画像処理プログラム、及び、機械学習モデル

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kibok Nam 등, Image Quality Evaluation in Computed Tomography Using Super-resolution Convolutional Neural Network, Journal of the Korean Society of Radiology, Vol.14, No.3, pp211-214, 2020.06.*

Also Published As

Publication number Publication date
KR20220067616A (ko) 2022-05-25
WO2022108250A1 (ko) 2022-05-27

Similar Documents

Publication Publication Date Title
JP7422825B2 (ja) 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測
JP6853273B2 (ja) ニューラルネットワークと順物理モデルを半導体用途に組み込んだシステムおよび方法
US9916666B2 (en) Image processing apparatus for identifying whether or not microstructure in set examination region is abnormal, image processing method, and computer-readable recording device
JP2018533748A (ja) 単一画像検出
Ye et al. Deep residual learning for model-based iterative ct reconstruction using plug-and-play framework
Fantini et al. Automatic detection of motion artifacts on MRI using Deep CNN
JP5416377B2 (ja) 画像処理装置及びそれを備えたｘ線異物検出装置並びに画像処理方法
CN111462020A (zh) 心脏图像的运动伪影校正方法、系统、存储介质和设备
Han et al. Low‐dose CT denoising via convolutional neural network with an observer loss function
JP2023515367A (ja) モデルへの入力インスタンスの分布外検出
Bellens et al. Evaluating conventional and deep learning segmentation for fast X-ray CT porosity measurements of polymer laser sintered AM parts
Elss et al. Deep-learning-based CT motion artifact recognition in coronary arteries
KR102454975B1 (ko) 딥러닝 기반 고화질 엑스레이 영상 생성 방법, 장치 및 프로그램
US11257255B2 (en) Domain matching methods for transportable imaging applications
KR20200015804A (ko) 반도체 응용들을 위한 저해상도 이미지들로부터 고해상도 이미지들의 생성
CN108618797A (zh) 光谱ct图像数据的对比度增强再现
CN116342414A (zh) 基于相似块学习的ct图像降噪方法及系统
Yu et al. Large-factor Micro-CT super-resolution of bone microstructure
EP2693397B1 (en) Method and apparatus for noise reduction in an imaging system
Haque et al. Noise2Quality: non-reference, pixel-wise assessment of low dose CT image quality
CN115482223A (zh) 图像处理方法、装置、存储介质及电子设备
JP2014171487A (ja) 体動表示装置および方法
Aslan et al. Distributed optimization with tunable learned priors for robust ptycho-tomography
Fang et al. Application of Mask R-CNN for lab-based X-ray diffraction contrast tomography
CN114596247A (zh) 血管检测装置和基于图像的血管检测方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant