KR102477632B1 - 적대적 생성 신경망을 이용한 영상 학습 장치 및 방법 - Google Patents

적대적 생성 신경망을 이용한 영상 학습 장치 및 방법 Download PDF

Info

Publication number
KR102477632B1
KR102477632B1 KR1020210155888A KR20210155888A KR102477632B1 KR 102477632 B1 KR102477632 B1 KR 102477632B1 KR 1020210155888 A KR1020210155888 A KR 1020210155888A KR 20210155888 A KR20210155888 A KR 20210155888A KR 102477632 B1 KR102477632 B1 KR 102477632B1
Authority
KR
South Korea
Prior art keywords
neural network
image
domain
loss
discriminator
Prior art date
Application number
KR1020210155888A
Other languages
English (en)
Inventor
박건영
Original Assignee
프로메디우스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프로메디우스 주식회사 filed Critical 프로메디우스 주식회사
Priority to KR1020210155888A priority Critical patent/KR102477632B1/ko
Priority to PCT/KR2022/095053 priority patent/WO2023085910A1/ko
Priority to US17/705,937 priority patent/US20230154165A1/en
Application granted granted Critical
Publication of KR102477632B1 publication Critical patent/KR102477632B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

일 실시예에 따른 적대적 생성 신경망을 이용한 영상 학습 장치가 수행하는 영상 학습 방법은, 판별자 신경망의 손실이 최대화 되도록 훈련하는 매핑 신경망에 특정 구조적 정보를 갖는 소스 도메인 영상 및 레퍼런스 도메인 영상을 입력하여, 상기 매핑 신경망의 출력으로서 목표 레퍼런스 데이터셋의 영상 특징 벡터를 획득해 생성자 신경망에 제공하는 단계와, 판별자 신경망의 손실이 최대화 되도록 훈련하고, 상기 영상 특징 벡터를 이용하여 영상 변환을 수행하는 생성자 신경망에 타깃 도메인 벡터를 제공하여, 상기 판별자 신경망의 출력으로서 구조적 정보가 상이한 도메인 변환 영상을 획득하는 단계와, 상기 도메인 변환 영상에 대한 원본 이미지의 레이블 지도 기반 데이터 랜덤 분할 증강을 통해 무작위적으로 특정 영역이 강조된 도메인 변환 영상을 획득하는 단계와, 상기 판별자 신경망의 손실이 최소화 되도록 훈련하고, 입력 영상에 대하여 상기 생성자 신경망에 의해 생성된 도메인과 상기 타깃 도메인 중 어느 하나로 판별하는 상기 판별자 신경망에 상기 특정 영역이 강조된 도메인 변환 영상을 상기 입력 영상으로서 제공하여, 상기 판별자 신경망의 손실을 상기 매핑 신경망 및 상기 생성자 신경망에 역전파하는 단계를 포함한다.

Description

적대적 생성 신경망을 이용한 영상 학습 장치 및 방법{METHOD AND APPARATUS FOR TRAINING IMAGE USING GENERATIVE ADVERSARIAL NETWORK}
본 발명은 적대적 생성 신경망을 이용하여 영상을 학습하는 장치와 이러한 영상 학습 장치가 수행하는 영상 학습 방법에 관한 것이다.
방사선 의료영상은 방사선을 이용하여 대상자의 신체 내부 구조에 대한 정보를 포함하도록 획득한 영상을 일컫는다. 이러한 방사선 의료영상을 획득하기 위해 이용되는 의료영상 장치는 비침습 검사 장치로서, 신체 내의 구조적 세부사항, 내부 조직 및 유체의 흐름 등을 촬영 및 처리하여 사용자에게 보여준다. 예를 들어, 방사선 의료영상 장치로는 대상체로 엑스(X)선을 조사하고 대상체를 통과한 X선을 감지하여 영상을 이미징하는 X레이(X-ray) 촬영 장치, 전산화 단층 촬영(CT: Computed Tomography) 장치 등이 있다.
최근에는 딥러닝 기술을 기반으로 인공 지능을 활용하여 방사선 의료영상을 분석해 질병을 확인 및 예측하는 의료 진단방법이 발전하고 있다. 전 세계적으로 원격 의료 시장이 커지며 비대면 진료 관련 필요성이 제기됨에 따라 이러한 인공 지능의 방사선 의료영상 적용 수요가 증가하고 있는 것이다.
그런데, 방사선 의료영상은 촬영을 수행하는 병원 등의 기관마다 촬영 장치나 촬영에 관련된 세부 환경이 다르기 때문에 그 품질이 달라질 수 있다. 이때 딥러닝 학습과 같은 머신 러닝 방식은 단일 데이터 도메인(domain)에 한정되어 있기 때문에, 특정 방사선 의료영상 데이터셋 조합을 통해 학습시킨 모델은 곧 과적합(overfitting)되어, 품질의 차이가 나는 타 기관의 방사선 의료영상 데이터셋에 임상적으로 활용하기 어려울 수 있는 문제가 있다.
한편, 이러한 문제를 해결하기 위해 여러 추가 방사선 의료영상 데이터셋을 학습시키는 방안을 고려해 볼 수 있으나, 그 과정에서 영상의 해상도 및 품질 분산으로 인해 모델의 성능 확보가 어려울 수 있으며, 입력될 가능성이 있는 모든 방사선 의료영상 데이터셋을 확보하기에는 막대한 비용이 발생한다. 또한 각 방사선 의료영상 데이터셋 별로 인공지능 모델을 학습시키는 방안의 경우, 모든 모델의 충분한 성능 확보를 위해 각 기관 별로 대규모 데이터셋을 필요로 하므로 현실적인 적용 가능성이 떨어진다.
또한, 위와 같은 문제를 해결하기 위해 각 영상 데이터셋의 화소 강도 및 해상도 분포를 표준화하는 전통적인 영상 처리 기법들(예컨대, 히스토그램 매칭(histogram matching), 픽셀 정규화(pixel normalization) 등)의 사용을 고려할 수도 있다. 그러나 해당 기법들의 경우 사용자가 직접 표준화에 필요한 변수 등을 튜닝(hand-tuning)해야 하며, 데이터셋의 세부적인 특성을 활용하기 어려워 최적의 성능을 보장하기 어렵다.
한국공개특허 제10-2021-0081805호, 공개일자 2021년 7월 2일.
실시예에 따르면, 방사선 의료영상뿐만 아니라 각종 영상을 적대적 생성 신경망을 이용해 학습을 수행함에 있어서 구조적 정보를 유지하는 방향으로 학습하는 영상 학습 장치 및 방법을 제공함으로써, 다양한 품질을 갖는 영상들에 대한 학습에 적용할 수 있고, 전체적인 촬영 및 관심 영역이 상이한 데이터셋의 표준화에도 적용할 수 있도록 한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
제 1 관점에 따른 적대적 생성 신경망을 이용한 영상 학습 장치가 수행하는 영상 학습 방법은, 판별자 신경망의 손실이 최대화 되도록 훈련하는 매핑 신경망에 특정 구조적 정보를 갖는 소스 도메인 영상 및 레퍼런스 도메인 영상을 입력하여, 상기 매핑 신경망의 출력으로서 목표 레퍼런스 데이터셋의 영상 특징 벡터를 획득해 생성자 신경망에 제공하는 단계와, 판별자 신경망의 손실이 최대화 되도록 훈련하고, 상기 영상 특징 벡터를 이용하여 영상 변환을 수행하는 생성자 신경망에 타깃 도메인 벡터를 제공하여, 상기 판별자 신경망의 출력으로서 구조적 정보가 상이한 도메인 변환 영상을 획득하는 단계와, 상기 도메인 변환 영상에 대한 원본 이미지의 레이블 지도 기반 데이터 랜덤 분할 증강을 통해 무작위적으로 특정 영역이 강조된 도메인 변환 영상을 획득하는 단계와, 상기 판별자 신경망의 손실이 최소화 되도록 훈련하고, 입력 영상에 대하여 상기 생성자 신경망에 의해 생성된 도메인과 상기 타깃 도메인 중 어느 하나로 판별하는 상기 판별자 신경망에 상기 특정 영역이 강조된 도메인 변환 영상을 상기 입력 영상으로서 제공하여, 상기 판별자 신경망의 손실을 상기 매핑 신경망 및 상기 생성자 신경망에 역전파하는 단계를 포함한다.
제 2 관점에 따른 적대적 생성 신경망을 이용한 영상 학습 장치는, 판별자 신경망의 손실이 최대화 되도록 훈련하고, 특정 구조적 정보를 갖는 소스 도메인 영상 및 레퍼런스 도메인 영상이 입력되면 목표 레퍼런스 데이터셋의 영상 특징 벡터를 획득해 생성자 신경망에 제공하는 매핑 신경망과, 상기 판별자 신경망의 손실이 최대화 되도록 훈련하고, 상기 영상 특징 벡터를 이용하여 영상 변환을 수행하며, 상기 타깃 도메인 벡터가 입력되면 구조적 정보가 상이한 도메인 변환 영상을 출력하는 상기 생성자 신경망과, 상기 도메인 변환 영상에 대한 원본 이미지의 레이블 지도 기반 데이터 랜덤 분할 증강을 통해 무작위적으로 특정 영역이 강조된 도메인 변환 영상을 출력하는 분할 증강부와, 상기 판별자 신경망의 손실이 최소화 되도록 훈련하고, 상기 특정 영역이 강조된 도메인 변환 영상이 입력되면 상기 생성자 신경망에 의해 생성된 도메인과 상기 타깃 도메인 중 어느 하나로 판별하며, 상기 판별자 신경망의 손실을 상기 매핑 신경망 및 상기 생성자 신경망에 역전파하는 상기 판별자 신경망을 포함한다.
제 3 관점에 따라 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체는, 상기 컴퓨터 프로그램이, 프로세서에 의해 실행되면, 상기 영상 학습 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
제 4 관점에 따라 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터프로그램은, 프로세서에 의해 실행되면, 상기 영상 학습 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
일 실시예에 따르면, 방사선 의료영상뿐만 아니라 각종 영상을 적대적 생성 신경망을 이용해 학습을 수행함에 있어서 구조적 정보를 유지하는 방향으로 학습한다. 이러한 본 발명은 원본 영상 대비 생성 영상의 구조적 정보가 손실되는 것을 방지하며, 해상도, 잡음 정도, 대비 등의 영상 품질을 목표 레퍼런스 데이터셋의 수준으로 향상시킨다. 이러한 본 발명을 영상 표준화에 이용할 경우에 서로 다른 기관에서 촬영된 방사선 의료영상은 물론이고 다양한 품질을 갖는 임의 개수의 영상 데이터셋을 범용적으로 표준화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 적대적 생성 신경망을 이용한 영상 학습 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 적대적 생성 신경망을 이용한 영상 학습 장치가 수행하는 영상 학습 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 레이블 지도 기반 데이터 랜덤 분할 증강 기술을 방사선 의료영상 중 전산화 단층 촬영에 적용한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 영상 학습 방법을 방사선 의료영상 중 전산화 단층 촬영에 적용하였을 때와 다른 영상 표준화 기술의 성능을 비교한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 '부'라는 용어는 소프트웨어 또는 FPGA나 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
본 발명에서, 여러 기관에서 촬영된 방사선 의료영상 등과 같이 다양한 품질을 갖는 임의 개수의 영상 데이터셋을 표준화함에 있어서 적대적 생성 신경망(GAN, generative adversarial network) 손실에 기반한 표준화를 고려해 볼 수 있다. 주어진 데이터셋을 기반으로 생성한 영상의 분포가 실제 목표 레퍼런스 영상 데이터셋의 분포와 일치하도록 모델을 학습시키는 것이다. 그런데, 일반적인 적대적 생성 신경망을 이용할 경우에는 데이터셋들의 국부적인 해상도, 잡음 정보, 대비 등을 줄여나가는 데에 특화되어 있어, 전체적인 촬영 및 관심 영역(ROI, region of interest)이 상이한 데이터셋의 표준화에 적용이 불가능하다. 예를 들어, 방사선 의료영상의 경우에, 실제 임상 상황에서는 환자의 특성, 촬영 목적 및 방사선 촬영장치 세부 프로토콜의 편차로 인해 데이터셋 간의 위상, 관심 영역 및 시야각(FOV, field of view)에 명확한 차이가 존재하며, 이로 인해 비슷한 영역을 촬영한 경우에도 영상의 구조적 정보가 현저히 다르다. 이때 적대적 생성 신경망 기반 방안을 그대로 적용할 경우, 주어진 원본 데이터셋을 기반으로 생성한 영상의 좌표 위상 정보가 목표 레퍼런스 영상 데이터셋의 그것과 확연하게 차이가 나는 데도 불구하고 두 영상의 분포를 강제로 일치시키기 때문에 생성 영상이 원본 영상의 구조적 정보를 완전히 잃어버릴 수 있다. 따라서 적대적 생성 신경망 기반 방안을 그대로 적용하는 방안은 관심 영역 및 그에 따른 구조적 정보가 크게 차이가 나지 않는 데이터셋에 한정적으로 적용 가능하다는 점에 있어서 임상 활용시 명확한 제약이 존재한다.
이에, 본 발명의 일 실시예에서는 방사선 의료영상뿐만 아니라 각종 영상을 적대적 생성 신경망을 이용해 학습을 수행함에 있어서 구조적 정보를 유지하는 방향으로 학습하는 영상 학습 장치 및 방법을 제공하고자 한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
본 명세서에서 '영상'은 이산적인 이미지 요소들(예를 들어, 2차원 이미지에 있어서의 픽셀들 및 3차원 이미지에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다.
도 1은 일 실시예에 따른 적대적 생성 신경망을 이용한 영상 학습 장치(100)의 구성을 도시하고 있으며, 다만 도 1에 도시된 것은 예시적인 것에 불과하다. 이러한 영상 학습 장치(100)는 PC나 서버 등에서 구현되거나 이를 포함할 수 있다.
도 1을 참조하면, 적대적 생성 신경망을 이용한 영상 학습 장치(100)는 매핑 신경망(110), 생성자 신경망(120), 분할 증강부(130) 및 판별자 신경망(140)을 포함한다.
매핑 신경망(110)은 판별자 신경망(140)의 손실이 최대화 되도록 훈련하고, 특정 구조적 정보를 갖는 소스 도메인 영상 및 레퍼런스 도메인 영상이 입력되면 목표 레퍼런스 데이터셋의 영상 특징 벡터를 획득해 생성자 신경망(120)에 제공한다. 이러한 매핑 신경망(110)은 분할 증강부(130)에 의해 특정 영역이 강조된 도메인 변환 영상이 판별자 신경망(140)에 의해 타깃 도메인으로 판별되도록 학습될 수 있다.
생성자 신경망(120)은 판별자 신경망(140)의 손실이 최대화 되도록 훈련하고, 목표 레퍼런스 데이터셋의 영상 특징 벡터를 이용하여 영상 변환을 수행하며, 타깃 도메인 벡터가 입력되면 구조적 정보가 상이한 도메인 변환 영상을 출력한다. 이러한 생성자 신경망(120)의 사이클 손실(cyclic loss)은 서로 반대되는 특징 벡터에 의한 매핑 함수가 역의 관계를 형성하도록 유도할 수 있다.
분할 증강부(130)는 도메인 변환 영상에 대한 원본 이미지의 레이블 지도 기반 데이터 랜덤 분할 증강을 통해 무작위적으로 특정 영역이 강조된 도메인 변환 영상을 출력한다. 여기서, 레이블 지도 기반 데이터 랜덤 분할 증강에 의한 의미론적 분할 손실(semantic segmentation loss)을 매핑 신경망(110) 및 생성자 신경망(120)에 역전파할 수 있고, 매핑 신경망(110) 및 생성자 신경망(120)은 특정 영역이 강조된 도메인 변환 영상과 원본 이미지의 레이블 지도 간의 다이스 손실(dice loss)을 추종하여 학습될 수 있다.
판별자 신경망(140)은 자신의 손실이 최소화 되도록 훈련하고, 특정 영역이 강조된 도메인 변환 영상이 입력되면 생성자 신경망(120)에 의해 생성된 도메인과 타깃 도메인 중 어느 하나로 판별하며, 자신의 손실을 매핑 신경망(110) 및 생성자 신경망(120)에 역전파한다. 이러한 판별자 신경망(140)의 손실은 적대 손실(adversarial loss)과 도메인 분류 손실(domain classification loss)을 포함할 수 있다. 그리고, 판별자 신경망(140)은 분할 증강부(130)에 의해 특정 영역이 강조된 도메인 변환 영상이 판별자 신경망(140)이 생성자 신경망(120)에 의해 생성된 도메인으로 판별하도록 학습될 수 있다.
도 2는 본 발명의 일 실시예에 따른 적대적 생성 신경망을 이용한 영상 학습 장치(100)가 수행하는 영상 학습 방법을 설명하기 위한 흐름도이고, 도 3은 본 발명의 일 실시예에 따른 레이블 지도 기반 데이터 랜덤 분할 증강 기술을 방사선 의료영상 중 전산화 단층 촬영에 적용한 예시도이며, 도 4는 본 발명의 일 실시예에 따른 영상 학습 방법을 방사선 의료영상 중 전산화 단층 촬영에 적용하였을 때와 다른 영상 표준화 기술의 성능을 비교한 예시도이다.
이하, 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 적대적 생성 신경망을 이용한 영상 학습 장치(100)가 수행하는 영상 학습 방법에 대해 자세히 살펴보기로 한다.
앞서 살펴본 바와 같이 일반적인 적대적 생성 신경망 기반 방안을 다양한 품질을 갖는 영상들에 대한 학습이나 전체적인 촬영 및 관심 영역이 상이한 데이터셋의 표준화에 적용할 경우, 데이터셋 간의 구조적 정보 차이 역시 표준화 대상으로 오인하여 원본 영상에서 임상학적으로 유의미한 중요 구조 정보를 손상시킬 수 있다. 하지만, 본 발명의 실시예에 의하면, 레이블 지도 기반 데이터 랜덤 분할 증강 적용 및 의미론적 분할 손실 도입 등을 기반으로 구조적 정보 차이를 중요 신호로서 보존한다.
먼저, 매핑 신경망(110)을 통해 목표 레퍼런스 데이터셋의 영상 특징 벡터(style vector)를 추출하고, 추출된 영상 특징 벡터를 생성자 신경망(120)에 제공하여 생성자 신경망(120) 내의 디코더에 이식한다(S210).
두 도메인을 A, B라 정의할 때, 한 도메인의 영상을 다른 도메인으로 변환하는 생성자 신경망(102) G에 대하여 학습(G: (x, v') -> x')을 수행한다. 이때 x는 원본 영상으로 주로 목표 레퍼런스 도메인을 제외한 불특정 다수의 도메인 집합에 해당되나 이에 한정되지 않으며, v'는 타깃 도메인의 특징 벡터로 주로 목표 레퍼런스 도메인의 벡터를 의미한다. x'은 변환된 영상을 의미한다. 가령 A의 영상 x_A를 B의 특징 벡터 v_B를 통해 변환할 경우, 출력 영상은 x'_B이라 정의할 수 있다.
이러한 생성자 신경망(120)의 학습 과정은 측정된 입력 영상과 생성자 신경망(120)의 합성 영상을 구별하는 판별자 신경망(140) D에 대한 학습 과정을 포함한다.
일반적인 적대적 생성 신경망 기반 방안에 따르면, 생성자 신경망(G)과 판별자 신경망(D), 매핑 신경망(F)는 수학식 1과 같은 최소-최대 문제를 해결함으로써 학습될 수 있다.
[수학식 1]
Figure 112021130888364-pat00001
수학식 1에서 생성자 신경망(G)과 매핑 신경망(F)은 주어진 입력 영상을 변환하여 출력한 영상이 실제 타깃(주로 목표 레퍼런스) 도메인의 영상과 유사하도록 학습되는 반면, 판별자 신경망(D)의 경우 실제 타깃 도메인의 영상과 생성 영상을 구별하는 방향으로 학습된다.
이때 일반적인 적대 손실을 그대로 사용할 경우 최소-최대 문제의 특성상 학습 과정이 불안정하므로, 본 발명의 일 실시예에서는 위와 같은 최대우도 방법 기반 로그 우도(log-likelihood) 손실을 WGAN-GP(wasserstein GAN-gradient penalty)의 손실 함수로 대체한다.
적대 손실은 생성 신경망(120)이 주어진 입력 영상을 기반으로 사실적인 영상을 출력하여 궁극적으로 학습된 판별자 신경망(140)을 속일 수 있도록 유도한다. 그러나, 영상 표준화의 목표는 생성자 신경망(120)의 출력 영상이 사실적인 것을 넘어, 목표 레퍼런스 도메인의 실제 영상과 목표 레퍼런스 도메인의 품질을 모사하여 출력된 생성 영상의 구분이 어렵도록 만드는 것이다. 이를 위해 판별자 신경망(140)에 별도의 도메인 분류기를 포함시켜 도메인 분류 손실을 수학식 2와 같이 정의한다.
[수학식 2]
Figure 112021130888364-pat00002
Figure 112021130888364-pat00003
수학식 2에서 생성자 신경망(120)과 매핑 신경망(110)은 주어진 입력 영상을 변환하여 출력한 영상의 도메인이 원본 도메인이 아닌 타깃 도메인으로 분류되도록 학습되는 반면, 판별자 신경망(140)의 경우 각 영상의 도메인을 올바르게 구별하는 방향으로 학습된다. 이때, 학습된 생성자 신경망(120)과 매핑 신경망(110)을 실제 임상 단계에서 활용할 경우 입력 영상은 항상 목표 레퍼런스 도메인으로 변환 및 표준화된다.
도메인 분류 손실은 생성자 신경망(120)의 출력 영상이 사실적일 뿐만 아니라 타깃 도메인(궁극적으로는 목표 레퍼런스 도메인)의 영상과 유사하도록 유도한다. 그러나, 영상 변환에 대한 적대적 생성 신경망의 한계 중 하나는 학습 과정에서 최소-최대 문제의 특성상 모드 붕괴(mode collapsing)가 일어나, 모든 출력 영상이 몇몇 특정 영상으로 수렴하는 문제가 발생할 수 있다는 것이다. 즉 입력에 상관 없이 모든 출력 영상이 판별자 신경망(140)을 속일 수 있을 만큼 충분히 사실적이며 목표 도메인의 영상과 유사한 하나의 단일 영상으로 통일될 경우, 생성자 신경망(120)은 적대 손실 및 도메인 분류 손실을 최적화할 수 있어 이에 대한 방지책이 필요하다. 이에 본 발명에서는 입력 영상과 출력 영상을 일대일로 대응시키고 모드 붕괴 현상을 방지하기 위해서, 사이클 손실(cyclic loss)을 수학식 3과 같이 정의한다.
[수학식 3]
Figure 112021130888364-pat00004
여기서, || ||는 l1-놈(norm)을 의미한다.
사이클 손실은 서로 반대되는 특징 벡터에 의한 매핑 함수가 역의 관계를 형성하도록 유도한다. 이러한 손실의 도입은 곧 입력 영상과 무관한 영상이 출력되지 않도록 생성자 신경망(120)을 정규화하는 역할을 한다. 그러나, 상기한 바와 같이 임상적으로 데이터셋 간의 구조적 정보 차이가 존재하는 경우 모드 붕괴와 같은 문제가 여전히 발생할 수 있다. 특정 도메인 영상을 목표 레퍼런스 도메인의 영상으로 변환할 때, 데이터셋 간의 구조적 정보 차이가 클 경우 판별자 신경망(140)은 이를 감지하여 쉽게 입력 영상의 도메인을 파악할 수 있고, 따라서 생성자 신경망(120)이 판별자 신경망(140)을 속이기 위해서는 불가피하게 데이터셋의 구조적 정보가 손상된 영상을 출력해야 한다.
본 발명의 실시예에 따르면 이러한 문제를 해결하기 위해서, 목표 레퍼런스 데이터셋의 영상 특징 벡터가 이식된 생성자 신경망(120)을 통해 타깃 도메인 벡터에 대하여 구조적 정보가 상이한 도메인 변환 영상을 획득한 후(S220), 분할 증강부(130)가 판별자 신경망(140)의 입력 영상에 레이블 지도 기반 데이터 랜덤 분할 증강 기술을 적용함으로써, 판별자 신경망(140)이 구조적 정보 변화가 아닌 국부적인 해상도, 잡음 정도, 대비 등의 영상 화질 특성에 집중하도록 유도한다(S230). 도 2는 판별자의 실제 입력 영상 및 생성 입력 영상에 분할 증강 기술을 도입한 예시도이다. 영상 전반에 걸쳐 랜덤 분할 증강을 적용할 경우, 증강된 영상은 무작위적으로 특정 영역을 강조한다. 이로 인해 증강 영상에 대한 판별자 신경망(140)의 잠재 표상(latent representations)은 원본 영상의 전체 구조적 정보보다 상대적으로 신뢰도(reliability)가 높은 영상의 국부적인 품질에 대한 정보를 더 높은 비중으로 포함한다. 따라서 생성자 신경망(120)은 판별자 신경망(140)을 속이는 과정에서, 원본 영상의 구조적 특성은 그대로 유지하면서 질감 특징 등의 영상 품질을 선택적으로 표준화하는 방향으로 영상을 변환한다.
또한 본 발명의 실시예에서는 상기한 문제를 해결하기 위해서 생성자 신경망(120)의 출력 영상에 원본 이미지의 레이블 지도를 기반으로 생성 이미지의 의미론적 분할 손실을 수학식 4와 같이 정의하였다.
[수학식 4]
Figure 112021130888364-pat00005
수학식 4에서 생성자 신경망(120) G와 매핑 신경망(110) F는 원본 영상에 기반한 변환 영상과 원본 레이블 지도 간의 다이스 손실(dice loss)을 추종하여 다이스 손실을 최적화한다. 이를 위해, 판별자 생성망(140)의 적대 손실 및 도메인 분류 손실, 분할 증강부(130)의 의미론적 분할 손실이 매핑 신경망(110) 및 판별자 신경망(120)에 역전파 된다(S240). 이를 통해 변환 영상이 충분히 사실적이면서도 원본 이미지의 구조적 특성을 그대로 유지하는 방향으로 생성자 신경망(120) 및 매핑 신경망(110)을 학습한다. 이는 지도 학습의 관점에서 확보한 원본 레이블 지도의 의미론적 정보를 생성자 신경망(120)의 학습에 충분히 활용하는 것이라 할 수 있다. 또한 위 손실을 영상과 레이블 지도의 결합 분포 간 최적 운송 손실(joint optimal transport loss) 관점에서 재해석 가능하다.
본 발명의 실시예에 따른 적대적 생성 신경망을 이용한 영상 학습 방안은 도 3에 예시한 바와 같이, 관심 영역 및 구조적 정보의 개별적 편차가 존재하는 전산화 단층 촬영에 의한 영상 데이터셋 조합에도 범용적으로 적용이 가능하다. 도 3에서 "Full model"이 본 발명의 실시예에 따른 적대적 생성 신경망을 이용한 영상 학습 방안의 결과이다.
지금까지 설명한 바와 같이, 본 발명의 실시예들에 따르면, 방사선 의료영상뿐만 아니라 각종 영상을 적대적 생성 신경망을 이용해 학습을 수행함에 있어서 구조적 정보를 유지하는 방향으로 학습한다. 이러한 본 발명은 원본 영상 대비 생성 영상의 구조적 정보가 손실되는 것을 방지하며, 해상도, 잡음 정도, 대비 등의 영상 품질을 목표 레퍼런스 데이터셋의 수준으로 향상시킨다. 이러한 본 발명을 영상 표준화에 이용할 경우에 서로 다른 기관에서 촬영된 방사선 의료영상은 물론이고 다양한 품질을 갖는 임의 개수의 영상 데이터셋을 범용적으로 표준화할 수 있다. 또한, 생성 영상의 표준화 품질 외에도, 해당 생성 영상을 활용한 의미론적 분할 등의 후속 작업 성능에 있어 기존 과적합된 학습 모델 대비 큰 향상을 기대할 수 있다. 이러한 본 발명의 실시예에 따르면, 사전에 확보된 특정 데이터셋 쌍에 한정적으로 적용 가능한 기존 영상 처리 기법 기반 표준화 기술에 비해 임의의 여러 데이터 셋 조합에 대해서 실시간으로 영상 품질의 향상이 가능하다.
한편, 전술한 실시예에 따른 적대적 생성 신경망을 이용한 영상 학습 장치(100)를 구성하는 각각의 구성요소들은 하나 이상의 마이크로프로세서를 포함하여 구현될 수 있다.
그리고, 전술한 실시예에 따른 적대적 생성 신경망을 이용한 영상 학습 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
또한, 전술한 실시예에 따른 적대적 생성 신경망을 이용한 영상 학습 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된, 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램의 형태로 구현될 수 있다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 영상 학습 장치
110: 매핑 신경망
120: 생성자 신경망
130: 분할 증강부
140: 판별자 신경망

Claims (12)

  1. 적대적 생성 신경망을 이용한 영상 학습 장치가 수행하는 영상 학습 방법으로서,
    판별자 신경망의 손실이 최대화 되도록 훈련하는 매핑 신경망에 특정 구조적 정보를 갖는 소스 도메인 영상 및 레퍼런스 도메인 영상을 입력하여, 상기 매핑 신경망의 출력으로서 목표 레퍼런스 데이터셋의 영상 특징 벡터를 획득해 생성자 신경망에 제공하는 단계와,
    판별자 신경망의 손실이 최대화 되도록 훈련하고, 상기 영상 특징 벡터를 이용하여 영상 변환을 수행하는 생성자 신경망에 타깃 도메인 벡터를 제공하여, 상기 판별자 신경망의 출력으로서 구조적 정보가 상이한 도메인 변환 영상을 획득하는 단계와,
    상기 도메인 변환 영상에 대한 원본 이미지의 레이블 지도 기반 데이터 랜덤 분할 증강을 통해 무작위적으로 특정 영역이 강조된 도메인 변환 영상을 획득하는 단계와,
    상기 판별자 신경망의 손실이 최소화 되도록 훈련하고, 입력 영상에 대하여 상기 생성자 신경망에 의해 생성된 도메인과 상기 타깃 도메인 중 어느 하나로 판별하는 상기 판별자 신경망에 상기 특정 영역이 강조된 도메인 변환 영상을 상기 입력 영상으로서 제공하여, 상기 판별자 신경망의 손실을 상기 매핑 신경망 및 상기 생성자 신경망에 역전파하는 단계를 포함하고,
    상기 판별자 신경망의 손실은 적대 손실(adversarial loss)과 도메인 분류 손실(domain classification loss)을 포함하고,
    상기 생성자 신경망과 상기 매핑 신경망은 상기 특정 영역이 강조된 도메인 변환 영상이 상기 판별자 신경망에 의해 상기 타깃 도메인으로 판별되도록 학습되고, 상기 판별자 신경망은 상기 특정 영역이 강조된 도메인 변환 영상이 상기 생성자 신경망에 의해 생성된 도메인으로 판별되도록 학습되는
    영상 학습 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 생성자 신경망의 사이클 손실(cyclic loss)은 서로 반대되는 특징 벡터에 의한 매핑 함수가 역의 관계를 형성하도록 유도하는
    영상 학습 방법.
  5. 제 1 항에 있어서,
    상기 레이블 지도 기반 데이터 랜덤 분할 증강에 의한 의미론적 분할 손실(semantic segmentation loss)을 상기 매핑 신경망 및 상기 생성자 신경망에 역전파하는 단계를 더 포함하고,
    상기 매핑 신경망 및 상기 생성자 신경망은 상기 특정 영역이 강조된 도메인 변환 영상과 상기 원본 이미지의 레이블 지도 간의 다이스 손실(dice loss)을 추종하여 학습되는
    영상 학습 방법.
  6. 적대적 생성 신경망을 이용한 영상 학습 장치로서,
    판별자 신경망의 손실이 최대화 되도록 훈련하고, 특정 구조적 정보를 갖는 소스 도메인 영상 및 레퍼런스 도메인 영상이 입력되면 목표 레퍼런스 데이터셋의 영상 특징 벡터를 획득해 생성자 신경망에 제공하는 매핑 신경망과,
    상기 판별자 신경망의 손실이 최대화 되도록 훈련하고, 상기 영상 특징 벡터를 이용하여 영상 변환을 수행하며, 타깃 도메인 벡터가 입력되면 구조적 정보가 상이한 도메인 변환 영상을 출력하는 상기 생성자 신경망과,
    상기 도메인 변환 영상에 대한 원본 이미지의 레이블 지도 기반 데이터 랜덤 분할 증강을 통해 무작위적으로 특정 영역이 강조된 도메인 변환 영상을 출력하는 분할 증강부와,
    상기 판별자 신경망의 손실이 최소화 되도록 훈련하고, 상기 특정 영역이 강조된 도메인 변환 영상이 입력되면 상기 생성자 신경망에 의해 생성된 도메인과 타깃 도메인 중 어느 하나로 판별하며, 상기 판별자 신경망의 손실을 상기 매핑 신경망 및 상기 생성자 신경망에 역전파하는 상기 판별자 신경망을 포함하고,
    상기 판별자 신경망의 손실은 적대 손실(adversarial loss)과 도메인 분류 손실(domain classification loss)을 포함하고,
    상기 생성자 신경망과 상기 매핑 신경망은 상기 특정 영역이 강조된 도메인 변환 영상이 상기 판별자 신경망에 의해 상기 타깃 도메인으로 판별되도록 학습되고, 상기 판별자 신경망은 상기 특정 영역이 강조된 도메인 변환 영상이 상기 생성자 신경망에 의해 생성된 도메인으로 판별되도록 학습되는
    영상 학습 장치.
  7. 삭제
  8. 삭제
  9. 제 6 항에 있어서,
    상기 생성자 신경망의 사이클 손실은 서로 반대되는 특징 벡터에 의한 매핑 함수가 역의 관계를 형성하도록 유도하는
    영상 학습 장치.
  10. 제 6 항에 있어서,
    상기 레이블 지도 기반 데이터 랜덤 분할 증강에 의한 의미론적 분할 손실(semantic segmentation loss)이 상기 매핑 신경망 및 상기 생성자 신경망에 역전파되고,
    상기 매핑 신경망 및 상기 생성자 신경망은 상기 특정 영역이 강조된 도메인 변환 영상과 상기 원본 이미지의 레이블 지도 간의 다이스 손실(dice loss)을 추종하여 학습되는
    영상 학습 장치.
  11. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
    판별자 신경망의 손실이 최대화 되도록 훈련하는 매핑 신경망에 특정 구조적 정보를 갖는 소스 도메인 영상 및 레퍼런스 도메인 영상을 입력하여, 상기 매핑 신경망의 출력으로서 목표 레퍼런스 데이터셋의 영상 특징 벡터를 획득해 생성자 신경망에 제공하는 단계와, 판별자 신경망의 손실이 최대화 되도록 훈련하고, 상기 영상 특징 벡터를 이용하여 영상 변환을 수행하는 생성자 신경망에 타깃 도메인 벡터를 제공하여, 상기 판별자 신경망의 출력으로서 구조적 정보가 상이한 도메인 변환 영상을 획득하는 단계와, 상기 도메인 변환 영상에 대한 원본 이미지의 레이블 지도 기반 데이터 랜덤 분할 증강을 통해 무작위적으로 특정 영역이 강조된 도메인 변환 영상을 획득하는 단계와, 상기 판별자 신경망의 손실이 최소화 되도록 훈련하고, 입력 영상에 대하여 상기 생성자 신경망에 의해 생성된 도메인과 상기 타깃 도메인 중 어느 하나로 판별하는 상기 판별자 신경망에 상기 특정 영역이 강조된 도메인 변환 영상을 상기 입력 영상으로서 제공하여, 상기 판별자 신경망의 손실을 상기 매핑 신경망 및 상기 생성자 신경망에 역전파하는 단계를 포함하는 영상 학습 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하고, 상기 판별자 신경망의 손실은 적대 손실(adversarial loss)과 도메인 분류 손실(domain classification loss)을 포함하고, 상기 생성자 신경망과 상기 매핑 신경망은 상기 특정 영역이 강조된 도메인 변환 영상이 상기 판별자 신경망에 의해 상기 타깃 도메인으로 판별되도록 학습되고, 상기 판별자 신경망은 상기 특정 영역이 강조된 도메인 변환 영상이 상기 생성자 신경망에 의해 생성된 도메인으로 판별되도록 학습되는, 컴퓨터 판독 가능한 기록매체.
  12. 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
    판별자 신경망의 손실이 최대화 되도록 훈련하는 매핑 신경망에 특정 구조적 정보를 갖는 소스 도메인 영상 및 레퍼런스 도메인 영상을 입력하여, 상기 매핑 신경망의 출력으로서 목표 레퍼런스 데이터셋의 영상 특징 벡터를 획득해 생성자 신경망에 제공하는 단계와, 판별자 신경망의 손실이 최대화 되도록 훈련하고, 상기 영상 특징 벡터를 이용하여 영상 변환을 수행하는 생성자 신경망에 타깃 도메인 벡터를 제공하여, 상기 판별자 신경망의 출력으로서 구조적 정보가 상이한 도메인 변환 영상을 획득하는 단계와, 상기 도메인 변환 영상에 대한 원본 이미지의 레이블 지도 기반 데이터 랜덤 분할 증강을 통해 무작위적으로 특정 영역이 강조된 도메인 변환 영상을 획득하는 단계와, 상기 판별자 신경망의 손실이 최소화 되도록 훈련하고, 입력 영상에 대하여 상기 생성자 신경망에 의해 생성된 도메인과 상기 타깃 도메인 중 어느 하나로 판별하는 상기 판별자 신경망에 상기 특정 영역이 강조된 도메인 변환 영상을 상기 입력 영상으로서 제공하여, 상기 판별자 신경망의 손실을 상기 매핑 신경망 및 상기 생성자 신경망에 역전파하는 단계를 포함하는 영상 학습 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하고, 상기 판별자 신경망의 손실은 적대 손실(adversarial loss)과 도메인 분류 손실(domain classification loss)을 포함하고, 상기 생성자 신경망과 상기 매핑 신경망은 상기 특정 영역이 강조된 도메인 변환 영상이 상기 판별자 신경망에 의해 상기 타깃 도메인으로 판별되도록 학습되고, 상기 판별자 신경망은 상기 특정 영역이 강조된 도메인 변환 영상이 상기 생성자 신경망에 의해 생성된 도메인으로 판별되도록 학습되는, 컴퓨터 프로그램.
KR1020210155888A 2021-11-12 2021-11-12 적대적 생성 신경망을 이용한 영상 학습 장치 및 방법 KR102477632B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210155888A KR102477632B1 (ko) 2021-11-12 2021-11-12 적대적 생성 신경망을 이용한 영상 학습 장치 및 방법
PCT/KR2022/095053 WO2023085910A1 (ko) 2021-11-12 2022-03-11 적대적 생성 신경망을 이용한 영상 학습 방법, 장치, 프로그램 및 기록매체
US17/705,937 US20230154165A1 (en) 2021-11-12 2022-03-28 Image learning method, apparatus, program, and recording medium using generative adversarial network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210155888A KR102477632B1 (ko) 2021-11-12 2021-11-12 적대적 생성 신경망을 이용한 영상 학습 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102477632B1 true KR102477632B1 (ko) 2022-12-13

Family

ID=84439185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210155888A KR102477632B1 (ko) 2021-11-12 2021-11-12 적대적 생성 신경망을 이용한 영상 학습 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102477632B1 (ko)
WO (1) WO2023085910A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102127153B1 (ko) * 2020-04-09 2020-06-26 한밭대학교 산학협력단 사이클 gan과 세그맨테이션을 사용한 깊이 추정 방법 및 시스템
KR20210081805A (ko) 2019-12-24 2021-07-02 아주대학교산학협력단 이종 도메인 데이터 간의 변환을 수행하는 gan의 학습 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102403494B1 (ko) * 2017-04-27 2022-05-27 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
US10810460B2 (en) * 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
KR102119056B1 (ko) * 2019-10-08 2020-06-05 (주)제이엘케이 생성적 적대 신경망 기반의 의료영상 학습 방법 및 장치
CN110930471B (zh) * 2019-11-20 2024-05-28 大连交通大学 一种基于人机交互式对抗网络的图像生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210081805A (ko) 2019-12-24 2021-07-02 아주대학교산학협력단 이종 도메인 데이터 간의 변환을 수행하는 gan의 학습 방법 및 장치
KR102127153B1 (ko) * 2020-04-09 2020-06-26 한밭대학교 산학협력단 사이클 gan과 세그맨테이션을 사용한 깊이 추정 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김태하 등., 적대적 생성 신경망을 활용한 과다 노출 영상 복원 방법, 2021년 한국방송 미디어 공학회 하계학술대회, 10-13pages (2021.) *

Also Published As

Publication number Publication date
WO2023085910A1 (ko) 2023-05-19

Similar Documents

Publication Publication Date Title
Kazeminia et al. GANs for medical image analysis
US10482600B2 (en) Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks
Guan et al. Domain adaptation for medical image analysis: a survey
CN107545309B (zh) 使用深度生成机器学习模型的图像质量评分
Kavur et al. Comparison of semi-automatic and deep learning-based automatic methods for liver segmentation in living liver transplant donors
Wolterink et al. Generative adversarial networks: a primer for radiologists
CN111597946B (zh) 图像生成器的处理方法、图像生成方法及装置
US10832392B2 (en) Method, learning apparatus, and medical imaging apparatus for registration of images
US20230154165A1 (en) Image learning method, apparatus, program, and recording medium using generative adversarial network
Oliveira et al. Deep transfer learning for segmentation of anatomical structures in chest radiographs
Upretee et al. Fixmatchseg: Fixing fixmatch for semi-supervised semantic segmentation
Poonkodi et al. 3d-medtrancsgan: 3d medical image transformation using csgan
Mahapatra GAN based medical image registration
KR102477632B1 (ko) 적대적 생성 신경망을 이용한 영상 학습 장치 및 방법
WO2023047963A1 (ja) 医用画像診断支援装置、医用画像診断支援方法およびプログラム
Ta et al. Simultaneous segmentation and motion estimation of left ventricular myocardium in 3d echocardiography using multi-task learning
Tawfeeq et al. Predication of Most Significant Features in Medical Image by Utilized CNN and Heatmap.
US10910098B2 (en) Automatic summarization of medical imaging studies
DREVICKÝ et al. Deep Learning Model Uncertainty in Medical Image Analysis
KR20240051159A (ko) 의료 이미지 변환을 위한 시스템 및 방법
Rana SkinCAN AI: A deep learning-based skin cancer classification and segmentation pipeline designed along with a generative model
Kumar et al. [Retracted] CNN‐Based Cross‐Modal Residual Network for Image Synthesis
Shafi Deep Learning-Based Segmentation Of Lung Images For Accurate Diagnosis
US20230360366A1 (en) Visual Explanation of Classification
Risha et al. Medical Image Synthesis using Generative Adversarial Network

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant