KR102371292B1 - 컨텍스트 스타일 변환기를 이용한 영상 처리 기법 - Google Patents

컨텍스트 스타일 변환기를 이용한 영상 처리 기법 Download PDF

Info

Publication number
KR102371292B1
KR102371292B1 KR1020200022038A KR20200022038A KR102371292B1 KR 102371292 B1 KR102371292 B1 KR 102371292B1 KR 1020200022038 A KR1020200022038 A KR 1020200022038A KR 20200022038 A KR20200022038 A KR 20200022038A KR 102371292 B1 KR102371292 B1 KR 102371292B1
Authority
KR
South Korea
Prior art keywords
style
image
feature
medical image
input
Prior art date
Application number
KR1020200022038A
Other languages
English (en)
Other versions
KR20210107278A (ko
Inventor
신병석
이연
윤욱
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020200022038A priority Critical patent/KR102371292B1/ko
Publication of KR20210107278A publication Critical patent/KR20210107278A/ko
Application granted granted Critical
Publication of KR102371292B1 publication Critical patent/KR102371292B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

컨텍스트 스타일 변환기를 이용한 의료 영상 처리 기술이 개시된다. 일 실시예에 따른 영상 처리 시스템에 의해 수행되는 의료 영상 처리 방법은, 영상 변환을 위한 컨텍스트 적응형 스타일 전환 모델(Context-Aware Style Transfer Model)을 구성하는 단계; 상기 구성된 컨텍스트 적응형 스타일 전환 모델에 입력 의료 영상을 입력하여 학습시킴에 따라 의료 영상의 스타일 정보를 변환하는 단계; 및 상기 변환된 스타일 정보 및 상기 변환된 스타일 정보를 포함하는 분포의 의료 영상을 생성하는 단계를 포함할 수 있다.

Description

컨텍스트 스타일 변환기를 이용한 영상 처리 기법{A METHOD FOR IMAGE PROCESSING WITH CONTEXTUAL STYLE TRANSFER}
아래의 설명은 컨텍스트 스타일 변환기를 이용한 의료 영상 처리 기술에 관한 것이다.
의료 영상 분석에서의 문제점을 해결하기 위해 생성 모델을 사용하는 것을 오랜 역사를 갖고 있다. 일반적인 이미지와 비교할 때 의료 이미지는 일반적으로 해상도가 낮고 노이즈가 많다는 특징이 있다. 또한 의료 분야에서 딥러닝 생성 모델을 적용할 때, 기존 피쳐(semantic preservation)를 보존하는 것을 우선적으로 진행해야 한다.
현재 의료 이미지의 스타일 전환은 특히 의료 영상 처리기술(CT, MRI etc)을 대상으로 한 연구가 많이 진행되었다. 일례로, GAN 기반 모델을 구축하여 low-dose CT 스캔을 high-dose로 변환하는데 성공하여, 기존 이미지로부터 많은 양의 노이즈를 감소시킨 연구가 개시된 바 있다. 뿐만 아니라, 스타일 변환(style transfer) 기술은 데이터 확장(data augmentation)에서 상당한 역할을 한다. 또한, 훈련 셋(training set)의 다양성을 높이기 위해 multi-resolution transfer 모델을 제안하고, 훈련(training)에 세대(generation)를 추가하여 간 병변 분류 정확도를 크게 향상시킨 기술이 공개되었다.
컨텍스트 스타일 변환기를 이용한 의료 영상 처리 방법 및 시스템을 제공할 수 있다.
의료 영상의 스타일 정보(예를 들면, 회색조(gray scale))를 성공적으로 변환하면서 의미적 손실(semantic loss)을 제거하는 컨텍스트 적응적 생성(context-aware generative) 프레임워크를 제안할 수 있다.
영상 처리 시스템에 의해 수행되는 의료 영상 처리 방법은, 영상 변환을 위한 컨텍스트 적응형 스타일 전환 모델(Context-Aware Style Transfer Model)을 구성하는 단계; 상기 구성된 컨텍스트 적응형 스타일 전환 모델에 입력 의료 영상을 입력하여 학습시킴에 따라 의료 영상의 스타일 정보를 변환하는 단계; 및 상기 변환된 스타일 정보 및 상기 변환된 스타일 정보를 포함하는 분포의 의료 영상을 생성하는 단계를 포함할 수 있다.
상기 구성하는 단계는, 입력 의료 영상 및 대상 스타일이 존재하는 이미지에 대한 피쳐 코드를 추출하기 위한 추출기, 스타일 입력에서의 스타일 변환 속도를 높이기 위한 적응형 인스턴스 일반화 레이어(adaptive instance normalization layer)를 포함하고, 출력을 통해 최종 세대를 생성하기 위한 디코더 네트워크를 포함하고, 상기 디코더 네트워크의 출력이 다시 추출기의 입력값으로 사용되고, 스타일 손실 함수 및 컨텍스트 손실 함수가 설정되는 단계를 포함할 수 있다.
상기 의료 영상의 스타일 정보를 변환하는 단계는, 상기 입력 의료 영상에 대한 피쳐 코드와 상기 대상 스타일이 존재하는 이미지에 대한 피쳐 코드를 사용하여 정규화를 통해 스타일 벡터를 추출하는 단계를 포함할 수 있다.
상기 의료 영상의 스타일 정보를 변환하는 단계는, 상기 입력 의료 영상과 학습하고자 하는 대상 스타일이 존재하는 이미지를 상기 구성된 상황 적응형 스타일 전환 모델의 피쳐 추출기(feature extractor)에게 입력함에 따라 상기 입력 의료 영상 및 상기 대상 스타일이 존재하는 이미지에 대한 각각의 피쳐 코드(feature code)를 획득하고, 상기 획득된 각각의 피쳐 코드를 적응형 인스턴스 일반화 레이어(adaptive instance normalization layer)를 사용하여 각각의 채널 별로 상기 대상 스타일이 존재하는 이미지에 대한 피쳐 코드에 기초하여 상기 입력 의료 영상에 대한 피쳐 코드의 평균과 분산을 정렬하는 단계를 포함할 수 있다.
상기 의료 영상의 스타일 정보를 변환하는 단계는, 상기 입력 의료 영상에 대한 피쳐 코드 및 상기 대상 스타일이 존재하는 이미지에 대한 피쳐 코드의 평균과 분산을 각각 계산하고, 상기 평균과 분산이 계산된 각각의 피쳐 코드를 이용하여 적응형 인스턴스 일반화 레이어를 통해 정규화하는 단계를 포함할 수 있다.
상기 의료 영상의 스타일 정보를 변환하는 단계는, 동일한 수의 특징을 가진 입력 의료 영상과 세대를 각각의 피쳐 벡터로 나타내고, 상기 각각의 피쳐 벡터 사이의 벡터 유사성에 기초하여 입력 의료 영상의 피쳐 벡터에 대하여 세대에서 모든 세대 피쳐 벡터를 검색하여 가장 가까운 세대 피쳐 벡터를 탐색하고, 입력 의료 영상과 세대 간의 이미지 유사성을 나타내는데 사용되는 평균 피쳐 유사성을 획득하는 단계를 포함할 수 있다.
상기 의료 영상의 스타일 정보를 변환하는 단계는, 상기 획득된 평균 피쳐 유사성을 이용하여 상기 각각의 피쳐 벡터 사이의 거리를 코사인 거리로 나타내고, 상기 입력 의료 영상의 피쳐 벡터에 대한 최소 코사인 거리를 탐색하기 위하여 거리 정규화를 수행한 후, 누승법을 통해 거리 유사 매트릭으로 변환하고, 상기 벡터 유사성을 스케일 버전으로 변환하는 과정을 통해 입력 의료 영상과 대상 스타일이 존재하는 이미지 사이의 전체 이미지 컨텍스트 손실을 수식화하는 단계를 포함할 수 있다.
영상 처리 시스템은, 영상 변환을 위한 컨텍스트 적응형 스타일 전환 모델(Context-Aware Style Transfer Model)을 구성하는 구성부; 상기 구성된 컨텍스트 적응형 스타일 전환 모델에 입력 의료 영상을 입력하여 학습시킴에 따라 의료 영상의 스타일 정보를 변환하는 스타일 변환부; 및 상기 변환된 스타일 정보 및 상기 변환된 스타일 정보를 포함하는 분포의 의료 영상을 생성하는 생성부를 포함할 수 있다.
일 실시예에 따른 영상 처리 시스템은 특정 스타일 및 분포의 대상 이미지를 생성함으로써, 훈련 셋에 세대들을 추가하면서 분류 모델의 강건함을 증가시킬 수 있다.
도 1은 일 실시예에 따른 컨텍스트 적응형 스타일 전환 모델(Context-Ware Style Transfer Model)을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 영상 처리 시스템의 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 영상 처리 시스템에서 의료 영상 처리 방법을 설명하기 위한 흐름도이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
실시예에서는 의료 영상 변환 기법을 딥러닝을 위한 의료용 이미지의 확장(augmentation)의 해결책으로 사용할 수 있다. 실시예에서는 CT영상의 회색조(gray scale)를 성공적으로 변환하면서 의미적 손실(semantic loss)을 제거하는 상태 적응적 생성(context-aware generative) 프레임워크를 설명하기로 한다. 이에, 특정 스타일 및 분포의 대상 이미지를 생성함으로써, 훈련 세트에 세대들을 추가하면서 분류 모델의 강건함을 증가시킬 수 있다.
실시예에서는 대규모의 의료 이미치 처리, 특히, 다수의 스타일 전환이 필요한 경우에 초점을 맞추기로 한다. 추가적인 연산 비용을 감소시키기 위하여 역과정을 따르지 않고, 기존의 생성 구조를 사용할 수 있다.
도1은 일 실시예에 따른 컨텍스트 적응형 스타일 전환 모델(Context-Ware Style Transfer Model)을 설명하기 위한 도면이다.
실시예에 따른 영상 처리 시스템에서 제안된 스타일 변환 모델은 도 1과 같이 구성될 수 있다. X는 피쳐(Feature) 입력을 나타내고,
Figure 112020019064949-pat00001
는 학습하고자 하는 대상 스타일이 존재하는 이미지이다. 먼저, X와 Y가 동일한 피쳐 추출기(feature extractor) E로 공급될 수 있다. 두 피쳐 코드(Feature code)는 각각 E(X)와 E(Y)로 표시될 수 있다. 그런 다음, 적응형 일반화 레이어(adaptive normalization layer)를 사용하여 각각의 채널 별(예를 들면, 스타일 채널, 컨텍스트 채널)로 E(X)의 평균과 분산을 E(Y)에 맞게 정렬할 수 있다. 이러한 방식으로, E(X)의 모든 피쳐맵(Feature map) 채널은 E(Y)의 스타일 정보를 학습하고, 이미지 변환 효과를 높여준다. 그리고, 출력
Figure 112020019064949-pat00002
이 최종 세대를 생성하기 위하여 디코더 네트워크(Decoder network)에 입력될 수 있다.
디코더 네트워크의 출력은 다시 피쳐 추출기의 입력값으로 사용되며, 중간 결과는 원래의 컨텍스트와 목표한 스타일과의 차이를 측정하기 위하여 사용될 수 있다. 실시예에서는 두 부분으로 구성된 손실 함수(Loss function)을 사용할 수 있다 (컨텍스트 손실
Figure 112020019064949-pat00003
, 스타일 손실
Figure 112020019064949-pat00004
).
의료 이미지의 특성을 고려하여 이미지의 컨텍스트 보존이 다른 일반적이 경우보다 더 중요하게 다루어져야 한다. 실시예에서는 Mechrez 기법을 사용하여 컨텍스트 적응형(context-aware) 손실(
Figure 112020019064949-pat00005
)을 설계할 수 있다. 이렇게 세대의 피쳐 벡터(feature vector)를 피쳐 코드 E(x)와 매칭함으로써 의미적(semantic) 손실을 줄일 수 있다. 이하에서는, 컨텍스트 적응형 손실과 Adain에 대하여 설명하기로 한다.
피쳐의 집합인 E(X)와 E(Y)를 모두 획득한 뒤, 남은 일은 입력으로부터 스타일 정보를 최대한 많이 학습하는 것이다. 기존의 스타일 구조에 따르면, 묶음 일반화 레이어(batch normalization layer)는 각 컨볼루션 레이어(convolution layer) 뒤에 사용되지만, 최근 연구에서는 스타일 변환을 위한 특정 정규화 연산을 생성하기 시작했다. 이에, 실시예에서는 단일 스타일 입력에서의 스타일 변수 속도를 높이기 위한 적응형 인스턴스 일반화 레이어(adaptive instance normalization layer)에 대하여 설명하기로 한다.
주어진 E(X)와 E(Y)를 사용하여 contrast 정규화를 통해 스타일 벡터를 추출하고자 한다. 먼저, 다음과 같이 E(X)와 E(Y)의 평균과 분산을 계산할 수 있다(평균을
Figure 112020019064949-pat00006
, 분산을
Figure 112020019064949-pat00007
로 표시).
Figure 112020019064949-pat00008
E(X)와 E(Y)를 4D 입력(E(X), E(Y)
Figure 112020019064949-pat00009
)로 놓은 뒤, 내부 요소들을
Figure 112020019064949-pat00010
으로 기재하기로 한다. 그러나, 기존의 BN과 달리 여기서
Figure 112020019064949-pat00011
와
Figure 112020019064949-pat00012
는 각 채널에 대해 독립적으로 cross dimensions를 계산할 수 있다.
그 다음 레이어를 다음과 같이 공식화할 수 있다.
Figure 112020019064949-pat00013
여기서, 정규화된 컨텍스트 피쳐맵(context feature map) 셋 E(X)를
Figure 112020019064949-pat00014
를 확장하고 결과를
Figure 112020019064949-pat00015
로 이동한다. 직관적으로, 수학식 3에서 전체 정규화가 추가적으로 학습 가능한 가중치가 필요하지 않으므로, 스타일 변환 속도를 가속할 수 있다
채널 별 연산의 이점으로는, 이미지의 스타일이 모든 채널의 교차로 인해 발생한다고 가정한다. 특정 스타일 정보를 탐색할 때, E(Y)는 정규화 작업으로 처리될 때 높은 활성화(activation)를 생성할 수 있다. AdaIN의 출력은 각 채널에 대해 동일한 평균 활성화(activation) 값을 갖지만, 동시에 E(X)의 컨텍스트는 보존한다.
영상 처리 시스템은 모델의 컨텍스트 보존 능력에 대하여 집중하는 동작을 설명하기로 한다. 영상 처리 시스템에서 제안된 모델은 컨텍스트 손실과 스타일 손실의 두 부분의 설정을 따른다. 의료 영상에 존재하는 수 많은 작지만 복잡한 신호들을 고려할 때, 세대와 원래 입력 사이의 작은 불일치도 진단 시에 오차를 발생시킬 수 있다. 픽셀 단위 MSE를 사용하는 많은 연구에도 불구하고, 실시예에서는 변환 과정에서 의미적(semantic) 손실을 막는 것에 더 중점을 두었다. 또한, 픽셀 값 대신 피쳐 벡터(feature vector)를 매칭함으로써 컨텍스트를 유지할 수 있다.
동일한 수의 피쳐를 가진 입력(input) X와 세대 G는 다음과 같이 정의될 수 있다.
Figure 112020019064949-pat00016
Figure 112020019064949-pat00017
와
Figure 112020019064949-pat00018
는 E(G), E(x),
Figure 112020019064949-pat00019
의 피쳐 벡터를 나타낸다. 다음으로, G와 T의 이미지 유사성을 다음과 같이 나타낼 수 있다.
Figure 112020019064949-pat00020
Figure 112020019064949-pat00021
는
Figure 112020019064949-pat00022
와
Figure 112020019064949-pat00023
사이의 벡터 유사성을 나타낸다. 각
Figure 112020019064949-pat00024
에 대해 G에서 모든
Figure 112020019064949-pat00025
를 검색하여 가장 가까운 것을 찾을 수 있다. 그런 다음, G와 X간의 이미지 유사성을 나타내는 데 사용할 수 있는 평균 피쳐 유사성을 획득할 수 있다.
벡터 유사성
Figure 112020019064949-pat00026
의 세부 사항에 대해서는 코사인 거리
Figure 112020019064949-pat00027
를 소개하며,
Figure 112020019064949-pat00028
와
Figure 112020019064949-pat00029
사이의 거리를 다음과 같이 수식화될 수 있다.
Figure 112020019064949-pat00030
여기서,
Figure 112020019064949-pat00031
이다. 이때,
Figure 112020019064949-pat00032
인 경우,
Figure 112020019064949-pat00033
와
Figure 112020019064949-pat00034
가 서로 비슷하다. 또한, 예를 들면, 실험에서 각
Figure 112020019064949-pat00035
에 대한 최소
Figure 112020019064949-pat00036
를 빠르게 탐색하기 위하여 거리 정규화로 시작할 수 있다.
Figure 112020019064949-pat00037
여기서,
Figure 112020019064949-pat00038
는 정규화에 도움이 되는 부드러운 매개변수를 나타낸다. 다음으로, 누승법(exponentiation)을 통해 거리를 유사 매트릭(similarity metric)으로 변환할 수 있다.
Figure 112020019064949-pat00039
Figure 112020019064949-pat00040
는 band-width 매개변수이다(
Figure 112020019064949-pat00041
). 마지막으로, 대규모 계산의 편의를 위하여 벡터 유사도(vector similarity)를 스케일 버전(scale version)으로 변환할 수 있다.
Figure 112020019064949-pat00042
이 방법으로 G와 T 사이의 전체 이미지 컨텍스트 손실을 다음과 같이 수식화할 수 있다.
Figure 112020019064949-pat00043
매개변수
Figure 112020019064949-pat00044
는 피쳐 추출기를 나타낸다. L은 피쳐 맵 시각화에 의해 전처리된 레이어 리스트를 나타낸다.
컨텍스트 어웨어 모델은 컨텍스트 및 스타일을 포함하는 두 부분의 손실 함수 설정을 따른다.
Figure 112020019064949-pat00045
여기서,
Figure 112020019064949-pat00046
는 균형 잡힌 훈련을 위해 사용된 가중치이다. 스타일 손실로는 일반적으로 사용되는 Gram matrix loss와 pre-recorded layer list를 사용하며 다음과 같이 정의한다.
Figure 112020019064949-pat00047
여기서,
Figure 112020019064949-pat00048
은 또한 Y의 스타일 정보를 보존할 수 있는 레이어의 식별정보(예를 들면, 이름)을 기록한 리스트이다.
도 2는 일 실시예에 따른 영상 처리 시스템의 구성을 설명하기 위한 블록도이고, 도 3은 일 실시예에 따른 영상 처리 시스템에서 의료 영상 처리 방법을 설명하기 위한 흐름도이다.
영상 처리 시스템(100)에 포함된 프로세서는 모델 구성부(210), 스타일 변환부(220) 및 영상 생성부(230)를 포함할 수 있다. 이러한 프로세서 및 프로세서의 구성요소들은 도 3의 의료 영상 처리 방법이 포함하는 단계들(310 내지 330)을 수행하도록 영상 처리 시스템을 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서의 구성요소들은 영상 처리 시스템(100)에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다.
프로세서는 의료 영상 처리 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 영상 처리 시스템(100)에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 영상 처리 시스템을 제어할 수 있다.
단계(310)에서 모델 구성부(210)는 영상 변환을 위한 컨텍스트 적응형 스타일 전환 모델(Context-Aware Style Transfer Model)을 구성할 수 있다. 모델 구성부(210)는 입력 의료 영상 및 대상 스타일이 존재하는 이미지에 대한 피쳐 코드를 추출하기 위한 피쳐 추출기, 스타일 입력에서의 스타일 변환 속도를 높이기 위한 적응형 인스턴스 일반화 레이어(adaptive instance normalization layer)를 포함하고, 출력을 통해 최종 세대를 생성하기 위한 디코더 네트워크를 포함하고, 디코더 네트워크의 출력이 다시 피쳐 추출기의 입력값으로 사용되고, 스타일 손실 함수 및 컨텍스트 손실 함수가 설정될 수 있다.
단계(320)에서 스타일 변환부(220)는 구성된 컨텍스트 적응형 스타일 전환 모델에 입력 의료 영상을 입력하여 학습시킴에 따라 의료 영상의 스타일 정보를 변환할 수 있다. 스타일 변환부(220)는 입력 의료 영상에 대한 피쳐 코드와 대상 스타일이 존재하는 이미지에 대한 피쳐 코드를 사용하여 정규화를 통해 스타일 벡터를 추출할 수 있다. 스타일 변환부(220)는 입력 의료 영상과 학습하고자 하는 대상 스타일이 존재하는 이미지를 구성된 상황 적응형 스타일 전환 모델의 피쳐 추출기(feature extractor)에게 입력함에 따라 입력 의료 영상 및 대상 스타일이 존재하는 이미지에 대한 각각의 피쳐 코드(feature code)를 획득하고, 획득된 각각의 피쳐 코드를 적응형 인스턴스 일반화 레이어(adaptive instance normalization layer)를 사용하여 각각의 채널 별로 대상 스타일이 존재하는 이미지에 대한 피쳐 코드에 기초하여 상기 입력 의료 영상에 대한 피쳐 코드의 평균과 분산을 정렬할 수 있다. 스타일 변환부(220)는 입력 의료 영상에 대한 피쳐 코드 및 대상 스타일이 존재하는 이미지에 대한 피쳐 코드의 평균과 분산을 각각 계산하고, 평균과 분산이 계산된 각각의 피쳐 코드를 이용하여 적응형 인스턴스 일반화 레이어를 통해 정규화할 수 있다. 스타일 변환부(220)는 동일한 수의 특징을 가진 입력 의료 영상과 세대를 각각의 피쳐 벡터로 나타내고, 각각의 피쳐 벡터 사이의 벡터 유사성에 기초하여 입력 의료 영상의 피쳐 벡터에 대하여 세대에서 모든 세대 피쳐 벡터를 검색하여 가장 가까운 세대 피쳐 벡터를 탐색하고, 입력 의료 영상과 세대 간의 이미지 유사성을 나타내는데 사용되는 평균 피쳐 유사성을 획득할 수 있다. 스타일 변환부(220)는 획득된 평균 피쳐 유사성을 이용하여 상기 각각의 피쳐 벡터 사이의 거리를 코사인 거리로 나타내고, 입력 의료 영상의 피쳐 벡터에 대한 최소 코사인 거리를 탐색하기 위하여 거리 정규화를 수행한 후, 누승법을 통해 거리 유사 매트릭으로 변환하고, 벡터 유사성을 스케일 버전으로 변환하는 과정을 통해 입력 의료 영상과 대상 이미지 사이의 전체 이미지 컨텍스트 손실을 수식화할 수 있다.
단계(330)에서 영상 생성부(230)는 변환된 스타일 정보 및 변환된 스타일 정보를 포함하는 분포의 의료 영상을 생성할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

  1. 영상 처리 시스템에 의해 수행되는 의료 영상 처리 방법에 있어서,
    영상 변환을 위한 컨텍스트 적응형 스타일 전환 모델(Context-Aware Style Transfer Model)을 구성하는 단계;
    상기 구성된 컨텍스트 적응형 스타일 전환 모델에 입력 의료 영상을 입력하여 학습시킴에 따라 의료 영상의 스타일 정보를 변환하는 단계; 및
    상기 변환된 스타일 정보 및 상기 변환된 스타일 정보를 포함하는 분포의 의료 영상을 생성하는 단계
    를 포함하고,
    상기 의료 영상의 스타일 정보를 변환하는 단계는,
    상기 입력 의료 영상에 대한 피쳐 코드와 대상 스타일이 존재하는 이미지에 대한 피쳐 코드를 사용하여 정규화를 통해 스타일 벡터를 추출하고, 상기 입력 의료 영상과 학습하고자 하는 대상 스타일이 존재하는 이미지를 상기 구성된 상황 적응형 스타일 전환 모델의 피쳐 추출기(feature extractor)에게 입력함에 따라 상기 입력 의료 영상 및 상기 대상 스타일이 존재하는 이미지에 대한 각각의 피쳐 코드(feature code)를 획득하고, 상기 획득된 각각의 피쳐 코드를 적응형 인스턴스 일반화 레이어(adaptive instance normalization layer)를 사용하여 각각의 채널 별로 상기 대상 스타일이 존재하는 이미지에 대한 피쳐 코드에 기초하여 상기 입력 의료 영상에 대한 피쳐 코드의 평균과 분산을 정렬하고, 상기 입력 의료 영상에 대한 피쳐 코드 및 상기 대상 스타일이 존재하는 이미지에 대한 피쳐 코드의 평균과 분산을 각각 계산하고, 상기 평균과 분산이 계산된 각각의 피쳐 코드를 이용하여 적응형 인스턴스 일반화 레이어를 통해 정규화하고, 동일한 수의 특징을 가진 입력 의료 영상과 세대를 각각의 피쳐 벡터로 나타내고, 상기 각각의 피쳐 벡터 사이의 벡터 유사성에 기초하여 입력 의료 영상의 피쳐 벡터에 대하여 세대에서 모든 세대 피쳐 벡터를 검색하여 가장 가까운 세대 피쳐 벡터를 탐색하고, 입력 의료 영상과 세대 간의 이미지 유사성을 나타내는데 사용되는 평균 피쳐 유사성을 획득하고, 상기 획득된 평균 피쳐 유사성을 이용하여 상기 각각의 피쳐 벡터 사이의 거리를 코사인 거리로 나타내고, 상기 입력 의료 영상의 피쳐 벡터에 대한 최소 코사인 거리를 탐색하기 위하여 거리 정규화를 수행한 후, 누승법을 통해 거리 유사 매트릭으로 변환하고, 상기 벡터 유사성을 스케일 버전으로 변환하는 과정을 통해 입력 의료 영상과 대상 스타일이 존재하는 이미지 사이의 전체 이미지 컨텍스트 손실을 획득하는 단계
    를 포함하는 의료 영상 처리 방법.
  2. 제1항에 있어서,
    상기 구성하는 단계는,
    입력 의료 영상 및 대상 스타일이 존재하는 이미지에 대한 피쳐 코드를 추출하기 위한 추출기, 스타일 입력에서의 스타일 변환 속도를 높이기 위한 적응형 인스턴스 일반화 레이어(adaptive instance normalization layer)를 포함하고, 출력을 통해 최종 세대를 생성하기 위한 디코더 네트워크를 포함하고, 상기 디코더 네트워크의 출력이 다시 추출기의 입력값으로 사용되고, 스타일 손실 함수 및 컨텍스트 손실 함수가 설정되는 단계
    를 포함하는 의료 영상 처리 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 영상 처리 시스템에 있어서,
    영상 변환을 위한 컨텍스트 적응형 스타일 전환 모델(Context-Aware Style Transfer Model)을 구성하는 모델 구성부;
    상기 구성된 컨텍스트 적응형 스타일 전환 모델에 입력 의료 영상을 입력하여 학습시킴에 따라 의료 영상의 스타일 정보를 변환하는 스타일 변환부; 및
    상기 변환된 스타일 정보 및 상기 변환된 스타일 정보를 포함하는 분포의 의료 영상을 생성하는 영상 생성부
    를 포함하고,
    상기 스타일 변환부는,
    상기 입력 의료 영상에 대한 피쳐 코드와 대상 스타일이 존재하는 이미지에 대한 피쳐 코드를 사용하여 정규화를 통해 스타일 벡터를 추출하고, 상기 입력 의료 영상과 학습하고자 하는 대상 스타일이 존재하는 이미지를 상기 구성된 상황 적응형 스타일 전환 모델의 피쳐 추출기(feature extractor)에게 입력함에 따라 상기 입력 의료 영상 및 상기 대상 스타일이 존재하는 이미지에 대한 각각의 피쳐 코드(feature code)를 획득하고, 상기 획득된 각각의 피쳐 코드를 적응형 인스턴스 일반화 레이어(adaptive instance normalization layer)를 사용하여 각각의 채널 별로 상기 대상 스타일이 존재하는 이미지에 대한 피쳐 코드에 기초하여 상기 입력 의료 영상에 대한 피쳐 코드의 평균과 분산을 정렬하고, 상기 입력 의료 영상에 대한 피쳐 코드 및 상기 대상 스타일이 존재하는 이미지에 대한 피쳐 코드의 평균과 분산을 각각 계산하고, 상기 평균과 분산이 계산된 각각의 피쳐 코드를 이용하여 적응형 인스턴스 일반화 레이어를 통해 정규화하고, 동일한 수의 특징을 가진 입력 의료 영상과 세대를 각각의 피쳐 벡터로 나타내고, 상기 각각의 피쳐 벡터 사이의 벡터 유사성에 기초하여 입력 의료 영상의 피쳐 벡터에 대하여 세대에서 모든 세대 피쳐 벡터를 검색하여 가장 가까운 세대 피쳐 벡터를 탐색하고, 입력 의료 영상과 세대 간의 이미지 유사성을 나타내는데 사용되는 평균 피쳐 유사성을 획득하고, 상기 획득된 평균 피쳐 유사성을 이용하여 상기 각각의 피쳐 벡터 사이의 거리를 코사인 거리로 나타내고, 상기 입력 의료 영상의 피쳐 벡터에 대한 최소 코사인 거리를 탐색하기 위하여 거리 정규화를 수행한 후, 누승법을 통해 거리 유사 매트릭으로 변환하고, 상기 벡터 유사성을 스케일 버전으로 변환하는 과정을 통해 입력 의료 영상과 대상 스타일이 존재하는 이미지 사이의 전체 이미지 컨텍스트 손실을 획득하는
    영상 처리 시스템.
KR1020200022038A 2020-02-24 2020-02-24 컨텍스트 스타일 변환기를 이용한 영상 처리 기법 KR102371292B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200022038A KR102371292B1 (ko) 2020-02-24 2020-02-24 컨텍스트 스타일 변환기를 이용한 영상 처리 기법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200022038A KR102371292B1 (ko) 2020-02-24 2020-02-24 컨텍스트 스타일 변환기를 이용한 영상 처리 기법

Publications (2)

Publication Number Publication Date
KR20210107278A KR20210107278A (ko) 2021-09-01
KR102371292B1 true KR102371292B1 (ko) 2022-03-07

Family

ID=77780050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200022038A KR102371292B1 (ko) 2020-02-24 2020-02-24 컨텍스트 스타일 변환기를 이용한 영상 처리 기법

Country Status (1)

Country Link
KR (1) KR102371292B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592348B1 (ko) 2022-05-17 2023-10-19 영남대학교 산학협력단 이미지 스타일 전이 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291844A (zh) * 2023-11-24 2023-12-26 长沙微妙医疗科技有限公司 一种医学图像去噪方法、系统、设备以及介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Artsiom Sanakoyeu 외, A Style-Aware Content Loss for Real-time HD Style Transfer, LNCS, 2018.10.31., Vol.11212, pp.1-17.
Feida Zhu 외, Exemplar-based image and video stylization using fully convolutional semantic features, IEEE Transactions on Image Processing, 2017.07.31., Vol.26, No.7, pp.1-14.
Karim Armanious 외, MedGAN: Medical image translation using GANs, Computerized Medical Imaging and Graphics, 2019.11.22., Vol.79, No.101684, pp1-14.*
Leon A. Gatys 외, Image Style Transfer Using Convolutional Neural Networks, CVPR, 2019.07.31., pp.2414-2423.
Roey Mechrez 외, The contextual loss for image transformation with non-aligned data, ECCV, 2018.07.31., Vol.14., pp.1-16.
Xun Huang 외, Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization, arXiv, 2017.07.30., pp1-11.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592348B1 (ko) 2022-05-17 2023-10-19 영남대학교 산학협력단 이미지 스타일 전이 방법 및 장치

Also Published As

Publication number Publication date
KR20210107278A (ko) 2021-09-01

Similar Documents

Publication Publication Date Title
CN108615036B (zh) 一种基于卷积注意力网络的自然场景文本识别方法
CN112819052B (zh) 多模态细粒度混合方法、系统、设备和存储介质
US11030750B2 (en) Multi-level convolutional LSTM model for the segmentation of MR images
KR102371292B1 (ko) 컨텍스트 스타일 변환기를 이용한 영상 처리 기법
JP2022554068A (ja) ビデオコンテンツ認識方法、装置、プログラム及びコンピュータデバイス
US20210150389A1 (en) Inference system, inference device, and inference method
KR102332114B1 (ko) 이미지 처리 방법 및 장치
KR20210076691A (ko) 프레임워크 간 뉴럴 네트워크의 학습을 검증하는 방법 및 장치
KR20220122455A (ko) 영상 데이터에 포함된 객체 분할 방법 및 이를 수행하는 장치
KR102166016B1 (ko) 이미지 대 이미지의 변환을 위한 도메인 인식 기반의 변환 기법
JP6208018B2 (ja) 画像認識アルゴリズム組合せ選択装置
JP7348296B2 (ja) 目標志向的強化学習方法及びこれを遂行するための装置
CN111557010A (zh) 学习装置和方法以及程序
CN115190999A (zh) 使用对比损失对分布外的数据进行分类
CN117315758A (zh) 面部表情的检测方法、装置、电子设备及存储介质
CN116188501B (zh) 基于多尺度交叉注意力的医学图像分割方法
CN117218346A (zh) 图像生成方法、装置、计算机可读存储介质及计算机设备
US20230021551A1 (en) Using training images and scaled training images to train an image segmentation model
KR102574434B1 (ko) 사용자가 요청하는 전문화된 경량 신경망 모델을 실시간으로 생성하는 방법 및 장치
KR102520240B1 (ko) 비음수 행렬 인수분해를 이용하는 데이터 증강 방법 및 장치
KR20220076952A (ko) 이미지 인식 방법, 이미지 인식 장치, 이미지 전처리 장치 및 뉴럴 네트워크의 학습 방법
JP2021111388A (ja) ニューラル・ネットワーク・アーキテクチャ・サーチ・システム及び方法
KR102387895B1 (ko) 2d 마스크 콘볼루션을 사용한 병렬 이미지 캡션 시스템 및 방법
Fang et al. Self-supervised multi-view clustering for unsupervised image segmentation
US20240013407A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant