KR20240003880A

KR20240003880A - Unsupervised Domain Adaptive Generation Network Technique for Segmentation of Medical Images

Info

Publication number: KR20240003880A
Application number: KR1020220081695A
Authority: KR
Inventors: 신병석; 이연; 장조우
Original assignee: 인하대학교 산학협력단
Priority date: 2022-07-04
Filing date: 2022-07-04
Publication date: 2024-01-11

Abstract

비지도형 도메인 적응 생성 네트워크를 이용한 의료영상 영역화 방법 및 시스템이 제시된다. 본 발명에서 제안하는 비지도형 도메인 적응 생성 네트워크를 이용한 의료영상 영역화 방법은 두 개의 생성자(, ) 및 두 개의 구별자(, )를 이용하여 소스 영상 및 타겟 영상을 합성하는 단계 및 상기 합성된 영상에 대해 저주파 광도에 기초한 스타일 손실 함수를 적용하여 영상 복원을 수행하는 단계를 포함한다. A medical image localization method and system using an unsupervised domain adaptive generative network are presented. The medical image zoning method using an unsupervised domain adaptive generation network proposed in the present invention includes two generators ( , ) and two identifiers ( , ) and performing image restoration by applying a style loss function based on low-frequency luminance to the synthesized image.

Description

Unsupervised Domain Adaptive Generation Network Technique for Segmentation of Medical Images}

본 발명은 비지도형 도메인 적응 생성 네트워크를 이용한 의료영상 영역화 방법 및 시스템에 관한 것이다. The present invention relates to a method and system for medical image segmentation using an unsupervised domain adaptive generation network.

종래기술에 따른 도메인적응형(Domain Adaptation)은 레이블을 구할 수 있는 도메인(다시 말해, 소스 도메인)에서의 데이터와 레이블을 구하기 어려운 도메인(다시 말해, 타겟 도메인)에서의 데이터가 있을 때 타겟 도메인에서의 분류기를 만드는 것으로서 데이터와 레이블 사이의 관계를 학습하는 기계 학습 방법론이다. 가장 간단한 방법으로 단순히 소스 도메인에서 지도학습을 이용하여 학습한 분류기를 그대로 타겟 도메인에 적용하는 방법이 있다. 그러나, 대부분의 경우 이 방법은 잘 작동하지 않는데 이는 두 도메인 사이의 데이터 분포 차이에서 기인한다. 이러한 문제를 극복하기 위해 소스와 타겟 도메인에서의 데이터 분포를 일치시킴으로써 도메인 적응을 하도록 한다. Domain Adaptation according to the prior art is used in the target domain when there is data from a domain where labels can be obtained (i.e., source domain) and data from a domain where labels are difficult to obtain (i.e., target domain). It is a machine learning methodology that learns the relationship between data and labels by creating a classifier. The simplest method is to simply apply the classifier learned using supervised learning in the source domain to the target domain. However, in most cases this method does not work well due to differences in data distribution between the two domains. To overcome this problem, domain adaptation is performed by matching the data distribution in the source and target domains.

종래기술에 따른 CycleGAN은 이미지 변환을 통한 데이터 생성을 위한 모델이다. CycleGAN 방법의 가장 큰 특징은 가역성이다. 가역성이란 소스 도메인 정보를 이용하여 타겟 도메인에서 표현한 후 다시 이를 이용하여 소스 도메인 정보를 표현하였을 때 원래 정보와 비슷하도록 만드는 것이다. CycleGAN의 학습 목적은 2개의 도메인 사이를 오갈 수 있는 2개의 생성자(generator)와 2개의 구별자(discriminator)를 학습시키는 것이다. 2개의 도메인을 각각 X, Y라 하고 Ｘ => Y방향으로의 생성자를 F, Y => X 방향으로의 생성자를 G라 했을 때 X 도메인의 구별자는 Ｘ 도메인의 데이터 ｘ와 Y도메인에서 G를 통해 변환된 G(y)를 보다 잘 판별하는 것을 목표로 한다. 반대로 Y도메인의 구별자는 Y도메인의 데이터 y와 X 도메인에서 F를 통해 변환된 F(x)를 보다 잘 판별하는 것을 목표로 한다. 이를 식으로 나타내면 식 (1), (2)와 같다. CycleGAN according to the prior art is a model for data generation through image conversion. The biggest feature of the CycleGAN method is reversibility. Reversibility means using source domain information to express it in the target domain and then using it again to express the source domain information so that it is similar to the original information. The learning purpose of CycleGAN is to learn two generators and two discriminators that can move between two domains. When the two domains are called X and Y, respectively, and the constructor in the The goal is to better determine the converted G(y). On the contrary, the Y domain discriminator aims to better discriminate between data y in the Y domain and F(x) converted through F in the X domain. This can be expressed as equations (1) and (2).

이 적대적 손실(Adversarial loss) 이외에도 순환 일관성 손실(Cycle Consistency Loss)라는 개념을 도입하여 2개 도메인의 데이터가 불균형한 경우에도 학습할 수 있도록 만들었다. 단순히 한 방향으로의 매핑만이 아니라 변환되었다가 다시 복원되는 매핑까지 고려하여, 원래의 도메인으로 돌아왔을 때 제대로 복원되었는지 확인하는 것이다. 순환 일관성 손실을 식으로 표 현하면 식 (3)와 같다.In addition to this adversarial loss, we introduced the concept of Cycle Consistency Loss to enable learning even when the data in two domains is unbalanced. It considers not only mapping in one direction but also mapping that has been converted and then restored, to ensure that it is properly restored when returning to the original domain. The cyclical consistency loss can be expressed as equation (3).

한국 등록특허 제10-2410955호 (2022.06.15)Korean Patent No. 10-2410955 (2022.06.15)

본 발명이 이루고자 하는 기술적 과제는 의료 영상의 분할 성능을 향상시키기 위해 순환 일관성에 대한 제약이 적은 비지도(Unsupervised) 학습 도메인 적응형 양방향 GAN 기반의 분할 방법 및 시스템을 제공하는데 있다.The technical task to be achieved by the present invention is to provide an unsupervised learning domain adaptive bidirectional GAN-based segmentation method and system with fewer constraints on cyclic consistency in order to improve segmentation performance of medical images.

일 측면에 있어서, 본 발명에서 제안하는 비지도형 도메인 적응 생성 네트워크를 이용한 의료영상 영역화 방법은 두 개의 생성자(, ) 및 두 개의 구별자(, )를 이용하여 소스 영상 및 타겟 영상을 합성하는 단계 및 상기 합성된 영상에 대해 저주파 광도에 기초한 스타일 손실 함수를 적용하여 영상 복원을 수행하는 단계를 포함한다. In one aspect, the medical image zoning method using an unsupervised domain adaptive generation network proposed in the present invention includes two generators ( , ) and two identifiers ( , ) and performing image restoration by applying a style loss function based on low-frequency luminance to the synthesized image.

상기 두 개의 생성자 및 두 개의 구별자를 이용하여 소스 영상 및 타겟 영상을 합성하는 단계는 소스 도메인의 소스 영상()을 타겟 도메인의 타겟 영상()과 합성하여 합성된 타겟 영상()을 생성하고, 상기 합성된 타겟 영상()을 이용하여 소스 영상()을 복원하도록 하는 경로 및 타겟 도메인의 타겟 영상()을 소스 도메인의 소스 영상()과 합성하여 합성된 소스 영상()을 생성하고, 상기 합성된 소스 영상()을 이용하여 타겟 영상()을 복원하는 경로를 포함한다. The step of synthesizing the source image and the target image using the two generators and the two discriminators is the source image of the source domain ( ) to the target image of the target domain ( ) and the synthesized target image ( ) and generate the synthesized target image ( ) using the source video ( ) and the target image of the target domain ( ) to the source image of the source domain ( ) and the synthesized source video ( ), and the synthesized source image ( ) using the target image ( ) includes a path to restore.

상기 타겟 도메인의 구별자()가 소스 도메인의 소스 영상()으로부터 생성된 영상 와 타겟 도메인의 타겟 영상()이 서로 다르다는 것을 학습하고, 생성자(,) 가 구별자()를 속이도록 학습한다. Distinguisher of the target domain ( ) is the source image of the source domain ( ) Image generated from and the target image of the target domain ( ) are different from each other, and the constructor ( ,) is the separator ( ) learns to deceive.

상기 합성된 영상에 대해 저주파 광도에 기초한 스타일 손실 함수를 적용하여 영상 복원을 수행하는 단계는 소스 도메인 및 타겟 도메인 간의 데이터 분포를 일치시키기 위해 적대적 손실 함수(Adversarial Loss Function), 컨텐트 일관성 손실 함수(Content Consistency Loss Function) 및 스타일 전환 손실 함수(Style Transfer Loss Function)를 사용하여 최종 목표함수를 구하고, 상기 최종 목표함수를 이용하여 영상 복원을 수행한다. The step of performing image restoration by applying a style loss function based on low-frequency luminance to the synthesized image includes an adversarial loss function and a content consistency loss function to match the data distribution between the source domain and the target domain. The final goal function is obtained using the Consistency Loss Function and the Style Transfer Loss Function, and image restoration is performed using the final goal function.

또 다른 일 측면에 있어서, 본 발명에서 제안하는 비지도형 도메인 적응 생성 네트워크를 이용한 의료영상 영역화 시스템은 두 개의 생성자(, ) 및 두 개의 구별자(, )를 이용하여 소스 영상 및 타겟 영상을 합성하는 합성부 및 상기 합성된 영상에 대해 저주파 광도에 기초한 스타일 손실 함수를 적용하여 영상 복원을 수행하는 복원부를 포함한다. In another aspect, the medical image localization system using an unsupervised domain adaptive generation network proposed in the present invention includes two generators ( , ) and two identifiers ( , ) and a restoration unit that performs image restoration by applying a style loss function based on low-frequency luminance to the synthesized image.

본 발명의 실시예들에 따르면 순환 일관성에 대한 제약이 적은 비지도(Unsupervised) 학습 도메인 적응형 양방향 GAN 기반의 분할 방법 및 시스템을 통해 소스 도메인과 타겟 도메인 사이의 데이더 분포를 균일하도록 하여 정확성 및 의료 영상의 분할 성능을 향상시킬 수 있다.According to embodiments of the present invention, accuracy and accuracy are achieved by uniform data distribution between the source domain and target domain through an unsupervised learning domain adaptive bidirectional GAN-based segmentation method and system with few constraints on circular consistency. Segmentation performance of medical images can be improved.

도 1은 본 발명의 일 실시예에 따른 비지도형 도메인 적응 생성 네트워크를 이용한 의료영상 영역화 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 비지도형 도메인 적응 생성 네트워크를 이용한 의료영상 영역화 과정을 cycleGAN 기반 기법과 비교하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 비지도형 도메인 적응 생성 네트워크를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 비지도형 도메인 적응 생성 네트워크를 이용한 의료영상 영역화 시스템의 구성을 나타내는 도면이다.FIG. 1 is a flowchart illustrating a medical image regionalization method using an unsupervised domain adaptive generation network according to an embodiment of the present invention.
Figure 2 is a diagram for comparing the medical image localization process using an unsupervised domain adaptive generation network with the cycleGAN-based technique according to an embodiment of the present invention.
Figure 3 is a diagram for explaining an unsupervised domain adaptation generation network according to an embodiment of the present invention.
Figure 4 is a diagram showing the configuration of a medical image regionalization system using an unsupervised domain adaptive generation network according to an embodiment of the present invention.

기존의 딥러닝 기반 의학 영상 영역화 기법은 도메인 사이의 데이더 분포가 균일하지 않아 정확성이 떨어진다. 최근 양방향 GAN(예를 들어, cycleGAN)을 이용한 방법들은 데이터의 분포를 균일하게 조정하는 연구를 진행하였지만 딥러닝 네트워크 중의 순환 일관성을 유지해야 하기 때문에 엄격한 제약으로 추가 성능향상이 어려워진다. 본 발명에서는 순환 일관성에 대한 제약이 적은 비지도(Unsupervised)학습 도메인 적응형 양방향 GAN 기반의 분할 모델을 제안한다. 제안하는 기법을 사용하면 의료 영상의 분할 성능을 향상할 수 있다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다. Existing deep learning-based medical image regionalization techniques have poor accuracy due to uneven data distribution between domains. Recently, methods using bidirectional GAN (e.g., cycleGAN) have conducted research to uniformly adjust the distribution of data, but because cycle consistency must be maintained in the deep learning network, further performance improvement is difficult due to strict constraints. In the present invention, we propose an unsupervised learning domain adaptive bidirectional GAN-based segmentation model with few constraints on cyclic consistency. Using the proposed technique, segmentation performance of medical images can be improved. Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.

도 1은 본 발명의 일 실시예에 따른 비지도형 도메인 적응 생성 네트워크를 이용한 의료영상 영역화 방법을 설명하기 위한 흐름도이다. FIG. 1 is a flowchart illustrating a medical image regionalization method using an unsupervised domain adaptive generation network according to an embodiment of the present invention.

제안하는 비지도형 도메인 적응 생성 네트워크를 이용한 의료영상 영역화 방법은 두 개의 생성자(, ) 및 두 개의 구별자(, )를 이용하여 소스 영상 및 타겟 영상을 합성하는 단계(110) 및 상기 합성된 영상에 대해 저주파 광도에 기초한 스타일 손실 함수를 적용하여 영상 복원을 수행하는 단계(120)를 포함한다. The proposed medical image regionalization method using an unsupervised domain adaptive generative network uses two generators ( , ) and two identifiers ( , ) and a step of synthesizing a source image and a target image using (110) and performing image restoration by applying a style loss function based on low-frequency luminance to the synthesized image (120).

단계(110)에서, 두 개의 생성자(, ) 및 두 개의 구별자(, )를 이용하여 소스 영상 및 타겟 영상을 합성한다. At step 110, two constructors ( , ) and two identifiers ( , ) is used to synthesize the source image and target image.

본 발명의 실시예에 따르면, 상기 두 개의 생성자 및 두 개의 구별자를 이용하여 소스 영상 및 타겟 영상을 합성하는 단계는 소스 도메인의 소스 영상()을 타겟 도메인의 타겟 영상()과 합성하여 합성된 타겟 영상()을 생성하고, 상기 합성된 타겟 영상()을 이용하여 소스 영상()을 복원하도록 하는 경로 및 타겟 도메인의 타겟 영상()을 소스 도메인의 소스 영상()과 합성하여 합성된 소스 영상()을 생성하고, 상기 합성된 소스 영상()을 이용하여 타겟 영상()을 복원하는 경로를 포함한다. According to an embodiment of the present invention, the step of synthesizing the source image and the target image using the two generators and the two discriminators includes the source image of the source domain ( ) to the target image of the target domain ( ) and the synthesized target image ( ) and generate the synthesized target image ( ) using the source video ( ) and the target image of the target domain ( ) to the source image of the source domain ( ) and the synthesized source video ( ), and the synthesized source image ( ) using the target image ( ) includes a path to restore.

본 발명의 실시예에 따르면, 상기 타겟 도메인의 구별자()가 소스 도메인의 소스 영상()으로부터 생성된 영상 와 타겟 도메인의 타겟 영상()이 서로 다르다는 것을 학습하고, 생성자(,) 가 구별자()를 속이도록 학습한다. According to an embodiment of the present invention, the identifier of the target domain ( ) is the source image of the source domain ( ) Image generated from and the target image of the target domain ( ) are different from each other, and the constructor ( ,) is the separator ( ) learns to deceive.

단계(120)에서, 상기 합성된 영상에 대해 저주파 광도에 기초한 스타일 손실 함수를 적용하여 영상 복원을 수행한다. In step 120, image restoration is performed by applying a style loss function based on low-frequency luminance to the synthesized image.

본 발명의 실시예에 따르면, 소스 도메인 및 타겟 도메인 간의 데이터 분포를 일치시키기 위해 적대적 손실 함수(Adversarial Loss Function), 컨텐트 일관성 손실 함수(Content Consistency Loss Function) 및 스타일 전환 손실 함수(Style Transfer Loss Function)를 사용하여 최종 목표함수를 구하고, 상기 최종 목표함수를 이용하여 영상 복원을 수행한다. 도 2 및 도 3을 참조하여 본 발명의 실시예에 따른 비지도형 도메인 적응 생성 네트워크를 이용한 의료영상 영역화 방법을 더욱 상세히 설명한다. According to an embodiment of the present invention, an adversarial loss function, a content consistency loss function, and a style transfer loss function are used to match the data distribution between the source domain and the target domain. The final goal function is obtained using and image restoration is performed using the final goal function. With reference to FIGS. 2 and 3 , a medical image regionalization method using an unsupervised domain adaptive generation network according to an embodiment of the present invention will be described in more detail.

도 2는 본 발명의 일 실시예에 따른 비지도형 도메인 적응 생성 네트워크를 이용한 의료영상 영역화 과정을 cycleGAN 기반 기법과 비교하기 위한 도면이다. Figure 2 is a diagram for comparing the medical image localization process using an unsupervised domain adaptive generation network with the cycleGAN-based technique according to an embodiment of the present invention.

도 2(a)는 종래기술에 따른 cycleGAN 기반 기법을 설명하기 위한 도면이고, 도 2(b)는 본 발명의 실시예에 따른 비지도형 도메인 적응 생성 네트워크를 이용한 의료영상 영역화 기법을 설명하기 위한 도면이다. Figure 2(a) is a diagram for explaining a cycleGAN-based technique according to the prior art, and Figure 2(b) is a diagram for explaining a medical image regionalization technique using an unsupervised domain adaptive generation network according to an embodiment of the present invention. It is a drawing.

본 발명에서는 CycleGAN에서 적용되는 순환 일관성의 엄격한 제약성 유지를 피하고 도메인 사이의 매핑 가역성(mapping reversibility)에 가해지는 구속을 완화하는 도메인 적응형 비지도학습 모델을 제안한다. 제안 기법의 처리 과정은 도 2(b)와 같다. 제안 기법은 도메인 맵핑의 가역성보다는 구조 정보의 보존을 목표로 한다. 따라서 샘플은 하나의 차이가 뚜렷한 도메인에서 생성될 수 있으며, 도메인 사이의 분포 차이를 더욱 줄일 수 있다. 합성된 타겟 도메인 영상과 타겟 도메인 영상의 스타일(Style) 차이를 줄이기 위해 저주파 광도(low-frequency magnitude)에 기반한 스타일(Style) 손실 함수를 설계 및 적용한다. 제안하는 기법에 따르면 구역화의 시맨틱 정보를 최대한 보존하여 의료영상의 구역화 모델의 범용성을 강화할 수 있다. In the present invention, we propose a domain adaptive unsupervised learning model that avoids maintaining the strict constraints of cyclic consistency applied in CycleGAN and relaxes constraints on mapping reversibility between domains. The processing process of the proposed technique is shown in Figure 2(b). The proposed technique aims at preserving structural information rather than reversibility of domain mapping. Therefore, samples can be generated from domains with one distinct difference, further reducing distribution differences between domains. To reduce the style difference between the synthesized target domain image and the target domain image, a style loss function based on low-frequency magnitude is designed and applied. According to the proposed technique, the versatility of the zonation model for medical images can be strengthened by preserving the semantic information of zonation as much as possible.

도 3은 본 발명의 일 실시예에 따른 비지도형 도메인 적응 생성 네트워크를 설명하기 위한 도면이다. Figure 3 is a diagram for explaining an unsupervised domain adaptation generation network according to an embodiment of the present invention.

제안 방법에서는 CycleGAN을 이용하여 2개의 생성자(generator)(, )와 2개의 구별자(discriminator)(, )을 두 쌍으로 하여 총 2쌍의 네트워크경로를 구성한다. The proposed method uses CycleGAN to generate two generators ( , ) and two discriminators ( , ) into two pairs to form a total of two pairs of network paths.

본 발명의 실시예에 따른 네트워크 경로는 2가지로 나눌 수 있다: 경로1) 소스 영상 → 합성된 타겟 영상 → 복원된 소스 영상 와 경로2) 타겟 영상 → 합성된 소스 영상 → 복원된 타겟 영상 . 구별자 가 소스 도메인 영상 로부터 만들어진 와 타겟 도메인 가 서로 다르다는 것을 학습하며 생성자 가 를 속이도록 학습하는 과정이다. 학습을 진행하다 보면 최종적으로 가 를 속이게 되고 결과적으로 와 의 분포가 비슷해진다. Network paths according to embodiments of the present invention can be divided into two: Path 1) Source video → Synthesized target image → Restored source video and path 2) target image → Composite source video → Restored target video . distinguisher source domain video made from and target domain Learning that the constructors are different from each other go It is a process of learning to deceive. As you continue learning, you will eventually go and as a result, and The distribution of becomes similar.

본 발명의 실시예에 따르면, CycleGAN처럼 데이터 분포를 일치시키기 위해 적대적 손실 함수 항목(Adversarial loss term)을 사용한다. 적대적 손실 함수식은 식 (4)와 같다.According to an embodiment of the present invention, an adversarial loss term is used to match the data distribution like CycleGAN. The adversarial loss function equation is as equation (4).

(4) (4)

상기 적대적 손실 함수에서 첫 번째 항은 상기 네트워크 경로1)의 적대적 손실이다. 두 번째 항은 네트워크 경로2)의 적대적 손실이다. The first term in the adversarial loss function is the adversarial loss of the network path 1). The second term is the adversarial loss of the network path2).

또한 본 발명의 실시예에 따르면, 적대적 손실 함수이외에도 컨텐트 일관성 손실 함수(Content Consistency Loss Function)를 사용한다. 영상을 푸리에 변환하여 단계 정보를 추출한다. 를 각각 푸리에 변환된 영상 의 광도와 단계 요소로 설정한다. 입력데이터를 푸리에 변환을 통해 변환하는 식은 식 (5) 및 식 (6)과 같다. Additionally, according to an embodiment of the present invention, a content consistency loss function is used in addition to the adversarial loss function. Step information is extracted by Fourier transforming the image. Each Fourier transformed image Set the luminance and phase factors. The equation for converting input data through Fourier transformation is as equation (5) and equation (6).

(5) (5)

(6) (6)

여기서 과 는 의 실수부와 허수부를 나타낸다. 최근 관련 연구에서 영상 컨텐트 정보가 주로 영상을 푸리에 변환을 진행하였을 때 변환된 단계정보에 존재한다는 것이 연구되었다. 그러므로 본 발명에서는 위상(phase) 정보를 기반으로 하는 컨텐트 일관성 손실 모델을 제안한다. 제안 모델에서 순환 일관성 손실의 제약성을 완화하고, 이미지 생성 과정에서의 컨텐트 정보를 보존한다. 이를 수식으로 나타내면 식 (7)과 같다. here class Is It represents the real and imaginary parts of . Recent related research has shown that video content information mainly exists in the transformed stage information when Fourier transform is performed on the video. Therefore, the present invention proposes a content consistency loss model based on phase information. In the proposed model, the constraints of cyclic consistency loss are alleviated and content information is preserved during the image creation process. If this is expressed in a formula, it is as equation (7).

(7) (7)

(8) (8)

그 중 은 내적(inner product)을 나타내고, 은 점수를 나타낸다. 식 (8)에서는 소스 도메인 데이터의 단계와 생성된 데이터의 단계 차이의 마이너스 코사인이다.among them represents the inner product, silver Indicates the score. In equation (8), it is the minus cosine of the difference between the level of the source domain data and the level of the generated data.

컨텐트 정보의 보존은 보다 정확한 분할 결과를 얻을 수 있도록 도와주지만, 도메인별 분포의 차이를 줄이는 데는 한계가 있다. 본 발명에서는 새로운 저주파 기반 스타일 전환손실 함수(Style Transfer Loss Function)를 제안해 유사한 스타일을 확보한다. 스타일 전환 손실 계산 과정을 식으로 표현하면 식 (9) 및 식 (10)와 같다.Preservation of content information helps obtain more accurate segmentation results, but has limitations in reducing differences in distribution by domain. The present invention secures a similar style by proposing a new low-frequency-based Style Transfer Loss Function. The style transition loss calculation process can be expressed as equations (9) and (10).

(9) (9)

(10) (10)

상기 식에서 은 점곱(dot product)이다. 은 중심 구역을 제외한 값이 0인 마스크(mask)이다. 를 식으로 표현하면 식 (11)와 같다.In the above equation is the dot product. is a mask whose value is 0 except for the center area. Expressed as an equation, it is as equation (11).

(11) (11)

여기서 p，c와 은 마스크에 있는 점, 중심점, 중심 구역의 반지름을 각각 표시한다. H와 W는 각각 영상의 높이와 폭이다.Here p, c and indicates the radius of the point, center point, and center area on the mask, respectively. H and W are the height and width of the image, respectively.

본 발명의 실시예에 따른 상기 세 개의 손실 함수를 통합하여 제안 기법의 최종 목표 함수를 얻고 이를 식으로 나타내면 식 (12)와 같다.By integrating the three loss functions according to the embodiment of the present invention, the final goal function of the proposed technique is obtained, which is expressed as equation (12).

(12) (12)

식 (12)에서 ,와 은 각각 균형 파라미터이다. In equation (12) , and are balance parameters, respectively.

도 4는 본 발명의 일 실시예에 따른 비지도형 도메인 적응 생성 네트워크를 이용한 의료영상 영역화 시스템의 구성을 나타내는 도면이다.Figure 4 is a diagram showing the configuration of a medical image regionalization system using an unsupervised domain adaptive generation network according to an embodiment of the present invention.

제안하는 비지도형 도메인 적응 생성 네트워크를 이용한 의료영상 영역화 시스템(400)은 합성부(410) 및 복원부(420)를 포함한다. The proposed medical image localization system 400 using an unsupervised domain adaptive generation network includes a synthesis unit 410 and a restoration unit 420.

본 발명의 실시예에 따른 합성부(410)는 두 개의 생성자(, ) 및 두 개의 구별자(, )를 이용하여 소스 영상 및 타겟 영상을 합성한다. The synthesis unit 410 according to an embodiment of the present invention includes two constructors ( , ) and two identifiers ( , ) is used to synthesize the source image and target image.

본 발명의 실시예에 따른 복원부(420)는 상기 합성된 영상에 대해 저주파 광도에 기초한 스타일 손실 함수를 적용하여 영상 복원을 수행한다. The restoration unit 420 according to an embodiment of the present invention performs image restoration by applying a style loss function based on low-frequency luminance to the synthesized image.

본 발명의 실시예에 따르면, 소스 도메인 및 타겟 도메인 간의 데이터 분포를 일치시키기 위해 적대적 손실 함수(Adversarial Loss Function), 컨텐트 일관성 손실 함수(Content Consistency Loss Function) 및 스타일 전환 손실 함수(Style Transfer Loss Function)를 사용하여 최종 목표함수를 구하고, 상기 최종 목표함수를 이용하여 영상 복원을 수행한다. According to an embodiment of the present invention, an adversarial loss function, a content consistency loss function, and a style transfer loss function are used to match the data distribution between the source domain and the target domain. The final goal function is obtained using and image restoration is performed using the final goal function.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), etc. , may be implemented using one or more general-purpose or special-purpose computers, such as a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. A processing device may execute an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. It can be embodied in . Software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　 The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, various modifications and variations can be made by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims also fall within the scope of the claims described below.

Claims

Two constructors ( , ) and two identifiers ( , ) synthesizing the source image and the target image using ; and
Performing image restoration by applying a style loss function based on low-frequency luminance to the synthesized image.
A medical image regioning method comprising:

According to paragraph 1,
The step of synthesizing the source image and the target image using the two generators and the two discriminators includes:
Source video from the source domain ( ) to the target image of the target domain ( ) and the synthesized target image ( ) and generate the synthesized target image ( ) using the source video ( ) and the target image of the target domain ( ) to the source image of the source domain ( ) and the synthesized source video ( ), and the synthesized source image ( ) using the target image ( ) containing the path to restore
Medical image regionalization method.

According to paragraph 2,
Distinguisher of the target domain ( ) is the source image of the source domain ( ) Image generated from and the target image of the target domain ( ) are different from each other, and the constructor ( ,) is the separator ( ) to learn to deceive
Medical image regionalization method.

According to paragraph 1,
The step of performing image restoration by applying a style loss function based on low-frequency luminance to the synthesized image includes:
To match the data distribution between the source domain and target domain, the final goal function is obtained using the Adversarial Loss Function, Content Consistency Loss Function, and Style Transfer Loss Function. , image restoration is performed using the final objective function.
Medical image regionalization method.

Two constructors ( , ) and two identifiers ( , ) A synthesis unit that synthesizes the source image and the target image using ); and
A restoration unit that performs image restoration by applying a style loss function based on low-frequency luminance to the synthesized image.
A medical image regioning system comprising:

According to clause 5,
The synthetic part,
Source video from the source domain ( ) to the target image of the target domain ( ) and the synthesized target image ( ) and generate the synthesized target image ( ) using the source video ( ) and the target image of the target domain ( ) to the source image of the source domain ( ) and the synthesized source video ( ), and the synthesized source image ( ) using the target image ( ) containing the path to restore
Medical image regionalization system.

According to clause 6,
The synthetic part,
Distinguisher of the target domain ( ) is the source image of the source domain ( ) Image generated from and the target image of the target domain ( ) are different from each other, and the constructor ( ,) is the separator ( ) to learn to deceive
Medical image regionalization system.

According to clause 6,
The restoration unit,
To match the data distribution between the source domain and target domain, the final goal function is obtained using the Adversarial Loss Function, Content Consistency Loss Function, and Style Transfer Loss Function. , image restoration is performed using the final objective function.
Medical image regionalization system.