KR20220131807A

KR20220131807A - Method and apparatus for generating image registration model based on meta-learning

Info

Publication number: KR20220131807A
Application number: KR1020210144155A
Authority: KR
Inventors: 박상현; 김수필; 박희정; 이경민
Original assignee: 재단법인대구경북과학기술원
Priority date: 2021-03-22
Filing date: 2021-10-27
Publication date: 2022-09-29

Abstract

Disclosed are a method and apparatus for generating an image registration model based on meta-learning. The method for generating an image registration model based on meta-learning comprises the steps of: pre-training an initial registration model with a plurality of source data having different domains; extracting task source data of a task level from the source data; and meta-learning the registration model pre-trained with the task source data by using a gradient-based meta-learning algorithm.

Description

Method and apparatus for generating meta-learning-based image registration model

본 개시는 보이지 않는(unseen) 영역에서 새로운 태스크에 빠르게 적응할 수 있는 그래디언트 기반 메타 학습 프레임 워크와 통합된 비 지도 정합 모델을 학습하는 메타 학습 기반 이미지 정합 모델 생성 방법 및 장치에 관한 것이다.The present disclosure relates to a meta-learning-based image registration model generating method and apparatus for learning an unsupervised registered model integrated with a gradient-based meta-learning framework that can quickly adapt to a new task in an unseen area.

시간이 지남에 따라, 또는 다른 환자 간의 이미지 변화를 정량화하기 위해서는 비 강성 정합(Non-rigid registration)이 필요하기 때문에, 의료 영상 연구에서 비 강성 정합은 필수적으로 연구되어야 하지만 어려운 작업이다. Because non-rigid registration is required to quantify image changes over time or between different patients, non-rigid registration is a necessary but difficult task in medical imaging studies.

최근 비지도 정합 모델은 좋은 성능을 보이고 있지만, 대부분의 경우 대규모 훈련 데이터 세트와 오랜 훈련 시간이 필요하다. 따라서 수십에서 수백 개의 이미지 쌍만 사용할 수 있는 실제 응용 프로그램에서는 기존 모델을 실제로 적용하기 어려울 수 있다.Recently, unsupervised matched models have shown good performance, but in most cases they require large training data sets and long training times. Therefore, in real-world applications where only tens to hundreds of image pairs are available, it may be difficult to apply existing models in practice.

최근에는 실제 값(Ground Truth) 대응을 필요로 하지 않는 비지도 심층 학습 기반 정합 방법이 제안되어 많은 응용 분야에서 최첨단 성능을 달성했다. 그러나 대부분의 방법은 많은 수의 학습 데이터가 있는 단일 도메인의 이미지 정합을 처리하므로, 모델이 다른 도메인의 이미지 쌍으로 학습 된 다음, 새 이미지 쌍에 적용되면 성능이 크게 저하 될 수 있다. 더욱이, 새로운 데이터의 이미지 특성이 사전 훈련 단계에서 사용된 데이터의 특성과 다를 수 있기 때문에 새로운 데이터를 정합하기 위한 모델 업데이트에서 수렴 속도가 느린 경우가 많다.Recently, unsupervised deep learning-based registration methods that do not require ground truth correspondence have been proposed, achieving state-of-the-art performance in many applications. However, most methods deal with image registration in a single domain with a large number of training data, so if the model is trained on image pairs from different domains and then applied to new image pairs, the performance can be significantly degraded. Moreover, the convergence rate is often slow in the model update to match the new data because the image characteristics of the new data may be different from the characteristics of the data used in the pre-training stage.

이 문제를 해결하기 위해 여러 연구가 수행되었다. 예를 들어, 선행기술 1에 개시된 바와 같이, 여러 환자의 데이터를 사용하여 의료 영상 정합에 전이 학습을 적용할 수 있다. 그러나 이것은 감독 정합 교육 환경을 위해 제안되었으며 다른 도메인의 데이터를 활용하는 방법을 제공 할 수 없다. Several studies have been conducted to solve this problem. For example, as disclosed in Prior Art 1, transfer learning can be applied to medical image registration using data from multiple patients. However, this is proposed for a supervised-consistent training environment and cannot provide a way to utilize data from other domains.

이에 일반화 가능한 지식을 배우고 과제 수준의 훈련을 통해 보이지 않는 과제에 빠르게 적응할 수 있는 메타 학습이 제안되었다. 선행기술 2에 개시된 바와 같이, 외부 메타 모듈에서 보이지 않는 데이터 정합에 대한 Convolution 가중치를 추정하여 3D 포인트 클라우드 정합을 처리 할 수 있는 메타 학습 기술을 제안되었다. 그러나 그들의 모델은 또한 Ground Truth 대응을 사용하여 감독되는 방식으로 훈련되기 때문에 Ground Truth 대응이 어려운 의료 영상 정합에 적용하기 어렵다는 문제가 있다.Therefore, meta-learning that can learn generalizable knowledge and quickly adapt to invisible tasks through task-level training was proposed. As disclosed in Prior Art 2, a meta-learning technique capable of processing 3D point cloud registration by estimating a convolution weight for data matching that is not visible in an external meta module has been proposed. However, their models are also trained in a supervised way using ground truth responses, making them difficult to apply to medical image registration where ground truth responses are difficult.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.The above-mentioned background art is technical information possessed by the inventor for the derivation of the present invention or acquired in the process of derivation of the present invention, and cannot necessarily be said to be a known technique disclosed to the general public prior to the filing of the present invention.

선행기술 1: Guan, S.,Wang, T., Sun, K., Meng, C.: Transfer learning for nonrigid 2d/3d cardiovascular images registration. IEEE Journal of Biomedical and Health Informatics (2020) Prior Art 1: Guan, S., Wang, T., Sun, K., Meng, C.: Transfer learning for nonrigid 2d/3d cardiovascular images registration. IEEE Journal of Biomedical and Health Informatics (2020) 선행기술 2: Wang, L., Hao, Y., Li, X., Fang, Y.: 3d meta-registration: Learning to learn registration of 3d point clouds (2020) Prior art 2: Wang, L., Hao, Y., Li, X., Fang, Y.: 3d meta-registration: Learning to learn registration of 3d point clouds (2020)

본 개시의 실시 예의 일 과제는, 보이지 않는 영역에서 새로운 태스크에 빠르게 적응할 수 있는 그래디언트 기반 메타 학습 프레임 워크와 통합된 비 지도 정합 모델을 학습하는 메타 학습 기반 이미지 정합 모델 생성 방법 및 장치를 제공하는 것이다.An object of an embodiment of the present disclosure is to provide a method and apparatus for generating a meta-learning-based image registration model for learning an unsupervised matching model integrated with a gradient-based meta-learning framework that can quickly adapt to a new task in an invisible area .

또한, 기존의 다양한 정합 데이터 셋을 활용하여 파라미터의 초기화 지점을 찾는 메타 학습 모델을 학습하고, 다양한 태스크에 빠르게 적응할 수 있도록 메타 학습 모델이 각 정합 태스크에 맞게 조정된 파라미터의 중심에 가까워지도록 업데이트하는 방법 및 장치를 제공하는 것이다.In addition, it learns a meta-learning model that finds the initialization point of a parameter using various existing matching data sets, and updates the meta-learning model so that it approaches the center of the parameter adjusted for each matching task so that it can quickly adapt to various tasks. To provide a method and apparatus.

본 개시의 실시 예의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 개시의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 개시의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.Objects of the embodiments of the present disclosure are not limited to the above-mentioned tasks, and other objects and advantages of the present disclosure that are not mentioned may be understood by the following description, and will be more clearly understood by the embodiments of the present disclosure. will be. It will also be appreciated that the objects and advantages of the present disclosure may be realized by means of the instrumentalities and combinations thereof indicated in the claims.

본 개시의 일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 방법은, 도메인이 서로 다른 복수의 소스 데이터로 초기 정합 모델을 사전 학습하는 단계와, 소스 데이터에서 태스크 레벨의 태스크 소스 데이터를 추출하는 단계와, 태스크 소스 데이터로 사전 학습한 정합 모델을 그래디언트 기반 메타 학습 알고리즘으로 메타 학습하는 단계를 포함할 수 있다.A meta-learning-based image registration model method according to an embodiment of the present disclosure includes the steps of: pre-learning an initial registration model with a plurality of source data having different domains; extracting task-level task source data from the source data; , meta-learning the matching model pre-trained with the task source data using a gradient-based meta-learning algorithm.

이 외에도, 본 개시의 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.In addition, other methods for implementing the present disclosure, other systems, and a computer-readable recording medium storing a computer program for executing the method may be further provided.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.

본 개시의 실시 예에 의하면, 보이지 않는 영역에서 새로운 태스크에 빠르게 적응할 수 있는 그래디언트 기반 메타 학습 프레임 워크와 통합된 비 지도 정합 모델을 제공할 수 있다.According to an embodiment of the present disclosure, it is possible to provide an unsupervised matching model integrated with a gradient-based meta-learning framework that can quickly adapt to a new task in an invisible area.

또한, 기존의 다양한 정합 데이터 셋을 활용하여 파라미터의 초기화 지점을 찾는 메타 학습 모델을 학습하고, 메타 학습 모델이 각 정합 태스크에 맞게 조정된 파라미터의 중심에 가까워지도록 업데이트함으로써, 다양한 태스크에 빠르게 적응하여 이미지 정합 정확도를 향상시킬 수 있다.In addition, it learns a meta-learning model that finds the initialization point of a parameter using various existing matching data sets, and updates the meta-learning model to get closer to the center of the parameter adjusted for each matching task, so that it can quickly adapt to various tasks. Image registration accuracy can be improved.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 개시의 일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 생성 시스템을 개략적으로 도시한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 생성 장치를 개략적으로 나타낸 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 생성 과정을 설명하기 위해 도시한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 이동 이미지와 고정 이미지 쌍의 예시도이다.
도 5 및 도 6은 본 개시의 일 실시 예에 다른 메타 학습 기반 이미지 정합 모델 성능 실험 결과를 나타낸 도면이다.
도 7은 본 개시의 일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 생성 방법을 설명하기 위한 흐름도이다.1 is a diagram schematically illustrating a meta-learning-based image registration model generation system according to an embodiment of the present disclosure.
2 is a block diagram schematically illustrating an apparatus for generating a meta-learning-based image registration model according to an embodiment of the present disclosure.
3 is a diagram illustrating a meta-learning-based image matching model generation process according to an embodiment of the present disclosure.
4 is an exemplary diagram of a moving image and a fixed image pair according to an embodiment of the present disclosure.
5 and 6 are diagrams showing results of a meta-learning-based image matching model performance experiment according to an embodiment of the present disclosure.
7 is a flowchart illustrating a method for generating a meta-learning-based image registration model according to an embodiment of the present disclosure.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다.Advantages and features of the present invention, and a method for achieving them will become apparent with reference to the detailed description in conjunction with the accompanying drawings.

그러나 본 개시는 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 개시가 완전하도록 하며, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 개시를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.However, the present disclosure is not limited to the embodiments presented below, but may be implemented in various different forms, and should be understood to include all transformations, equivalents, and substitutes included in the spirit and scope of the present disclosure. . The embodiments presented below are provided to complete the present disclosure, and to fully inform those of ordinary skill in the art to which the present disclosure pertains to the scope of the invention. In describing the present disclosure, if it is determined that a detailed description of a related known technology may obscure the gist of the present disclosure, the detailed description thereof will be omitted.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms used in the present application are used only to describe specific embodiments, and are not intended to limit the present disclosure. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present disclosure, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It is to be understood that this does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof. Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

이하, 본 개시에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments according to the present disclosure will be described in detail with reference to the accompanying drawings, and in the description with reference to the accompanying drawings, the same or corresponding components are given the same reference numerals, and overlapping descriptions thereof are omitted. decide to do

도 1은 본 개시의 일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 생성 시스템을 개략적으로 도시한 도면이다.1 is a diagram schematically illustrating a meta-learning-based image registration model generation system according to an embodiment of the present disclosure.

도 1을 참조하면, 메타 학습 기반 이미지 정합 모델 생성 시스템(1)은 메타 학습 기반 이미지 정합 모델 생성 장치(100), 사용자 단말(200), 서버(300) 및 네트워크(400)를 포함할 수 있다.Referring to FIG. 1 , a meta-learning-based image registration model generation system 1 may include a meta-learning-based image registration model generation apparatus 100 , a user terminal 200 , a server 300 , and a network 400 . .

일 실시 예에 따른, 메타 학습 기반 이미지 정합 모델 생성 장치(100)는, 종래의 정합 모델은 좋은 성능을 보였지만 대규모 훈련 데이터 세트와 오랜 훈련 시간이 필요하여, 수십에서 수백 개의 이미지 쌍만 사용할 수 있는 실제 응용 프로그램에서는 기존 모델을 실제로 사용할 수 없는 한계를 해결하기 위해, 그래디언트 기반 메타 학습 프레임 워크와 통합 된 새로운 비지도 정합 모델을 생성(또는 학습)할 수 있다. In the meta-learning-based image registration model generating apparatus 100 according to an embodiment, although the conventional registration model showed good performance, it requires a large training data set and a long training time, so that only tens to hundreds of image pairs can be used. Applications can create (or train) new unsupervised matched models integrated with gradient-based meta-learning frameworks to address the limitations of practically using existing models.

특히 메타 학습 기반 이미지 정합 모델 생성 장치(100)는 기존의 다양한 정합 데이터 셋을 활용하여 파라미터의 초기화 지점을 찾는 메타 학습 모델을 학습할 수 있다. 일 실시 예에서는, 다양한 태스크에 빠르게 적응하기 위해 각 정합 태스크에 맞게 조정된 파라미터의 중심에 가까워지도록 학습 모델을 업데이트 할 수 있다. 따라서 일 실시 예에서의 메타 학습 기반 이미지 정합 모델은 짧은 조정 프로세스에서 보이지 않는 도메인 태스크에 적응하고 정확한 정합을 수행 할 수 있다. 이러한 메타 학습 기반 이미지 정합 모델 생성 장치(100)에 대한 구체적인 설명은 후술하도록 한다.In particular, the apparatus 100 for generating a meta-learning-based image matching model may learn a meta-learning model for finding an initialization point of a parameter by using various existing matching data sets. In an embodiment, in order to quickly adapt to various tasks, the learning model may be updated to approach the center of the parameter adjusted for each matching task. Therefore, the meta-learning-based image registration model according to an embodiment can adapt to an invisible domain task and perform accurate registration in a short adjustment process. A detailed description of the meta-learning-based image matching model generating apparatus 100 will be described later.

한편 일 실시 예에서는, 사용자들이 사용자 단말(200)에서 구현되는 어플리케이션 또는 웹사이트에 접속하여, 메타 학습 기반 이미지 정합 모델 생성 과정을 수행할 수 있다. 이러한 사용자 단말(200)은 사용자가 조작하는 데스크 탑 컴퓨터, 스마트폰, 노트북, 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 사용자 단말(200)은 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 단말기 일 수 있다. 사용자 단말(200)은 상술한 내용에 제한되지 아니하며, 웹 브라우징이 가능한 단말기는 제한 없이 차용될 수 있다.Meanwhile, in an embodiment, users may access an application or website implemented in the user terminal 200 to perform a meta-learning-based image matching model generation process. The user terminal 200 is a desktop computer, a smartphone, a notebook computer, a tablet PC, a smart TV, a mobile phone, a personal digital assistant (PDA), a laptop, a media player, a micro server, a global positioning system (GPS) device operated by a user. , e-book terminals, digital broadcast terminals, navigation devices, kiosks, MP3 players, digital cameras, home appliances, and other mobile or non-mobile computing devices, but is not limited thereto. Also, the user terminal 200 may be a wearable terminal such as a watch, glasses, a hair band, and a ring having a communication function and a data processing function. The user terminal 200 is not limited to the above, and a terminal capable of web browsing may be borrowed without limitation.

일 실시 예에서, 메타 학습 기반 이미지 정합 모델 생성 시스템(1)은 메타 학습 기반 이미지 정합 모델 생성 장치(100) 및/또는 서버(300)에 의해 구현될 수 있는데, 이때 서버(300)는 메타 학습 기반 이미지 정합 모델 생성 장치(100)를 운용하기 위한 서버일 수 있다. 즉 서버(300)는 메타 학습 기반 이미지 정합 모델 생성을 위한 프로세스를 수행하는 서버일 수 있다.In an embodiment, the meta-learning-based image registration model generating system 1 may be implemented by the meta-learning-based image registration model generating apparatus 100 and/or the server 300, where the server 300 is meta-learning It may be a server for operating the apparatus 100 for generating a base image registration model. That is, the server 300 may be a server that performs a process for generating a meta-learning-based image registration model.

또한 서버(300)는 메타 학습 기반 이미지 정합 모델 생성 장치(100)를 동작시키는 데이터를 제공하는 데이터베이스 서버일 수 있다. 그 밖에 서버(300)는 웹 서버 또는 어플리케이션 서버를 포함할 수 있다. 또한 서버(300)는 각종 인공 지능 알고리즘을 적용하는데 필요한 빅데이터 서버 및 AI 서버, 각종 알고리즘의 연산을 수행하는 연산 서버 등을 포함할 수 있으며, 상술하는 서버들을 포함하거나 이러한 서버들과 네트워킹 할 수 있다.Also, the server 300 may be a database server that provides data for operating the meta-learning-based image matching model generating apparatus 100 . In addition, the server 300 may include a web server or an application server. In addition, the server 300 may include a big data server and AI server required to apply various artificial intelligence algorithms, a calculation server that performs calculations of various algorithms, etc., and may include the above-mentioned servers or network with these servers. have.

네트워크(400)는 메타 학습 기반 이미지 정합 모델 생성 시스템(1)에서 메타 학습 기반 이미지 정합 모델 생성 장치(100) 및 서버(300), 그리고 사용자 단말(200)을 연결하는 역할을 수행할 수 있다. 이러한 네트워크(400)는 예컨대 LANs(local area networks), WANs(Wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 개시의 범위가 이에 한정되는 것은 아니다. 또한 네트워크(400)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다. 여기서 근거리 통신은 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi(Wireless fidelity) 기술을 포함할 수 있고, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.The network 400 may serve to connect the meta-learning-based image registration model generation apparatus 100 and the server 300 , and the user terminal 200 in the meta-learning-based image registration model generation system 1 . The network 400 is, for example, wired networks such as local area networks (LANs), wide area networks (WANs), metropolitan area networks (MANs), integrated service digital networks (ISDNs), wireless LANs, CDMA, Bluetooth, and satellite communication. It may cover a wireless network such as, but the scope of the present disclosure is not limited thereto. In addition, the network 400 may transmit and receive information using short-distance communication and/or long-distance communication. Here, the short-distance communication may include Bluetooth, radio frequency identification (RFID), infrared data association (IrDA), ultra-wideband (UWB), ZigBee, and wireless fidelity (Wi-Fi) technologies. Communication may include code division multiple access (CDMA), frequency division multiple access (FDMA), time division multiple access (TDMA), orthogonal frequency division multiple access (OFDMA), single carrier frequency division multiple access (SC-FDMA) technology. can

네트워크(400)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(400)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(400)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 네트워크(400)는 사물 등 분산된 구성 요소들 간에 정보를 주고받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신을 지원할 수 있다.Network 400 may include connections of network elements such as hubs, bridges, routers, switches, and gateways. Network 400 may include one or more connected networks, eg, multiple network environments, including public networks such as the Internet and private networks such as secure enterprise private networks. Access to network 400 may be provided via one or more wired or wireless access networks. Furthermore, the network 400 may support an Internet of Things (IoT) network and/or 5G communication that exchanges and processes information between distributed components such as things.

도 2는 본 개시의 일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 생성 장치를 개략적으로 나타낸 블록도이다. 2 is a block diagram schematically illustrating an apparatus for generating a meta-learning-based image registration model according to an embodiment of the present disclosure.

도 2를 참조하면, 메타 학습 기반 이미지 정합 모델 생성 장치(100)는 통신부(110), 사용자 인터페이스(120), 메모리(130) 및 프로세서(140)를 포함할 수 있다.Referring to FIG. 2 , the meta-learning-based image matching model generating apparatus 100 may include a communication unit 110 , a user interface 120 , a memory 130 , and a processor 140 .

통신부(110)는 네트워크(400)와 연동하여 외부 장치간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다. 또한 통신부(110)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다. 이러한 통신부(110)는 각종 사물 지능 통신(IoT(internet of things), IoE(internet of everything), IoST(internet of small things) 등)을 지원할 수 있으며, M2M(machine to machine) 통신, V2X(vehicle to everything communication) 통신, D2D(device to device) 통신 등을 지원할 수 있다.The communication unit 110 may provide a communication interface necessary to provide a transmission/reception signal between external devices in the form of packet data by interworking with the network 400 . In addition, the communication unit 110 may be a device including hardware and software necessary for transmitting and receiving signals such as control signals or data signals through wired/wireless connection with other network devices. The communication unit 110 may support various kinds of intelligent communication (Internet of things (IoT), internet of everything (IoE), internet of small things (IoST), etc.), and M2M (machine to machine) communication, V2X (vehicle) to everything communication) communication, D2D (device to device) communication, and the like may be supported.

즉, 프로세서(140)는 통신부(110)를 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다. 그리고, 통신부(110)는 WiFi 모듈, Bluetooth 모듈, 무선 통신 모듈, 및 NFC 모듈 중 적어도 하나를 포함할 수 있다.That is, the processor 140 may receive various data or information from an external device connected through the communication unit 110 , and may transmit various data or information to the external device. In addition, the communication unit 110 may include at least one of a WiFi module, a Bluetooth module, a wireless communication module, and an NFC module.

사용자 인터페이스(120)는 메타 학습 기반 이미지 정합 모델 생성을 위해 이미지를 획득하는 과정, 학습을 위한 파라미터를 설정하는 등에 대한 사용자 요청 및 명령들이 입력되는 입력 인터페이스를 포함할 수 있다. The user interface 120 may include an input interface through which user requests and commands for a process of acquiring an image for generating a meta-learning-based image matching model, setting parameters for learning, and the like are input.

그리고 사용자 인터페이스(120)는 메타 학습 기반 이미지 정합 모델 생성 장치(100)에 의해 생성된 메타 학습 기반 이미지 정합 모델을 기반으로, 이미지 정합 결과 등이 출력되는 출력 인터페이스를 포함할 수 있다. 즉, 사용자 인터페이스(120)는 사용자 요청 및 명령에 따른 결과를 출력할 수 있다. 이러한 사용자 인터페이스(120)의 입력 인터페이스와 출력 인터페이스는 동일한 인터페이스에서 구현될 수 있다.In addition, the user interface 120 may include an output interface through which an image registration result is output based on the meta-learning-based image registration model generated by the meta-learning-based image registration model generating apparatus 100 . That is, the user interface 120 may output a result according to a user request and command. The input interface and the output interface of the user interface 120 may be implemented in the same interface.

메모리(130)는 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 동작 및/또는 서버(300)의 제어(연산)에 필요한 각종 정보들을 저장하고, 제어 소프트웨어를 저장할 수 있는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. The memory 130 may store various types of information necessary for the operation of the meta-learning-based image matching model generating apparatus 100 and/or control (operation) of the server 300 , and may store control software, and may be volatile or non-volatile. It may include a recording medium.

메모리(130)는 하나 이상의 프로세서(140)와 연결되는 것으로, 프로세서(140)에 의해 실행될 때, 프로세서(140)로 하여금 메타 학습 기반 이미지 정합 모델 생성 장치(100) 및/또는 서버(300)를 제어하도록 야기하는(cause) 코드들을 저장할 수 있다.The memory 130 is connected to one or more processors 140 and, when executed by the processor 140 , causes the processor 140 to generate the meta-learning-based image registration model generating apparatus 100 and/or the server 300 . You can store codes that cause you to control.

여기서, 메모리(130)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 일 실시 예에서의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(130)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD. CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다. 그리고, 메모리(130)에는 일 실시 예에 따른 학습을 수행하기 위한 알고리즘에 관련된 정보가 저장될 수 있다. 그 밖에도 일 실시 예의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(130)에 저장될 수 있으며, 메모리(130)에 저장된 정보는 서버 또는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.Here, the memory 130 may include a magnetic storage media or a flash storage media, but the scope of the embodiment is not limited thereto. The memory 130 may include internal memory and/or external memory, and may include volatile memory such as DRAM, SRAM, or SDRAM, one time programmable ROM (OTPROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, Non-volatile memory, such as NAND flash memory, or NOR flash memory, SSD. It may include a flash drive such as a compact flash (CF) card, an SD card, a Micro-SD card, a Mini-SD card, an Xd card, or a memory stick, or a storage device such as an HDD. In addition, information related to an algorithm for performing learning according to an embodiment may be stored in the memory 130 . In addition, various information necessary within the scope for achieving the purpose of the embodiment may be stored in the memory 130, and the information stored in the memory 130 may be updated as it is received from a server or an external device or input by a user. may be

프로세서(140)는 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 전반적인 동작을 제어할 수 있다. 구체적으로, 프로세서(140)는 메모리(130)를 포함하는 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 구성과 연결되며, 메모리(130)에 저장된 적어도 하나의 명령을 실행하여 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 동작을 전반적으로 제어할 수 있다.The processor 140 may control the overall operation of the meta-learning-based image matching model generating apparatus 100 . Specifically, the processor 140 is connected to the configuration of the apparatus 100 for generating a meta-learning-based image registration model including a memory 130 , and executes at least one command stored in the memory 130 to register images based on meta-learning. The overall operation of the model generating apparatus 100 may be controlled.

이러한, 프로세서(140)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(140)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(Hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다. As such, the processor 140 may be implemented in various ways. For example, the processor 140 may include an application specific integrated circuit (ASIC), an embedded processor, a microprocessor, hardware control logic, a hardware finite state machine (FSM), and a digital signal processor (Digital Signal). Processor, DSP).

프로세서(140)는 일종의 중앙처리장치로서 메모리(130)에 탑재된 제어 소프트웨어를 구동하여 메타 학습 기반 이미지 정합 모델 생성 장치(100) 전체의 동작을 제어할 수 있다. 프로세서(140)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령어로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다.The processor 140 is a kind of central processing unit, and may control the overall operation of the meta-learning-based image matching model generating apparatus 100 by driving control software mounted in the memory 130 . The processor 140 may include any type of device capable of processing data. Here, the 'processor' may refer to a data processing device embedded in hardware having a physically structured circuit to perform a function expressed by, for example, a code or an instruction included in a program.

도 3은 본 개시의 일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 생성 과정을 설명하기 위해 도시한 도면이고, 도 4는 본 개시의 일 실시 예에 따른 이동 이미지와 고정 이미지 쌍의 예시도이다.3 is a diagram illustrating a meta-learning-based image registration model generation process according to an embodiment of the present disclosure, and FIG. 4 is an exemplary diagram of a moving image and a fixed image pair according to an embodiment of the present disclosure.

여기서, 고정 이미지란 정합의 목표가 되는(이동 이미지의 변형의 목표가 되는) 형태의 고정된 이미지를 의미하고, 이동 이미지란 정합이 수행될 대상이 되는(변형이 이루어져야 하는) 이미지를 의미할 수 있다.Here, the fixed image may mean a fixed image of a form that is the target of registration (the target of transformation of the moving image), and the moving image may mean an image that is a target to be matched (which needs to be transformed).

도 3을 참조하면, 일 실시 예에서는, 메타 학습 프레임 워크를 통해 보이지 않는 영역에서 새로운 태스크에 빠르게 적응하는 새로운 정합 프레임 워크를 제안한다. 또한 일 실시 예에서, 프레임 워크는 기존 정합 데이터를 효과적으로 활용하여 보이지 않는 도메인에서 새로운 정합 태스크를 학습 할 수 있다. 그리고 일 실시 예에서는, 모든 정합 모델을 그래디언트 기반 메타 학습 프레임 워크에 통합 할 수 있다.Referring to FIG. 3 , according to an embodiment, a new matching framework that quickly adapts to a new task in an invisible area through the meta-learning framework is proposed. Also, in an embodiment, the framework may learn a new matching task in an invisible domain by effectively utilizing existing matching data. And in one embodiment, all matching models can be integrated into the gradient-based meta-learning framework.

프로세서(140)는 타겟 도메인의 타겟 데이터

만 사용하는 기존 정합 방법과 달리 여러 도메인의 소스 데이터

를 활용할 수 있다. The processor 140 is the target data of the target domain.

Unlike the traditional registration method that only uses source data from multiple domains,

can utilize

프로세서(140)는 이동 이미지 및 고정 이미지 쌍(M, F)에 대한 변위(displacement) 맵

을 예측하기 위해 파라미터

를 학습하는 비지도 변형(deformable) 정합 모델

을 소스 데이터

로 사전 학습할 수 있다.The processor 140 is a displacement map for the moving image and the fixed image pair (M, F).

parameters to predict

An unsupervised deformable matching model that trains

source data

can be learned in advance.

그리고 프로세서(140)는 동일한 데이터 세트(

)를 사용하여

를 그래디언트 기반 메타학습 알고리즘으로 학습할 수 있다. 이때 프로세서(140)는 사전 학습과 달리, 소스 데이터

에서 여러 태스크 레벨의 태스크 소스 데이터 세트

를 생성하여 태스크 레벨 훈련(training)을 수행할 수 있다. 이를 통해 메타 지식을 학습한 후

에 적용할 수 있다.And the processor 140 has the same data set (

)use with

can be learned with a gradient-based meta-learning algorithm. At this time, the processor 140, unlike the prior learning, the source data

task source data set with multiple task levels in

can be created to perform task-level training. After learning meta-knowledge through this

can be applied to

또한 프로세서(140)는 테스트를 위해,

를 타겟 데이터

의 미세 조정을 위한

로 미세 조정을 수행할 수 있으며, 이후

는 테스트 데이터

에 대한 정합을 수행하는데 사용될 수 있다.In addition, the processor 140 for testing,

target data

for fine tuning of

can be fine-tuned with

is the test data

It can be used to perform matching for .

비 지도 기반 정합 모델의 사전 학습(Pretraining of registration model using Unsupervised learning)Pretraining of registration model using Unsupervised learning

일 실시 예의 메타 학습 기반 이미지 정합 모델은 모든 정합 모델과 호환될 수 있다. 그리고 일 실시 예의 메타 학습 기반 이미지 정합 모델로, U-Net 스타일 인코더-디코더와 공간 변환기(spatial transformer)로 구성된 VoxelMorph가 사용될 수 있다.The meta-learning-based image registration model according to an embodiment may be compatible with all registration models. And, as a meta-learning-based image matching model of an embodiment, VoxelMorph composed of a U-Net style encoder-decoder and a spatial transformer may be used.

일 실시 예에서, 이동 이미지 M과 고정 이미지 F는 채널 방향으로 연결되어 정합 모델

에 대한 입력으로 사용될 수 있다. 이동 이미지 M과 고정 이미지 F 쌍에 대한 실시 예는 도 4를 참조할 수 있다.In one embodiment, the moving image M and the stationary image F are connected in a channel direction to form a registered model

can be used as input to An embodiment of a moving image M and a fixed image F pair may refer to FIG. 4 .

일 실시 예에서, 변형 필드, 즉 변형 맵

는 G(M, F)의 결과로 얻어지며, 공간 변환기를 사용하여 변형된 이동 이미지, 즉 변형 이미지 M(

)을 만드는데 사용될 수 있다. 그리고 이 실시 예에서, 최적화를 위해 손실 함수는 변형 이미지 M(

)과 고정 이미지 F 사이의 유사도와 변형 맵

의 평활도의 합으로 다음 수학식 1과 같이 설계될 수 있다.In one embodiment, the variant field, i.e. the variant map

is obtained as a result of G(M, F), which is a moving image transformed using a spatial transformer, i.e. the transformed image M(

) can be used to create And in this embodiment, for optimization, the loss function is the transformed image M(

) and the similarity and transformation map between the fixed image F

It can be designed as in Equation 1 below as the sum of the smoothness of .

여기서

는 그래디언트 정규화 파라미터이고, CC(F, M(

))는 고정 이미지 F와 변형 이미지 M(

) 사이의 9*9 윈도우 사이즈에서 상호 상관(cross-correlation, CC)이며,

는

의 그래디언트 크기 기반 평탄화 손실을 나타낸다.here

is the gradient normalization parameter, CC(F, M(

)) is the fixed image F and the deformed image M(

) is the cross-correlation (CC) in the 9*9 window size between

Is

represents the gradient size-based flattening loss.

메타 러닝 단계 이전에,

는 소스 데이터

와 함께 사전 학습될 수 있다. 다른 도메인의 정합 문제는 단일 도메인 문제로 간주되어 이동 이미지 M과 고정 이미지 F 쌍으로부터 대표적인 특징을 찾고

를 계산할 수 있다. 일 실시 예에서는, 기본적인 표현(basic representation)을 학습함으로써, 처음부터 훈련할 때 메타 지식을 학습하는데 때때로 불안정한 메타 러닝 프로세스를 향상시킬 수 있다.Before the meta-learning phase,

is the source data

can be pre-learned with The registration problem of different domains is regarded as a single domain problem, so that representative features are found from the moving image M and fixed image F pairs and

can be calculated. In one embodiment, learning a basic representation can improve the meta-learning process, which is sometimes unstable in learning meta-knowledge when training from scratch.

일 실시 예에서, 프로세서(140)는 손실의 수렴(convergence) 후, 사전 훈련된 모델의 파라미터

를 저장할 수 있다.In one embodiment, the processor 140 after convergence of the loss, the parameters of the pre-trained model

can be saved.

메타 러닝 프레임워크를 통한 모델 업데이트(Model update via Meta-learning Framework)Model update via Meta-learning Framework

일 실시 예에서, 사전 훈련한 정합 모델

은 보이지 않는 정합 문제에 미세 조정 프로세스를 고려해야 하는 메타 러닝 알고리즘으로 훈련될 수 있다. 일 실시 예에서는, 여러 그래디언트 기반 메타 러닝 알고리즘 중 정합 모델과 자연적으로 통합될 수 있는 적절한 알고리즘으로 Reptile을 채택할 수 있다. Reptile은 2차 미분과 같은 복잡한 계산을 필요로 하는 MAML에서 단순화된 1차 알고리즘이다. In one embodiment, a pre-trained matching model

can be trained with meta-learning algorithms that have to consider the fine-tuning process for invisible matching problems. In an embodiment, Reptile may be adopted as an appropriate algorithm that can be naturally integrated with a matching model among several gradient-based meta-learning algorithms. Reptile is a simplified first-order algorithm in MAML that requires complex computations such as second-order differentiation.

일 실시 예의 프레임워크로 서포트(트레이닝)와 쿼리(테스트)의 분리 데이터는 각 데이터 집합에 필요하지 않으므로 비지도 학습에 적용될 수 있다.As a framework of an embodiment, separate data of support (training) and query (test) is not required for each data set, so it can be applied to unsupervised learning.

메타 러닝 프로세스에서, 프로세서(140)는 다음과 같은 프로세스에 따라 파라미터

를 학습할 수 있다. 미세 조정을 수행하기 위한 메타 학습시 사용되는 태스크들의 수가 m일 때, 일 실시 예에서는 태스크 레벨의 태스크 소스 데이터

의 m 개의 샘플 태스크를 탐지한 다음 (M, F) 쌍이 각 태스크에서 임의로 선택될 수 있다.In the meta-learning process, the processor 140 determines parameters according to the following process:

can learn When the number of tasks used in meta-learning for performing fine-tuning is m, in one embodiment, task-level task source data

After detecting m sample tasks of

일 실시 예에서,

는 Adam 최적화를 사용한 상기 수학식 1에 따라 비지도 정합 손실을 사용하여 업데이트될 수 있다. 프로세서(140)는 k 번 파라미터를 업데이트 한 후, 각 태스크에 대해 미세 조정된 파라미터

를 얻을 수 있다. 그리고 그래디언트(

-

)와 관련하여,

는 다음 수학식 2와 같이 업데이트될 수 있다.In one embodiment,

can be updated using unsupervised loss of matching according to Equation 1 above using Adam optimization. The processor 140 updates parameters k times, and then fine-tunes parameters for each task.

can get and gradient(

-

) with respect to

can be updated as in Equation 2 below.

여기서

는 러닝 레이트이다. 해당 프로세스를 통해,

는 다양한 정합 태스크에 신속하게 적응할 수 있는 특정 파라미터에 수렴할 수 있다.here

is the running rate. through that process,

can converge to specific parameters that can quickly adapt to various matching tasks.

그리고 테스트 단계에서, 정합 모델

는 메세조정을 위한 데이터

를 사용하여, 획득된 파라미터

로부터 타겟 태스크에 적응할 수 있다. 빠른 적응 후, 미세 조정된 파라미터가 있는 정합 모델은, 추가 훈련 없이 테스트 데이터

에 대한 정확한 정합을 수행할 수 있다.And in the test phase, the matching model

is the data for message adjustment

parameters obtained using

It can adapt to the target task from After a quick adaptation, the matched model with fine-tuned parameters

accurate matching can be performed.

한편, 일 실시 예에서, 메타 학습 기반 이미지 정합 모델 생성을 수행하는데 있어, Intel i9-9900K CPU, NVIDIA GeForce RTX 2080 TI with 64 GB RAM 기반 pytorch를 사용하여 구현될 수 있다. 또한,

및

를 업데이트하기 위해서는, 2 개의 Adam 최적화 프로그램이 사용될 수 있으며, 두 모델의 러닝 레이트는 1로 설정될 수 있다. 각 메타 러닝 단계에서 배치는 무작위로 샘플링 된 3 개의 태스크의 데이터로 구성될 수 있으며, 업데이트를 위한 k의 수는 10으로 설정될 수 있다. 일 실시 예에서는 모든 방법에 대해 동일한 그래디언트 정규화 파라미터

를 1로 설정할 수 있다.Meanwhile, in one embodiment, in performing meta-learning-based image registration model generation, it may be implemented using an Intel i9-9900K CPU, NVIDIA GeForce RTX 2080 TI with 64 GB RAM-based pytorch. In addition,

and

To update , two Adam optimizers can be used, and the learning rate of both models can be set to 1. At each meta-learning step, a batch may consist of randomly sampled data from three tasks, and the number of k for updates may be set to 10. In one embodiment, the gradient normalization parameters are the same for all methods.

can be set to 1.

도 5 및 도 6은 본 개시의 일 실시 예에 다른 메타 학습 기반 이미지 정합 모델 성능 실험 결과를 나타낸 도면이다. 도 5 및 도 6을 참조하여 메타 학습 기반 이미지 정합 모델의 성능을 확인할 수 있다.5 and 6 are diagrams showing results of a meta-learning-based image matching model performance experiment according to an embodiment of the present disclosure. The performance of the meta-learning-based image matching model can be confirmed with reference to FIGS. 5 and 6 .

데이터 세트(dataset)data set

일 실시 예에 따른 실험에서는, 망막 OCTA SCP, 망막 OCTA choroid, 복부 CT 및 뇌 MRI를 포함한 4 개의 데이터 세트를 사용할 수 있다. OCTA SCP 및 choroid 데이터 세트는 현지 대학 병원에서 수집된 368 개의 이동 및 고정된 이미지 쌍을 포함하며, 다른 시간에 동일한 주제(subject)로 수집된 것일 수 있다. 복부 CT 및 뇌 MRI 이미지는 공개된 Decathlon 데이터 셋에서 획득될 수 있다. In an experiment according to an embodiment, four data sets including retinal OCTA SCP, retinal OCTA choroid, abdominal CT, and brain MRI may be used. The OCTA SCP and choroid datasets contain 368 pairs of moving and stationary images collected at a local university hospital, possibly from the same subject at different times. Abdominal CT and brain MRI images can be obtained from the published Decathlon data set.

여기서, 일 실시 예에서는 뇌 MRI 데이터 셋에서의 양상(T1w, T1Gd 및 T2w)에 따라 3 가지 태스크와 복부 CT 데이터 셋의 2 가지 태스크를 정의할 수 있다. 각 3D 볼륨은 여러 축 슬라이스로 나누어졌으며 인접한 두 개의 슬라이스를 (M, F) 쌍으로 정의할 수 있다. 모든 이미지는 400 X 400의 크기로 크기가 조정되고 히스토그램 균등화(equalization)가 적용될 수 있다. 또한 강도의 범위를 [0, 1]로 재 조정할 수 있다. Here, in an embodiment, three tasks and two tasks of an abdominal CT data set may be defined according to aspects (T1w, T1Gd, and T2w) in the brain MRI data set. Each 3D volume is divided into multiple axial slices, and two adjacent slices can be defined as (M, F) pairs. All images are resized to a size of 400 X 400 and histogram equalization can be applied. You can also readjust the intensity range to [0, 1].

훈련을 위해, 일 실시 예에서는 소스(source) 태스크 세트

로 5 가지 태스크 세트를 정의할 수 있다. 평가를 위해 망막 OCTA SCP 데이터 세트를 타겟 도메인 데이터

로 사용할 수 있으며, 미세 조정 데이터 세트

(294 쌍) 및 테스트 데이터 세트

(74 쌍)로 나누어져 있을 수 있다. 일 실시 예에서는, 평가를 위해,

의 이미지 쌍에 20~30 개의 분기점(bifurcation point)을 수동으로 레이블링 할 수 있다.For training, in one embodiment a source task set

can define five task sets. For evaluation, the retinal OCTA SCP dataset was compared to the target domain data.

can be used as a fine-tuning data set

(294 pairs) and test data sets

(74 pairs). In one embodiment, for evaluation,

You can manually label 20-30 bifurcation points in image pairs of

실험 셋팅(Experimental settings)Experimental settings

정합 성능을 평가하기 위해, 다른 훈련 전략을 사용하여 4 가지 모델(Model-Seen, Model-Unseen, Transfer, and Fine-tune)과 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 이미지 정합 모델과 비교할 수 있다. 모든 모델은

로 테스트될 수 있다. Model-Seen 모델과 Model-Unseen 모델은 모두 타겟 도메인 데이터로만 훈련되었다. Model-Seen 모델이

및

를 모두 사용하여 훈련된 반면, Model-Unseen 모델은

만을 사용하여 훈련되었다. Transfer 모델과 Fine-tune 모델은

로 학습된 후 추가 업데이트 없이

에 적용되었다. To evaluate the registration performance, four models (Model-Seen, Model-Unseen, Transfer, and Fine-tune) were compared with the image registration model of the meta-learning-based image registration model generator 100 using different training strategies. can all models are

can be tested with Both Model-Seen and Model-Unseen models were trained only with target domain data. Model-Seen model

and

Whereas the Model-Unseen model is trained using both

was trained using only The transfer model and the fine-tune model are

without further updates after learning as

was applied to

한편, 일 실시 예에서는,

을 이용하여 Transfer 모델의 파라미터로부터 미세 조정 모델을 추가적으로 학습시킨 후

에 적용하였다. 일 실시 예에서 제안된 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 이미지 정합 모델은 Transfer 모델의 파라미터로 태스크 레벨 학습이 수행될 수 있으며,

로 훈련한 다음

로 미세조정 될 수 있다. 일 실시 예에서는, 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 이미지 정합 모델의 손실 수렴 후, Model-seen 모델 및 Model-unseen 모델의 사전 훈련 및 메타 반복(meta-iteration) 각각에 대해, 예를 들어, 25k, 38k, 6k 및 23k 에포크 테스트했다. 일 실시 예에서는, 평가 메트릭으로 M(

)의 변형 분기점 사이의 평균 픽셀 거리와 고정 이미지 F의 대응 및 변형 이미지 M(

)과 고정 이미지 F 간의 정규화된 교차 상관(normalized cross-correlation, NCC)을 측정했다.On the other hand, in one embodiment,

After additionally training a fine-tuning model from the parameters of the transfer model using

applied to. In the image registration model of the meta-learning-based image registration model generating apparatus 100 proposed in an embodiment, task level learning may be performed as a parameter of the transfer model,

then trained with

can be fine-tuned with In an embodiment, after loss convergence of the image registration model of the meta-learning-based image registration model generating apparatus 100, for each of the pre-training and meta-iteration of the Model-seen model and the Model-unseen model, yes For example, 25k, 38k, 6k and 23k epochs were tested. In one embodiment, M(

) and the mean pixel distance between the transform junctions of the fixed image F and the corresponding and transformed image M(

) and the normalized cross-correlation (NCC) between the fixed image F was measured.

정량적 결과(Quantitative Results)Quantitative Results

표 1은 OCTA SCP 데이터 세트의 다른 학습 모델과 일 실시 예의 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 이미지 정합 모델의 성능을 비교한 것으로, 비교를 위한 평균 거리 및 NCC 스코어를 나타낸다. Table 1 compares the performance of other learning models of the OCTA SCP data set and the image matching model of the meta-learning-based image matching model generating apparatus 100 according to an embodiment, and shows average distances and NCC scores for comparison.

훈련에 사용된 뇌 MRI 및 복부 CT 이미지가 OCTA SCP와 상당히 다른 특성을 가지므로, Model-Seen 모델 및 Model-Unseen 모델이 Transfer 모델보다 성능이 뛰어났다. 미세 조정도 예를 들어, 거리 측면의 개선이 미미하고 NCC가 감소했으므로, 짧은 훈련 시간에 타겟 도메인에 적응하는 데 실패했다고 볼 수 있다. 훈련 데이터에 대한 과적합 문제가 원인일 수 있다. 반면 일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 이미지 정합 모델은 적은 수의 파라미터 업데이트에도 향상된 성능을 얻었다. Since the brain MRI and abdominal CT images used for training have significantly different characteristics from the OCTA SCP, the Model-Seen model and Model-Unseen model outperformed the Transfer model. Fine-tuning also failed to adapt to the target domain in a short training time because, for example, the improvement in distance aspect was insignificant and the NCC was decreased. This could be due to an overfitting problem on the training data. On the other hand, the image registration model of the meta-learning-based image registration model generating apparatus 100 according to an embodiment obtained improved performance even with a small number of parameter updates.

일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 이미지 정합 모델을 장시간 훈련했을 때, Fine-tune-2000 epoch에서 개선된 결과를 보였다. 그러나 다양한 데이터 셋을 이용하여 장시간 사전 훈련을 시켜도 NCC 스코어가 Model Seen 모델과 동일할 정도로 개선이 드라마틱하지 않았다. 한편, 충분한 시간으로 훈련된 일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 이미지 정합 모델은

를 장시간 포함하더라도, 더 많은 타겟 데이터로 훈련된 Model-Seen 모델에 비해 거리(1.03) 및 NCC 스코어(0.04) 모두에서 더 향상된 성능을 보여주었다. 이 결과는 복부 CT 및 뇌 MRI 데이터 세트에서 학습된 초기 파라미터가 망막 OCTA 이미지 정합에 효과적으로 사용될 수 있음을 보여준다. When the image registration model of the meta-learning-based image registration model generating apparatus 100 according to an embodiment was trained for a long time, an improved result was shown in the Fine-tune-2000 epoch. However, even after a long period of pre-training using various data sets, the improvement was not dramatic enough that the NCC score was the same as that of the Model Seen model. On the other hand, the image registration model of the meta-learning-based image registration model generating apparatus 100 according to an embodiment trained for a sufficient time is

Even after including for a long time, it showed better performance in both distance (1.03) and NCC score (0.04) compared to the Model-Seen model trained with more target data. These results show that the initial parameters learned from abdominal CT and brain MRI data sets can be effectively used for retinal OCTA image registration.

도 5를 참조하여, 일 실시 예에서 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 이미지 정합 모델과 Fine-tune 모델 간의 training log를 비교하면, 도 5(a)의 거리 비교 그래프, 도 5(b)의 NCC 스코어 비교 그래프, 및 도 5(c)의 손실 비교 그래프에 도시된 바와 같이, 일 실시 예에서 제안하는 정합 모델과 Fine-tune 모델이 서로 유사한 경향을 갖는다는 것을 볼 수 있다. 긴 훈련 시간(예를 들어, 거리 및 NCC 그래프에서 각각 500 및 1500 epoch 이상) 후 모델의 성능을 보면, 일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 이미지 정합 모델은 포화 후에도 성능을 능가하는 것으로 나타난다. 또한 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 이미지 정합 모델은 수렴하는 데 약 600 에포크(epoch)가 필요하므로 약 1500 epoch가 필요한 Fine-tune 모델보다 빠른 속도를 보일 수 있다. 이 결과는 일 실시 예에서 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 이미지 정합 모델이 보이지 않은(unseen) 태스크를 학습하는데 더 나은 초기화 지점을 가지고 있음을 확인할 수 있다.5, when comparing the training log between the image registration model and the fine-tune model of the meta-learning-based image registration model generating apparatus 100 in an embodiment, the distance comparison graph of FIG. 5 (a), FIG. 5 ( As shown in the NCC score comparison graph of b) and the loss comparison graph of FIG. 5(c), it can be seen that the matching model and the fine-tune model proposed in an embodiment have similar tendencies. Looking at the performance of the model after a long training time (eg, 500 and 1500 epochs or more in the distance and NCC graphs, respectively), the image registration model of the meta-learning-based image registration model generating apparatus 100 according to an embodiment is saturated even after saturation. It appears to outperform performance. In addition, since the image registration model of the meta-learning-based image registration model generating apparatus 100 requires about 600 epochs to converge, it may show a faster speed than the fine-tune model that requires about 1500 epochs. This result can confirm that the image registration model of the meta-learning-based image registration model generating apparatus 100 has a better initialization point for learning an unseen task in an embodiment.

정성적 결과(Qualitative Results)Qualitative Results

도 6은 정성적 결과를 나타낸 도면으로, 각 이미지는 변형된 점(녹색)과 고정된 점(노란색)의 대응되는 점과 함께 M(

)(보라색) 및 F(녹색)의 중첩을 도시한다. 중첩 영역은 흰색으로 표시될 수 있다. 도 6(a)는 변형되지 않은 것을 나타내며, 도 6(b)는 보이는 모델(model-seen), 도 6(c)는 보이지 않는 모델(model-unseen), 도 6(d)는 전이(transfer) 모델, 도 6(e)는 10 에포크 수행된 미세 조정 모델, 도 6(f)는 10 에포크 수행된 일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 이미지 정합 모델의 결과를 나타낸다.6 is a diagram showing the qualitative results, where each image is M(

) (purple) and F (green) show the overlap. The overlapping area may be displayed in white. Figure 6 (a) shows the undeformed, Figure 6 (b) is a visible model (model-seen), Figure 6 (c) is an invisible model (model-unseen), Figure 6 (d) is a transfer (transfer) ) model, FIG. 6(e) is a fine-tuning model performed at 10 epochs, and FIG. 6(f) is a meta-learning-based image registration model generating apparatus 100 according to an embodiment in which 10 epochs are performed. indicates.

도 6을 참조하면, 일 실시 예에서의 정성적 실험 결과는 양적 비교에 따른 것이다. Transfer 모델은 미세 조정이 없기 때문에 정합 결과가 좋지 않을 것으로 예상될 수 있다. 10 에포크 미세 조정 후 Fine-tune-10epoch 모델에서 약간의 개선이 있을 볼 수 있다. Referring to FIG. 6 , the qualitative experimental results in an embodiment are based on quantitative comparisons. Since the transfer model has no fine-tuning, poor registration results can be expected. It can be seen that there is some improvement in the Fine-tune-10 epoch model after 10 epoch fine-tuning.

Model-seen 모델은 다른 모델에 비해 겉보기에 좋은 결과를 예측했다. 그러나 일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 이미지 정합 모델과 비교할 때 전체적인 변형은 비슷했지만, 일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 이미지 정합 모델은 더 나은 정합 결과를 자세히 예측했다. 일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 이미지 정합 모델로 대응되는 지점과 정렬된 혈관 사이의 거리를 더 가깝게 확인할 수 있다.The model-seen model predicted seemingly better results than other models. However, compared with the image registration model of the meta-learning-based image registration model generating apparatus 100 according to an embodiment, the overall deformation was similar, but the image registration model of the meta-learning-based image registration model generating apparatus 100 according to an embodiment predicted better matching results in detail. A distance between a point corresponding to the image registration model of the meta-learning-based image registration model generating apparatus 100 according to an embodiment and the aligned blood vessel may be more closely checked.

즉, 일 실시 예에서는, 보이지 않는 작업에 빠르게 적응할 수 있는 새로운 정합 모델을 제안할 수 있다. 메타 학습 기반 이미지 정합 모델 생성 장치(100)는 비지도 정합 태스크에 대한 메타 러닝을 수행하는 것으로, 기존 다중 도메인 데이터를 효과적으로 활용하여 다른 태스크에 적응할 수 있는 초기화 프로그램을 학습할 수 있다. 다양한 정합 접근 방식을 사용한 광범위한 실험은 메타 학습 기반 이미지 정합 모델 생성 장치(100)의 우수성을 보여주었다. 일 실시 예에 따라, 교차 도메인 정합과 같은 메타 모델이 적용될 수도 있다.That is, according to an embodiment, a new matching model that can quickly adapt to an invisible task may be proposed. The meta-learning-based image registration model generating apparatus 100 performs meta-learning on an unsupervised matching task, and may learn an initialization program that can adapt to other tasks by effectively utilizing existing multi-domain data. Extensive experiments using various registration approaches have shown the superiority of the meta-learning-based image registration model generation apparatus 100 . According to an embodiment, a meta-model such as cross-domain matching may be applied.

도 7은 본 개시의 일 실시 예에 따른 메타 학습 기반 이미지 정합 모델 생성 방법을 설명하기 위한 흐름도이다.7 is a flowchart illustrating a method for generating a meta-learning-based image registration model according to an embodiment of the present disclosure.

도 7을 참조하면, S100단계에서, 프로세서(140)는 도메인이 서로 다른 복수의 소스 데이터로 초기 정합 모델을 사전 학습한다.Referring to FIG. 7 , in step S100 , the processor 140 pre-trains the initial matching model from a plurality of source data having different domains.

사전 학습한 정합 모델은, 훈련 페이즈(training phase)에 의해 훈련되고, 훈련 페이즈는, 소스 데이터의 이동 이미지와 고정 이미지 쌍을 획득하는 단계와, 이동 이미지와 고정 이미지에 대한 변위(displacement) 맵을 예측하는 단계와, 공간 변환기를 이용하여 변위 맵이 반영된 변형 이미지를 생성하는 단계와, 변형 이미지와 고정 이미지 사이의 손실 함수를 수렴(convergence)시키는 단계를 포함할 수 있다.The pre-trained registration model is trained by a training phase, in which the training phase acquires a moving image and a stationary image pair of source data, and a displacement map for the moving image and the stationary image. It may include the steps of predicting, generating a deformed image in which the displacement map is reflected by using a spatial transformer, and convergence of a loss function between the deformed image and the fixed image.

S200단계에서, 프로세서(140)는 소스 데이터에서 태스크 레벨의 태스크 소스 데이터를 추출한다.In step S200, the processor 140 extracts the task source data of the task level from the source data.

S300단계에서, 프로세서(140)는 태스크 소스 데이터로 사전 학습한 정합 모델을 그래디언트(gradient) 기반 메타 학습 알고리즘으로 메타 학습한다.In step S300, the processor 140 meta-learns the matching model pre-trained with the task source data using a gradient-based meta-learning algorithm.

이때 프로세서(140)는 태스크 소스 데이터의 이동 이미지와 고정 이미지 쌍을 무작위로 선택하고, 태스크 소스 데이터를 기반으로 사전 학습한 정합 모델을 태스크 레벨에서 학습하여 메타 지식을 획득한다.In this case, the processor 140 randomly selects a moving image and a fixed image pair of the task source data, and acquires meta-knowledge by learning a pre-trained matching model based on the task source data at the task level.

즉, 프로세서(140)는 이동 이미지와 고정 이미지에 대한 변위 맵을 예측하고, 공간 변환기를 이용하여 변위 맵이 반영된 변형 이미지를 생성하며, 변형 이미지와 고정 이미지 사이의 손실이 최소화되도록 최적화 할 수 있다. That is, the processor 140 predicts the displacement map for the moving image and the fixed image, generates a deformed image in which the displacement map is reflected by using a spatial converter, and optimizes the loss between the deformed image and the fixed image to be minimized. .

최적화할 때, 프로세서(140)는 변형 이미지와 고정 이미지 사이의 상호 상관(cross-correlation)을 산출하고, 변위 맵에 대한 평탄화 손실을 산출할 수 있다. 즉, 프로세서(140)는 변형 이미지 M(

)와 고정 이미지 F 사이의 상호 상관

과, 변위 맵에 대한 평탄화 손실

을 기반으로 한 수학식(

)의 수렴을 통해 최적화를 수행하며, 여기서 M은 이동 이미지,

는 그래디언트 정규화 파라미터를 나타낸다.When optimizing, the processor 140 may calculate a cross-correlation between the deformed image and the stationary image, and may calculate a flattening loss for the displacement map. That is, the processor 140 generates a deformed image M(

) and the cross-correlation between the fixed image F

And, the flattening loss for the displacement map

A formula based on (

) through convergence, where M is the moving image,

denotes the gradient normalization parameter.

S400단계에서, 프로세서(140)는 메타 지식이 획득된 정합 모델의 테스트를 수행한다.In step S400 , the processor 140 tests the matching model for which meta-knowledge is obtained.

이때, 프로세서(140)는 태스크 레벨의 타겟 데이터를 이용하여 메타 지식이 획득된 정합 모델의 미세 조정(Fine-tuning)을 수행할 수 있다.In this case, the processor 140 may perform fine-tuning of the matching model for which meta-knowledge is obtained by using the target data of the task level.

프로세서(140)는 메타 지식이 획득된 정합 모델의 파라미터와 미세 조정된 정합 모델의 파라미터의 그래디언트 기반 최적화를 수행할 수 있다. The processor 140 may perform gradient-based optimization of the parameters of the registered model for which meta-knowledge is obtained and the parameters of the fine-tuned registered model.

이때, 메타 지식이 획득된 정합 모델의 파라미터

와 미세 조정된 정합 모델의 파라미터

를 이용하여 수학식(

)에 기반하여 그래디언트 기반 최적화가 수행될 수 있다. 여기서

는 러닝 레이트이고, m은 미세 조정을 수행하기 위한 메타 학습 시 사용되는 태스크들의 수를 나타낼 수 있다.In this case, the parameters of the matching model for which meta-knowledge is obtained

and the parameters of the fine-tuned registration model

using the formula (

), gradient-based optimization can be performed. here

is a learning rate, and m may represent the number of tasks used in meta-learning for performing fine-tuning.

이상 설명된 본 개시에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.The above-described embodiment according to the present disclosure may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program may be recorded in a computer-readable medium. In this case, the medium includes a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as a CD-ROM and DVD, a magneto-optical medium such as a floppy disk, and a ROM. , RAM, flash memory, and the like, hardware devices specially configured to store and execute program instructions.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be specially designed and configured for the present invention, or may be known and used by those skilled in the computer software field. Examples of the computer program may include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.In the specification of the present invention (especially in the claims), the use of the term "above" and similar referential terms may be used in both the singular and the plural. In addition, when a range is described in the present invention, each individual value constituting the range is described in the detailed description of the invention as including the invention to which individual values belonging to the range are applied (unless there is a description to the contrary). same as

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.The steps constituting the method according to the present invention may be performed in an appropriate order, unless the order is explicitly stated or there is no description to the contrary. The present invention is not necessarily limited to the order in which the steps are described. The use of all examples or exemplary terms (eg, etc.) in the present invention is merely for the purpose of describing the present invention in detail, and the scope of the present invention is limited by the examples or exemplary terms unless defined by the claims. it's not going to be In addition, those skilled in the art will appreciate that various modifications, combinations, and changes may be made in accordance with design conditions and factors within the scope of the appended claims or their equivalents.

따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and the scope of the spirit of the present invention is not limited to the scope of the scope of the present invention. will be said to belong to

1 : 메타 학습 기반 이미지 정합 모델 생성 시스템
100 : 메타 학습 기반 이미지 정합 모델 생성 장치
110 : 통신부
120 : 사용자 인터페이스
130 : 메모리
140 : 프로세서
200 : 사용자 단말
300 : 서버
400 : 네트워크1: Meta-learning-based image registration model generation system
100: Meta-learning-based image registration model generation device
110: communication department
120 : user interface
130: memory
140: processor
200: user terminal
300 : server
400: network

Claims

A method for generating a meta-learning-based image registration model for image registration performed by at least one processor, the method comprising:
pre-training an initial matched model with a plurality of source data having different domains;
extracting task-level task source data from the source data; and
Comprising the step of meta-learning the pre-trained matching model with the task source data with a gradient-based meta-learning algorithm,
A method for generating a meta-learning-based image registration model.

The method of claim 1,
The pre-trained matching model is trained through a training phase,
The training phase is
acquiring a moving image and a fixed image pair of the source data;
predicting a displacement map for the moving image and the fixed image;
generating a deformed image in which the displacement map is reflected by using a spatial converter; and
convergence of a loss function between the deformed image and the fixed image;
A meta-learning-based image registration model generation method.

The method of claim 1,
The meta-learning step is
randomly selecting a moving image and a fixed image pair of the task source data; and
and acquiring meta-knowledge by learning the pre-learned matching model at the task level based on the task source data.
A method for generating a meta-learning-based image registration model.

4. The method of claim 3,
The step of acquiring the meta-knowledge is
predicting a displacement map for the moving image and the stationary image;
generating a deformed image in which the displacement map is reflected by using a spatial converter; and
optimizing to minimize the loss between the deformed image and the fixed image;
A method for generating a meta-learning-based image registration model.

5. The method of claim 4,
The optimizing step is
calculating a cross-correlation between the deformed image and the fixed image; and
calculating a flattening loss for the displacement map;
A method for generating a meta-learning-based image registration model.

6. The method of claim 5,
The optimizing step is
The modified image M (

) and the cross-correlation between the fixed image F

and, the flattening loss for the displacement map

It is performed through the convergence of Equation 1, which is a loss function based on
M is the moving image,

is the gradient normalization parameter, CC is the cross-correlation,

is a transformation map corresponding to the registration model,
A method for generating a meta-learning-based image registration model.
Equation 1

4. The method of claim 3,
After the meta-learning step,
Further comprising the step of performing a test of the matching model obtained the meta-knowledge,
The step of performing the test is
Comprising the step of performing fine-tuning of the matching model obtained the meta-knowledge using the target data of the task level,
A method for generating a meta-learning-based image registration model.

8. The method of claim 7,
The step of performing the test is
Comprising the step of performing gradient-based optimization of the parameters of the registered model from which the meta-knowledge is obtained and the parameters of the fine-tuned registered model,
A method for generating a meta-learning-based image registration model.

9. The method of claim 8,
The step of performing the gradient-based optimization comprises:
Parameters of the matching model from which the meta-knowledge is obtained

and the parameters of the fine-tuned registration model.

It is performed based on Equation 2 using

is the learning rate, m is the number of tasks used in meta-learning to perform the fine-tuning,
A method for generating a meta-learning-based image registration model.
Equation 2

A computer-readable recording medium having recorded therein a program that, when executed by at least one processor, causes the at least one processor to perform the method of any one of claims 1 to 9.

An apparatus for generating a meta-learning-based image registration model, comprising:
Memory; and
at least one processor coupled to the memory and configured to execute computer readable instructions contained in the memory;
the at least one processor,
An operation of pre-training an initial matched model with a plurality of source data with different domains,
extracting task-level task source data from the source data; and
Set to perform meta-learning of the pre-trained matching model with the task source data using a gradient-based meta-learning algorithm,
Meta-learning-based image registration model generation device.

12. The method of claim 11,
The pre-trained matching model is trained by a training phase,
The training phase is
acquiring a moving image and a fixed image pair of the source data;
predicting a displacement map for the moving image and the fixed image;
generating a deformed image in which the displacement map is reflected by using a spatial converter; and
convergence of a loss function between the deformed image and the fixed image;
Meta-learning-based image registration model generation device.

12. The method of claim 11,
The meta-learning operation is
randomly selecting a moving image and a fixed image pair of the task source data; and
and acquiring meta-knowledge by learning the pre-learned matching model at the task level based on the task source data.
Meta-learning-based image registration model generation device.

14. The method of claim 13,
The operation of acquiring the meta-knowledge is
predicting a displacement map for the moving image and the stationary image;
generating a deformed image in which the displacement map is reflected using a spatial converter; and
optimizing the loss between the deformed image and the fixed image to be minimized,
Meta-learning-based image registration model generation device.

15. The method of claim 14,
The optimizing operation is
calculating a cross-correlation between the deformed image and the fixed image; and
calculating a flattening loss for the displacement map;
Meta-learning-based image registration model generation device.

16. The method of claim 15,
The optimizing operation is
The modified image M (

) and the cross-correlation between the fixed image F

and, the flattening loss for the displacement map

is the gradient normalization parameter, CC is the cross-correlation,

is a transformation map corresponding to the registration model,
Meta-learning-based image registration model generation device.
Equation 1

14. The method of claim 13,
Further comprising the operation of performing a test of the matching model obtained the meta-knowledge,
The operation of performing the test is,
Including the operation of performing fine-tuning of the matching model from which the meta-knowledge is obtained using the target data of the task level,
Meta-learning-based image registration model generation device.

18. The method of claim 17,
The operation of performing the test is,
Comprising the operation of performing gradient-based optimization of the parameters of the registered model from which the meta-knowledge is obtained and the parameters of the fine-tuned registered model,
Meta-learning-based image registration model generation device.

19. The method of claim 18,
The operation of performing the gradient-based optimization includes:
Parameters of the matching model from which the meta-knowledge is obtained

and the parameters of the fine-tuned registration model.

It is performed based on Equation 2 using

is the learning rate, m is the number of tasks used in meta-learning to perform the fine-tuning,
Meta-learning-based image registration model generation device.
Equation 2