KR102053527B1 - Method for image processing - Google Patents

Method for image processing Download PDF

Info

Publication number
KR102053527B1
KR102053527B1 KR1020180050390A KR20180050390A KR102053527B1 KR 102053527 B1 KR102053527 B1 KR 102053527B1 KR 1020180050390 A KR1020180050390 A KR 1020180050390A KR 20180050390 A KR20180050390 A KR 20180050390A KR 102053527 B1 KR102053527 B1 KR 102053527B1
Authority
KR
South Korea
Prior art keywords
image
error
feature
network
domain
Prior art date
Application number
KR1020180050390A
Other languages
Korean (ko)
Other versions
KR20190042429A (en
Inventor
최광민
장호용
김세경
김다운
Original Assignee
알레시오 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알레시오 주식회사 filed Critical 알레시오 주식회사
Priority to CN201880067109.3A priority Critical patent/CN111226258B/en
Priority to US16/160,859 priority patent/US11694083B2/en
Priority to PCT/KR2018/012112 priority patent/WO2019074339A1/en
Publication of KR20190042429A publication Critical patent/KR20190042429A/en
Application granted granted Critical
Publication of KR102053527B1 publication Critical patent/KR102053527B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001
    • G06T3/0093
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 출원의 실시 예들에 따른 이미지 처리 방법은 하나 이상의 네트워크를 이용한 이미지 처리 방법에 있어서, 제1 도메인의 소스 이미지로부터 하나 이상의 특징맵을 획득하는 단계; 상기 하나 이상의 특징맵을 기초로 제2 도메인의 가상 이미지 및 에러 이미지를 생성하는 단계; 상기 에러 이미지에 제2 가중치가 적용되고, 상기 가상 이미지에 제2 가중치가 적용된 타겟 이미지를 획득하는 단계; 상기 타겟 이미지를 상기 제1 도메인의 복원 이미지로 변환하는 단계; 및 상기 복원 이미지와 상기 소스 이미지 간의 차이를 이용하여 상기 네트워크들 중 적어도 하나의 파라미터가 조정되는 단계; 를 포함할 수 있고, 상기 가상 이미지의 품질이 미리 정해진 수준에 도달할 때까지 상기 단계들이 반복적으로 수행될 수 있다.
따라서, 본 출원의 실시 예들에 의하면 제1 도메인의 소스 이미지 내의 에러 특징들이 제거된 제2 도메인의 가상 이미지가 출력될 수 있다.
An image processing method according to embodiments of the present application may include: obtaining one or more feature maps from a source image of a first domain; Generating a virtual image and an error image of a second domain based on the one or more feature maps; Obtaining a target image to which the second weight is applied to the error image and to which the second weight is applied to the virtual image; Converting the target image into a reconstructed image of the first domain; And adjusting at least one parameter of the networks using the difference between the reconstructed image and the source image; And the steps may be repeatedly performed until the quality of the virtual image reaches a predetermined level.
Therefore, according to embodiments of the present application, the virtual image of the second domain from which error features in the source image of the first domain are removed may be output.

Description

이미지 처리 방법{METHOD FOR IMAGE PROCESSING}Image processing method {METHOD FOR IMAGE PROCESSING}

본 출원은 이미지 처리 방법에 관한 것으로, 아래의 실시 예들은 제1 도메인의 입력 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법들에 관한 것이다.The present application relates to an image processing method, and embodiments below relate to image processing methods for converting an input image of a first domain into a virtual image of a second domain and outputting the virtual image.

초음파를 이용한 영상 진단은 다양한 의료 분야에서 광범위하게 사용되고 있으며, 대표적으로 태아의 초음파 영상은 태아의 발육 상태, 기형 여부 등을 확인하기 위한 중요한 수단이다. Ultrasound imaging has been widely used in various medical fields, and typically, ultrasound imaging of a fetus is an important means for identifying a fetus's developmental status and abnormality.

일반 초음파 검사의 경우 태아의 선천성 기형 등을 조기에 진단할 수 있어 의학적으로 중요한 의미가 있다. 또한, 입체적인 영상을 볼 수 있는 3D 입체 초음파 검사는 태아의 얼굴이나 신체 구조 등 외형적인 모습을 상세하게 확인할 수 있기 때문에 일반 초음파에서 이상 소견을 보이는 경우에 유용하게 활용될 수 있다. 뿐만 아니라 입체 초음파 영상을 통해 태어날 아기의 얼굴을 입체적이고 생동감 있게 볼 수 있어 많은 예비 부모들 사이에서 소장용 목적의 3D 입체 초음파 검사가 선호되고 있다. In general, the ultrasound can be diagnosed early, such as congenital malformations of the fetus has a medical significance. In addition, the 3D stereoscopic examination for viewing a stereoscopic image can be useful in the case of showing abnormalities in general ultrasound because it can confirm the external appearance such as the face and body structure of the fetus in detail. In addition, 3D stereoscopic examination for small intestine is preferred among many prospective parents because they can see the face of the baby to be born through stereoscopic image.

최근 이미지 처리 기술의 발달로 입체 초음파 영상의 해상도가 향상되어 실물에 가까운 얼굴을 확인할 수 있게 되었으나, 초음파 영상의 경우 태아의 형태적인 정보만을 가지고 있기 때문에 실제 아기 사진과 같은 자연스러운 얼굴 모습을 제공하는 데는 한계가 있다. Recently, the development of image processing technology has improved the resolution of stereoscopic ultrasound images, making it possible to identify faces that are close to the real thing. There is a limit.

아래의 실시 예들은, 서로 다른 도메인(domain)에 있는 이미지들 사이의 이미지 변환을 통해 생성되는 가상 이미지를 제공하는 것을 목적으로 한다. The following embodiments aim to provide a virtual image generated by image conversion between images in different domains.

본 출원의 일 실시 예에 따른 이미지 처리 방법은, 하나 이상의 네트워크를 이용한 이미지 처리 방법에 있어서, 제1 도메인의 소스 이미지로부터 하나 이상의 특징맵을 획득하는 단계; 상기 하나 이상의 특징맵을 기초로 제2 도메인의 가상 이미지 및 에러 이미지를 생성하는 단계; 상기 에러 이미지에 제1 가중치가 적용되고, 상기 가상 이미지에 제2 가중치가 적용된 타겟 이미지를 획득하는 단계; 상기 타겟 이미지를 상기 제1 도메인의 복원 이미지로 변환하는 단계; 및 상기 복원 이미지와 상기 소스 이미지 간의 차이를 이용하여 상기 네트워크들 중 적어도 하나의 파라미터가 조정되는 단계; 를 포함할 수 있고, 이때 상기 가상 이미지의 품질이 미리 정해진 수준에 도달할 때까지 상기 단계들이 반복적으로 수행될 수 있다. An image processing method according to an embodiment of the present application may include: obtaining one or more feature maps from a source image of a first domain; Generating a virtual image and an error image of a second domain based on the one or more feature maps; Obtaining a target image to which the first weight is applied to the error image and to which the second weight is applied to the virtual image; Converting the target image into a reconstructed image of the first domain; And adjusting at least one parameter of the networks using the difference between the reconstructed image and the source image; In this case, the steps may be repeatedly performed until the quality of the virtual image reaches a predetermined level.

상기 이미지 처리 방법은, 상기 하나 이상의 특징맵 중 유효특징들에 관련된 제1 특징맵과 에러 특징들에 관련된 제2 특징맵을 분류하는 단계; 를 더 포함할 수 있고, 상기 제1 특징맵을 이용하여 상기 가상 이미지를 생성하고 상기 제2 특징맵을 이용하여 에러 이미지를 생성할 수 있다. The image processing method includes: classifying a first feature map associated with valid features among the one or more feature maps and a second feature map associated with error features; The apparatus may further include a virtual image using the first feature map and an error image using the second feature map.

또한, 상기 가상 이미지의 품질이 미리 정해진 수준에 도달하였는지 여부는, 미리 설정된 종료 조건이 만족되었는지 여부에 따라 결정될 수 있다. In addition, whether the quality of the virtual image reaches a predetermined level may be determined according to whether a preset termination condition is satisfied.

이때, 상기 제1 가중치는, 상기 복원 이미지와 상기 소스 이미지의 차이에 대한 가상 이미지의 기울기를 기초로 산출될 수 있다. 상기 제2 가중치는 상기 제1 가중치를 기초로 산출될 수 있다. In this case, the first weight may be calculated based on the slope of the virtual image with respect to the difference between the reconstructed image and the source image. The second weight may be calculated based on the first weight.

또한, 상기 이미지 처리 방법은, 상기 제2 도메인의 가상 이미지와 원본 이미지 간의 차이를 이용하여 상기 가상 이미지 생성을 위한 적어도 하나의 네트워크의 파라미터가 조정되는 단계를 더 포함할 수 있다. The image processing method may further include adjusting a parameter of at least one network for generating the virtual image by using a difference between the virtual image and the original image of the second domain.

본 출원의 일 실시 예에 따른 이미지 처리 장치는, 제1 도메인의 소스 이미지를 획득하는 이미지 획득 모듈; 상기 소스 이미지 내의 특징들을 분석하고, 상기 소스 이미지 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별하는 특징 분석 모듈; 및 상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 제2 도메인의 가상 이미지를 생성하는 가상 이미지 생성 모듈; 을 포함할 수 있고, 이때 상기 제1 도메인 및 상기 제2 도메인 간의 이미지 변환을 통하여 상기 가상 이미지의 품질이 향상될 수 있다. An image processing apparatus according to an embodiment of the present application may include an image acquisition module configured to acquire a source image of a first domain; A feature analysis module for analyzing features in the source image and identifying at least one error feature and valid features in the source image; And a virtual image generation module configured to synthesize the attributes of the original image of the second domain to the valid features to generate a virtual image of the second domain from which the error feature is removed. The quality of the virtual image may be improved by converting an image between the first domain and the second domain.

상기 이미지 처리 장치는, 상기 에러 특징들을 이용하여 에러 이미지를 생성하는 에러 이미지 생성 모듈; 및 상기 에러 이미지에 제1 가중치를 적용하고, 상기 가상 이미지에 제2 가중치를 적용하여 타겟 이미지를 생성하는 타겟 이미지 생성 모듈;을 더 포함할 수 있다. The image processing apparatus includes an error image generation module for generating an error image using the error features; And a target image generation module configured to generate a target image by applying a first weight to the error image and applying a second weight to the virtual image.

또한, 상기 이미지 처리 장치는, 상기 타겟 이미지를 복원 이미지로 변환하기 위한 이미지 복원 모듈; 및 상기 복원 이미지와 상기 소스 이미지 사이의 차이 값을 기초로 상기 모듈들 중 적어도 하나에 적용되는 파라미터를 조정하기 위한 가중치 조정 모듈;을 더 포함할 수 있다. The image processing apparatus may further include an image reconstruction module for converting the target image into a reconstructed image; And a weight adjusting module for adjusting a parameter applied to at least one of the modules based on a difference value between the reconstructed image and the source image.

이때, 상기 가중치 조정모듈에 의해 조정된 파라미터는 상기 특징 분석 모듈, 상기 가상 이미지 생성 모듈, 상기 에러 이미지 생성 모듈, 상기 이미지 복원 모듈 중 적어도 하나에 피드백될 수 있다. In this case, the parameter adjusted by the weight adjustment module may be fed back to at least one of the feature analysis module, the virtual image generation module, the error image generation module, and the image reconstruction module.

이때, 상기 제2 가중치는 상기 제1 가중치를 기초로 산출될 수 있다. In this case, the second weight may be calculated based on the first weight.

또한, 상기 이미지 처리 장치는 상기 가상 이미지의 품질이 향상되도록 상기 타겟 이미지 생성 및 상기 복원 이미지 변환을 반복적으로 수행할 수 있다. The image processing apparatus may repeatedly perform the target image generation and the reconstructed image conversion so that the quality of the virtual image is improved.

이때, 상기 유효 특징은 상기 소스 이미지 내의 관심 영역(ROI)에 관련된 것이고, 상기 에러 특징은 상기 소스 이미지 내의 에러 영역에 관련된 것일 수 있고, 상기 이미지 처리 장치는 상기 유효 특징 및 상기 에러특징들을 분류하기 위한 특징 분류 모듈;을 더 포함할 수 있다. In this case, the valid feature may be related to a region of interest (ROI) in the source image, the error feature may be related to an error region in the source image, and the image processing apparatus is configured to classify the valid feature and the error feature. Feature classification module for; may further include.

이때, 상기 가중치 조정모듈에 의해 조정된 상기 파라미터는 상기 특징 분류 모듈에 피드백될 수 있다. In this case, the parameter adjusted by the weight adjustment module may be fed back to the feature classification module.

본 출원의 다른 실시 예에 따른 이미지 처리 방법은 제1 도메인의 소스 이미지를 획득하는 단계; 상기 소스 이미지 내의 특징들을 분석하는 단계; 상기 소스 이미지 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별하는 단계; 및 상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 제2 도메인의 가상 이미지를 출력하는 단계; 를 포함할 수 있고, 이때 상기 제1 도메인 및 상기 제2 도메인 사이의 이미지 변환을 통하여 상기 가상 이미지의 품질이 향상되도록, 상기 단계들이 반복적으로 수행될 수 있다. According to another embodiment of the present application, an image processing method includes: obtaining a source image of a first domain; Analyzing features in the source image; Identifying at least one error feature and valid features in the source image; And synthesizing the attributes of the original image of the second domain with the valid features to output the virtual image of the second domain from which the error feature has been removed. In this case, the steps may be repeatedly performed so that the quality of the virtual image is improved through image conversion between the first domain and the second domain.

이때, 상기 유효 특징은 상기 소스 이미지 내의 관심영역에 관련된 특징이고, 상기 에러 특징은 상기 소스 이미지 내의 에러 영역에 관련된 특징일 수 있다. In this case, the effective feature may be a feature related to a region of interest in the source image, and the error feature may be a feature related to an error region in the source image.

이때, 상기 단계들은, 미리 설정된 종료 조건이 만족 될 때까지 반복적으로 수행될 수 있다. In this case, the steps may be repeatedly performed until a preset termination condition is satisfied.

또한, 본 출원의 일 실시 예에 따른 컴퓨터 판독 가능 매체는, 본 출원의 실시 예들에 따른 이미지 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 것일 수 있다. In addition, the computer readable medium according to an embodiment of the present application may be a program for executing an image processing method according to embodiments of the present application on a computer.

본 출원의 실시 예들에 의하면 제1 도메인의 입력 이미지 내의 에러 특징들이 제거된 제2 도메인의 가상 이미지가 출력될 수 있다.According to embodiments of the present application, the virtual image of the second domain from which error features in the input image of the first domain are removed may be output.

도 1은 본 출원의 일 실시 예에 따른 입력 이미지를 가상 이미지로 변환하여 제공하는 이미지 처리 시스템의 전체 환경을 개략적으로 설명하기 위한 도면이다.
도 2는 본 출원의 일 실시 예에 따른 이미지 처리 방법을 개략적으로 나타내기 위한 블록도이다.
도 3은 본 출원의 일 실시 예에 따른 뉴럴 네트워크(NN)의 구성을 예시적으로 나타내기 위한 도면이다.
도 4는 본 출원의 다른 실시 예에 따른 뉴럴 네트워크(NN)의 구성을 예시적으로 나타내기 위한 도면이다.
도 5는 본 출원의 일 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다.
도 6은 본 출원의 다른 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다.
도 7은 본 출원의 다른 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다.
도 8은 본 출원의 일 실시 예에 따른 이미지 변환 장치의 구성을 개략적으로 나타내기 위한 블록도이다.
FIG. 1 is a diagram schematically illustrating an overall environment of an image processing system for converting and providing an input image into a virtual image according to an exemplary embodiment.
2 is a block diagram schematically illustrating an image processing method according to an exemplary embodiment.
3 is a diagram illustrating a configuration of a neural network NN according to an embodiment of the present application.
4 is a diagram illustrating a configuration of a neural network NN according to another embodiment of the present application.
FIG. 5 is a flowchart for describing an image processing method of converting a source image of a first domain into a virtual image of a second domain and outputting the image, according to an exemplary embodiment.
FIG. 6 is a flowchart for explaining an image processing method of converting a source image of a first domain into a virtual image of a second domain and outputting the image according to another embodiment of the present application.
FIG. 7 is a flowchart illustrating an image processing method of converting a source image of a first domain into a virtual image of a second domain and outputting the image according to another embodiment of the present application.
8 is a block diagram schematically illustrating a configuration of an image conversion apparatus according to an embodiment of the present application.

본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. The above objects, features and advantages of the present invention will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. However, the present invention may be modified in various ways and may have various embodiments. Hereinafter, specific embodiments will be illustrated in the drawings and described in detail.

도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장되어진 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위 뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.In the drawings, the thicknesses of layers and regions are exaggerated for clarity, and the elements or layers may be “on” or “on” other components or layers. References include all intervening other layers or components as well as directly above other components or layers. Like numbers refer to like elements throughout. In addition, the components with the same functions within the scope of the same idea shown in the drawings of each embodiment will be described using the same reference numerals.

본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.If it is determined that the detailed description of the known function or configuration related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, numerals (eg, first, second, etc.) used in the description process of the present specification are merely identification symbols for distinguishing one component from another component.

또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. In addition, the suffixes "module" and "unit" for the components used in the following description are given or mixed in consideration of ease of specification, and do not have distinct meanings or roles from each other.

이하에서는, 서로 다른 도메인(domain)에 있는 이미지들 사이의 이미지 변환에 관련된 실시 예들에 대하여 설명한다. Hereinafter, embodiments related to image conversion between images in different domains will be described.

본 출원의 일 실시 예에 따른 이미지 처리는 제1 도메인의 입력 이미지와 제2 도메인의 가상 이미지 사이의 이미지 변환에 관한 것일 수 있다. Image processing according to an embodiment of the present application may relate to image conversion between the input image of the first domain and the virtual image of the second domain.

이때, 입력 이미지는 다양한 이미징 장치(imaging apparatus)를 통해 획득된 이미지일 수 있다. 예를 들어, 입력 이미지는 엑스레이(X-ray), CT(computed Tomography), MRI(Magnetic Resonance Imaging), 초음파 영상 촬영 장치 등을 통해 획득된 의료 이미지(medical image)일 수 있다. 또는, 예를 들어, 상기 입력 이미지는 기타 다양한 종류의 카메라 장치 등을 통해 촬상된 사진 이미지일 수 있다. In this case, the input image may be an image obtained through various imaging apparatuses. For example, the input image may be a medical image obtained through X-ray, computed tomography (CT), magnetic resonance imaging (MRI), or an ultrasound imaging apparatus. Alternatively, for example, the input image may be a photographic image captured by various other types of camera devices.

또한, 가상 이미지는 상기 제1 도메인의 입력 이미지 중 사용자의 관심 영역(ROI)만을 포함하는 제2 도메인의 이미지일 수 있다. 다시 말해, 상기 제1 도메인의 입력 이미지에 포함된 인공물(artifact)이 제거된 제2 도메인의 이미지일 수 있다. 예를 들어, 상기 인공물은 상기 입력 이미지에 포함된 다양한 형태의 이미징 에러(imaging error)일 수 있고, 상기 인공물은 사용자가 원하지 않는 특징(unwanted features)들일 수 있다. 이 때, 사용자는 상기 입력 이미지에 포함된 원하지 않는 특징들을 인공물로 정의할 수 있다. In addition, the virtual image may be an image of the second domain including only the ROI of the user among the input images of the first domain. In other words, it may be an image of the second domain from which artifacts included in the input image of the first domain have been removed. For example, the artifact may be various types of imaging error included in the input image, and the artifact may be unwanted features that the user does not want. In this case, the user may define an unwanted feature included in the input image as an artifact.

도 1은 본 출원의 일 실시 예에 따른 이미지 처리 시스템의 전체 환경을 개략적으로 설명하기 위한 도면이다. 본 출원의 일 실시 예에 따른 이미지 처리 시스템(1)은 서버(10), 데이터 베이스(20), 사용자 장치(30) 등을 포함할 수 있으며, 상기 서버(10), 상기 데이터 베이스(20), 상기 사용자 장치(30) 등이 통신망(2)을 통해 연결될 수 있다. 또한, 상기 이미지 처리 시스템(1)은 하나 이상의 서버(10), 데이터 베이스(20), 사용자 장치(30)를 포함할 수 있다. 1 is a diagram schematically illustrating an overall environment of an image processing system according to an exemplary embodiment. The image processing system 1 according to the exemplary embodiment of the present application may include a server 10, a database 20, a user device 30, and the like, and the server 10 and the database 20. The user device 30 may be connected via the communication network 2. In addition, the image processing system 1 may include one or more servers 10, a database 20, and a user device 30.

서버(10)는 머신 러닝을 수행하는 이미지 처리 장치일 수 있다. 상기 서버는, 메모리, 이미지 처리를 수행하는 하나의 프로세서 또는 복수 개의 프로세서를 포함할 수 있다. The server 10 may be an image processing apparatus that performs machine learning. The server may include a memory, one processor that performs image processing, or a plurality of processors.

상기 메모리(도시되지 않음)에는 이미지 처리를 위한 프로그램이 저장되어 있을 수 있고, 상기 프로그램은 하나 이상의 모듈을 포함할 수 있다. A program for image processing may be stored in the memory (not shown), and the program may include one or more modules.

상기 프로세서(도시되지 않음)에는 머신 러닝을 수행하기 위한 하나 이상의 머신 러닝(Machine Learning) 알고리즘이 제공될 수 있다. 구체적으로, 본 출원의 일 실시 예에 따른 이미지 처리에는 다양한 머신 러닝 모델(Machine learning model)이 사용될 수 있으며, 예를 들어, 딥러닝 모델(Deep learning model)이 사용될 수 있다. The processor (not shown) may be provided with one or more machine learning algorithms for performing machine learning. Specifically, various machine learning models may be used for image processing according to an embodiment of the present application, for example, a deep learning model may be used.

딥러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions)를 시도하는 알고리즘의 집합이다. 딥러닝의 핵심 모델로 딥뉴럴 네트워크(Deep Neural Network, DNN)가 활용될 수 있다. 딥뉴럴 네트워크(DNN)는 입력층(input layer)과 출력층(output layer) 사이의 여러 개의 은닉층(hidden layer)들을 포함하며, 알고리즘에 따라 비지도 학습(Unsupervised Learning)을 기반으로 하는 심층 신뢰 네트워크(Deep Belief Network, DBN), 심층 오토 인코더(Deep Auto encoder), 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN), 순환 뉴럴 네트워크(Recurrent Neural Network, RNN), 생성적 적대 네트워크(Generative Adversarial Network, GAN) 등이 활용될 수 있다. 여기서 비지도 학습은 라벨(label), 클래스(class)와 같은 출력 패턴이 주어지지 않고 입력 패턴에 근거하여 학습을 진행하는 머신 러닝 모델로서 입력 패턴의 통계적 특질을 파악하여 비슷한 입력 패턴이 비슷한 출력 패턴을 생성할 수 있도록 연결 가중치(weight)를 조정한다. 예를 들어, 이미지와 같은 2차원 데이터의 학습에 적용될 수 있는 컨볼류션 뉴럴 네트워크(CNN)의 경우, 하나 또는 여러 개의 컨볼루션 레이어(convolutional layer)과 풀링 레이어(pooling layer), 완전하게 연결된 레이어(fully connected layer)들로 구성될 수 있고, 역전달 알고리즘(Backpropagation algorithm)을 통해 훈련될 수 있다. Deep learning is a set of algorithms that attempts a high level of abstraction through a combination of several nonlinear transformations. Deep Neural Network (DNN) can be used as a core model of deep learning. The deep neural network (DNN) includes several hidden layers between an input layer and an output layer, and is based on an algorithm that is based on an unsupervised learning algorithm. Deep Belief Network (DBN), Deep Auto encoder, Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Genetic Adversarial Network (GAN) And the like can be utilized. Here, unsupervised learning is a machine learning model that learns based on an input pattern without being given an output pattern such as a label or a class. The output pattern is similar to a similar input pattern by identifying statistical characteristics of the input pattern. Adjust the connection weight to generate. For example, in the case of a convolutional neural network (CNN) that can be applied to the learning of two-dimensional data such as images, one or several convolutional layers, a pooling layer, a fully connected layer (fully connected layers) and can be trained through a backpropagation algorithm.

따라서, 상기 프로세서를 통해 사용자 장치(30)로부터 수신되는 제1 도메인의 입력이미지가 상술한 하나 이상의 머신 러닝 알고리즘을 이용하여 제2 도메인의 가상 이미지로 변환될 수 있다. 이하에서는 상기 서버(10)에서 상술한 뉴럴 네트워크, 이들의 확장 또는 기타 딥러닝 접근법들을 이용하여 이미지 처리를 수행하는 경우를 예로 들어 설명하기로 한다. 이때 변환된 이미지는 상기 입력 이미지에 포함된 에러 특징이 제거된 이미지일 수 있으며, 상기 서버(10)에서 수행되는 구체적인 이미지 처리 동작에 관해서는 이하의 관련된 부분에서 상세하게 설명하기로 한다. Therefore, the input image of the first domain received from the user device 30 through the processor may be converted into the virtual image of the second domain using the one or more machine learning algorithms described above. Hereinafter, an example in which the image processing is performed by the server 10 using the neural network described above, extension thereof, or other deep learning approaches will be described. In this case, the converted image may be an image from which an error feature included in the input image has been removed, and a detailed image processing operation performed by the server 10 will be described in detail in the following section.

데이터 베이스(20)는, 하나 이상의 메모리를 포함할 수 있고, 사용자 장치(30)로부터 수신되는 하나 이상의 이미지를 저장할 수 있고, 이미지 처리 과정에서 생성되는 각종 데이터들을 저장할 수 있다. 또한, 상기 데이터 베이스(20)는 외부 서버 또는 외부 데이터 베이스 등으로부터 획득한 하나 이상의 이미지, 상기 이미지의 특징정보 등을 저장할 수 있다. 상기 데이터 베이스(20)는 전술한 서버(10) 내에 위치할 수도 있다. The database 20 may include one or more memories, may store one or more images received from the user device 30, and may store various data generated during image processing. In addition, the database 20 may store one or more images obtained from an external server or an external database, feature information of the image, and the like. The database 20 may be located in the server 10 described above.

사용자 장치(30)는 특정 오브젝트(object)를 촬영하기 위한 이미징 장치(imaging device)일 수 있다. 예를 들어, 상기 사용자 장치(30)는 카메라, 엑스레이, CT, MRI 초음파 영상 촬영 장치 등 일 수 있다. 또는, 상기 사용자 장치(30)는 상기 이미징 장치로부터 촬상된 이미지를 제공받는 전자기기일 수 있다. 예를 들어, 상기 전자기기는 데스크탑, 노트북 등과 같은 컴퓨터일 수 있다. 또는, 예를 들어, 상기 전자기기는 태블릿, 스마트폰 등과 같은 휴대용 단말기일 수 있다. 상기 사용자 장치(30)는 상기 사용자 장치(30)에 설치된 프로그램, 상기 사용자 장치(30) 상에 제공되는 웹사이트, 애플리케이션 등을 통하여 서버(10)에 접근할 수 있다. 따라서, 상기 사용자 장치(30)는 상기 사용자 장치(30)에서 촬영되거나 상기 사용자 장치(30)에 저장된 적어도 하나의 이미지를 상기 서버(10)에 입력 이미지로서 제공할 수 있다. The user device 30 may be an imaging device for photographing a specific object. For example, the user device 30 may be a camera, an X-ray, a CT, or an MRI ultrasound imaging apparatus. Alternatively, the user device 30 may be an electronic device that receives an image captured by the imaging device. For example, the electronic device may be a computer such as a desktop, a notebook, or the like. Alternatively, for example, the electronic device may be a portable terminal such as a tablet, a smartphone, or the like. The user device 30 may access the server 10 through a program installed on the user device 30, a website, an application, or the like provided on the user device 30. Accordingly, the user device 30 may provide at least one image captured by the user device 30 or stored in the user device 30 to the server 10 as an input image.

통신망(2)은 서버(10)와 사용자 장치(30) 사이를 연결하기 위한 다양한 방식의 유무선 통신망일 수 있다. 또는, 상기 통신망(2)는 로컬 영역 통신망(local area network) 또는 광역 통신망(wide area network)일 수 있다. 예를 들어, 유에스비(USB)를 통한 유선 통신, 와이파이(Wi-Fi), 와이브로(Wibro), 블루투스(Bluetooth), 알에프(RF), 적외선 통신(IrDA) 방식 등의 무선 통신일 수 있으며, 상기 통신망(2)은 상술한 예로 한정되지 않는다. The communication network 2 may be various wired and wireless communication networks for connecting between the server 10 and the user device 30. Alternatively, the communication network 2 may be a local area network or a wide area network. For example, wired communication through USB (Wi-Fi), Wi-Fi (Wi-Fi), Wibro (Wibro), Bluetooth (Bluetooth), RF (RF), infrared communication (IrDA), such as wireless communication may be the above, The communication network 2 is not limited to the above-mentioned example.

이하에서는 도 2 내지 도 7 을 참조하여 본 출원의 일 실시 예에 따른 이미지 처리 방법의 다양한 실시 예들에 대하여 설명한다. 도 2 내지 도 7은 본 출원의 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 도면들이다. Hereinafter, various embodiments of an image processing method according to an exemplary embodiment of the present application will be described with reference to FIGS. 2 to 7. 2 to 7 are views for explaining an image processing method according to an embodiment of the present application.

이하에서는, 제1 도메인(domain)의 소스 이미지(source image)는 태아의 초음파 이미지(Ultrasound Image), 제2 도메인의 원본 이미지(original image)는 신생아의 실제 사진 이미지(Real Photo Image)인 경우를 예로 들어 설명하기로 한다. 이 때, 제2 도메인의 가상 이미지는 상기 태아의 초음파 이미지에 신생아의 실제 사진 이미지의 특징들을 합성하여 상기 태아의 초음파 이미지 내의 인공물(artifact)이 제거된 태아의 사진 이미지일 수 있다. , 상기 인공물(artifact)은, 예를 들어, 상기 태아의 초음파 이미지에 포함된 다양한 형태의 이미징 에러(imaging error), 상기 태아의 얼굴 영역(face region)이 아닌 임의의 특징일 수 있다. 이하에서는, 태아의 얼굴 영역(face region)을 사용자의 관심 영역(ROI)으로 정의하고, 상기 태아의 초음파 이미지 내의 적어도 하나의 인공물을 포함하는 영역을 에러 영역(error region)으로 정의한다. Hereinafter, a case where a source image of a first domain is an ultrasound image of a fetus and an original image of a second domain is a real photo image of a newborn baby. An example will be described. In this case, the virtual image of the second domain may be a photographic image of a fetus in which artifacts in the ultrasound image of the fetus are removed by synthesizing features of an actual photographic image of a newborn with an ultrasound image of the fetus. The artifact may be any feature that is not, for example, various types of imaging error included in the ultrasound image of the fetus, but not a face region of the fetus. Hereinafter, a face region of the fetus is defined as a region of interest (ROI) of the user, and an area including at least one artifact in the ultrasound image of the fetus is defined as an error region.

또한, 상기 태아의 초음파 이미지는 초음파 촬영 장치를 통해 촬상된 태아의 2차원 또는 3차원 이미지일 수 있고, 신생아의 실제 사진 이미지는 신생아를 실제로 촬상한 2차원 이미지일 수 있다. 한편, 본 출원의 일 실시 예에 따른 이미지 처리에 있어서, 상기 초음파 이미지의 태아와 상기 실제 사진 이미지의 신생아는 서로 일치하지 않을 수 있다. In addition, the ultrasound image of the fetus may be a two-dimensional or three-dimensional image of the fetus captured by the ultrasound imaging device, the actual photographic image of the newborn may be a two-dimensional image of the newborn actually photographed. On the other hand, in the image processing according to an embodiment of the present application, the fetus of the ultrasound image and the newborn of the actual photographic image may not match each other.

또한, 이하에서는, 설명의 편의를 위하여 도 1을 참조하여 설명한 이미지 처리 시스템(1)에 있어서, 전술한 서버(10)에서 수행되는 이미지 처리의 예들을 상세하게 설명한다. In addition, hereinafter, in the image processing system 1 described with reference to FIG. 1 for convenience of description, examples of image processing performed by the server 10 described above will be described in detail.

도 2는 본 출원의 일 실시 예에 따른 이미지 처리 방법을 개략적으로 나타내기 위한 블록도이다. 도 2를 참조하면, 본 출원의 일 실시 예에 따른 이미지 처리는 뉴럴 네트워크(Neural Network, NN)를 이용하여 수행될 수 있고, 상기 뉴럴 네트워크(NN)에는 전술한 사용자 장치(30)로부터 수신되는 제1 도메인의 소스 이미지(X)가 입력데이터로서 적용될 수 있다. 즉, 도 2에 도시된 바와 같이, 상기 사용자 장치(30)로부터 수신된 상기 소스 이미지(X)가 상기 뉴럴 네트워크(NN)에 입력되면, 상기 뉴럴 네트워크(NN)를 이용하여 변환된 제2 도메인의 가상이미지(Yv)가 출력될 수 있다. 이 때, 상기 가상 이미지(Yv)는 상기 소스 이미지(X) 내의 에러 특징들이 제거된 제2 도메인의 이미지일 수 있다. 이하에서는 상기 뉴럴 네트워크(NN)를 통한 이미지 변환 방법에 대하여 상세하게 설명한다. 2 is a block diagram schematically illustrating an image processing method according to an exemplary embodiment. Referring to FIG. 2, image processing according to an embodiment of the present application may be performed using a neural network (NN), which is received from the user device 30 described above in the neural network NN. The source image X of the first domain may be applied as input data. That is, as shown in FIG. 2, when the source image X received from the user device 30 is input to the neural network NN, a second domain converted using the neural network NN. The virtual image Yv may be output. In this case, the virtual image Yv may be an image of the second domain from which error features in the source image X are removed. Hereinafter, an image conversion method through the neural network NN will be described in detail.

도 3 및 도 4는 본 출원의 일 실시 예에 따른 뉴럴 네트워크(NN)의 구성을 예시적으로 나타내기 위한 도면이다. 3 and 4 are diagrams for exemplarily illustrating a configuration of a neural network NN according to an embodiment of the present application.

본 출원의 일 실시 예에 따른 뉴럴 네트워크(NN)는 하나 이상의 네트워크를 포함할 수 있고, 상기 네트워크는 복수의 레이어를 포함할 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 하나의 네트워크는 복수의 레이어를 포함하는 컨볼루션 네트워크(convolution network) 및/또는 디컨볼루션 네트워크(deconvolution network)일 수 있다. 이하에서는 설명의 편의를 위하여 하나 이상의 네트워크를 이용하여 이미지 처리가 수행되는 경우를 상정하여 설명한다. 도 3을 참조하면, 상기 뉴럴 네트워크(NN)는 제1 네트워크(101), 제2 네트워크(102), 제3 네트워크(103), 제4 네트워크(104) 및 제5 네트워크(105)를 포함할 수 있다. 상기 제1 내지 제5 네트워크에서는 이미지 처리를 위한 각 단계가 순차적으로 또는 병렬적으로 수행될 수 있다. The neural network NN according to an embodiment of the present application may include one or more networks, and the network may include a plurality of layers. For example, as shown in FIG. 2, one network may be a convolution network and / or a deconvolution network including a plurality of layers. In the following description, it is assumed that image processing is performed using at least one network for convenience of description. Referring to FIG. 3, the neural network NN may include a first network 101, a second network 102, a third network 103, a fourth network 104, and a fifth network 105. Can be. In the first to fifth networks, each step for image processing may be performed sequentially or in parallel.

먼저, 제1 네트워크(101)는 제1 도메인의 소스 이미지(X)를 특징맵(Feature Map, FM)으로 변환하기 위한 네트워크일 수 있다. First, the first network 101 may be a network for converting the source image X of the first domain into a feature map (FM).

예를 들어, 상기 제1 네트워크(101)는 컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 이 때, 상기 제1 네트워크(101)에서는 상기 복수의 레이어를 이용하여 상기 소스 이미지(X) 내에 포함된 복수의 특징(feature)들이 추출될 수 있다. For example, the first network 101 may be a convolutional network and may include a plurality of layers. In this case, the first network 101 may extract a plurality of features included in the source image X using the plurality of layers.

상기 복수의 특징들은, 예를 들어, 엣지(edge), 선명도(sharpness), 깊이(depth), 명도(brightness), 컨트라스트(contrast), 블러(blur) 등을 포함할 수 있으며, 상기 복수의 특징들은 상술한 예로 한정되지 않는다. The plurality of features may include, for example, edge, sharpness, depth, brightness, contrast, blur, and the like. These are not limited to the examples described above.

상기 특징맵은 상기 복수의 특징들의 조합일 수 있으며, 하나 이상의 특징맵을 통하여 상기 소스 이미지 내의 각 영역( region)들이 식별될 수 있다. 상기 각 영역들은 사용자의 관심 영역(ROI) 및 상기 소스 이미지 내의 적어도 하나의 인공물을 포함하는 에러 영역(error region)을 포함할 수 있다. 예를 들어, 상기 관심 영역은 태아의 얼굴 영역(face region)일 수 있고, 상기 에러 영역은 태아의 얼굴 영역이 아닌 다른 신체 영역일 수 있다. 예를 들어, 상기 얼굴 영역은 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 또한, 예를 들어, 상기 에러 영역은 태아의 손, 발, 태반, 양수 등을 포함할 수 있다.The feature map may be a combination of the plurality of features, and regions in the source image may be identified through one or more feature maps. Each of the regions may include an error region including a region of interest (ROI) of the user and at least one artifact in the source image. For example, the region of interest may be a face region of the fetus and the error region may be a body region other than the face region of the fetus. For example, the facial region may include the eyes, nose, mouth, ears, and the like of the fetus. Also, for example, the error area may include a fetus's hand, foot, placenta, amniotic fluid, and the like.

따라서, 상기 제1 네트워크(101)를 이용하여 상기 복수의 레이어 중 적어도 하나의 레이어로부터 특징맵(feature map)이 획득될 수 있다. 또는, 상기 상기 복수의 레이어 중 마지막 레이어로부터 특징맵이 획득될 수도 있다. 상기 제1 네트워크(101)에서 생성된 하나 이상의 특징맵은 제2 네트워크(102) 및 제3 네트워크(103)의 입력 데이터로서 사용될 수 있다. Accordingly, a feature map may be obtained from at least one layer of the plurality of layers using the first network 101. Alternatively, a feature map may be obtained from a last layer of the plurality of layers. One or more feature maps generated in the first network 101 may be used as input data of the second network 102 and the third network 103.

한편, 본 출원의 일 실시 예에 따른 뉴럴 네트워크의 이미지 처리 수행 결과에 따라 상기 복수의 레이어에 대한 파라미터가 조정될 수 있고, 상기 복수의 레이어 중 적어도 하나의 레이어가 연산에서 제거 또는 추가될 수 있다. 상기 파라미터 조정에 관한 상세한 설명은 관련된 부분에서 기술하기로 한다.Meanwhile, the parameter for the plurality of layers may be adjusted according to an image processing result of the neural network according to an embodiment of the present application, and at least one layer of the plurality of layers may be removed or added to the calculation. Detailed description of the parameter adjustment will be described in the relevant section.

제2 네트워크(102)는 전술한 제1 네트워크(101)로부터 입력되는 하나 이상의 특징맵을 입력 데이터로 사용하여 제2 도메인의 가상 이미지(Yv)를 생성하기 위한 네트워크일 수 있다. 상기 제2 네트워크(102)는 제1 도메인의 소스 이미지(X)를 제2 도메인의 가상 이미지(Yv)로 변환하도록 트레이닝(training)될 수 있다. The second network 102 may be a network for generating a virtual image Yv of the second domain using one or more feature maps input from the first network 101 described above as input data. The second network 102 may be trained to convert the source image X of the first domain into a virtual image Yv of the second domain.

예를 들어, 상기 제2 네트워크(102)는 디컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 상기 제2 네트워크(102)에서는 상기 복수의 레이어를 이용하여 상기 특징맵의 대응되는 특징들에 제2 도메인의 원본 이미지(original image)의 특징들이 맵핑된 가상 이미지(Yv)가 생성될 수 있다.For example, the second network 102 may be a deconvolution network and may include a plurality of layers. The second network 102 may generate a virtual image Yv in which features of an original image of a second domain are mapped to corresponding features of the feature map by using the plurality of layers.

상기 제2 네트워크(102)에 입력되는 하나 이상의 특징맵은, 소스 이미지(X) 내의 관심 영역(예컨대, 눈, 코, 입, 귀 등)의 특징들을 포함할 수 있다. 상기 가상 이미지(Yv)는 상기 하나 이상의 특징맵을 이용하여 생성되며 상기 소스 이미지(X) 내의 관심 영역을 포함하는 이미지일 수 있다. The one or more feature maps input to the second network 102 may include features of a region of interest (eg, eyes, nose, mouth, ear, etc.) in the source image (X). The virtual image Yv may be an image that is generated using the one or more feature maps and includes an ROI in the source image X.

또한, 원본 이미지의 특징들은, 예를 들어, 이미지의 밝기, 색상, 반사색, 텍스쳐, 깊이, 블렌딩 등을 포함할 수 있다. 상기 원본 이미지 및/또는 상기 원본 이미지의 특징들은 전술한 데이터 베이스(20) 또는 외부 서버로부터 획득될 수 있다. 또는, 상기 제2 네트워크(102)는 상기 원본 이미지의 특징들을 추출하기 위한 서브 네트워크(도시되지 않음)를 더 포함할 수 있다. 상기 서브 네트워크는, 예를 들어, 컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 상기 서브 네트워크를 통해 상기 원본 이미지의 특징들을 추출하는 동작은 전술한 제1 네트워크(101)에서 수행되는 동작에 대응될 수 있다.Also, features of the original image may include, for example, brightness, color, reflection color, texture, depth, blending, and the like of the image. The original image and / or the features of the original image may be obtained from the above-described database 20 or an external server. Alternatively, the second network 102 may further include a sub network (not shown) for extracting features of the original image. The sub-network may be, for example, a convolutional network and may include a plurality of layers. Extracting features of the original image through the sub network may correspond to the above-described operation performed in the first network 101.

따라서, 서버(10)는 상기 제2 네트워크를 통하여 상기 적어도 하나의 특징맵에 상기 원본 이미지의 특징들이 합성된 제2 도메인의 가상 이미지를 획득할 수 있다. 상기 서버(10)는 복수의 특징맵에 대한 복수의 합성 이미지가 추출되는 경우 상기 합성 이미지들을 통합하여 하나의 가상 이미지를 획득할 수도 있다. Accordingly, the server 10 may obtain a virtual image of the second domain in which the features of the original image are combined with the at least one feature map through the second network. When a plurality of composite images of a plurality of feature maps are extracted, the server 10 may acquire one virtual image by integrating the composite images.

한편, 본 출원의 일 실시 예에 따른 뉴럴 네트워크의 이미지 처리 수행결과에 따라 상기 복수의 레이어에 대한 파라미터가 조정될 수 있고, 상기 복수의 레이어 중 적어도 하나의 레이어가 연산에서 제거 또는 추가될 수 있다. 상기 파라미터 조정에 관한 상세한 설명은 관련된 부분에서 기술하기로 한다.Meanwhile, the parameter for the plurality of layers may be adjusted according to an image processing result of the neural network according to an embodiment of the present application, and at least one layer of the plurality of layers may be removed or added to the calculation. Detailed description of the parameter adjustment will be described in the relevant section.

제3 네트워크(103)는 전술한 제1 네트워크(101)로부터 입력되는 하나 이상의 특징맵을 입력 데이터로 사용하여 에러 이미지(Ye)를 생성하기 위한 네트워크일 수 있다. 상기 제3 네트워크(103)는 제1 도메인의 소스 이미지(X)를 제2 도메인의 에러 이미지(Ye)로 변환하도록 트레이닝(training)될 수 있다. The third network 103 may be a network for generating an error image Ye using one or more feature maps input from the first network 101 described above as input data. The third network 103 may be trained to convert the source image X of the first domain into an error image Ye of the second domain.

예를 들어, 상기 제3 네트워크(103)는 디컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 상기 제3 네트워크(103)에서는 상기 복수의 레이어를 이용하여 제2 도메인의 에러 이미지(Ye)가 생성될 수 있다. For example, the third network 103 may be a deconvolution network and may include a plurality of layers. In the third network 103, an error image Ye of a second domain may be generated using the plurality of layers.

상기 제3 네트워크(103)에 입력되는 하나 이상의 특징맵은, 소스 이미지(X) 내의 관심 영역이 아닌 에러 영역(예컨대, 손, 발, 태반, 양수 등)의 특징들을 포함할 수 있다. 상기 에러 이미지(Ye)는 상기 하나 이상의 특징맵을 이용하여 생성되며 상기 소스 이미지(X) 내의 에러 영역을 포함하는 제2 도메인의 이미지일 수 있다. The one or more feature maps input to the third network 103 may include features of an error area (eg, hand, foot, placenta, amniotic fluid, etc.) that are not areas of interest in the source image X. The error image Ye may be an image of a second domain that is generated using the one or more feature maps and includes an error area in the source image X.

따라서, 서버(10)는 상기 제3 네트워크(103)를 통하여 제2 도메인의 에러 이미지(Ye)를 획득할 수 있다. 상기 서버(10)는 복수의 특징맵에 대한 복수의 합성 이미지가 추출되는 경우 상기 합성 이미지들을 통합하여 하나의 에러 이미지를 획득할 수 있다. Therefore, the server 10 may acquire an error image Ye of the second domain through the third network 103. When the plurality of composite images for the plurality of feature maps are extracted, the server 10 may acquire one error image by integrating the composite images.

또한, 서버(10)는 상기 제2 네트워크(102)로부터 획득된 가상 이미지(Yv) 및 상기 제3 네트워크(103)로부터 획득된 에러 이미지(Ye)를 통합한 타겟 이미지(Y)를 획득할 수 있고, 상기 타겟 이미지(Y)는 제4 네트워크(104)의 입력 데이터로서 사용될 수 있다. 상기 타겟 이미지(Y)가 획득되는 과정은 관련된 부분에서 상세하게 설명하기로 한다. In addition, the server 10 may obtain a target image Y integrating the virtual image Yv obtained from the second network 102 and the error image Ye obtained from the third network 103. The target image Y may be used as input data of the fourth network 104. The process of obtaining the target image Y will be described in detail in the relevant part.

제 4 네트워크(104)는 전술한 제2 네트워크(102) 및 제3 네트워크(103)로부터 생성된 가상 이미지(Yv)와 에러 이미지(Ye)가 통합된 제2 도메인의 타겟 이미지(Y)를 제1 도메인의 복원 이미지(X')로 역변환하기 위한 네트워크일 수 있다. 상기 제4 네트워크(104)는 상기 소스 이미지(X)가 정확하게 복원되도록 함으로써 상기 뉴럴 네트워크(NN)의 트레이닝 안정성을 향상시킬 수 있다.The fourth network 104 removes the target image Y of the second domain in which the virtual image Yv and the error image Ye generated from the above-described second network 102 and the third network 103 are integrated. It may be a network for inverting the reconstruction image X 'of one domain. The fourth network 104 may improve training stability of the neural network NN by allowing the source image X to be correctly reconstructed.

즉, 본 출원의 일 실시 예에 따른 상기 뉴럴 네트워크(NN)는 상기 제2 네트워크(102) 및 상기 제3 네트워크(103)를 통하여 제1 도메인의 소스 이미지(X)를 제2 도메인의 타겟 이미지(Y)로 변환하는 과정과 상기 변환된 제2 도메인의 타겟 이미지(Y)를 제1 도메인의 복원 이미지(X')로 변환하는 과정을 동시에 학습함으로써 손실함수(loss function)가 최소화하도록 트레이닝될 수 있다.  That is, the neural network NN according to an embodiment of the present application may convert the source image X of the first domain into the target image of the second domain through the second network 102 and the third network 103. Training to minimize the loss function by simultaneously learning the process of converting to (Y) and converting the target image (Y) of the converted second domain to the reconstructed image (X ') of the first domain. Can be.

상기 제4 네트워크(104)는 하나 이상의 네트워크를 포함할 수 있고, 복수의 레이어를 포함할 수 있다. 예를 들어, 상기 제4 네트워크(104)는 먼저 상기 타겟 이미지(Y)를 특징맵으로 변환하기 위한 제1 서브 네트워크(도시되지 않음) 및 상기 변환된 특징맵을 입력 데이터로 적용하여 복원 이미지를 생성하기 위한 제2 서브 네트워크(도시되지 않음)를 포함할 수 있다. 예를 들어, 상기 제1 서브 네트워크는 컨볼루션 네트워크일 수 있고, 상기 제2 서브 네트워크는 디컨볼루션 네트워크일 수 있다. 이하에서는 설명의 편의를 위하여 상기 제4 네트워크(104)는 적어도 제1 서브 네트워크 및 제2 서브 네트워크를 포함하는 경우를 상정하여 설명하기로 한다. 또한, 상기 제1 서브 네트워크에서는 전술한 제1 네트워크, 상기 제2 서브 네트워크에서는 전술한 제2 네트워크 및 제3 네트워크와 동일 또는 유사한 방식으로 이미지 처리가 수행될 수 있다. The fourth network 104 may include one or more networks, and may include a plurality of layers. For example, the fourth network 104 first applies a first sub-network (not shown) for converting the target image Y into a feature map and the converted feature map as input data to apply a reconstructed image. It may include a second sub-network (not shown) for generating. For example, the first sub-network may be a convolutional network and the second sub-network may be a deconvolutional network. Hereinafter, for convenience of description, the case where the fourth network 104 includes at least a first sub network and a second sub network will be described. In addition, image processing may be performed in the same or similar manner as the aforementioned first network in the first sub-network and the aforementioned second network and the third network in the second sub-network.

제1 서브 네트워크는 복수의 레이어를 포함할 수 있고, 상기 복수의 레이어를 이용하여 상기 타겟 이미지(Y)가 하나 이상의 특징맵(feature)으로 변환될 수 있다. 예를 들어, 상기 상기 제1 서브 네트워크에서는 상기 복수의 레이어를 이용하여 상기 타겟 이미지(Y) 내에 포함된 복수의 특징 정보(feature)들이 추출될 수 있고, 상기 복수의 특징 정보들을 기초로 하나 이상의 특징맵(feature map)이 생성될 수 있다. 상기 제1 서브 네트워크에서 생성된 하나 이상의 특징맵은 제2 서브 네트워크의 입력 데이터로 적용될 수 있다. The first sub-network may include a plurality of layers, and the target image Y may be converted into one or more feature maps using the plurality of layers. For example, in the first sub-network, a plurality of feature information included in the target image Y may be extracted using the plurality of layers, and at least one feature may be extracted based on the plurality of feature information. Feature maps may be generated. One or more feature maps generated in the first sub-network may be applied as input data of the second sub-network.

제2 서브네트워크는 복수의 레이어를 포함할 수 있고, 상기 복수의 레이어를 이용하여 상기 타겟 이미지(Y)가 복원 이미지(X')로 변환될 수 있다. 즉, 상기 제2 서브 네트워크에서는 상기 제1 서브 네트워크로부터 입력된 하나 이상의 특징맵의 각 특징들에 소스 이미지(X)의 특징들이 맵핑되어 복원 이미지(X')가 생성될 수 있다. 상기 소스 이미지(X)의 특징 정보들은 전술한 제1 네트워크(101)를 통해 추출된 정보일 수 있고, 상기 서버(10)의 저장부(도시되지 않음)로부터 획득될 수 있다. The second subnetwork may include a plurality of layers, and the target image Y may be converted into a reconstructed image X 'using the plurality of layers. That is, in the second sub-network, the features of the source image X may be mapped to the features of the one or more feature maps input from the first sub-network to generate a reconstructed image X '. The feature information of the source image X may be information extracted through the first network 101 described above, and may be obtained from a storage unit (not shown) of the server 10.

따라서, 서버(10)는 상기 제4 네트워크(104)를 통하여 상기 적어도 하나의 특징맵에 상기 소스 이미지(X)의 특징들이 합성된 제1 도메인의 복원 이미지(X')를 획득할 수 있다. 상기 서버(10)는 복수의 특징맵에 대한 복수의 합성 이미지가 추출되는 경우 상기 합성 이미지들을 통합하여 하나의 복원 이미지(X')를 획득할 수 있다. Accordingly, the server 10 may acquire the reconstructed image X ′ of the first domain in which the features of the source image X are combined with the at least one feature map through the fourth network 104. When a plurality of composite images of a plurality of feature maps are extracted, the server 10 may acquire one reconstructed image X ′ by integrating the composite images.

한편, 전술한 제2네트워크(102)를 이용하여 생성된 제2 도메인의 가상 이미지(YV)는 제5 네트워크(105)의 입력 데이터로 사용될 수 있다. Meanwhile, the virtual image Y V of the second domain generated using the second network 102 described above may be used as input data of the fifth network 105.

제5 네트워크(105)는 전술한 제2 네트워크(102)로부터 생성된 가상 이미지(YV)를 제2 도메인의 원본 이미지(YR)로부터 구별하기 위한 네트워크일 수 있다. The fifth network 105 may be a network for distinguishing the virtual image Y V generated from the second network 102 described above from the original image Y R of the second domain.

예를 들어, 상기 제5 네트워크(105)는 상기 가상 이미지(YV)와 원본 이미지(YR) 사이를 식별하도록 트레이닝될 수 있다. 이때, 상기 제5 네트워크(105)는 컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 이때, 상기 제 5 네트워크(105)에서는 상기 복수의 레이어 중 마지막 레이어를 통해 상기 가상 이미지와 원본 이미지의 유사도에 관련된 정보가 출력될 수 있다. 상기 원본 이미지는 전술한 데이터 베이스(20)로부터 획득될 수 있으며, 예를 들어, 상기 원본 이미지는 신생아의 얼굴을 실제 촬영한 이미지일 수 있다. For example, the fifth network 105 may be trained to identify between the virtual image Y V and the original image Y R. In this case, the fifth network 105 may be a convolutional network and may include a plurality of layers. In this case, the fifth network 105 may output information related to the similarity between the virtual image and the original image through the last layer of the plurality of layers. The original image may be obtained from the database 20 described above. For example, the original image may be an image of an actual face of a newborn baby.

상기 유사도에 관련된 정보는 상기 가상 이미지(YV)가 원본 이미지에 해당될 확률을 나타내는 정보일 수 있다. 예를 들어, 상기 가상 이미지(YV)가 실제 촬영한 이미지에 해당되는 경우 유사도 값은 '1' 또는 1에 가까운 값일 수 있다. 또한, 예를 들어, 상기 가상 이미지(YV)가 실제 촬영한 이미지가 아닌 경우 유사도 값은 '0' 또는 0에 가까운 값일 수 있다. 또한, 예를 들어, 상기 미리 정해진 값은 사용자에 의해 설정된 값일 수 있고, 적어도 0.5~0.99 사이의 값일 수 있다. 따라서, 상기 서버(10)는 상기 제5 네트워크(105)로부터 획득되는 상기 유사도 정보가 미리 정해진 값을 초과할 때까지 상기 제1 네트워크(101) 내지 상기 제3 네트워크(103) 중 적어도 하나로 상기 유사도에 관련된 정보를 피드백할 수 있다. 상기 서버(10)는 상기 유사도에 관련된 정보를 기초로 상기 제2 네트워크(102) 및 상기 제3 네트워크(103)의 동작이 반복 수행되도록 함으로써 상기 가상 이미지(YV)를 재획득할 수 있다. 예를 들어, 상기 서버(10)는 상기 제5 네트워크(105)로부터 획득되는 상기 유사도 정보가 미리 정해진 값을 초과하는 경우의 가상 이미지(YV)를 전술한 사용자 장치를 통해 출력할 수 있다. The information related to the similarity may be information indicating a probability that the virtual image Y V corresponds to the original image. For example, when the virtual image Y V corresponds to an actually photographed image, the similarity value may be '1' or a value close to one. Also, for example, when the virtual image Y V is not an actual photographed image, the similarity value may be '0' or a value close to zero. Also, for example, the predetermined value may be a value set by a user, and may be a value between at least 0.5 and 0.99. Accordingly, the server 10 is configured to perform at least one of the similarity information to at least one of the first network 101 to the third network 103 until the similarity information obtained from the fifth network 105 exceeds a predetermined value. Information related to can be fed back. The server 10 may reacquire the virtual image Y V by repeatedly performing operations of the second network 102 and the third network 103 based on the information related to the similarity. For example, the server 10 may output the virtual image Y V when the similarity information obtained from the fifth network 105 exceeds a predetermined value through the above-described user device.

또는, 예를 들어, 제5 네트워크(105)는 상기 가상 이미지와 원본 이미지의 차이에서 발생하는 손실함수(L)를 전술한 제1 네트워크(101) 및 제2 네트워크(102)에 피드백할 수 있다. 따라서, 상기 제1 네트워크 및 제2 네트워크에 포함된 복수의 레이어 중 적어도 하나의 레이어의 파라미터가 조정될 수 있다. 또는 상기 제1 네트워크(101) 및 상기 제2 네트워크(102)에 포함된 복수의 레이어 중 적어도 하나의 레이어가 연산에서 제거 또는 추가될 수 있다. 다시 말해, 상기 제1 네트워크(101) 및 상기 제2 네트워크(102)는 상기 제5 네트워크(105)로부터 피드백되는 상기 가상 이미지와 원본 이미지의 차이를 이용하여 트레이닝될 수 있다. Alternatively, for example, the fifth network 105 may feed back the loss function L generated in the difference between the virtual image and the original image, to the first network 101 and the second network 102 described above. . Therefore, parameters of at least one layer among a plurality of layers included in the first network and the second network may be adjusted. Alternatively, at least one layer of a plurality of layers included in the first network 101 and the second network 102 may be removed or added to the operation. In other words, the first network 101 and the second network 102 may be trained using the difference between the virtual image and the original image fed back from the fifth network 105.

도 4는 본 출원의 다른 실시 예에 따른 뉴럴 네트워크(NN)의 구성을 예시적으로 나타내기 위한 블록도이다. 도 4에 도시된 바와 같이, 본 출원의 다른 실시 예에 따른 뉴럴 네트워크(NN)는 특징 분류 네트워크(106)를 더 포함할 수 있다. 4 is a block diagram illustrating an exemplary configuration of a neural network NN according to another embodiment of the present application. As shown in FIG. 4, the neural network NN according to another embodiment of the present application may further include a feature classification network 106.

상기 특징 분류 네트워크(106)는, 소스 이미지(X) 내의 각 영역들 중 에러 영역에 관련된 특징들과 관심 영역에 관련된 특징들을 분류하기 위한 네트워크일 수 있다. 이때, 상기 특징 분류 네트워크(106)는 제1 네트워크(101) 내의 일부분일 수 있다. 또는, 도 4에 도시된 바와 같이, 상기 특징 분류 네트워크(106)는 상기 제1 네트워크(101)와 별도로 구성될 수 있으며, 상기 제1 네트워크(101)와 제2 네트워크(102) 및 제3 네트워크(103) 사이에 배치될 수 있다. The feature classification network 106 may be a network for classifying the features related to the error region and the features related to the region of interest among the regions in the source image X. FIG. In this case, the feature classification network 106 may be a part of the first network 101. Alternatively, as shown in FIG. 4, the feature classification network 106 may be configured separately from the first network 101, and the first network 101, the second network 102, and the third network. May be disposed between 103.

예를 들어, 상기 특징 분류 네트워크(106)는 상기 제1 네트워크(101)에서 생성된 하나 이상의 특징맵들을 이용하여 제1 특징맵 및 제2 특징맵을 생성할 수 있다. 예를 들어, 상기 제1 특징맵은 관심 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 예를 들어, 상기 제2 특징맵은 에러 영역에 관련들을 적게 포함한 것일 수 있다. 상기 관심영역에 관련된 특징들은, 예를 들어, 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 또한, 예를 들어, 상기 에러 영역에 관련된 특징들은, 예를 들어, 태아의 손, 발, 태반, 양수 등을 포함할 수 있다. For example, the feature classification network 106 may generate a first feature map and a second feature map using one or more feature maps generated in the first network 101. For example, the first feature map may include fewer features related to the ROI. For example, the second feature map may include fewer associations in the error area. Features related to the region of interest may include, for example, the eye, nose, mouth, ear, and the like of the fetus. Also, for example, the features related to the error area may include, for example, the hand, foot, placenta, amniotic fluid, and the like of the fetus.

또한, 예를 들어, 상기 특징 분류 네트워크(106)는 미리 설정된 기준을 기초로 하여 상기 소스 이미지(X) 내의 관심 영역에 관련된 제1 특징맵 및 상기 에러 영역에 관련된 제2 특징맵을 분류할 수 있다. 상기 미리 설정된 기준은 상기 소스 이미지(X) 내의 관심 영역 및 상기 에러 영역에 관련된 정보를 기초로 미리 학습될 수 있다. Also, for example, the feature classification network 106 may classify a first feature map related to the region of interest in the source image X and a second feature map related to the error region based on preset criteria. have. The preset criterion may be pre-learned based on information related to the ROI in the source image X and the error area.

따라서, 본 출원의 다른 실시 예에 따른 상기 특징 분류 네트워크(106)는 상기 관심 영역에 관련된 제1 특징맵을 상기 제2 네트워크(102)의 입력데이터로 전달할 수 있고, 상기 에러 영역에 관련된 제2 특징맵을 상기 제3 네트워크(103)의 입력데이터로 전달할 수 있다. 상기 특징 분류 네트워크(106)를 통하여 상기 에러 영역에 관련된 특징들이 보다 정확하게 분류될 수 있다. 즉, 상기 제2 네트워크는 상기 특징 분류 네트워크(106)를 통해 입력되는 상기 관심 영역에 관련된 제1 특징맵을 이용하여 상기 소스 이미지 내의 적어도 하나의 에러 영역에 관련된 특징들이 제거된 가상 이미지(Yv)를 생성할 수 있다. Accordingly, the feature classification network 106 according to another embodiment of the present application may transfer the first feature map related to the ROI as input data of the second network 102, and the second feature related to the error area. The feature map may be transmitted as input data of the third network 103. Through the feature classification network 106, features related to the error area can be classified more accurately. That is, the second network uses the first feature map associated with the ROI input through the feature classification network 106 to remove the virtual image Y v from which features related to at least one error area in the source image are removed. ) Can be created.

한편, 상기 특징 분류 네트워크(106)는 상기 복원 이미지(X')와 상기 소스 이미지(X)간의 차이를 이용하여 조정된 파라미터를 반영하여 업데이트될 수도 있다. 또는, 상기 특징 분류 네트워크(106)는 상기 가상 이미지와 타겟 이미지간의 차이를 이용하여 조정된 파리마터를 반영하여 업데이트될 수도 있다. 상기 파라미터에 관한 자세한 설명은 관련된 부분에서 기술하기로 한다. Meanwhile, the feature classification network 106 may be updated by reflecting a parameter adjusted by using the difference between the reconstructed image X 'and the source image X. FIG. Alternatively, the feature classification network 106 may be updated to reflect the adjusted flymarker using the difference between the virtual image and the target image. Detailed description of the above parameters will be described in the relevant section.

도 5는 본 출원의 일 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다. 예를 들어, 상기 이미지 처리 방법은 상기 서버(10) 내의 하나 이상의 프로세서에 의해 수행될 수 있다. 이하에서는, 상기 서버(10)에서 수행되는 이미지 처리 방법의 예들을 설명한다. FIG. 5 is a flowchart for describing an image processing method of converting a source image of a first domain into a virtual image of a second domain and outputting the image, according to an exemplary embodiment. For example, the image processing method may be performed by one or more processors in the server 10. Hereinafter, examples of the image processing method performed by the server 10 will be described.

본 출원의 일 실시 예에 따른 이미지 처리 방법은, 하나 이상의 네트워크를 이용한 이미지 처리 방법에 있어서, 제1 도메인의 소스 이미지(X)로부터 하나 이상의 특징맵을 획득하는 단계(S10), 상기 하나 이상의 특징맵을 이용하여 제2 도메인의 가상 이미지(YV) 및 에러 이미지(Ye)를 생성하는 단계(S12), 상기 에러 이미지(Ye)에 제1 가중치(weight)가 적용되고, 상기 가상 이미지(YV) 에 제2 가중치(weight)가 적용된 타겟 이미지(Y)를 획득하는 단계(S14), 상기 타겟 이미지(Y)를 상기 제1 도메인의 복원 이미지(X')로 변환하는 단계(S16), 상기 복원 이미지(X')와 상기 소스 이미지(X) 간의 차이를 기초로 상기 네트워크들 중 적어도 하나의 파라미터가 조정되는 단계(S18), 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달하였는지 여부를 판단하는 단계(S20), 및 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달한 경우 가상 이미지(YV)를 출력하는 단계(S22)를 포함할 수 있다. 본 출원의 일 실시 예에 따른 이미지 처리 방법은, 각 단계가 하나의 네트워크 내에서 수행될 수 있다. 또는 각 단계가 별도의 네트워크 내에서 수행될 수 있다. 이하에서는 설명의 편의를 위하여 도 3을 참조하여 설명한 바와 같이, 하나의 뉴럴 네트워크 내에 복수의 네트워크가 포함되며, 각 단계가 상기 복수의 네트워크 각각에서 수행되는 경우를 상정하여 상세하게 설명하기로 한다. In the image processing method according to an embodiment of the present application, in the image processing method using one or more networks, obtaining one or more feature maps from the source image (X) of the first domain (S10), the one or more features Generating a virtual image (Y V ) and an error image (Y e ) of the second domain by using a map (S12), a first weight is applied to the error image (Y e ), the virtual image Acquiring a target image (Y) to which a second weight is applied (Y V ) (S14), and converting the target image (Y) into a reconstructed image (X ') of the first domain (S16). ), Step S18 of adjusting at least one parameter of the networks based on the difference between the reconstructed image X 'and the source image X, the quality of the virtual image Y V is a predetermined level. Determining whether it has reached (S20), and If the quality of the virtual image groups (Y V) reaches a predetermined level may comprise the step (S22) for outputting a virtual image (Y V). In the image processing method according to an embodiment of the present application, each step may be performed in one network. Alternatively, each step may be performed in a separate network. Hereinafter, for convenience of explanation, as described with reference to FIG. 3, a plurality of networks are included in one neural network, and a detailed description will be made on the assumption that each step is performed in each of the plurality of networks.

먼저, 전술한 사용자장치(30)로부터 제1 도메인의 소스 이미지(X)가 입력될 수 있고, 서버(10)는 상기 소스 이미지(X)를 제1 네트워크(101)의 입력 데이터로 적용할 수 있다. First, the source image X of the first domain may be input from the user device 30 described above, and the server 10 may apply the source image X as input data of the first network 101. have.

서버(10)는 전술한 제1 네트워크(101)를 이용하여 소스 이미지(X)로부터 생성되는 하나 이상의 특징맵을 획득할 수 있다(S10). 전술한 바와 같이, 상기 제1 네트워크(101)는 복수의 레이어를 포함할 수 있고, 서버(10)는 상기 복수의 레이어를 이용하여 상기 소스 이미지 내에 포함된 복수의 특징(feature)들을 획득할 수 있다. 상기 복수의 특징들은, 예를 들어, 엣지, 선명도, 깊이, 명도, 컨트라스트, 블러 등을 포함할 수 있다. 상기 서버(10)는 상기 복수의 특징들을 기초로 하여 상기 제1 네트워크(101)에서 생성되는 하나 이상의 특징맵(feature map)을 획득할 수 있다. 상기 특징맵은 상기 복수의 특징들의 조합일 수 있으며, 상기 특징맵을 통해 상기 소스 이미지 내의 각 영역들이 식별될 수 있다. 상기 각 영역들은 사용자의 관심 영역(ROI) 및 상기 소스 이미지 내의 적어도 하나의 인공물을 포함하는 에러 영역(error region)을 포함할 수 있다. 예를 들어, 상기 각 영역은 태아의 얼굴 영역일 수 있고, 상기 에러 영역은 태아의 얼굴 영역이 아닌 다른 신체 영역일 수 있다. 예를 들어, 상기 얼굴 영역은 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 또한, 예를 들어, 상기 에러 영역은 태아의 손, 발, 태반, 양수 등을 포함할 수 있다. The server 10 may obtain one or more feature maps generated from the source image X using the first network 101 described above (S10). As described above, the first network 101 may include a plurality of layers, and the server 10 may acquire a plurality of features included in the source image by using the plurality of layers. have. The plurality of features may include, for example, edge, sharpness, depth, brightness, contrast, blur, and the like. The server 10 may obtain one or more feature maps generated in the first network 101 based on the plurality of features. The feature map may be a combination of the plurality of features, and respective regions within the source image may be identified through the feature map. Each of the regions may include an error region including a region of interest (ROI) of the user and at least one artifact in the source image. For example, each area may be a face area of the fetus, and the error area may be a body area other than the face area of the fetus. For example, the facial region may include the eyes, nose, mouth, ears, and the like of the fetus. Also, for example, the error area may include a fetus's hand, foot, placenta, amniotic fluid, and the like.

상기 서버(10)는 상기 제1 네트워크(101)를 통해 생성된 하나 이상의 특징맵을 제2 네트워크(102) 및 제3 네트워크(103)의 입력 데이터로 적용할 수 있다. The server 10 may apply one or more feature maps generated through the first network 101 as input data of the second network 102 and the third network 103.

서버(10)는 전술한 제2 네트워크(102) 및 제3 네트워크(103)를 이용하여 제2 도메인의 가상 이미지(Yv) 및 에러 이미지(Ye)를 생성할 수 있다(S12). The server 10 may generate a virtual image Y v and an error image Y e of the second domain using the above-described second network 102 and the third network 103 (S12).

즉, 제2 네트워크(102)에서는 S10 단계에서 획득된 하나 이상의 특징맵을 이용하여 제2 도메인의 가상 이미지(Yv)가 생성될 수 있다. 또한, 제3 네트워크(103)에서는 S10단계에서 획득된 상기 하나 이상의 특징맵을 이용하여 제2 도메인의 에러 이미지(Ye)가 생성될 수 있다. That is, in the second network 102, the virtual image Y v of the second domain may be generated using one or more feature maps obtained in step S10. In addition, in the third network 103, an error image Y e of the second domain may be generated using the one or more feature maps acquired in step S10.

구체적으로, 상기 제2 네트워크(102)를 통해 생성되는 가상 이미지(Yv)는, 상기 특징맵의 대응되는 특징들에 제2 도메인의 원본 이미지의 특징들이 맵핑된 이미지일 수 있다. 예를 들어, 상기 제2 네트워크(102)에 입력되는 하나 이상의 특징맵은 소스 이미지(X) 내의 얼굴 영역(예컨대, 눈, 코 입, 귀 등)의 특징들을 포함할 수 있다. 따라서, 상기 하나 이상의 특징맵을 이용하여 생성되는 상기 가상 이미지(Yv)는 상기 소스 이미지(X) 내의 얼굴 영역을 포함하는 이미지일 수 있다. In detail, the virtual image Y v generated through the second network 102 may be an image in which features of the original image of the second domain are mapped to corresponding features of the feature map. For example, the one or more feature maps input to the second network 102 may include features of facial regions (eg, eyes, nose mouth, ears, etc.) in the source image (X). Therefore, the virtual image Y v generated using the one or more feature maps may be an image including a face region in the source image X. FIG.

또한, 상기 제3 네트워크(103)를 통해 생성되는 에러 이미지(Ye)는, 상기 특징맵을 이용한 제2 도메인의 이미지일 수 있다. 예를 들어, 상기 특징맵은 소스 이미지 내의 얼굴 영역이 아닌 에러 영역(예컨대, 손, 발, 태반, 양수 등)의 특징들을 포함할 수 있다. 따라서, 상기 하나 이상의 특징맵을 이용하여 생성되는 상기 에러 이미지(Ye)는 상기 소스 이미지(X) 내의 에러 영역을 포함하는 이미지일 수 있다. In addition, the error image Y e generated through the third network 103 may be an image of a second domain using the feature map. For example, the feature map may include features of an error region (eg, hand, foot, placenta, amniotic fluid, etc.) that are not face regions in the source image. Therefore, the error image Y e generated using the one or more feature maps may be an image including an error area in the source image X.

한편, 서버(10)는 상기 제2 네트워크(102) 및/또는 상기 제3 네트워크(103)를 통하여 복수의 특징맵에 대한 복수의 합성 이미지가 생성되는 경우 상기 합성 이미지들을 통합하여 하나의 가상 이미지(Yv) 및/또는 에러 이미지(Ye)를 획득할 수 있다. Meanwhile, when a plurality of composite images for a plurality of feature maps are generated through the second network 102 and / or the third network 103, the server 10 merges the composite images into one virtual image. (Y v ) and / or error image Y e can be obtained.

서버(10)는 상기 제2 네트워크(102)로부터 획득된 가상 이미지(Yv) 및 상기 제3 네트워크(103)로부터 획득된 에러 이미지(Ye)를 통합한 타겟 이미지(Y)를 획득할 수 있다(S14). The server 10 may obtain a target image Y integrating a virtual image Y v obtained from the second network 102 and an error image Y e obtained from the third network 103. There is (S14).

구체적으로, 상기 서버(10)는 상기 에러 이미지(Ye)에 제1 가중치가 적용되고, 상기 가상 이미지(Yv) 에 제2 가중치가 적용된 타겟 이미지를 획득할 수 있다. In detail, the server 10 may obtain a target image to which the first weight is applied to the error image Y e and to which the second weight is applied to the virtual image Y v .

예를 들어, 상기 제1 가중치와 제2 가중치는 같거나 서로 다른 값일 수 있다. 예를 들어, 상기 제2 가중치는 상기 제1 가중치보다 작은 값일 수 있다. 또는, 예를 들어, 상기 제2 가중치는 상기 제1 가중치와 동일한 값일 수 있다. For example, the first weight and the second weight may be the same or different values. For example, the second weight may be a value smaller than the first weight. Alternatively, for example, the second weight may be the same value as the first weight.

상기 타겟 이미지(Y)는, 예를 들어, [수학식 1]과 같이 획득될 수 있다. 즉, 타겟 이미지(Y)는 상기 가상 이미지(Yv)와 제2 가중치의 요소별 곱(element-wise product) 및, 상기 에러 이미지(Ye)와 제1 가중치의 요소별 곱의 합(sum)에 의해 생성될 수 있다. The target image Y may be obtained, for example, as shown in [Equation 1]. That is, the target image (Y) is a sum of the element-wise product of the virtual image (Yv) and the second weight, and the sum (sum) of the element-by-element product of the error image (Ye) and the first weight. Can be generated by

Figure 112018043164405-pat00001
Figure 112018043164405-pat00001

여기서, We는 에러 이미지(Ye)에 적용되는 제1 가중치일 수 있고, (1-We)는 가상 이미지(Yv)에 적용되는 제2 가중치일 수 있다. Here, We may be a first weight applied to the error image Ye, and (1-We) may be a second weight applied to the virtual image Yv.

상기 에러 이미지(Ye)에 적용되는 제1 가중치는 본 출원의 일 실시 예에 따른 뉴럴 네트워크(NN)의 이미지 처리 수행결과에 따라 조정된 값일 수 있다. 예를 들어, 상기 제1 가중치는 복원 이미지(X')와 소스 이미지(X) 간의 차이에서 발생하는 손실함수(Lrec)에 대한 가상 이미지(YV)의 기울기(gradient)를 기초로 산출될 수 있다. 상기 기울기는 [수학식 2]와 같이 계산될 수 있으며, 상기 손실함수(Lrec)에 대해서는 이하의 관련된 부분에서 상세하게 설명한다. The first weight applied to the error image Ye may be a value adjusted according to an image processing result of the neural network NN according to an embodiment of the present application. For example, the first weight may be calculated based on a gradient of the virtual image Y V with respect to a loss function L rec that occurs in the difference between the reconstructed image X 'and the source image X. Can be. The slope may be calculated as shown in Equation 2, and the loss function L rec will be described in detail in the following section.

Figure 112018043164405-pat00002
Figure 112018043164405-pat00002

이 때, 상기 소스 이미지(X)는 RGB 세 개의 채널이 병합된 3차원 데이터일 수 있고, 각 채널에 대한 기울기(g)는 정규화(normalize)를 통해 조정될 수 있다. 상기 정규화 과정은 다양한 방법에 의해 수행될 수 있으며, 예를 들어 아래의 [수학식 3]과 같이 각 채널 마다 평균 및 표준 편차를 이용한 표준정규분포를 이용하여 계산될 수 있다. At this time, the source image (X) may be three-dimensional data in which three RGB channels are merged, and the slope (g) for each channel may be adjusted through normalization. The normalization process may be performed by various methods, for example, it may be calculated using a standard normal distribution using the mean and standard deviation for each channel as shown in Equation 3 below.

Figure 112018043164405-pat00003
Figure 112018043164405-pat00003

여기서, c는 R, G, B 각 채널을 의미한다. Here, c means R, G, and B channels.

또한, [수학식 3]을 이용하여 정규화된 기울기(g) 값에 시그모이드(sigmoid) 함수를 적용하여 가중치(We) 값이 0~1, 예를 들어 0.5~1의 범위를 갖도록 조정할 수 있으며, 아래의 수학식 [4]와 같이 계산될 수 있다. In addition, by applying the sigmoid function to the normalized gradient g using Equation 3, the weight We can be adjusted to have a range of 0 to 1, for example, 0.5 to 1. It may be calculated as in Equation [4] below.

Figure 112018043164405-pat00004
Figure 112018043164405-pat00004

또한, 상기 가상 이미지(Yv)에 적용되는 제2 가중치는 상기 제1 가중치를 기초로 산출될 수 있다. 이때, 상기 제1 가중치와 제2 가중치는 같거나 서로 다른 값일 수 있다. 예를 들어, 상기 제2 가중치는 상기 제1 가중치보다 작은 값일 수 있다. 또는 예를 들어, 상기 제2 가중치는 상기 제1 가중치와 동일한 값일 수 있다. In addition, a second weight applied to the virtual image Yv may be calculated based on the first weight. In this case, the first weight and the second weight may be the same or different values. For example, the second weight may be a value smaller than the first weight. Alternatively, for example, the second weight may be the same value as the first weight.

한편, 최초에 적용되는 가중치는, 예를 들어, 임의로 설정되는 랜덤(random) 값일 수 있고, 사전 훈련(pre-training) 과정을 통해 미리 조정된 값일 수 있다. Meanwhile, the weight applied initially may be, for example, a random value that is arbitrarily set, or may be a value previously adjusted through a pre-training process.

상기 서버(10)는 전술한 제4 네트워크(104)를 이용하여 상기 제2 도메인의 타겟 이미지를 상기 제1 도메인의 복원 이미지로 변환할 수 있다(S16). The server 10 may convert the target image of the second domain into a reconstructed image of the first domain by using the fourth network 104 described above (S16).

즉, 제4 네트워크(104)를 통해 S14 단계에서 획득된 타겟 이미지(Y)가 복원 이미지(X')로 역변환될 수 있다. That is, the target image Y obtained in step S14 may be inversely transformed into the reconstructed image X ′ through the fourth network 104.

예를 들어, 상기 제4 네트워크(104)는 전술한 바와 같이 제1 서브 네트워크 및 제2 서브 네트워크를 포함할 수 있다. 구체적으로 제1 서브네트워크를 통하여 상기 타겟 이미지 내에 포함된 복수의 특징 정보들이 추출될 수 있고, 상기 복수의 특징정보들을 기초로 하나 이상의 특징맵이 생성될 수 있다. 상기 제1 서브 네트워크에서 생성된 하나 이상의 특징맵은 제2 서브네트워크의 입력 데이터로 적용될 수 있다. 또한, 상기 제2 서브네트워크를 통하여 하나 이상의 특징맵의 특징들에 소스 이미지의 특징들을 맵핑함으로써 상기 타겟 이미지가 상기 복원 이미지로 변환될 수 있다. For example, the fourth network 104 may include a first sub network and a second sub network as described above. In more detail, a plurality of feature information included in the target image may be extracted through a first subnetwork, and one or more feature maps may be generated based on the plurality of feature informations. One or more feature maps generated in the first sub-network may be applied as input data of the second sub-network. In addition, the target image may be converted into the reconstructed image by mapping features of a source image to features of one or more feature maps through the second subnetwork.

한편, 상기 서버(10)는 복수의 특징맵에 대한 복수의 합성 이미지가 추출되는 경우 상기 합성 이미지들을 통합하여 하나의 복원 이미지를 획득할 수 있다. Meanwhile, when a plurality of composite images for a plurality of feature maps are extracted, the server 10 may acquire one reconstructed image by integrating the composite images.

상기 서버(10)에서는 상기 복원 이미지와 상기 소스 이미지 간의 차이를 이용하여 상기 네트워크들 중 적어도 하나의 파라미터가 조정될 수 있다(S18). The server 10 may adjust at least one parameter of the networks by using a difference between the reconstructed image and the source image (S18).

즉, 본 출원의 일 실시 예에 따른 뉴럴 네트워크는 상기 복원 이미지(X')와 상기 소스 이미지(X) 사이의 차이를 기초로 전술한 네트워크들 중 적어도 하나의 파라미터가 조정되도록 구성될 수 있다. 상기 파라미터는 상기 복원 이미지(X')와 상기 소스 이미지(X) 간의 차이에서 발생하는 손실함수(Lrec)를 전술한 네트워크들 에 역전달함으로써 조정될 수 있다. 상기 손실함수(LX)는 아래의 [수학식 5]와 같이 나타낼 수 있다. That is, the neural network according to an embodiment of the present application may be configured such that at least one parameter of the above-described networks is adjusted based on the difference between the reconstructed image X 'and the source image X. The parameter may be adjusted by passing back the loss function L rec resulting from the difference between the reconstructed image X 'and the source image X to the networks described above. The loss function (L X ) can be expressed as Equation 5 below.

Figure 112018043164405-pat00005
Figure 112018043164405-pat00005

따라서, 상기 뉴럴 네트워크의 이미지 처리 수행 결과에 따라 상기 뉴럴 네트워크의 상기 제1 네트워크(101), 제2 네트워크(102) 제3 네트워크(103) 및/또는 제4 네트워크(104)의 각 레이어의 파라미터가 자동으로 조정될 수 있다. 또는, 상기 제1 네트워크(101), 제2 네트워크(102), 제3 네트워크(103) 및/또는 제4 네트워크(104)의 복수의 레이어 중 적어도 하나의 레이어가 연산에서 제거 또는 추가될 수 있다. Accordingly, the parameters of each layer of the first network 101, the second network 102, the third network 103 and / or the fourth network 104 of the neural network according to the result of performing image processing of the neural network. Can be adjusted automatically. Alternatively, at least one layer of a plurality of layers of the first network 101, the second network 102, the third network 103, and / or the fourth network 104 may be removed or added to the operation. .

다시 말해, 상기 서버(10)는 상기 손실함수(Lrec)를 기초로 제1 네트워크, 제2 네트워크 제3 네트워크 및/또는 제4 네트워크에 의한 동작을 반복 수행하도록 할 수 있다. In other words, the server 10 may repeatedly perform operations by the first network, the second network, the third network, and / or the fourth network based on the loss function L rec .

서버(10)는 상기 가상 이미지의 품질이 미리 정해진 수준에 도달하였는지 여부를 판단할 수 있다(S20). The server 10 may determine whether the quality of the virtual image reaches a predetermined level (S20).

즉, 상기 서버(10)는 상기 가상 이미지의 품질이 미리 정해진 수준에 도달할 때까지 전술한 S10 내지 S18 단계들을 반복적으로 수행할 수 있다. 이때, 상기 가상 이미지의 품질이 미리 정해진 수준에 도달하였는지 여부는 다양한 방식으로 판단될 수 있다. That is, the server 10 may repeatedly perform the above-described steps S10 to S18 until the quality of the virtual image reaches a predetermined level. In this case, whether the quality of the virtual image reaches a predetermined level may be determined in various ways.

예를 들어, 서버(10)는 미리 설정된 종료 조건이 만족될 때까지, 상기 제1 네트워크(101) 및 상기 제2 네트워크(102)의 동작이 반복하여 수행되도록 함으로써 가상 이미지(YV)를 재획득할 수 있다. For example, the server 10 replays the virtual image Y V by causing the operations of the first network 101 and the second network 102 to be repeatedly performed until a preset termination condition is satisfied. Can be obtained.

여기서 미리 설정된 종료 조건은 사용자에 의해 미리 입력된 조건일 수 있다. 예를 들어, 사용자는 상기 제1 네트워크(101), 상기 제2 네트워크(102), 상기 제3 네트워크(103) 및/또는 상기 제4 네트워크(104)의 의 동작이 미리 설정된 횟수만큼 반복되도록 설정할 수 있다. 또는, 예를 들어, 사용자는 상기 뉴럴 네트워크(NN)의 손실함수(loss function)가 감소되지 않을 때까지 상기 제1 네트워크(101), 제2 네트워크(102), 제3 네트워크(103) 및/또는 제4 네트워크(104)의 동작이 반복하여 수행되도록 설정할 수 있다. The preset termination condition may be a condition previously input by the user. For example, a user may set the operation of the first network 101, the second network 102, the third network 103 and / or the fourth network 104 to be repeated a predetermined number of times. Can be. Or, for example, a user may use the first network 101, the second network 102, the third network 103 and / or until the loss function of the neural network NN is not reduced. Alternatively, the operation of the fourth network 104 may be repeatedly performed.

또는, 예를 들어, 상기 서버(10)는 전술한 제5 네트워크(105)를 통하여 상기 가상 이미지와 제2 도메인의 원본 이미지의 유사도에 관련된 정보를 획득할 수 있다. 상기 원본 이미지는 전술한 데이터 베이스(20)로부터 획득될 수 있으며, 예를 들어, 상기 원본 이미지는 신생아의 얼굴을 실체 촬영한 이미지일 수 있다. 상기 유사도에 관련된 정보는 상기 가상 이미지가 실제 촬영한 이미지에 해당될 확률을 나타내는 정보일 수 있다. 이 때, 상기 서버(10)는 상기 제5 네트워크(105)로부터 획득되는 상기 유사도 정보가 미리 정해진 값을 초과할 때까지 상기 제1 네트워크(101) 내지 상기 제3 네트워크(103) 중 적어도 하나로 상기 유사도에 관련된 정보를 피드백할 수 있다. 예를 들어, 상기 가상 이미지가 실제 촬영한 이미지에 해당되는 경우 유사도 값은 '1' 또는 1에 가까운 값일 수 있다. 또한, 예를 들어, 상기 가상 이미지가 실제 촬영한 이미지가 아닌 경우 유사도 값은 '0' 또는 0에 가까운 값일 수 있다. 예를 들어, 상기 미리 정해진 값은 사용자에 의해 설정된 값일 수 있고 0.5~0.99 사이의 값일 수 있다. Alternatively, for example, the server 10 may obtain information related to the similarity between the virtual image and the original image of the second domain through the above-described fifth network 105. The original image may be obtained from the database 20 described above. For example, the original image may be an image of a newborn baby's face. The information related to the similarity may be information indicating a probability that the virtual image corresponds to the actually photographed image. At this time, the server 10 is connected to at least one of the first network 101 to the third network 103 until the similarity information obtained from the fifth network 105 exceeds a predetermined value. Information related to the similarity can be fed back. For example, when the virtual image corresponds to an actually photographed image, the similarity value may be '1' or a value close to one. Also, for example, when the virtual image is not an actual photographed image, the similarity value may be '0' or a value close to zero. For example, the predetermined value may be a value set by a user and a value between 0.5 and 0.99.

서버(10)는 상기 가상 이미지의 품질이 미리 정해진 수준에 도달한 것으로 판단되는 경우 해당 가상이미지(YV)를 출력할 수 있다(S22). If it is determined that the quality of the virtual image reaches a predetermined level, the server 10 may output the corresponding virtual image Y V (S22).

즉, 상기 서버(10)는 S20 단계에서 판단 결과 상기 가상 이미지의 품질이 미리 수준에 도달한 경우 전술한 S10 내지 S18의 학습 단계를 종료할 수 있다. That is, if the quality of the virtual image reaches a level in advance as a result of the determination in step S20, the server 10 may end the learning steps of S10 to S18 described above.

예를 들어, 상기 서버(10)는 S20 단계에서 미리 설정된 종료 조건이 만족된 것으로 판단된 경우 전술한 S10 내지 S18의 학습 단계를 종료할 수 있다.For example, if it is determined in step S20 that the preset termination condition is satisfied, the server 10 may end the learning steps of S10 to S18 described above.

또는, 예를 들어, 상기 서버는 S20 단계에서 상기 가상 이미지(YV)와 원본 이미지(YR)의 유사도가 미리 정해진 값을 초과한 것으로 판단되는 경우 해당 가상 이미지(YV)를 출력할 수 있다. 반면에, S20 단계에서 상기 가상 이미지(YV)와 원본 이미지(YR)의 유사도가 미리 정해진 값을 초과하지 않는 것으로 판단되는 경우 S10 단계로 돌아가 전 단계를 반복적으로 수행할 수 있다.Alternatively, for example, when it is determined in step S20 that the similarity between the virtual image Y V and the original image Y R exceeds a predetermined value, the server may output the corresponding virtual image Y V. have. On the other hand, if it is determined in step S20 that the similarity between the virtual image Y V and the original image Y R does not exceed a predetermined value, the process may return to step S10 and repeat the previous step.

다시 말해, 상기 서버(10)는 상기 제1 네트워크(102) 및 상기 제2 네트워크(102)가 반복하여 수행되도록 함으로써 미리 정해진 수준의 품질 이상의 가상이미지(YV)를 재획득할 수 있다. 이와 같이, 본 출원의 일 실시 예에 따른 이미지 처리 방법에 의하면 S10 단계 내지 S20 단계들을 반복적으로 수행함으로써 미리 정해진 품질 이상의 가상 이미지(YV)가 사용자 장치(30)를 통해 출력될 수 있다. In other words, the server 10 may reacquire the virtual image Y V having a predetermined level of quality or higher by repeatedly performing the first network 102 and the second network 102. As such, according to the image processing method according to the exemplary embodiment of the present application, the virtual image Y V having a predetermined quality or more may be output through the user device 30 by repeatedly performing steps S10 to S20.

도 6은 본 출원의 다른 실시 예에 따른 제1 도메인의 소스이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다. 상기 이미지 처리 방법은 상기 서버(10) 내의 하나 이상의 프로세서에 의해 수행될 수 있다. 이하에서는, 서버(10)에서 수행되는 이미지 처리 방법의 예들을 설명한다. FIG. 6 is a flowchart illustrating an image processing method of converting a source image of a first domain into a virtual image of a second domain and outputting the virtual image of the second domain according to another embodiment of the present application. The image processing method may be performed by one or more processors in the server 10. Hereinafter, examples of the image processing method performed by the server 10 will be described.

본 출원의 다른 실시 예에 따른 이미지 처리 방법은, 하나 이상의 네트워크를 이용한 이미지 처리 방법에 있어서, 제1 도메인의 소스 이미지(X)로부터 하나 이상의 특징맵을 획득하는 단계(S30), 상기 하나 이상의 특징맵을 제1 특징맵과 제2 특징맵으로 분류하는 단계(S31), 상기 제1 특징맵을 이용하여 가상 이미지(YV)를 생성하고, 제2 특징맵을 이용하여 에러 이미지(Ye)를 생성하는 단계(S32), 상기 에러 이미지(Ye)에 제1 가중치가 적용되고, 상기 가상 이미지(YV)에 제2 가중치가 적용된 타겟 이미지(Y)를 획득하는 단계(S34), 상기 타겟 이미지(Y)를 상기 제1 도메인의 복원 이미지(X')로 변환하는 단계(S36), 상기 복원 이미지(X')와 상기 소스 이미지(X)간의 차이를 기초로 상기 네트워크들 중 적어도 하나의 파라미터가 조정되는 단계(S38), 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달하였는지 여부를 판단하는 단계(S40), 및 상기 가상 이미지의 품질이 미리 정해진 수준에 도달한 경우 가상 이미지(YV)를 출력하는 단계(S42)를 포함할 수 있다. 본 출원의 다른 실시 예에 따른 이미지 처리 방법은, 각 단계가 하나의 네트워크 내에서 수행될 수 있다. 또는 각 단계가 별도의 네트워크 내에서 수행될 수 있다. 이하에서는 설명의 편의를 위하여 도 4를 참조하여 설명한 바와 같이, 하나의 뉴럴 네트워크 내에 복수의 네트워크가 포함되며, 각 단계가 상기 복수의 네트워크 각각에 의해 수행되는 경우를 상정하여 상세하게 설명하기로 한다. The image processing method according to another embodiment of the present application, in the image processing method using one or more networks, obtaining one or more feature maps from the source image (X) of the first domain (S30), the one or more features Classifying a map into a first feature map and a second feature map (S31), generating a virtual image Y V using the first feature map, and using the second feature map, an error image Y e . Generating (S32), obtaining a target image (Y) to which the first weight is applied to the error image (Y e ), and applying a second weight to the virtual image (Y V ) (S34), Converting a target image (Y) into a reconstructed image (X ') of the first domain (S36), at least one of the networks based on a difference between the reconstructed image (X') and the source image (X) step in which the parameters are adjusted (S38), the virtual image (Y V) If the quality has reached a step (S40), and a predetermined level of quality of the virtual image to determine whether the previously reached the predetermined level may comprise the step (S42) for outputting a virtual image (Y V). In the image processing method according to another embodiment of the present application, each step may be performed in one network. Alternatively, each step may be performed in a separate network. Hereinafter, for convenience of description, as described with reference to FIG. 4, a plurality of networks are included in one neural network, and a detailed description will be made on the assumption that each step is performed by each of the plurality of networks. .

먼저 전술한 사용자장치(30)로부터 제1 도메인의 소스 이미지(X)가 입력될 수 있고, 서버(10)는 상기 소스 이미지(X)를 제1 네트워크(101)의 입력 데이터로 적용할 수 있다. First, the source image X of the first domain may be input from the aforementioned user device 30, and the server 10 may apply the source image X as input data of the first network 101. .

서버(10)는 전술한 제1 네트워크(101)를 통해 소스 이미지(X)로부터 생성되는 하나 이상의 특징맵을 획득할 수 있다(S30). The server 10 may obtain one or more feature maps generated from the source image X through the aforementioned first network 101 (S30).

전술한 바와 같이, 상기 제1 네트워크(101)는 복수의 레이어를 포함할 수 있고, 서버(10)는 상기 복수의 레이어를 이용하여 상기 소스 이미지(X) 내에 포함된 복수의 특징(feature)들을 획득할 수 있다. 상기 복수의 특징들은, 예를 들어, 엣지, 선명도, 깊이, 명도, 컨트라스트, 블러 등을 포함할 수 있다. 상기 서버(10)는 상기 복수의 특징들을 기초로 하여 상기 제1 네트워크(101)에서 생성되는 하나 이상의 특징맵(feature map)을 획득할 수 있다. 상기 특징맵은 상기 복수의 특징들의 조합일 수 있으며, 상기 특징맵을 통해 상기 소스 이미지 내의 각 영역들이 식별될 수 있다. 상기 각 영역들은 사용자의 관심 영역(ROI) 및 상기 소스 이미지 내의 적어도 하나의 인공물을 포함하는 에러 영역(error region)을 포함할 수 있다. 예를 들어, 상기 관심 영역은 태아의 얼굴 영역일 수 있고, 상기 에러 영역은 태아의 얼굴 영역이 아닌 다른 신체 영역일 수 있다. 예를 들어, 상기 얼굴 영역은 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 예를 들어, 상기 에러 영역은 태아의 손, 발, 태반, 양수 등을 포함할 수 있다. As described above, the first network 101 may include a plurality of layers, and the server 10 may use the plurality of layers to select a plurality of features included in the source image X. Can be obtained. The plurality of features may include, for example, edge, sharpness, depth, brightness, contrast, blur, and the like. The server 10 may obtain one or more feature maps generated in the first network 101 based on the plurality of features. The feature map may be a combination of the plurality of features, and respective regions within the source image may be identified through the feature map. Each of the regions may include an error region including a region of interest (ROI) of the user and at least one artifact in the source image. For example, the region of interest may be a facial region of the fetus and the error region may be a body region other than the facial region of the fetus. For example, the facial region may include the eyes, nose, mouth, ears, and the like of the fetus. For example, the error region may include a fetus's hand, foot, placenta, amniotic fluid, and the like.

상기 서버(10)는 상기 제1 네트워크(101)를 통해 생성된 하나 이상의 특징맵을 제2 네트워크(102) 및 제3 네트워크(103)의 입력 데이터로 적용할 수 있다. The server 10 may apply one or more feature maps generated through the first network 101 as input data of the second network 102 and the third network 103.

서버(10)는 전술한 특징 분류 네트워크(106)를 통하여 상기 하나 이상의 특징맵을 제1 특징맵과 제2 특징맵으로 분류할 수 있다(S31). The server 10 may classify the at least one feature map into a first feature map and a second feature map through the feature classification network 106 described above (S31).

도 4를 참조하여 전술한 바와 같이, 상기 특징 분류 네트워크(106)는, 소스 이미지 내의 각 영역들 중 에러 영역에 관련된 제1 특징맵과 관심 영역에 관련된 제2 특징맵을 구별하도록 트레이닝될 수 있다. 예를 들어, 상기 제1 특징맵은 태아의 얼굴 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 예를 들어, 상기 제2 특징맵은 상기 에러 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 즉, 상기 얼굴 영역에 관련된 특징들은, 예를 들어, 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 상기 에러 영역에 관련된 특징들은, 예를 들어, 태아의 손, 발, 태반, 양수 등을 포함할 수 있다. As described above with reference to FIG. 4, the feature classification network 106 may be trained to distinguish between a first feature map associated with an error region and a second feature map associated with a region of interest among respective regions in the source image. . For example, the first feature map may include fewer features related to the face area of the fetus. For example, the second feature map may include fewer features related to the error area. That is, the features related to the face area may include, for example, an eye, a nose, a mouth, and an ear of a fetus. Features related to the error area may include, for example, a fetus's hand, foot, placenta, amniotic fluid, and the like.

예를 들어, 상기 특징 분류 네트워크(106)는 상기 얼굴 영역에 관련된 특징들 및 상기 에러 영역에 관련된 특징들을 구별하기 위한 미리 설정된 기준을 기초로 하여 상기 제1 특징맵과 상기 제2 특징맵을 분류할 수 있다. For example, the feature classification network 106 classifies the first feature map and the second feature map based on preset criteria for distinguishing features related to the face region and features related to the error region. can do.

한편, 상기 특징 분류 네트워크(106)는, 복원 이미지(X')와 상기 소스 이미지(X) 간의 차이를 이용하여 조정된 파라미터를 반영하여 업데이트될 수도 있다. 또는, 상기 특징 분류 네트워크(106)는 가상 이미지와 원본 이미지 간의 차이를 이용하여 조정된 파라미터를 반영하여 업데이트될 수도 있다. Meanwhile, the feature classification network 106 may be updated by reflecting a parameter adjusted by using a difference between the reconstructed image X 'and the source image X. FIG. Alternatively, the feature classification network 106 may be updated to reflect parameters adjusted using the difference between the virtual image and the original image.

서버(10)는 전술한 제2 네트워크(102)를 이용하여 가상 이미지(YV)를 생성하고, 전술한 제3 네트워크(103)를 이용하여 에러 이미지(Ye)를 생성할 수 있다(S32). 즉, 제2 네트워크(102)에서는 S31 단계에서 획득된 제1 특징맵을 이용하여 제2 도메인의 가상 이미지가 생성될 수 있다. 또한, 제3 네트워크(103)에서는 S31단계에서 획득된 제2 특징맵을 이용하여 제2 도메인의 에러 이미지가 생성될 수 있다. The server 10 may generate a virtual image Y V using the second network 102 described above, and generate an error image Y e using the third network 103 described above (S32). ). That is, in the second network 102, a virtual image of the second domain may be generated using the first feature map acquired in step S31. Also, in the third network 103, an error image of the second domain may be generated using the second feature map acquired in step S31.

예를 들어, 상기 제2 네트워크(102)를 통해 생성되는 가상 이미지(YV)는, 상기 적어도 하나의 특징맵의 대응되는 특징들에 타겟 이미지의 특징들이 맵핑된 이미지일 수 있다.예를 들어, 상기 적어도 하나의 특징맵은 소스 이미지(X) 내의 얼굴 영역(예컨대, 눈, 코 입, 귀 등)의 특징들을 포함할 수 있다. 따라서, 상기 적어도 하나의 특징맵을 이용하여 생성되는 상기 가상 이미지는 상기 소스 이미지(X) 내의 얼굴 영역을 포함하는 이미지일 수 있다. For example, the virtual image Y V generated through the second network 102 may be an image in which features of a target image are mapped to corresponding features of the at least one feature map. The at least one feature map may include features of a face area (eg, eyes, nose mouth, ears, etc.) in the source image X. Therefore, the virtual image generated using the at least one feature map may be an image including a face region in the source image X.

또한, 예를 들어, 상기 제3 네트워크(103)를 통해 생성되는 에러 이미지(Ye)는, 상기 적어도 하나의 특징맵을 기초로 생성되는 이미지일 수 있다. 이 때, 상기 적어도 하나의 특징맵은 소스 이미지 내(X)의 관심 영역이 아닌 에러 영역(예컨대, 손, 발, 태반, 양수 등)의 특징들을 포함할 수 있다. 따라서, 상기 적어도 하나의 특징맵을 이용하여 생성되는 상기 에러 이미지(Ye)는 상기 소스 이미지(X) 내의 에러 영역을 포함하는 이미지일 수 있다. Also, for example, the error image Y e generated through the third network 103 may be an image generated based on the at least one feature map. In this case, the at least one feature map may include features of an error area (eg, hand, foot, placenta, amniotic fluid, etc.) that are not the ROI in the source image (X). Therefore, the error image Y e generated using the at least one feature map may be an image including an error area in the source image X.

한편, 서버(10)는 상기 제2 네트워크(102) 및/또는 상기 제3 네트워크(103)를 통하여 복수의 특징맵에 대한 복수의 합성 이미지가 생성되는 경우 상기 합성 이미지들을 통합하여 하나의 가상 이미지 및/또는 에러 이미지를 획득할 수 있다. Meanwhile, when a plurality of composite images for a plurality of feature maps are generated through the second network 102 and / or the third network 103, the server 10 merges the composite images into one virtual image. And / or error images.

또한, 상기 서버(10)는 상기 제2 네트워크(102)로부터 획득된 가상 이미지(YV) 및 상기 제3 네트워크(103)로부터 획득된 에러 이미지(Ye)를 통합한 타겟 이미지를 획득할 수 있고(S33), 상기 복원 이미지(X')와 상기 소스 이미지(X) 간의 차이를 이용하여 상기 네트워크들 중 적어도 하나의 파라미터가 조정될 수 있다(S35). 또한, 서버(10)는 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달하였는지 여부를 판단할 수 있고(S37), 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달한 것으로 판단되는 경우 해당 가상이미지를 출력할 수 있다(S39). 단계 S34 내지 S42는 도 5를 참조하여 설명한 단계 S14 내지 S22에 대응될 수 있으므로, 이하에서는 자세한 설명은 생략하기로 한다. In addition, the server 10 may obtain a target image obtained by integrating the virtual image Y V obtained from the second network 102 and the error image Y e obtained from the third network 103. In operation S33, at least one parameter of the networks may be adjusted using a difference between the reconstructed image X ′ and the source image X (S35). In addition, the server 10 may determine whether the quality of the virtual image Y V has reached a predetermined level (S37), and the quality of the virtual image Y V has reached a predetermined level. If determined, the virtual image may be output (S39). Since steps S34 to S42 may correspond to steps S14 to S22 described with reference to FIG. 5, a detailed description thereof will be omitted below.

이와 같이, 본 출원의 다른 실시 예에 따른 이미지 처리 방법에 의하면 S30 단계 내지 S39 단계들을 반복적으로 수행함으로써 미리 정해진 품질 이상의 가상 이미지(YV)가 사용자 장치(30)를 통해 출력될 수 있다. As described above, according to the image processing method according to another exemplary embodiment of the present application, the virtual image Y V having a predetermined quality or more may be output through the user device 30 by repeatedly performing the steps S30 to S39.

도 7은 본 출원의 다른 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다. 상기 이미지 처리 방법은 하나의 네트워크 내에서 수행될 수 있고, 상기 서버(10) 내의 하나 이상의 프로세서에 의해 수행될 수 있다. FIG. 7 is a flowchart illustrating an image processing method of converting a source image of a first domain into a virtual image of a second domain and outputting the image according to another embodiment of the present application. The image processing method may be performed in one network and may be performed by one or more processors in the server 10.

본 출원의 다른 실시 예에 따른 이미지 처리 방법은, 제1 도메인의 소스 이미지(X)를 획득하는 단계(S50), 상기 소스 이미지 내의 특징들을 분석하는 단계(S52), 상기 소스 이미지 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별하는 단계(S54), 상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 가상 이미지(YV)를 획득하는 단계(S56), 상기 가상 이미지(YV)를 출력하는 단계(S58)를 포함할 수 있고, 상기 제1 도메인 및 상기 제2 도메인 사이의 영역 변환을 통하여 상기 가상 이미지의 품질이 향상되도록, 상기 단계들이 반복적으로 수행될 수 있다. The image processing method according to another embodiment of the present application may include obtaining a source image (X) of a first domain (S50), analyzing features in the source image (S52), and at least one of the source image. Identifying an error feature and valid features (S54), synthesizing the attributes of the original image of the second domain with the valid features to obtain a virtual image Y V from which the error feature has been removed (S56), Outputting a virtual image Y V (S58), and the steps may be repeatedly performed so that the quality of the virtual image is improved through a region conversion between the first domain and the second domain. Can be.

서버(10)는 사용자 장치(30)로부터 제1 도메인의 소스 이미지(X) 를 획득할 수 있다(S50). The server 10 may obtain a source image X of the first domain from the user device 30 (S50).

예를 들어, 상기 사용자 장치(30)는 전술한 바와 같이, 태아를 촬영하기 위한 초음파 영상 촬영장치일 수 있고, 또는, 상기 사용자 장치(30)는 상기 초음파 영상 촬영장치로부터 촬상된 이미지를 제공받는 전자기기일 수 있다. 상기 사용자 장치(30)는 상기 사용자 장치(30)에 설치된 프로그램, 상기 사용자 장치(30) 상에 제공되는 웹사이트, 애플리케이션 등을 통하여 서버(10)에 접근할 수 있다. 따라서, 상기 사용자 장치(30)는 상기 사용자 장치(30)에서 촬영되거나 상기 사용자 장치(30)에 저장된 태아의 초음파 이미지(X)를 상기 서버(10)에 입력 이미지로서 제공할 수 있다.. For example, as described above, the user device 30 may be an ultrasound imaging apparatus for capturing a fetus, or the user device 30 may receive an image captured by the ultrasound imaging apparatus. It may be an electronic device. The user device 30 may access the server 10 through a program installed on the user device 30, a website, an application, or the like provided on the user device 30. Accordingly, the user device 30 may provide the server 10 with an ultrasound image X of the fetus photographed by the user device 30 or stored in the user device 30.

서버(10)는 상기 소스 이미지 내의 특징들을 분석할 수 있다(S52). 구체적으로, 상기 소스 이미지 내의 특징들을 분석하는 과정은 전술한 제1 네트워크(101)를 이용하여 상기 소스 이미지 내의 특징들을 추출하고 상기 특징들을 기초로 한 하나 이상의 특징맵을 획득하는 과정과 동일한 방식으로 수행될 수 있다. 이때, 상기 소스 이미지 내의 특징들은, 예를 들어, 엣지, 선명도, 깊이, 명도, 컨트라스트, 블러 등을 포함할 수 있다. 상기 특징맵은 상기 특징들의 조합일 수 있으며, 하나 이상의 특징맵을 통하여 상기 소스 이미지 내의 각 영역들이 식별될 수 있다. 상기 각 영역들은 사용자의 관심 영역(ROI) 및 상기 소스 이미지 내의 적어도 하나의 인공물을 포함하는 에러 영역(error region)을 포함할 수 있다. 예를 들어, 상기 관심 영역은 태아의 얼굴 영역일 수 있고, 상기 에러 영역은, 태아의 얼굴 영역이 아닌 다른 신체 영역일수 있다. 예를 들어, 상기 얼굴 영역은 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 또한, 예를 들어, 상기 에러 영역은 태아의 손, 발, 태반, 양수 등을 포함할 수 있다. The server 10 may analyze features in the source image (S52). Specifically, analyzing the features in the source image is the same as extracting the features in the source image and acquiring one or more feature maps based on the features using the first network 101 described above. Can be performed. In this case, the features in the source image may include, for example, edge, sharpness, depth, brightness, contrast, blur, and the like. The feature map may be a combination of the features, and respective regions within the source image may be identified through one or more feature maps. Each of the regions may include an error region including a region of interest (ROI) of the user and at least one artifact in the source image. For example, the region of interest may be a facial region of the fetus and the error region may be a body region other than the facial region of the fetus. For example, the facial region may include the eyes, nose, mouth, ears, and the like of the fetus. Also, for example, the error area may include a fetus's hand, foot, placenta, amniotic fluid, and the like.

서버(10)는 상기 소스 이미지(X) 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별할 수 있다(S54). 상기 에러 특징은, 전술한 에러 영역에 관련된 특징들 일 수 있다. 예를 들어, 태아의 손, 발, 태반, 양수 등에 관련된 특징들일 수 있다. 상기 유효 특징은, 전술한 얼굴 영역, 즉, 관심 영역(ROI)에 관련된 특징들일 수 있다. 예를 들어, 태아의 눈, 코, 입, 귀 등에 관련된 특징들 일 수 있다. The server 10 may identify at least one error feature and valid features in the source image X (S54). The error feature may be features related to the above-described error area. For example, the characteristics may be related to the fetus's hand, foot, placenta, amniotic fluid and the like. The effective features may be features related to the above-described face region, that is, the region of interest ROI. For example, they may be related to the fetus's eyes, nose, mouth, ears and the like.

상기 서버(10)에서 에러 특징 및 유효 특징들을 식별하기 과정은 전술한 특징 분류 네트워크(106)에서 수행되는 방식과 동일할 수 있다. 상기 에러 특징 및 유효 특징들은 미리 설정된 기준을 기초로 하여 식별될 수 있다. 상기 미리 설정된 기준은 상기 소스 (X) 내의 관심 영역 및 상기 에러 영역에 관련된 정보를 기초로 미리 학습될 수 있다. 상기 소스 이미지 (X) 내의 관심 영역은, 예를 들어, 태아의 얼굴 영역일 수 있고, 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 상기 에러 영역은 예를 들어, 태아의 얼굴 영역 외의 신체 영역일 수 있고, 태아의 손, 발, 태반, 양수 등을 포함할 수 있다. 상기 서버(10)는, 예를 들어, 에러 특징에 대해서는 '0'에 가까운 값을 출력하고, 유효 특징들에 대해서는 '1'에 가까운 값을 출력하도록 구성됨으로써 상기 에러 특징 및 유효 특징들을 식별할 수 있다. The process of identifying error features and valid features in the server 10 may be the same as the method performed in the feature classification network 106 described above. The error feature and valid features may be identified based on preset criteria. The preset criterion may be pre-learned based on information related to the ROI in the source X and the error region. The region of interest in the source image (X) may be, for example, the face area of the fetus and may include the eye, nose, mouth, ear, and the like of the fetus. The error region may be, for example, a body region other than the fetal face region, and may include a fetus's hand, foot, placenta, amniotic fluid, and the like. The server 10 may be configured to output values close to '0' for error features and values close to '1' for valid features, for example, to identify the error features and valid features. Can be.

서버(10)는 상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 가상 이미지(YV)를 획득할 수 있다(S56). The server 10 may combine the attributes of the original image of the second domain with the valid features to obtain the virtual image Y V from which the error feature is removed (S56).

상기 가상 이미지(YV)는 상기 유효 특징들에 원본 이미지의 속성들을 맵핑한 이미지일 수 있다. 상기 원본 이미지의 속성들은, 전술한 바와 같이, 이미지의 밝기, 색상, 반사색, 텍스쳐, 깊이, 블러 등을 포함할 수 있다. 상기 원본 이미지 및/또는 상기 원본 진 이미지의 특징들은 전술한 데이터 베이스(20)또는 외부 서버로부터 획득될 수 있다. 또는, 전술한 바와 같이 제3 네트워크(103)에 포함된 별도의 서브 네트워크를 통하여 상기 원본 이미지의 속성들이 추출될 수 있다. The virtual image Y V may be an image in which the attributes of the original image are mapped to the valid features. As described above, the attributes of the original image may include brightness, color, reflection color, texture, depth, blur, and the like of the image. Features of the original image and / or the original image may be obtained from the above-described database 20 or an external server. Alternatively, as described above, the attributes of the original image may be extracted through a separate sub network included in the third network 103.

따라서, 상기 서버(10)는 상기 제1 도메인의 소스 이미지(X) 내의 관심 영역을 포함하는 제2 도메인의 가상 이미지(YV)를 획득할 수 있고, 상기 가상 이미지는 적어도 하나의 상기 에러 특징들이 제거된 것일 수 있다. Accordingly, the server 10 may obtain a virtual image Y V of the second domain including the ROI in the source image X of the first domain, wherein the virtual image is at least one of the error features. May have been removed.

서버(10)는 상기 에러 특징들이 제거된 가상 이미지(YV)를 사용자 장치(30)를 통하여 출력할 수 있다(S58). The server 10 may output the virtual image Y V from which the error features are removed through the user device 30 (S58).

즉, 상기 서버(10)는 사용자로부터 수신된 제1 도메인의 소스 이미지(X)를 상기 소스 이미지(X) 내의 에러 특징들을 제외된 제2 도메인의 가상 이미지(YV)를 생성할 수 있다. 다시 말하면, 상기 서버(10)는 상기 제1 도메인 및 상기 제2 도메인 사이의 이미지 변환을 통하여 상기 가상 이미지의 품질이 향상되도록 전술한 단계들을 반복적으로 수행할 수 있고, 미리 정해진 수준에 도달한 품질의 가상 이미지를 사용자 장치(30)에 제공할 수 있다.That is, the server 10 may generate the virtual image Y V of the second domain from which the error features in the source image X are excluded from the source image X of the first domain received from the user. In other words, the server 10 may repeatedly perform the above-described steps so that the quality of the virtual image is improved through image conversion between the first domain and the second domain, and the quality reaches a predetermined level. The virtual image of may be provided to the user device 30.

예를 들어, 서버(10)는 미리 설정된 종료 조건이 만족될 때까지, 전술한 단계들을 반복하여 수행되도록 함으로써 가상 이미지(YV)를 재획득할 수 있다. 여기서 종료 조건은 사용자에 의해 미리 입력된 조건일 수 있다. 예를 들어, 사용자는 전술한 단계들이 미리 설정된 횟수만큼 반복되도록 설정할 수 있다. For example, the server 10 may reacquire the virtual image Y V by repeatedly performing the above-described steps until the preset termination condition is satisfied. The termination condition may be a condition previously input by the user. For example, the user may set the aforementioned steps to be repeated a predetermined number of times.

또는, 예를 들어, 상기 서버(10)는 상기 가상 이미지(YV)와 상기 원본 이미지(YR)의 유사도가 미리 정해진 값에 도달한 경우의 가상 이미지(YV)를 출력할 수 있다. 예를 들어, 상기 유사도는 상기 가상 이미지(YV)가 신생아의 실제 촬영한 이미지에 해당될 확률을 나타내는 정보일 수 있다. 상기 가상 이미지(YV)와 상기 원본 이미지(YR)의 유사도 판단은 전술한 제5 네트워크(105)에서 수행되는 방식과 동일할 수 있다. 예를 들어, 상기 가상 이미지(YV)가 신생아의 실제 촬영한 이미지에 해당되는 경우 유사도 값은 '1' 또는 1에 가까운 값일 수 있다. 예를 들어, 상기 가상 이미지(YV)가 실제 촬영한 이미지가 아닌 경우 유사도 값은 '0' 또는 0에 가까운 값일 수 있다. 예를 들어, 상기 미리 정해진 값은 사용자에 의해 설정된 값일 수 있고 0.5~0.99 사이의 값일 수 있다.Or, for example, the server 10 may output a virtual image (Y V) of the case has reached the value of the similarity of the virtual image (Y V) and the original image (Y R) predetermined. For example, the similarity may be information indicating a probability that the virtual image Y V corresponds to an actual captured image of the newborn baby. The similarity determination between the virtual image Y V and the original image Y R may be the same as that performed in the fifth network 105. For example, when the virtual image Y V corresponds to an actual captured image of the newborn, the similarity value may be '1' or a value close to one. For example, when the virtual image Y V is not an actual photographed image, the similarity value may be '0' or a value close to zero. For example, the predetermined value may be a value set by a user and a value between 0.5 and 0.99.

따라서, 상기 서버(10)는 상기 가상 이미지의 품질이 미리 정해진 수준에 도달한 경우의 가상이미지(YV)를 사용자 장치(30)를 통해 출력할 수 있고, 사용자는 S50 단계에서 입력된 제1 도메인의 소스 이미지 내의 에러 특징이 제거된 원본 이미지와 유사한 제2 도메인의 가상 이미지를 획득하는 것이 가능할 수 있다. 예를 들어, 사용자는 초음파 이미지 내의 태아 얼굴이 손, 발, 태반, 양수 중 적어도 하나의 에러 특징에 의해 가려진 경우에도 상기 에러 특징이 제거된 실제 사진에 가까운 가상 이미지를 얻을 수 있다. Therefore, the server 10 may output the virtual image Y V when the quality of the virtual image reaches a predetermined level through the user device 30, and the user inputs the first input in step S50. It may be possible to obtain a virtual image of a second domain that is similar to the original image from which the error feature in the source image of the domain has been removed. For example, the user may obtain a virtual image close to the actual picture from which the error feature is removed even when the fetal face in the ultrasound image is covered by at least one error feature of the hand, foot, placenta and amniotic fluid.

도 8은 본 출원의 일 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 제공하는 이미지 변환 장치의 구성을 개략적으로 나타내기 위한 블록도이다. 본 출원의 일 실시 예에 따른 이미지 변환 장치는 서버(10)일 수 있고, 상기 서버(10)는 이미지 처리를 위한 하나 이상의 모듈을 포함할 수 있다. 또는, 상기 서버(10)의 메모리에는 이미지 처리를 위한 프로그램이 저장되어 있을 수 있고, 상기 프로그램이 하나 이상의 모듈을 포함할 수 있다. FIG. 8 is a block diagram schematically illustrating a configuration of an image conversion apparatus for converting and providing a source image of a first domain to a virtual image of a second domain according to an embodiment of the present application. The image conversion apparatus according to an embodiment of the present application may be a server 10, and the server 10 may include one or more modules for image processing. Alternatively, a program for image processing may be stored in a memory of the server 10, and the program may include one or more modules.

도 8을 참조하면, 본 출원의 일 실시 예에 따른 이미지 처리 장치(10)는 이미지 획득 모듈(11), 특징 분석 모듈(12), 가상 이미지 생성 모듈(13), 에러 이미지 생성 모듈(14), 타겟 이미지 생성 모듈(15), 이미지 복원 모듈(16), 가중치 조정 모듈(17), 등을 포함할 수 있다. 또는, 하나 이상의 모듈이 하나의 모듈로 통합되어 구성될 수 있다. 이하에서는, 설명의 편의를 위하여 상기 각 모듈에서 순차적으로 또는 병렬적으로 이미지 처리를 위한 과정이 수행되는 경우를 상정하여 설명한다 Referring to FIG. 8, the image processing apparatus 10 according to an exemplary embodiment of the present application may include an image acquisition module 11, a feature analysis module 12, a virtual image generation module 13, and an error image generation module 14. , The target image generation module 15, the image reconstruction module 16, the weight adjustment module 17, and the like. Alternatively, one or more modules may be integrated into one module. In the following description, it is assumed that a process for image processing is performed sequentially or in parallel in each module for convenience of description.

이미지 획득 모듈(11)은 제1 도메인의 소스 이미지(X)를 획득하기 위한 구성일 수 있다. 상기 제1 도메인의 소스 이미지는 전술한 사용자 장치(30), 예를 들어, 초음파 영상 촬영 장치로부터 수신될 수 있다. The image acquisition module 11 may be a component for acquiring the source image X of the first domain. The source image of the first domain may be received from the above-described user device 30, for example, an ultrasound imaging apparatus.

특징 분석 모듈(12)은 상기 이미지 획득 모듈(11)에서 획득한 소스 이미지(X) 내의 특징들을 추출하고, 상기 특징들을 기초로 하나 이상의 특징맵을 생성하기 위한 구성일 수 있다. 상기 특징 분석 모듈(12)에서 수행되는 동작은 전술한 제1 네트워크(101)를 이용한 특징 추출 과정 및 상기 추출된 특징들을 이용한 특징맵 생성 과정과 동일할 수 있다. The feature analysis module 12 may be a component for extracting features in the source image X acquired by the image acquisition module 11 and generating one or more feature maps based on the features. The operation performed by the feature analysis module 12 may be the same as the feature extraction process using the first network 101 and the feature map generation process using the extracted features.

가상 이미지 생성 모듈(13)은 상기 특징 분석 모듈(12)에서 획득한 상기 하나 이상의 특징맵 중 제1 특징맵을 기초로 가상 이미지(YV)를 생성하기 위한 구성일 수 있다. 상기 제1 특징맵은, 전술한 바와 같이, 상기 소스 이미지(X) 내의 관심 영역에 관련된 특징들을 포함할 수 있다. 상기 가상 이미지는 상기 소스 이미지(X) 내의 관심 영역을 포함하는 이미지일 수 있다. 예를 들어, 상기 가상 이미지(YV)는 상기 소스 이미지(X) 내의 태아의 눈, 코, 입, 귀 등에 관련된 특징들을 포함할 수 있다. 상기 가상 이미지 생성 모듈(13)에서 수행되는 동작은 전술한 제2 네트워크(102)를 이용한 가상 이미지 생성 과정과 동일할 수 있다. The virtual image generation module 13 may be a component for generating a virtual image Y V based on a first feature map of the one or more feature maps acquired by the feature analysis module 12. As described above, the first feature map may include features related to a region of interest in the source image (X). The virtual image may be an image including a region of interest in the source image (X). For example, the virtual image Y V may include features related to an eye, a nose, a mouth, and an ear of a fetus in the source image X. Operation performed by the virtual image generation module 13 may be the same as the virtual image generation process using the second network 102 described above.

에러 이미지 생성 모듈(14)은 상기 특징 분석 모듈(12)에서 획득한 상기 하나 이상의 특징맵 중 제2 특징맵을 기초로 에러 이미지(Ye)를 생성하기 위한 구성일 수 있다. 상기 제2 특징맵은, 전술한 바와 같이, 상기 소스 이미지(X) 내의 얼굴 영역이 아닌 에러 영역에 관련된 특징들을 포함할 수 있다. 상기 에러 이미지(Ye)는 상기 소스 이미지(X) 내의 얼굴 영역이 아닌 에러 영역을 포함하는 이미지일 수 있다. 예를 들어, 상기 에러 이미지는 상기 소스 이미지 내의 태아의 손, 발, 태반, 양수 등 적어도 하나에 관련된 특징들을 포함할 수 있다. 상기 에러 이미지 생성 모듈(14)에서 수행되는 동작은 전술한 제3 네트워크(103)를 이용한 가상 이미지 생성 과정과 동일할 수 있다. The error image generation module 14 may be a component for generating an error image Y e based on a second feature map of the one or more feature maps acquired by the feature analysis module 12. As described above, the second feature map may include features related to an error area other than a face area in the source image X. FIG. The error image (Y e) may be an image that includes the error area than the face region in the source image (X). For example, the error image may include features related to at least one of the fetus's hand, foot, placenta, amniotic fluid, etc. in the source image. The operation performed by the error image generation module 14 may be the same as the virtual image generation process using the above-described third network 103.

타겟 이미지 생성 모듈(15)은, 상기 가상 이미지 생성 모듈(13)로부터 생성된 가상 이미지(YV) 및 상기 에러 이미지 생성 모듈(14)로부터 생성된 에러 이미지(Ye)를 통합하여 타겟 이미지(Y)를 생성하기 위한 구성일 수 있다. 예를 들어, 상기 에러 이미지(Ye)에는 제1 가중치가 적용될 수 있고, 상기 가상 이미지(YV)에는 제2 가중치가 적용될 수 있다. 상기 에러 이미지(Y3)에 적용되는 제1 가중치는 [수학식 2] 내지 [수학식 4]를 참조하여 전술한 바와 같이 산출된 값일 수 있고, 후술할 가중치 조정 모듈(17)에 의해 산출된 값일 수 있다. 또한, 상기 가상 이미지(YV)에 적용되는 제2 가중치는 상기 제1 가중치를 기초로 산출될 수 있으며, 예를 들어, 상기 제2 가중치는 상기 제1 가중치보다 작은 값일 수 있다. 또는, 예를 들어, 상기 제2 가중치는 상기 제1 가중치와 동일한 값일 수 있다. 최초에 적용되는 가중치는, 예를 들어, 임의로 설정되는 랜덤 값일 수 있고, 사전 훈련 과정을 통해 미리 조정된 값일 수 있다. The target image generation module 15 integrates the virtual image Y V generated from the virtual image generation module 13 and the error image Y e generated from the error image generation module 14 to generate a target image ( It may be a configuration for generating Y). For example, a first weight may be applied to the error image Y e and a second weight may be applied to the virtual image Y V. The first weight applied to the error image (Y 3 ) may be a value calculated as described above with reference to [Equation 2] to [Equation 4], it is calculated by the weight adjustment module 17 to be described later Can be a value. In addition, a second weight applied to the virtual image Y V may be calculated based on the first weight, for example, the second weight may be a value smaller than the first weight. Alternatively, for example, the second weight may be the same value as the first weight. The weight applied initially may be, for example, a random value that is arbitrarily set, or may be a value that is adjusted in advance through a pre-training process.

이미지 복원 모듈(16)은 상기 타겟 이미지(Y)를 복원 이미지(X')로 역변환하기 위한 구성일 수 있다. 즉, 상기 이미지 복원 모듈(16)을 통하여 상기 타겟 이미지(Y)로부터 하나 이상의 특징맵을 획득할 수 있고, 상기 하나 이상의 특징맵에 상기 소스 이미지(X)의 특징들이 맵핑된 복원 이미지(X')를 획득할 수 있다. 상기 이미지 복원 모듈(16)을 이용하여 복원 이미지(X')를 획득하는 과정은 전술한 제4 네트워크(104)를 이용하여 타겟 이미지(Y)를 복원 이미지(X')로 변환하는 과정과 동일할 수 있다. The image reconstruction module 16 may be configured to inversely convert the target image Y into a reconstructed image X ′. That is, the image restoration module 16 may obtain one or more feature maps from the target image Y, and the restored image X 'in which the features of the source image X are mapped to the one or more feature maps. ) Can be obtained. The process of acquiring the reconstructed image X 'using the image reconstruction module 16 is the same as the process of converting the target image Y into the reconstructed image X' using the fourth network 104 described above. can do.

가중치 조정모듈(17)은 상기 이미지 복원 모듈(16)에 의해 생성된 복원 이미지(X')와 상기 소스 이미지(X) 간의 차이 값을 기초로 전술한 네트워크의 파라미터를 조정하기 위한 구성일 수 있다. The weight adjustment module 17 may be a component for adjusting the above-described parameters of the network based on the difference value between the reconstructed image X ′ generated by the image reconstruction module 16 and the source image X. FIG. .

즉, 상기 조정모듈(17)은 전술한 복원 이미지(X')와 소스 이미지(X) 사이의 차이에서 발생하는 손실함수(Lrec)를 상기 특징 분석 모듈(12), 상기 가상 이미지 생성모듈(13), 상기 에러 이미지 생성모듈(14), 상기 타겟 이미지 생성모듈(15), 상기 이미지 복원 모듈(16) 중 적어도 하나에 피드백할 수 있다. 상기 손실함수는 [수학식 5]를 참조하여 전술한 바와 같이 산출될 수 있다. That is, the adjustment module 17 may determine the loss function Lrec generated in the difference between the above-described reconstructed image X ′ and the source image X, by the feature analysis module 12 and the virtual image generation module 13. ), The error image generation module 14, the target image generation module 15, and the image restoration module 16 may be fed back. The loss function may be calculated as described above with reference to [Equation 5].

또한, 상기 가중치 조정 모듈(17)은 타겟 이미지 생성 시 적용되는 제1 가중치를 더 산출할 수 있다. 이때, 상기 제1 가중치는 [수학식 2] 내지 [수학식 4]를 참조하여 전술한 바와 같이 산출될 수 있다. 상기 가중치 조정 모듈(17)은 산출된 가중치 값을 전술한 타겟 이미지 생성 모듈(15)에 전달할 수 있다.In addition, the weight adjustment module 17 may further calculate a first weight applied when generating the target image. In this case, the first weight may be calculated as described above with reference to [Equation 2] to [Equation 4]. The weight adjustment module 17 may transfer the calculated weight value to the target image generation module 15 described above.

유사도 판단 모듈(18)은 상기 가상 이미지(YV) 및 원본 이미지(YR)의 유사도를 판단하기 위한 구성일 수 있다. 예를 들어, 상기 유사도에 관련된 정보는 상기 가상 이미지(YV)가 신생아의 실제 촬영한 이미지에 해당될 확률을 나타내는 정보일 수 있다. 예를 들어, 상기 가상 이미지(YV)가 실제 촬영한 이미지에 해당되는 경우 유사도 값은 '1' 또는 1에 가까운 값일 수 있다. 또한, 예를 들어, 상기 가상 이미지가 실제 촬영한 이미지가 아닌 경우 유사도 값은 '0' 또는 0에 가까운 값일 수 있다. 예를 들어, 상기 미리 정해진 값은 사용자에 의해 설정된 값일 수 있고 0.5~0.99 사이의 값일 수 있다. The similarity determining module 18 may be configured to determine the similarity between the virtual image Y V and the original image Y R. For example, the information related to the similarity may be information indicating a probability that the virtual image Y V corresponds to the actual captured image of the newborn baby. For example, when the virtual image Y V corresponds to an actually photographed image, the similarity value may be '1' or a value close to one. Also, for example, when the virtual image is not an actual photographed image, the similarity value may be '0' or a value close to zero. For example, the predetermined value may be a value set by a user and a value between 0.5 and 0.99.

예를 들어, 상기 서버(10)는 상기 유사도 판단 모듈(18)에 의해 획득되는 상기 가상 이미지(YV) 및 원본 이미지(YR)의 유사도를 기준으로 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달하였는지 판단할 수 있다. 따라서, 상기 서버(10)는 상기 유사도 정보가 미리 정해진 값을 초과하는 경우 가상 이미지를 사용자 장치(30)를 통하여 출력할 수 있다. 즉, 상기 서버(10)는 상기 유사도 판단 모듈(18)의 판단 결과에 따라 상기 가상 이미지(YV)의 출력 여부를 결정할 수 있다. 다시 말해, 상기 서버(10)는 상기 유사도가 미리 정해진 값에 도달할 때까지 상기 타겟 이미지(Y) 생성 및 상기 복원 이미지 생성(X')을 반복적으로 수행할 수 있다. 결과적으로 상기 제1 도메인 및 제2 도메인 사이의 이미지 변환을 통하여 상기 가상 이미지(YV)의 품질이 향상될 수 있다. For example, the server 10 may determine the quality of the virtual image Y V based on the similarity between the virtual image Y V and the original image Y R obtained by the similarity determination module 18. It may be determined whether a predetermined level has been reached. Therefore, when the similarity information exceeds a predetermined value, the server 10 may output a virtual image through the user device 30. That is, the server 10 may determine whether to output the virtual image Y V according to the determination result of the similarity determination module 18. In other words, the server 10 may repeatedly perform the target image Y generation and the reconstructed image generation X ′ until the similarity reaches a predetermined value. As a result, the quality of the virtual image Y V may be improved through image conversion between the first domain and the second domain.

특징 분류 모듈(19)은 상기 소스 이미지 내의 각 영역들 중 에러 영역에 관련된 특징들과 관심 영역에 관련된 특징들을 분류하기 위한 구성일 수 있다. 상기 특징 분류 모듈(19)는 상기 특징 분석 모듈(12) 내에 일 구성일 수 있다. 또는, 상기 특징 분류 모듈(19)은 상기 특징 분석 모듈(12)로부터 획득된 하나 이상의 특징맵들을 이용하여 제1 특징맵과 제2 특징맵을 생성하기 위한 별도의 구성 요소로 마련될 수 있다. 또는, 상기 특징 분류 모듈(19)은 상기 특징 분석 모듈(12)에서 획득된 상기 소스 이미지(X) 내의 특징들을 에러 특징과 유효특징들로 구별하기 위한 별도의 구성 요소로 마련될 수 있다. 예를 들어, 상기 제1 특징맵은 에러 영역에 관련된 것일 수 있고, 관심 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 또한, 예를 들어, 상기 제2 특징맵은 관심 영역에 관련된 것일 수 있고, 에러 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 상기 특징 분류 모듈(19)에서 수행되는 동작은 전술한 특징 분류 네트워크(106)에서 수행되는 분류 방식과 동일할 수 있다. The feature classification module 19 may be a component for classifying features related to an error region and features related to a region of interest among the regions in the source image. The feature classification module 19 may be a component in the feature analysis module 12. Alternatively, the feature classification module 19 may be provided as a separate component for generating a first feature map and a second feature map using one or more feature maps obtained from the feature analysis module 12. Alternatively, the feature classification module 19 may be provided as a separate component for distinguishing features in the source image X obtained by the feature analysis module 12 into error features and valid features. For example, the first feature map may be related to the error area or may include fewer features related to the ROI. Also, for example, the second feature map may be related to the ROI or may include fewer features related to the error area. The operation performed by the feature classification module 19 may be the same as the classification method performed by the feature classification network 106 described above.

한편, 저장 모듈(도시되지 않음)은 본 출원의 일 실시 예에 따른 이미지 처리 수행 과정에서 생성되는 모든 데이터들을 저장하기 위한 구성일 수 있다. 예를 들어, 상기 저장 모듈에는 사용자로부터 입력되는 소스 이미지, 상기 소스 이미지로부터 추출된 복수의 특징들, 상기 복수의 특징들을 기초로 생성된 특징맵들이 저장될 수 있다. 또한, 예를 들어, 상기 저장 모듈에는 원본 이미지, 상기 원본 이미지로부터 추출된 복수의 특징들에 관련된 정보들이 저장될 수 있다. 또한, 예를 들어, 상기 저장 모듈에는 전술한 유사도 판단 모듈(17)에 의해 판단된 결과 값들이 저장될 수도 있다. On the other hand, the storage module (not shown) may be a configuration for storing all data generated in the process of performing the image processing according to an embodiment of the present application. For example, the storage module may store a source image input from a user, a plurality of features extracted from the source image, and a feature map generated based on the plurality of features. Also, for example, the storage module may store information related to an original image and a plurality of features extracted from the original image. In addition, for example, the storage module may store the result values determined by the similarity determination module 17 described above.

한편, 전술한 모듈들 중 하나 이상은 다른 서버 또는 사용자 장치(30)에 위치될 수도 있다. Meanwhile, one or more of the above modules may be located in another server or user device 30.

따라서, 본 출원의 실시 예들에 따른 이미지 처리 장치에 의하면 사용자는 제1 도메인의 소스 이미지 내의 태아 얼굴이 손, 발, 태반, 양수 중 적어도 하나의 에러 특징에 의해 가려진 경우에도 상기 에러 특징이 제거된 제2 도메인의 가상 이미지를 얻을 수 있다. Therefore, according to the image processing apparatus according to the embodiments of the present application, the user may remove the error feature even when the fetal face in the source image of the first domain is covered by at least one error feature of the hand, foot, placenta, and amniotic fluid. A virtual image of the second domain can be obtained.

지금까지 설명의 편의를 위하여 이미지 처리의 각 기능들이 전술한 서버(10)에서 수행되는 경우를 가정하여 설명하였으나, 전술한 이미지 처리의 각 기능들은 컴퓨터 상에서 판독 가능한 매체에 기록되어 제공될 수 있다. So far, for convenience of description, it is assumed that each function of the image processing is performed in the above-described server 10, but each function of the above-described image processing may be provided recorded on a computer-readable medium.

즉, 본 출원의 일 실시 예에 따른 이미지 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.That is, the image processing method according to an embodiment of the present application may be implemented in the form of program instructions that may be executed through various computer means, and may be recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present disclosure, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine code, such as produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with reference to the limited embodiments and the drawings as described above, various modifications and variations are possible to those skilled in the art from the above description. For example, the described techniques may be performed in a different order than the described method, and / or components of the described systems, structures, devices, circuits, etc. may be combined or combined in a different form than the described method, or other components. Or even if replaced or replaced by equivalents, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are within the scope of the claims that follow.

1: 이미지 변환 시스템
2: 네트워크:
10: 서버
11: 이미지 획득 모듈
12: 특징 분석 모듈
13: 가상 이미지 생성 모듈
14: 에러 이미지 생성 모듈
15: 타겟 이미지 생성 모듈
16: 이미지 복원 모듈
17: 가중치 조정 모듈
18: 유사도 판단 모듈
19: 특징 분류 모듈
20: 데이터 베이스
30: 사용자 장치
101: 제1 네트워크
102: 제2 네트워크
103: 제3 네트워크
104: 제4 네트워크
105: 제5 네트워크
106: 특징 분류 네트워크
NN: 뉴럴 네트워크
X: 소스 이미지
YV: 가상 이미지
1: image conversion system
2: network:
10: server
11: Image Acquisition Module
12: Feature Analysis Module
13: Virtual Image Creation Module
14: error image generation module
15: Target Image Generation Module
16: Image Restoration Module
17: weight adjustment module
18: Similarity Determination Module
19: Feature Classification Module
20: database
30: User device
101: first network
102: second network
103: third network
104: fourth network
105: fifth network
106: Feature Classification Network
NN: Neural Network
X: source image
Y V : virtual image

Claims (18)

하나 이상의 네트워크를 이용한 이미지 처리 방법에 있어서,
제1 도메인의 소스 이미지로부터 하나 이상의 특징맵을 획득하는 단계;
상기 하나 이상의 특징맵을 기초로 제2 도메인의 가상 이미지 및 에러 이미지를 생성하는 단계;
상기 에러 이미지에 제1 가중치가 적용되고, 상기 가상 이미지에 제2 가중치가 적용된 타겟 이미지를 획득하는 단계;
상기 타겟 이미지를 상기 제1 도메인의 복원 이미지로 변환하는 단계; 및
상기 복원 이미지와 상기 소스 이미지 간의 차이를 이용하여 상기 네트워크들 중 적어도 하나의 파라미터가 조정되는 단계; 를 포함하되,
상기 가상 이미지의 품질이 미리 정해진 수준에 도달할 때까지 상기 단계들이 반복적으로 수행되는 것을 특징으로 하는 이미지 처리 방법.
In the image processing method using one or more networks,
Obtaining at least one feature map from a source image of the first domain;
Generating a virtual image and an error image of a second domain based on the one or more feature maps;
Obtaining a target image to which the first weight is applied to the error image and to which the second weight is applied to the virtual image;
Converting the target image into a reconstructed image of the first domain; And
Adjusting at least one parameter of the networks using the difference between the reconstructed image and the source image; Including,
And said steps are performed repeatedly until the quality of said virtual image reaches a predetermined level.
제 1항에 있어서,
상기 하나 이상의 특징맵 중 유효 특징들에 관련된 제1 특징맵과 에러 특징들에 관련된 제2 특징맵을 분류하는 단계; 를 더 포함하고,
상기 제1 특징맵을 이용하여 상기 가상 이미지를 생성하고 상기 제2 특징맵을 이용하여 에러 이미지를 생성하는 것을 특징으로 하는 이미지 처리방법.
The method of claim 1,
Classifying a first feature map associated with valid features among the one or more feature maps and a second feature map associated with error features; More,
And generating the virtual image by using the first feature map and generating an error image by using the second feature map.
제 1항에 있어서,
상기 가상 이미지의 품질이 미리 정해진 수준에 도달하였는지 여부는, 미리 설정된 종료 조건이 만족되었는지 여부에 따라 결정되는 것을 특징으로 하는 이미지 처리 방법.
The method of claim 1,
Whether the quality of the virtual image reaches a predetermined level is determined according to whether a preset termination condition is satisfied.
제 1항에 있어서,
상기 제1 가중치는, 상기 복원 이미지와 상기 소스 이미지의 차이에 대한 가상 이미지의 기울기를 기초로 산출되는 것을 특징으로 하는 이미지 처리 방법.
The method of claim 1,
And the first weight is calculated based on a slope of a virtual image with respect to a difference between the reconstructed image and the source image.
제 1항에 있어서,
상기 제2 가중치는 상기 제1 가중치를 기초로 산출되는 이미지 처리방법.
The method of claim 1,
And the second weight is calculated based on the first weight.
제 1항에 있어서,
상기 제2 도메인의 가상 이미지와 제2 도메인의 원본 이미지 간의 차이를 이용하여 상기 가상 이미지 생성을 위한 적어도 하나의 네트워크의 파라미터가 조정되는 단계;를 더 포함하는 이미지 처리방법.
The method of claim 1,
And adjusting a parameter of at least one network for generating the virtual image by using a difference between the virtual image of the second domain and the original image of the second domain.
제1 도메인의 소스 이미지를 획득하는 이미지 획득 모듈;
상기 소스 이미지 내의 특징들을 분석하고, 상기 소스 이미지 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별하는 특징 분석 모듈;
상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 제2 도메인의 가상 이미지를 생성하는 가상 이미지 생성 모듈;
상기 에러 특징들을 이용하여 에러 이미지를 생성하는 에러 이미지 생성 모듈; 및
상기 에러 이미지에 제1 가중치를 적용하고 상기 가상 이미지에 제2 가중치를 적용하여 타겟 이미지를 생성하는 타겟 이미지 생성 모듈;을 포함하되,
상기 제1 도메인 및 상기 제2 도메인 사이의 이미지 변환을 통하여 상기 가상 이미지의 품질이 향상되는 것을 특징으로 하는
이미지 처리 장치.
An image acquisition module for obtaining a source image of the first domain;
A feature analysis module for analyzing features in the source image and identifying at least one error feature and valid features in the source image;
A virtual image generation module configured to synthesize the attributes of the original image of the second domain with the valid features to generate a virtual image of the second domain from which the error feature is removed;
An error image generation module for generating an error image using the error features; And
And a target image generation module configured to generate a target image by applying a first weight to the error image and applying a second weight to the virtual image.
The image quality of the virtual image is improved through image conversion between the first domain and the second domain.
Image processing unit.
삭제delete 제 7항에 있어서,
상기 타겟 이미지를 복원 이미지로 변환하기 위한 이미지 복원 모듈; 및
상기 복원 이미지와 상기 소스 이미지 간의 차이 값을 기초로 상기 모듈들 중 적어도 하나에 적용되는 파라미터를 조정하기 위한 가중치 조정 모듈;을 더 포함하는
이미지 처리 장치.
The method of claim 7, wherein
An image reconstruction module for converting the target image into a reconstructed image; And
A weight adjustment module for adjusting a parameter applied to at least one of the modules based on a difference value between the reconstructed image and the source image;
Image processing unit.
제 9항에 있어서,
상기 가중치 조정모듈에 의해 조정된 파라미터는 상기 특징 분석 모듈, 상기 가상 이미지 생성 모듈, 상기 에러 이미지 생성 모듈, 상기 이미지 복원 모듈 중 적어도 하나에 피드백되는 것을 특징으로 하는
이미지 처리 장치.
The method of claim 9,
The parameter adjusted by the weight adjustment module is fed back to at least one of the feature analysis module, the virtual image generation module, the error image generation module, the image restoration module.
Image processing unit.
제 7항에 있어서,
상기 제2 가중치는 상기 제1 가중치를 기초로 산출되는 것을 특징으로 하는
이미지 처리 장치.
The method of claim 7, wherein
The second weight is calculated based on the first weight
Image processing unit.
제 10항에 있어서, 상기 가상 이미지의 품질이 향상되도록 상기 타겟 이미지 생성 및 상기 복원 이미지 변환이 반복적으로 수행되는
이미지 처리 장치.
The method of claim 10, wherein the target image generation and the reconstructed image conversion are repeatedly performed to improve the quality of the virtual image.
Image processing unit.
제 9항에 있어서,
상기 유효 특징은 상기 소스 이미지 내의 관심 영역(ROI)에 관련된 것이고, 상기 에러 특징은 상기 소스 이미지 내의 에러 영역에 관련된 것이며,
상기 유효 특징 및 상기 에러 특징들을 분류하기 위한 특징 분류 모듈;를 더 포함하는
이미지 처리 장치.
The method of claim 9,
The effective feature relates to a region of interest (ROI) in the source image, the error feature relates to an error region in the source image,
A feature classification module for classifying the valid feature and the error feature;
Image processing unit.
제 13항에 있어서,
상기 가중치 조정모듈에 의해 조정된 상기 파라미터는 상기 특징 분류 모듈에 피드백되는 것을 특징으로 하는
이미지 처리 장치.
The method of claim 13,
The parameter adjusted by the weight adjustment module is fed back to the feature classification module.
Image processing unit.
제1 도메인의 소스 이미지를 획득하는 단계;
상기 소스 이미지 내의 특징들을 분석하는 단계;
상기 소스 이미지 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별하는 단계;
상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 제2 도메인의 가상 이미지를 생성하는 단계;
상기 에러 특징들을 이용하여 에러 이미지를 생성하는 단계; 및
상기 에러 이미지에 제1 가중치를 적용하고 상기 가상 이미지에 제2 가중치를 적용하여 타겟 이미지를 생성하는 단계;를 포함하되,
상기 제1 도메인 및 상기 제2 도메인 사이의 이미지 변환을 통하여 상기 가상 이미지의 품질이 향상되도록, 상기 단계들이 반복적으로 수행되는 것을 특징으로 하는 이미지 처리 방법.
Obtaining a source image of the first domain;
Analyzing features in the source image;
Identifying at least one error feature and valid features in the source image;
Synthesizing attributes of an original image of a second domain with the valid features to generate a virtual image of the second domain from which the error feature has been removed;
Generating an error image using the error features; And
Generating a target image by applying a first weight to the error image and applying a second weight to the virtual image;
And the steps are repeatedly performed so that the quality of the virtual image is improved through image conversion between the first domain and the second domain.
제 15항에 있어서,
상기 유효 특징은 상기 소스 이미지 내의 관심 영역에 관련된 특징이고, 상기 에러 특징은 상기 소스 이미지 내의 에러 영역에 관련된 특징인 것인
이미지 처리방법.
The method of claim 15,
The valid feature is a feature related to a region of interest in the source image, and the error feature is a feature related to an error region in the source image
Image processing method.
제 15항에 있어서,
상기 단계들은, 미리 설정된 종료 조건이 만족될 때까지 반복적으로 수행되는 것을 특징으로 하는
이미지 처리 방법.
The method of claim 15,
The steps may be performed repeatedly until a preset termination condition is satisfied.
Image processing method.
제 1항 내지 제 6항, 제 15항 내지 제17항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 매체.

18. A computer readable medium having recorded thereon a program for executing the method of any one of claims 1 to 6 and 15 to 17 on a computer.

KR1020180050390A 2017-10-15 2018-05-02 Method for image processing KR102053527B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880067109.3A CN111226258B (en) 2017-10-15 2018-10-15 Signal conversion system and signal conversion method
US16/160,859 US11694083B2 (en) 2017-10-15 2018-10-15 Signal translation system and signal translation method
PCT/KR2018/012112 WO2019074339A1 (en) 2017-10-15 2018-10-15 Signal conversion system and signal conversion method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762572507P 2017-10-15 2017-10-15
US62/572,507 2017-10-15

Publications (2)

Publication Number Publication Date
KR20190042429A KR20190042429A (en) 2019-04-24
KR102053527B1 true KR102053527B1 (en) 2019-12-06

Family

ID=66282171

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020180050390A KR102053527B1 (en) 2017-10-15 2018-05-02 Method for image processing
KR1020180120762A KR102229218B1 (en) 2017-10-15 2018-10-10 Signal translation system and signal translation method
KR1020210032325A KR20210032945A (en) 2017-10-15 2021-03-11 Signal translation system and signal translation method

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020180120762A KR102229218B1 (en) 2017-10-15 2018-10-10 Signal translation system and signal translation method
KR1020210032325A KR20210032945A (en) 2017-10-15 2021-03-11 Signal translation system and signal translation method

Country Status (2)

Country Link
KR (3) KR102053527B1 (en)
CN (1) CN111226258B (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102652117B1 (en) * 2019-07-10 2024-03-27 삼성전자주식회사 Image processing method and image processing system
KR20210032247A (en) * 2019-09-16 2021-03-24 삼성전자주식회사 Display apparatus and image processing method thereof
CN112052818B (en) * 2020-09-15 2024-03-22 浙江智慧视频安防创新中心有限公司 Method, system and storage medium for detecting pedestrians without supervision domain adaptation
KR102334666B1 (en) * 2021-05-20 2021-12-07 알레시오 주식회사 A method for creating a face image
KR20220169076A (en) 2021-06-18 2022-12-27 홍소현 Temperance in eating large quantities of insects for food and feed equipment
CN113487641B (en) * 2021-08-03 2024-08-02 青岛海存微电子有限公司 STT-MRAM-based image edge detection method and device
KR102371145B1 (en) * 2021-11-10 2022-03-07 주식회사 스누아이랩 Apparatus for Image Synthesis and Driving Method Thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012045065A (en) 2010-08-25 2012-03-08 Hitachi Aloka Medical Ltd Ultrasonic image processing apparatus
JP2016191975A (en) 2015-03-30 2016-11-10 株式会社メガチップス Machine learning apparatus

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3642591B2 (en) * 1994-11-29 2005-04-27 株式会社日立メディコ Image processing device
KR100497398B1 (en) * 2003-07-16 2005-06-23 삼성전자주식회사 Method and apparatus of video noise reduction
JP5627253B2 (en) * 2009-05-29 2014-11-19 富士通テン株式会社 Image processing apparatus, electronic apparatus, and image processing method
KR20130008858A (en) * 2011-07-13 2013-01-23 삼성전자주식회사 Method for image processing and image processing apparatus thereof
KR102054680B1 (en) * 2013-01-23 2020-01-22 삼성전자주식회사 Image processing apparatus, ultrasonic imaging apparatus and method for image processing
JP6230239B2 (en) * 2013-02-14 2017-11-15 キヤノン株式会社 Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium
KR102185726B1 (en) * 2014-01-28 2020-12-02 삼성메디슨 주식회사 Method and ultrasound apparatus for displaying a ultrasound image corresponding to a region of interest
WO2015172735A1 (en) * 2014-05-16 2015-11-19 Mediatek Inc. Detection devices and methods for detecting regions of interest
US9582753B2 (en) * 2014-07-30 2017-02-28 Mitsubishi Electric Research Laboratories, Inc. Neural networks for transforming signals
JP6412386B2 (en) * 2014-09-26 2018-10-24 キヤノン株式会社 Image processing apparatus, control method therefor, program, and recording medium
KR102328269B1 (en) * 2014-10-23 2021-11-19 삼성전자주식회사 Ultrasound imaging apparatus and control method for the same
CN106203460A (en) * 2015-05-05 2016-12-07 杜比实验室特许公司 Training signal processes model for the part replacement in signal processing system
KR20160133230A (en) * 2015-05-12 2016-11-22 엘지전자 주식회사 Mobile terminal
WO2017077121A1 (en) * 2015-11-06 2017-05-11 Thomson Licensing Method for transfer of a style of a reference visual object to another visual object, and corresponding electronic device, computer readable program products and computer readable storage medium
US10460231B2 (en) * 2015-12-29 2019-10-29 Samsung Electronics Co., Ltd. Method and apparatus of neural network based image signal processor
KR101937018B1 (en) * 2016-03-24 2019-01-09 울산대학교 산학협력단 Method and device for automatic inner and outer vessel wall segmentation in intravascular ultrasound images using deep learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012045065A (en) 2010-08-25 2012-03-08 Hitachi Aloka Medical Ltd Ultrasonic image processing apparatus
JP2016191975A (en) 2015-03-30 2016-11-10 株式会社メガチップス Machine learning apparatus

Also Published As

Publication number Publication date
CN111226258B (en) 2023-09-22
KR20190042455A (en) 2019-04-24
KR20190042429A (en) 2019-04-24
KR20210032945A (en) 2021-03-25
KR102229218B1 (en) 2021-03-18
CN111226258A (en) 2020-06-02

Similar Documents

Publication Publication Date Title
KR102053527B1 (en) Method for image processing
US11900647B2 (en) Image classification method, apparatus, and device, storage medium, and medical electronic device
WO2020238734A1 (en) Image segmentation model training method and apparatus, computer device, and storage medium
US20190057521A1 (en) Topogram Prediction from Surface Data in Medical Imaging
US11694083B2 (en) Signal translation system and signal translation method
KR20190101905A (en) Positron emission tomography system and imgae reconstruction method using the same
US20210012504A1 (en) Encoder Regularization of a Segmentation Model
CN110570426A (en) Joint registration and segmentation of images using deep learning
US20220058798A1 (en) System and method for providing stroke lesion segmentation using conditional generative adversarial networks
KR101995383B1 (en) Method for determining brain disorder based on feature ranking of medical image and apparatus using the same
KR102063294B1 (en) Method and apparatus for converting ultrasound image into real image
KR102160390B1 (en) Method and system for artificial intelligence based user medical information analysis
WO2021120961A1 (en) Brain addiction structure map evaluation method and apparatus
US10726950B2 (en) Methods and systems for autonomous control of imaging devices
Ding Visual quality assessment for natural and medical image
KR102695351B1 (en) Artifacts reduction method in sparse-view computed tomography
US20220292673A1 (en) On-Site training of a machine-learning algorithm for generating synthetic imaging data
JP7402248B2 (en) Method, device, and program for converting quality pattern of target data based on learning data used for learning deep neural network model
KR20220012406A (en) Model training method, image processing and registration method, apparatus, apparatus, medium
KR20200131722A (en) Method for improving reproducibility of trained deep neural network model and apparatus using the same
KR102584250B1 (en) Method, computer program and apparatus for processing data
EP3138495A1 (en) Imaging subject mould manufacturing method, and individualized imaging method
KR20200131723A (en) Method for improving reproducibility of trained deep neural network model and apparatus using the same
KR20240104350A (en) Method for generating dataset for real-world super resolution at arbitrary scale factor
Jensen Challenges in 3D Scanning: Focusing on Ears and Multiple View Stereopsis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant