KR102053527B1 - Method for image processing - Google Patents
Method for image processing Download PDFInfo
- Publication number
- KR102053527B1 KR102053527B1 KR1020180050390A KR20180050390A KR102053527B1 KR 102053527 B1 KR102053527 B1 KR 102053527B1 KR 1020180050390 A KR1020180050390 A KR 1020180050390A KR 20180050390 A KR20180050390 A KR 20180050390A KR 102053527 B1 KR102053527 B1 KR 102053527B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- error
- feature
- network
- domain
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 45
- 238000000034 method Methods 0.000 title claims description 37
- 238000003672 processing method Methods 0.000 claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 description 45
- 210000003754 fetus Anatomy 0.000 description 45
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 210000004381 amniotic fluid Anatomy 0.000 description 14
- 210000002683 foot Anatomy 0.000 description 14
- 210000002826 placenta Anatomy 0.000 description 14
- 239000002131 composite material Substances 0.000 description 12
- 238000002604 ultrasonography Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000012285 ultrasound imaging Methods 0.000 description 8
- 210000005069 ears Anatomy 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 210000000746 body region Anatomy 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000001605 fetal effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
본 출원의 실시 예들에 따른 이미지 처리 방법은 하나 이상의 네트워크를 이용한 이미지 처리 방법에 있어서, 제1 도메인의 소스 이미지로부터 하나 이상의 특징맵을 획득하는 단계; 상기 하나 이상의 특징맵을 기초로 제2 도메인의 가상 이미지 및 에러 이미지를 생성하는 단계; 상기 에러 이미지에 제2 가중치가 적용되고, 상기 가상 이미지에 제2 가중치가 적용된 타겟 이미지를 획득하는 단계; 상기 타겟 이미지를 상기 제1 도메인의 복원 이미지로 변환하는 단계; 및 상기 복원 이미지와 상기 소스 이미지 간의 차이를 이용하여 상기 네트워크들 중 적어도 하나의 파라미터가 조정되는 단계; 를 포함할 수 있고, 상기 가상 이미지의 품질이 미리 정해진 수준에 도달할 때까지 상기 단계들이 반복적으로 수행될 수 있다.
따라서, 본 출원의 실시 예들에 의하면 제1 도메인의 소스 이미지 내의 에러 특징들이 제거된 제2 도메인의 가상 이미지가 출력될 수 있다. An image processing method according to embodiments of the present application may include: obtaining one or more feature maps from a source image of a first domain; Generating a virtual image and an error image of a second domain based on the one or more feature maps; Obtaining a target image to which the second weight is applied to the error image and to which the second weight is applied to the virtual image; Converting the target image into a reconstructed image of the first domain; And adjusting at least one parameter of the networks using the difference between the reconstructed image and the source image; And the steps may be repeatedly performed until the quality of the virtual image reaches a predetermined level.
Therefore, according to embodiments of the present application, the virtual image of the second domain from which error features in the source image of the first domain are removed may be output.
Description
본 출원은 이미지 처리 방법에 관한 것으로, 아래의 실시 예들은 제1 도메인의 입력 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법들에 관한 것이다.The present application relates to an image processing method, and embodiments below relate to image processing methods for converting an input image of a first domain into a virtual image of a second domain and outputting the virtual image.
초음파를 이용한 영상 진단은 다양한 의료 분야에서 광범위하게 사용되고 있으며, 대표적으로 태아의 초음파 영상은 태아의 발육 상태, 기형 여부 등을 확인하기 위한 중요한 수단이다. Ultrasound imaging has been widely used in various medical fields, and typically, ultrasound imaging of a fetus is an important means for identifying a fetus's developmental status and abnormality.
일반 초음파 검사의 경우 태아의 선천성 기형 등을 조기에 진단할 수 있어 의학적으로 중요한 의미가 있다. 또한, 입체적인 영상을 볼 수 있는 3D 입체 초음파 검사는 태아의 얼굴이나 신체 구조 등 외형적인 모습을 상세하게 확인할 수 있기 때문에 일반 초음파에서 이상 소견을 보이는 경우에 유용하게 활용될 수 있다. 뿐만 아니라 입체 초음파 영상을 통해 태어날 아기의 얼굴을 입체적이고 생동감 있게 볼 수 있어 많은 예비 부모들 사이에서 소장용 목적의 3D 입체 초음파 검사가 선호되고 있다. In general, the ultrasound can be diagnosed early, such as congenital malformations of the fetus has a medical significance. In addition, the 3D stereoscopic examination for viewing a stereoscopic image can be useful in the case of showing abnormalities in general ultrasound because it can confirm the external appearance such as the face and body structure of the fetus in detail. In addition, 3D stereoscopic examination for small intestine is preferred among many prospective parents because they can see the face of the baby to be born through stereoscopic image.
최근 이미지 처리 기술의 발달로 입체 초음파 영상의 해상도가 향상되어 실물에 가까운 얼굴을 확인할 수 있게 되었으나, 초음파 영상의 경우 태아의 형태적인 정보만을 가지고 있기 때문에 실제 아기 사진과 같은 자연스러운 얼굴 모습을 제공하는 데는 한계가 있다. Recently, the development of image processing technology has improved the resolution of stereoscopic ultrasound images, making it possible to identify faces that are close to the real thing. There is a limit.
아래의 실시 예들은, 서로 다른 도메인(domain)에 있는 이미지들 사이의 이미지 변환을 통해 생성되는 가상 이미지를 제공하는 것을 목적으로 한다. The following embodiments aim to provide a virtual image generated by image conversion between images in different domains.
본 출원의 일 실시 예에 따른 이미지 처리 방법은, 하나 이상의 네트워크를 이용한 이미지 처리 방법에 있어서, 제1 도메인의 소스 이미지로부터 하나 이상의 특징맵을 획득하는 단계; 상기 하나 이상의 특징맵을 기초로 제2 도메인의 가상 이미지 및 에러 이미지를 생성하는 단계; 상기 에러 이미지에 제1 가중치가 적용되고, 상기 가상 이미지에 제2 가중치가 적용된 타겟 이미지를 획득하는 단계; 상기 타겟 이미지를 상기 제1 도메인의 복원 이미지로 변환하는 단계; 및 상기 복원 이미지와 상기 소스 이미지 간의 차이를 이용하여 상기 네트워크들 중 적어도 하나의 파라미터가 조정되는 단계; 를 포함할 수 있고, 이때 상기 가상 이미지의 품질이 미리 정해진 수준에 도달할 때까지 상기 단계들이 반복적으로 수행될 수 있다. An image processing method according to an embodiment of the present application may include: obtaining one or more feature maps from a source image of a first domain; Generating a virtual image and an error image of a second domain based on the one or more feature maps; Obtaining a target image to which the first weight is applied to the error image and to which the second weight is applied to the virtual image; Converting the target image into a reconstructed image of the first domain; And adjusting at least one parameter of the networks using the difference between the reconstructed image and the source image; In this case, the steps may be repeatedly performed until the quality of the virtual image reaches a predetermined level.
상기 이미지 처리 방법은, 상기 하나 이상의 특징맵 중 유효특징들에 관련된 제1 특징맵과 에러 특징들에 관련된 제2 특징맵을 분류하는 단계; 를 더 포함할 수 있고, 상기 제1 특징맵을 이용하여 상기 가상 이미지를 생성하고 상기 제2 특징맵을 이용하여 에러 이미지를 생성할 수 있다. The image processing method includes: classifying a first feature map associated with valid features among the one or more feature maps and a second feature map associated with error features; The apparatus may further include a virtual image using the first feature map and an error image using the second feature map.
또한, 상기 가상 이미지의 품질이 미리 정해진 수준에 도달하였는지 여부는, 미리 설정된 종료 조건이 만족되었는지 여부에 따라 결정될 수 있다. In addition, whether the quality of the virtual image reaches a predetermined level may be determined according to whether a preset termination condition is satisfied.
이때, 상기 제1 가중치는, 상기 복원 이미지와 상기 소스 이미지의 차이에 대한 가상 이미지의 기울기를 기초로 산출될 수 있다. 상기 제2 가중치는 상기 제1 가중치를 기초로 산출될 수 있다. In this case, the first weight may be calculated based on the slope of the virtual image with respect to the difference between the reconstructed image and the source image. The second weight may be calculated based on the first weight.
또한, 상기 이미지 처리 방법은, 상기 제2 도메인의 가상 이미지와 원본 이미지 간의 차이를 이용하여 상기 가상 이미지 생성을 위한 적어도 하나의 네트워크의 파라미터가 조정되는 단계를 더 포함할 수 있다. The image processing method may further include adjusting a parameter of at least one network for generating the virtual image by using a difference between the virtual image and the original image of the second domain.
본 출원의 일 실시 예에 따른 이미지 처리 장치는, 제1 도메인의 소스 이미지를 획득하는 이미지 획득 모듈; 상기 소스 이미지 내의 특징들을 분석하고, 상기 소스 이미지 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별하는 특징 분석 모듈; 및 상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 제2 도메인의 가상 이미지를 생성하는 가상 이미지 생성 모듈; 을 포함할 수 있고, 이때 상기 제1 도메인 및 상기 제2 도메인 간의 이미지 변환을 통하여 상기 가상 이미지의 품질이 향상될 수 있다. An image processing apparatus according to an embodiment of the present application may include an image acquisition module configured to acquire a source image of a first domain; A feature analysis module for analyzing features in the source image and identifying at least one error feature and valid features in the source image; And a virtual image generation module configured to synthesize the attributes of the original image of the second domain to the valid features to generate a virtual image of the second domain from which the error feature is removed. The quality of the virtual image may be improved by converting an image between the first domain and the second domain.
상기 이미지 처리 장치는, 상기 에러 특징들을 이용하여 에러 이미지를 생성하는 에러 이미지 생성 모듈; 및 상기 에러 이미지에 제1 가중치를 적용하고, 상기 가상 이미지에 제2 가중치를 적용하여 타겟 이미지를 생성하는 타겟 이미지 생성 모듈;을 더 포함할 수 있다. The image processing apparatus includes an error image generation module for generating an error image using the error features; And a target image generation module configured to generate a target image by applying a first weight to the error image and applying a second weight to the virtual image.
또한, 상기 이미지 처리 장치는, 상기 타겟 이미지를 복원 이미지로 변환하기 위한 이미지 복원 모듈; 및 상기 복원 이미지와 상기 소스 이미지 사이의 차이 값을 기초로 상기 모듈들 중 적어도 하나에 적용되는 파라미터를 조정하기 위한 가중치 조정 모듈;을 더 포함할 수 있다. The image processing apparatus may further include an image reconstruction module for converting the target image into a reconstructed image; And a weight adjusting module for adjusting a parameter applied to at least one of the modules based on a difference value between the reconstructed image and the source image.
이때, 상기 가중치 조정모듈에 의해 조정된 파라미터는 상기 특징 분석 모듈, 상기 가상 이미지 생성 모듈, 상기 에러 이미지 생성 모듈, 상기 이미지 복원 모듈 중 적어도 하나에 피드백될 수 있다. In this case, the parameter adjusted by the weight adjustment module may be fed back to at least one of the feature analysis module, the virtual image generation module, the error image generation module, and the image reconstruction module.
이때, 상기 제2 가중치는 상기 제1 가중치를 기초로 산출될 수 있다. In this case, the second weight may be calculated based on the first weight.
또한, 상기 이미지 처리 장치는 상기 가상 이미지의 품질이 향상되도록 상기 타겟 이미지 생성 및 상기 복원 이미지 변환을 반복적으로 수행할 수 있다. The image processing apparatus may repeatedly perform the target image generation and the reconstructed image conversion so that the quality of the virtual image is improved.
이때, 상기 유효 특징은 상기 소스 이미지 내의 관심 영역(ROI)에 관련된 것이고, 상기 에러 특징은 상기 소스 이미지 내의 에러 영역에 관련된 것일 수 있고, 상기 이미지 처리 장치는 상기 유효 특징 및 상기 에러특징들을 분류하기 위한 특징 분류 모듈;을 더 포함할 수 있다. In this case, the valid feature may be related to a region of interest (ROI) in the source image, the error feature may be related to an error region in the source image, and the image processing apparatus is configured to classify the valid feature and the error feature. Feature classification module for; may further include.
이때, 상기 가중치 조정모듈에 의해 조정된 상기 파라미터는 상기 특징 분류 모듈에 피드백될 수 있다. In this case, the parameter adjusted by the weight adjustment module may be fed back to the feature classification module.
본 출원의 다른 실시 예에 따른 이미지 처리 방법은 제1 도메인의 소스 이미지를 획득하는 단계; 상기 소스 이미지 내의 특징들을 분석하는 단계; 상기 소스 이미지 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별하는 단계; 및 상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 제2 도메인의 가상 이미지를 출력하는 단계; 를 포함할 수 있고, 이때 상기 제1 도메인 및 상기 제2 도메인 사이의 이미지 변환을 통하여 상기 가상 이미지의 품질이 향상되도록, 상기 단계들이 반복적으로 수행될 수 있다. According to another embodiment of the present application, an image processing method includes: obtaining a source image of a first domain; Analyzing features in the source image; Identifying at least one error feature and valid features in the source image; And synthesizing the attributes of the original image of the second domain with the valid features to output the virtual image of the second domain from which the error feature has been removed. In this case, the steps may be repeatedly performed so that the quality of the virtual image is improved through image conversion between the first domain and the second domain.
이때, 상기 유효 특징은 상기 소스 이미지 내의 관심영역에 관련된 특징이고, 상기 에러 특징은 상기 소스 이미지 내의 에러 영역에 관련된 특징일 수 있다. In this case, the effective feature may be a feature related to a region of interest in the source image, and the error feature may be a feature related to an error region in the source image.
이때, 상기 단계들은, 미리 설정된 종료 조건이 만족 될 때까지 반복적으로 수행될 수 있다. In this case, the steps may be repeatedly performed until a preset termination condition is satisfied.
또한, 본 출원의 일 실시 예에 따른 컴퓨터 판독 가능 매체는, 본 출원의 실시 예들에 따른 이미지 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 것일 수 있다. In addition, the computer readable medium according to an embodiment of the present application may be a program for executing an image processing method according to embodiments of the present application on a computer.
본 출원의 실시 예들에 의하면 제1 도메인의 입력 이미지 내의 에러 특징들이 제거된 제2 도메인의 가상 이미지가 출력될 수 있다.According to embodiments of the present application, the virtual image of the second domain from which error features in the input image of the first domain are removed may be output.
도 1은 본 출원의 일 실시 예에 따른 입력 이미지를 가상 이미지로 변환하여 제공하는 이미지 처리 시스템의 전체 환경을 개략적으로 설명하기 위한 도면이다.
도 2는 본 출원의 일 실시 예에 따른 이미지 처리 방법을 개략적으로 나타내기 위한 블록도이다.
도 3은 본 출원의 일 실시 예에 따른 뉴럴 네트워크(NN)의 구성을 예시적으로 나타내기 위한 도면이다.
도 4는 본 출원의 다른 실시 예에 따른 뉴럴 네트워크(NN)의 구성을 예시적으로 나타내기 위한 도면이다.
도 5는 본 출원의 일 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다.
도 6은 본 출원의 다른 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다.
도 7은 본 출원의 다른 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다.
도 8은 본 출원의 일 실시 예에 따른 이미지 변환 장치의 구성을 개략적으로 나타내기 위한 블록도이다.FIG. 1 is a diagram schematically illustrating an overall environment of an image processing system for converting and providing an input image into a virtual image according to an exemplary embodiment.
2 is a block diagram schematically illustrating an image processing method according to an exemplary embodiment.
3 is a diagram illustrating a configuration of a neural network NN according to an embodiment of the present application.
4 is a diagram illustrating a configuration of a neural network NN according to another embodiment of the present application.
FIG. 5 is a flowchart for describing an image processing method of converting a source image of a first domain into a virtual image of a second domain and outputting the image, according to an exemplary embodiment.
FIG. 6 is a flowchart for explaining an image processing method of converting a source image of a first domain into a virtual image of a second domain and outputting the image according to another embodiment of the present application.
FIG. 7 is a flowchart illustrating an image processing method of converting a source image of a first domain into a virtual image of a second domain and outputting the image according to another embodiment of the present application.
8 is a block diagram schematically illustrating a configuration of an image conversion apparatus according to an embodiment of the present application.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. The above objects, features and advantages of the present invention will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. However, the present invention may be modified in various ways and may have various embodiments. Hereinafter, specific embodiments will be illustrated in the drawings and described in detail.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장되어진 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위 뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.In the drawings, the thicknesses of layers and regions are exaggerated for clarity, and the elements or layers may be “on” or “on” other components or layers. References include all intervening other layers or components as well as directly above other components or layers. Like numbers refer to like elements throughout. In addition, the components with the same functions within the scope of the same idea shown in the drawings of each embodiment will be described using the same reference numerals.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.If it is determined that the detailed description of the known function or configuration related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, numerals (eg, first, second, etc.) used in the description process of the present specification are merely identification symbols for distinguishing one component from another component.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. In addition, the suffixes "module" and "unit" for the components used in the following description are given or mixed in consideration of ease of specification, and do not have distinct meanings or roles from each other.
이하에서는, 서로 다른 도메인(domain)에 있는 이미지들 사이의 이미지 변환에 관련된 실시 예들에 대하여 설명한다. Hereinafter, embodiments related to image conversion between images in different domains will be described.
본 출원의 일 실시 예에 따른 이미지 처리는 제1 도메인의 입력 이미지와 제2 도메인의 가상 이미지 사이의 이미지 변환에 관한 것일 수 있다. Image processing according to an embodiment of the present application may relate to image conversion between the input image of the first domain and the virtual image of the second domain.
이때, 입력 이미지는 다양한 이미징 장치(imaging apparatus)를 통해 획득된 이미지일 수 있다. 예를 들어, 입력 이미지는 엑스레이(X-ray), CT(computed Tomography), MRI(Magnetic Resonance Imaging), 초음파 영상 촬영 장치 등을 통해 획득된 의료 이미지(medical image)일 수 있다. 또는, 예를 들어, 상기 입력 이미지는 기타 다양한 종류의 카메라 장치 등을 통해 촬상된 사진 이미지일 수 있다. In this case, the input image may be an image obtained through various imaging apparatuses. For example, the input image may be a medical image obtained through X-ray, computed tomography (CT), magnetic resonance imaging (MRI), or an ultrasound imaging apparatus. Alternatively, for example, the input image may be a photographic image captured by various other types of camera devices.
또한, 가상 이미지는 상기 제1 도메인의 입력 이미지 중 사용자의 관심 영역(ROI)만을 포함하는 제2 도메인의 이미지일 수 있다. 다시 말해, 상기 제1 도메인의 입력 이미지에 포함된 인공물(artifact)이 제거된 제2 도메인의 이미지일 수 있다. 예를 들어, 상기 인공물은 상기 입력 이미지에 포함된 다양한 형태의 이미징 에러(imaging error)일 수 있고, 상기 인공물은 사용자가 원하지 않는 특징(unwanted features)들일 수 있다. 이 때, 사용자는 상기 입력 이미지에 포함된 원하지 않는 특징들을 인공물로 정의할 수 있다. In addition, the virtual image may be an image of the second domain including only the ROI of the user among the input images of the first domain. In other words, it may be an image of the second domain from which artifacts included in the input image of the first domain have been removed. For example, the artifact may be various types of imaging error included in the input image, and the artifact may be unwanted features that the user does not want. In this case, the user may define an unwanted feature included in the input image as an artifact.
도 1은 본 출원의 일 실시 예에 따른 이미지 처리 시스템의 전체 환경을 개략적으로 설명하기 위한 도면이다. 본 출원의 일 실시 예에 따른 이미지 처리 시스템(1)은 서버(10), 데이터 베이스(20), 사용자 장치(30) 등을 포함할 수 있으며, 상기 서버(10), 상기 데이터 베이스(20), 상기 사용자 장치(30) 등이 통신망(2)을 통해 연결될 수 있다. 또한, 상기 이미지 처리 시스템(1)은 하나 이상의 서버(10), 데이터 베이스(20), 사용자 장치(30)를 포함할 수 있다. 1 is a diagram schematically illustrating an overall environment of an image processing system according to an exemplary embodiment. The
서버(10)는 머신 러닝을 수행하는 이미지 처리 장치일 수 있다. 상기 서버는, 메모리, 이미지 처리를 수행하는 하나의 프로세서 또는 복수 개의 프로세서를 포함할 수 있다. The
상기 메모리(도시되지 않음)에는 이미지 처리를 위한 프로그램이 저장되어 있을 수 있고, 상기 프로그램은 하나 이상의 모듈을 포함할 수 있다. A program for image processing may be stored in the memory (not shown), and the program may include one or more modules.
상기 프로세서(도시되지 않음)에는 머신 러닝을 수행하기 위한 하나 이상의 머신 러닝(Machine Learning) 알고리즘이 제공될 수 있다. 구체적으로, 본 출원의 일 실시 예에 따른 이미지 처리에는 다양한 머신 러닝 모델(Machine learning model)이 사용될 수 있으며, 예를 들어, 딥러닝 모델(Deep learning model)이 사용될 수 있다. The processor (not shown) may be provided with one or more machine learning algorithms for performing machine learning. Specifically, various machine learning models may be used for image processing according to an embodiment of the present application, for example, a deep learning model may be used.
딥러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions)를 시도하는 알고리즘의 집합이다. 딥러닝의 핵심 모델로 딥뉴럴 네트워크(Deep Neural Network, DNN)가 활용될 수 있다. 딥뉴럴 네트워크(DNN)는 입력층(input layer)과 출력층(output layer) 사이의 여러 개의 은닉층(hidden layer)들을 포함하며, 알고리즘에 따라 비지도 학습(Unsupervised Learning)을 기반으로 하는 심층 신뢰 네트워크(Deep Belief Network, DBN), 심층 오토 인코더(Deep Auto encoder), 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN), 순환 뉴럴 네트워크(Recurrent Neural Network, RNN), 생성적 적대 네트워크(Generative Adversarial Network, GAN) 등이 활용될 수 있다. 여기서 비지도 학습은 라벨(label), 클래스(class)와 같은 출력 패턴이 주어지지 않고 입력 패턴에 근거하여 학습을 진행하는 머신 러닝 모델로서 입력 패턴의 통계적 특질을 파악하여 비슷한 입력 패턴이 비슷한 출력 패턴을 생성할 수 있도록 연결 가중치(weight)를 조정한다. 예를 들어, 이미지와 같은 2차원 데이터의 학습에 적용될 수 있는 컨볼류션 뉴럴 네트워크(CNN)의 경우, 하나 또는 여러 개의 컨볼루션 레이어(convolutional layer)과 풀링 레이어(pooling layer), 완전하게 연결된 레이어(fully connected layer)들로 구성될 수 있고, 역전달 알고리즘(Backpropagation algorithm)을 통해 훈련될 수 있다. Deep learning is a set of algorithms that attempts a high level of abstraction through a combination of several nonlinear transformations. Deep Neural Network (DNN) can be used as a core model of deep learning. The deep neural network (DNN) includes several hidden layers between an input layer and an output layer, and is based on an algorithm that is based on an unsupervised learning algorithm. Deep Belief Network (DBN), Deep Auto encoder, Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Genetic Adversarial Network (GAN) And the like can be utilized. Here, unsupervised learning is a machine learning model that learns based on an input pattern without being given an output pattern such as a label or a class. The output pattern is similar to a similar input pattern by identifying statistical characteristics of the input pattern. Adjust the connection weight to generate. For example, in the case of a convolutional neural network (CNN) that can be applied to the learning of two-dimensional data such as images, one or several convolutional layers, a pooling layer, a fully connected layer (fully connected layers) and can be trained through a backpropagation algorithm.
따라서, 상기 프로세서를 통해 사용자 장치(30)로부터 수신되는 제1 도메인의 입력이미지가 상술한 하나 이상의 머신 러닝 알고리즘을 이용하여 제2 도메인의 가상 이미지로 변환될 수 있다. 이하에서는 상기 서버(10)에서 상술한 뉴럴 네트워크, 이들의 확장 또는 기타 딥러닝 접근법들을 이용하여 이미지 처리를 수행하는 경우를 예로 들어 설명하기로 한다. 이때 변환된 이미지는 상기 입력 이미지에 포함된 에러 특징이 제거된 이미지일 수 있으며, 상기 서버(10)에서 수행되는 구체적인 이미지 처리 동작에 관해서는 이하의 관련된 부분에서 상세하게 설명하기로 한다. Therefore, the input image of the first domain received from the user device 30 through the processor may be converted into the virtual image of the second domain using the one or more machine learning algorithms described above. Hereinafter, an example in which the image processing is performed by the
데이터 베이스(20)는, 하나 이상의 메모리를 포함할 수 있고, 사용자 장치(30)로부터 수신되는 하나 이상의 이미지를 저장할 수 있고, 이미지 처리 과정에서 생성되는 각종 데이터들을 저장할 수 있다. 또한, 상기 데이터 베이스(20)는 외부 서버 또는 외부 데이터 베이스 등으로부터 획득한 하나 이상의 이미지, 상기 이미지의 특징정보 등을 저장할 수 있다. 상기 데이터 베이스(20)는 전술한 서버(10) 내에 위치할 수도 있다. The
사용자 장치(30)는 특정 오브젝트(object)를 촬영하기 위한 이미징 장치(imaging device)일 수 있다. 예를 들어, 상기 사용자 장치(30)는 카메라, 엑스레이, CT, MRI 초음파 영상 촬영 장치 등 일 수 있다. 또는, 상기 사용자 장치(30)는 상기 이미징 장치로부터 촬상된 이미지를 제공받는 전자기기일 수 있다. 예를 들어, 상기 전자기기는 데스크탑, 노트북 등과 같은 컴퓨터일 수 있다. 또는, 예를 들어, 상기 전자기기는 태블릿, 스마트폰 등과 같은 휴대용 단말기일 수 있다. 상기 사용자 장치(30)는 상기 사용자 장치(30)에 설치된 프로그램, 상기 사용자 장치(30) 상에 제공되는 웹사이트, 애플리케이션 등을 통하여 서버(10)에 접근할 수 있다. 따라서, 상기 사용자 장치(30)는 상기 사용자 장치(30)에서 촬영되거나 상기 사용자 장치(30)에 저장된 적어도 하나의 이미지를 상기 서버(10)에 입력 이미지로서 제공할 수 있다. The user device 30 may be an imaging device for photographing a specific object. For example, the user device 30 may be a camera, an X-ray, a CT, or an MRI ultrasound imaging apparatus. Alternatively, the user device 30 may be an electronic device that receives an image captured by the imaging device. For example, the electronic device may be a computer such as a desktop, a notebook, or the like. Alternatively, for example, the electronic device may be a portable terminal such as a tablet, a smartphone, or the like. The user device 30 may access the
통신망(2)은 서버(10)와 사용자 장치(30) 사이를 연결하기 위한 다양한 방식의 유무선 통신망일 수 있다. 또는, 상기 통신망(2)는 로컬 영역 통신망(local area network) 또는 광역 통신망(wide area network)일 수 있다. 예를 들어, 유에스비(USB)를 통한 유선 통신, 와이파이(Wi-Fi), 와이브로(Wibro), 블루투스(Bluetooth), 알에프(RF), 적외선 통신(IrDA) 방식 등의 무선 통신일 수 있으며, 상기 통신망(2)은 상술한 예로 한정되지 않는다. The
이하에서는 도 2 내지 도 7 을 참조하여 본 출원의 일 실시 예에 따른 이미지 처리 방법의 다양한 실시 예들에 대하여 설명한다. 도 2 내지 도 7은 본 출원의 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 도면들이다. Hereinafter, various embodiments of an image processing method according to an exemplary embodiment of the present application will be described with reference to FIGS. 2 to 7. 2 to 7 are views for explaining an image processing method according to an embodiment of the present application.
이하에서는, 제1 도메인(domain)의 소스 이미지(source image)는 태아의 초음파 이미지(Ultrasound Image), 제2 도메인의 원본 이미지(original image)는 신생아의 실제 사진 이미지(Real Photo Image)인 경우를 예로 들어 설명하기로 한다. 이 때, 제2 도메인의 가상 이미지는 상기 태아의 초음파 이미지에 신생아의 실제 사진 이미지의 특징들을 합성하여 상기 태아의 초음파 이미지 내의 인공물(artifact)이 제거된 태아의 사진 이미지일 수 있다. , 상기 인공물(artifact)은, 예를 들어, 상기 태아의 초음파 이미지에 포함된 다양한 형태의 이미징 에러(imaging error), 상기 태아의 얼굴 영역(face region)이 아닌 임의의 특징일 수 있다. 이하에서는, 태아의 얼굴 영역(face region)을 사용자의 관심 영역(ROI)으로 정의하고, 상기 태아의 초음파 이미지 내의 적어도 하나의 인공물을 포함하는 영역을 에러 영역(error region)으로 정의한다. Hereinafter, a case where a source image of a first domain is an ultrasound image of a fetus and an original image of a second domain is a real photo image of a newborn baby. An example will be described. In this case, the virtual image of the second domain may be a photographic image of a fetus in which artifacts in the ultrasound image of the fetus are removed by synthesizing features of an actual photographic image of a newborn with an ultrasound image of the fetus. The artifact may be any feature that is not, for example, various types of imaging error included in the ultrasound image of the fetus, but not a face region of the fetus. Hereinafter, a face region of the fetus is defined as a region of interest (ROI) of the user, and an area including at least one artifact in the ultrasound image of the fetus is defined as an error region.
또한, 상기 태아의 초음파 이미지는 초음파 촬영 장치를 통해 촬상된 태아의 2차원 또는 3차원 이미지일 수 있고, 신생아의 실제 사진 이미지는 신생아를 실제로 촬상한 2차원 이미지일 수 있다. 한편, 본 출원의 일 실시 예에 따른 이미지 처리에 있어서, 상기 초음파 이미지의 태아와 상기 실제 사진 이미지의 신생아는 서로 일치하지 않을 수 있다. In addition, the ultrasound image of the fetus may be a two-dimensional or three-dimensional image of the fetus captured by the ultrasound imaging device, the actual photographic image of the newborn may be a two-dimensional image of the newborn actually photographed. On the other hand, in the image processing according to an embodiment of the present application, the fetus of the ultrasound image and the newborn of the actual photographic image may not match each other.
또한, 이하에서는, 설명의 편의를 위하여 도 1을 참조하여 설명한 이미지 처리 시스템(1)에 있어서, 전술한 서버(10)에서 수행되는 이미지 처리의 예들을 상세하게 설명한다. In addition, hereinafter, in the
도 2는 본 출원의 일 실시 예에 따른 이미지 처리 방법을 개략적으로 나타내기 위한 블록도이다. 도 2를 참조하면, 본 출원의 일 실시 예에 따른 이미지 처리는 뉴럴 네트워크(Neural Network, NN)를 이용하여 수행될 수 있고, 상기 뉴럴 네트워크(NN)에는 전술한 사용자 장치(30)로부터 수신되는 제1 도메인의 소스 이미지(X)가 입력데이터로서 적용될 수 있다. 즉, 도 2에 도시된 바와 같이, 상기 사용자 장치(30)로부터 수신된 상기 소스 이미지(X)가 상기 뉴럴 네트워크(NN)에 입력되면, 상기 뉴럴 네트워크(NN)를 이용하여 변환된 제2 도메인의 가상이미지(Yv)가 출력될 수 있다. 이 때, 상기 가상 이미지(Yv)는 상기 소스 이미지(X) 내의 에러 특징들이 제거된 제2 도메인의 이미지일 수 있다. 이하에서는 상기 뉴럴 네트워크(NN)를 통한 이미지 변환 방법에 대하여 상세하게 설명한다. 2 is a block diagram schematically illustrating an image processing method according to an exemplary embodiment. Referring to FIG. 2, image processing according to an embodiment of the present application may be performed using a neural network (NN), which is received from the user device 30 described above in the neural network NN. The source image X of the first domain may be applied as input data. That is, as shown in FIG. 2, when the source image X received from the user device 30 is input to the neural network NN, a second domain converted using the neural network NN. The virtual image Yv may be output. In this case, the virtual image Yv may be an image of the second domain from which error features in the source image X are removed. Hereinafter, an image conversion method through the neural network NN will be described in detail.
도 3 및 도 4는 본 출원의 일 실시 예에 따른 뉴럴 네트워크(NN)의 구성을 예시적으로 나타내기 위한 도면이다. 3 and 4 are diagrams for exemplarily illustrating a configuration of a neural network NN according to an embodiment of the present application.
본 출원의 일 실시 예에 따른 뉴럴 네트워크(NN)는 하나 이상의 네트워크를 포함할 수 있고, 상기 네트워크는 복수의 레이어를 포함할 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 하나의 네트워크는 복수의 레이어를 포함하는 컨볼루션 네트워크(convolution network) 및/또는 디컨볼루션 네트워크(deconvolution network)일 수 있다. 이하에서는 설명의 편의를 위하여 하나 이상의 네트워크를 이용하여 이미지 처리가 수행되는 경우를 상정하여 설명한다. 도 3을 참조하면, 상기 뉴럴 네트워크(NN)는 제1 네트워크(101), 제2 네트워크(102), 제3 네트워크(103), 제4 네트워크(104) 및 제5 네트워크(105)를 포함할 수 있다. 상기 제1 내지 제5 네트워크에서는 이미지 처리를 위한 각 단계가 순차적으로 또는 병렬적으로 수행될 수 있다. The neural network NN according to an embodiment of the present application may include one or more networks, and the network may include a plurality of layers. For example, as shown in FIG. 2, one network may be a convolution network and / or a deconvolution network including a plurality of layers. In the following description, it is assumed that image processing is performed using at least one network for convenience of description. Referring to FIG. 3, the neural network NN may include a
먼저, 제1 네트워크(101)는 제1 도메인의 소스 이미지(X)를 특징맵(Feature Map, FM)으로 변환하기 위한 네트워크일 수 있다. First, the
예를 들어, 상기 제1 네트워크(101)는 컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 이 때, 상기 제1 네트워크(101)에서는 상기 복수의 레이어를 이용하여 상기 소스 이미지(X) 내에 포함된 복수의 특징(feature)들이 추출될 수 있다. For example, the
상기 복수의 특징들은, 예를 들어, 엣지(edge), 선명도(sharpness), 깊이(depth), 명도(brightness), 컨트라스트(contrast), 블러(blur) 등을 포함할 수 있으며, 상기 복수의 특징들은 상술한 예로 한정되지 않는다. The plurality of features may include, for example, edge, sharpness, depth, brightness, contrast, blur, and the like. These are not limited to the examples described above.
상기 특징맵은 상기 복수의 특징들의 조합일 수 있으며, 하나 이상의 특징맵을 통하여 상기 소스 이미지 내의 각 영역( region)들이 식별될 수 있다. 상기 각 영역들은 사용자의 관심 영역(ROI) 및 상기 소스 이미지 내의 적어도 하나의 인공물을 포함하는 에러 영역(error region)을 포함할 수 있다. 예를 들어, 상기 관심 영역은 태아의 얼굴 영역(face region)일 수 있고, 상기 에러 영역은 태아의 얼굴 영역이 아닌 다른 신체 영역일 수 있다. 예를 들어, 상기 얼굴 영역은 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 또한, 예를 들어, 상기 에러 영역은 태아의 손, 발, 태반, 양수 등을 포함할 수 있다.The feature map may be a combination of the plurality of features, and regions in the source image may be identified through one or more feature maps. Each of the regions may include an error region including a region of interest (ROI) of the user and at least one artifact in the source image. For example, the region of interest may be a face region of the fetus and the error region may be a body region other than the face region of the fetus. For example, the facial region may include the eyes, nose, mouth, ears, and the like of the fetus. Also, for example, the error area may include a fetus's hand, foot, placenta, amniotic fluid, and the like.
따라서, 상기 제1 네트워크(101)를 이용하여 상기 복수의 레이어 중 적어도 하나의 레이어로부터 특징맵(feature map)이 획득될 수 있다. 또는, 상기 상기 복수의 레이어 중 마지막 레이어로부터 특징맵이 획득될 수도 있다. 상기 제1 네트워크(101)에서 생성된 하나 이상의 특징맵은 제2 네트워크(102) 및 제3 네트워크(103)의 입력 데이터로서 사용될 수 있다. Accordingly, a feature map may be obtained from at least one layer of the plurality of layers using the
한편, 본 출원의 일 실시 예에 따른 뉴럴 네트워크의 이미지 처리 수행 결과에 따라 상기 복수의 레이어에 대한 파라미터가 조정될 수 있고, 상기 복수의 레이어 중 적어도 하나의 레이어가 연산에서 제거 또는 추가될 수 있다. 상기 파라미터 조정에 관한 상세한 설명은 관련된 부분에서 기술하기로 한다.Meanwhile, the parameter for the plurality of layers may be adjusted according to an image processing result of the neural network according to an embodiment of the present application, and at least one layer of the plurality of layers may be removed or added to the calculation. Detailed description of the parameter adjustment will be described in the relevant section.
제2 네트워크(102)는 전술한 제1 네트워크(101)로부터 입력되는 하나 이상의 특징맵을 입력 데이터로 사용하여 제2 도메인의 가상 이미지(Yv)를 생성하기 위한 네트워크일 수 있다. 상기 제2 네트워크(102)는 제1 도메인의 소스 이미지(X)를 제2 도메인의 가상 이미지(Yv)로 변환하도록 트레이닝(training)될 수 있다. The
예를 들어, 상기 제2 네트워크(102)는 디컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 상기 제2 네트워크(102)에서는 상기 복수의 레이어를 이용하여 상기 특징맵의 대응되는 특징들에 제2 도메인의 원본 이미지(original image)의 특징들이 맵핑된 가상 이미지(Yv)가 생성될 수 있다.For example, the
상기 제2 네트워크(102)에 입력되는 하나 이상의 특징맵은, 소스 이미지(X) 내의 관심 영역(예컨대, 눈, 코, 입, 귀 등)의 특징들을 포함할 수 있다. 상기 가상 이미지(Yv)는 상기 하나 이상의 특징맵을 이용하여 생성되며 상기 소스 이미지(X) 내의 관심 영역을 포함하는 이미지일 수 있다. The one or more feature maps input to the
또한, 원본 이미지의 특징들은, 예를 들어, 이미지의 밝기, 색상, 반사색, 텍스쳐, 깊이, 블렌딩 등을 포함할 수 있다. 상기 원본 이미지 및/또는 상기 원본 이미지의 특징들은 전술한 데이터 베이스(20) 또는 외부 서버로부터 획득될 수 있다. 또는, 상기 제2 네트워크(102)는 상기 원본 이미지의 특징들을 추출하기 위한 서브 네트워크(도시되지 않음)를 더 포함할 수 있다. 상기 서브 네트워크는, 예를 들어, 컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 상기 서브 네트워크를 통해 상기 원본 이미지의 특징들을 추출하는 동작은 전술한 제1 네트워크(101)에서 수행되는 동작에 대응될 수 있다.Also, features of the original image may include, for example, brightness, color, reflection color, texture, depth, blending, and the like of the image. The original image and / or the features of the original image may be obtained from the above-described
따라서, 서버(10)는 상기 제2 네트워크를 통하여 상기 적어도 하나의 특징맵에 상기 원본 이미지의 특징들이 합성된 제2 도메인의 가상 이미지를 획득할 수 있다. 상기 서버(10)는 복수의 특징맵에 대한 복수의 합성 이미지가 추출되는 경우 상기 합성 이미지들을 통합하여 하나의 가상 이미지를 획득할 수도 있다. Accordingly, the
한편, 본 출원의 일 실시 예에 따른 뉴럴 네트워크의 이미지 처리 수행결과에 따라 상기 복수의 레이어에 대한 파라미터가 조정될 수 있고, 상기 복수의 레이어 중 적어도 하나의 레이어가 연산에서 제거 또는 추가될 수 있다. 상기 파라미터 조정에 관한 상세한 설명은 관련된 부분에서 기술하기로 한다.Meanwhile, the parameter for the plurality of layers may be adjusted according to an image processing result of the neural network according to an embodiment of the present application, and at least one layer of the plurality of layers may be removed or added to the calculation. Detailed description of the parameter adjustment will be described in the relevant section.
제3 네트워크(103)는 전술한 제1 네트워크(101)로부터 입력되는 하나 이상의 특징맵을 입력 데이터로 사용하여 에러 이미지(Ye)를 생성하기 위한 네트워크일 수 있다. 상기 제3 네트워크(103)는 제1 도메인의 소스 이미지(X)를 제2 도메인의 에러 이미지(Ye)로 변환하도록 트레이닝(training)될 수 있다. The
예를 들어, 상기 제3 네트워크(103)는 디컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 상기 제3 네트워크(103)에서는 상기 복수의 레이어를 이용하여 제2 도메인의 에러 이미지(Ye)가 생성될 수 있다. For example, the
상기 제3 네트워크(103)에 입력되는 하나 이상의 특징맵은, 소스 이미지(X) 내의 관심 영역이 아닌 에러 영역(예컨대, 손, 발, 태반, 양수 등)의 특징들을 포함할 수 있다. 상기 에러 이미지(Ye)는 상기 하나 이상의 특징맵을 이용하여 생성되며 상기 소스 이미지(X) 내의 에러 영역을 포함하는 제2 도메인의 이미지일 수 있다. The one or more feature maps input to the
따라서, 서버(10)는 상기 제3 네트워크(103)를 통하여 제2 도메인의 에러 이미지(Ye)를 획득할 수 있다. 상기 서버(10)는 복수의 특징맵에 대한 복수의 합성 이미지가 추출되는 경우 상기 합성 이미지들을 통합하여 하나의 에러 이미지를 획득할 수 있다. Therefore, the
또한, 서버(10)는 상기 제2 네트워크(102)로부터 획득된 가상 이미지(Yv) 및 상기 제3 네트워크(103)로부터 획득된 에러 이미지(Ye)를 통합한 타겟 이미지(Y)를 획득할 수 있고, 상기 타겟 이미지(Y)는 제4 네트워크(104)의 입력 데이터로서 사용될 수 있다. 상기 타겟 이미지(Y)가 획득되는 과정은 관련된 부분에서 상세하게 설명하기로 한다. In addition, the
제 4 네트워크(104)는 전술한 제2 네트워크(102) 및 제3 네트워크(103)로부터 생성된 가상 이미지(Yv)와 에러 이미지(Ye)가 통합된 제2 도메인의 타겟 이미지(Y)를 제1 도메인의 복원 이미지(X')로 역변환하기 위한 네트워크일 수 있다. 상기 제4 네트워크(104)는 상기 소스 이미지(X)가 정확하게 복원되도록 함으로써 상기 뉴럴 네트워크(NN)의 트레이닝 안정성을 향상시킬 수 있다.The
즉, 본 출원의 일 실시 예에 따른 상기 뉴럴 네트워크(NN)는 상기 제2 네트워크(102) 및 상기 제3 네트워크(103)를 통하여 제1 도메인의 소스 이미지(X)를 제2 도메인의 타겟 이미지(Y)로 변환하는 과정과 상기 변환된 제2 도메인의 타겟 이미지(Y)를 제1 도메인의 복원 이미지(X')로 변환하는 과정을 동시에 학습함으로써 손실함수(loss function)가 최소화하도록 트레이닝될 수 있다. That is, the neural network NN according to an embodiment of the present application may convert the source image X of the first domain into the target image of the second domain through the
상기 제4 네트워크(104)는 하나 이상의 네트워크를 포함할 수 있고, 복수의 레이어를 포함할 수 있다. 예를 들어, 상기 제4 네트워크(104)는 먼저 상기 타겟 이미지(Y)를 특징맵으로 변환하기 위한 제1 서브 네트워크(도시되지 않음) 및 상기 변환된 특징맵을 입력 데이터로 적용하여 복원 이미지를 생성하기 위한 제2 서브 네트워크(도시되지 않음)를 포함할 수 있다. 예를 들어, 상기 제1 서브 네트워크는 컨볼루션 네트워크일 수 있고, 상기 제2 서브 네트워크는 디컨볼루션 네트워크일 수 있다. 이하에서는 설명의 편의를 위하여 상기 제4 네트워크(104)는 적어도 제1 서브 네트워크 및 제2 서브 네트워크를 포함하는 경우를 상정하여 설명하기로 한다. 또한, 상기 제1 서브 네트워크에서는 전술한 제1 네트워크, 상기 제2 서브 네트워크에서는 전술한 제2 네트워크 및 제3 네트워크와 동일 또는 유사한 방식으로 이미지 처리가 수행될 수 있다. The
제1 서브 네트워크는 복수의 레이어를 포함할 수 있고, 상기 복수의 레이어를 이용하여 상기 타겟 이미지(Y)가 하나 이상의 특징맵(feature)으로 변환될 수 있다. 예를 들어, 상기 상기 제1 서브 네트워크에서는 상기 복수의 레이어를 이용하여 상기 타겟 이미지(Y) 내에 포함된 복수의 특징 정보(feature)들이 추출될 수 있고, 상기 복수의 특징 정보들을 기초로 하나 이상의 특징맵(feature map)이 생성될 수 있다. 상기 제1 서브 네트워크에서 생성된 하나 이상의 특징맵은 제2 서브 네트워크의 입력 데이터로 적용될 수 있다. The first sub-network may include a plurality of layers, and the target image Y may be converted into one or more feature maps using the plurality of layers. For example, in the first sub-network, a plurality of feature information included in the target image Y may be extracted using the plurality of layers, and at least one feature may be extracted based on the plurality of feature information. Feature maps may be generated. One or more feature maps generated in the first sub-network may be applied as input data of the second sub-network.
제2 서브네트워크는 복수의 레이어를 포함할 수 있고, 상기 복수의 레이어를 이용하여 상기 타겟 이미지(Y)가 복원 이미지(X')로 변환될 수 있다. 즉, 상기 제2 서브 네트워크에서는 상기 제1 서브 네트워크로부터 입력된 하나 이상의 특징맵의 각 특징들에 소스 이미지(X)의 특징들이 맵핑되어 복원 이미지(X')가 생성될 수 있다. 상기 소스 이미지(X)의 특징 정보들은 전술한 제1 네트워크(101)를 통해 추출된 정보일 수 있고, 상기 서버(10)의 저장부(도시되지 않음)로부터 획득될 수 있다. The second subnetwork may include a plurality of layers, and the target image Y may be converted into a reconstructed image X 'using the plurality of layers. That is, in the second sub-network, the features of the source image X may be mapped to the features of the one or more feature maps input from the first sub-network to generate a reconstructed image X '. The feature information of the source image X may be information extracted through the
따라서, 서버(10)는 상기 제4 네트워크(104)를 통하여 상기 적어도 하나의 특징맵에 상기 소스 이미지(X)의 특징들이 합성된 제1 도메인의 복원 이미지(X')를 획득할 수 있다. 상기 서버(10)는 복수의 특징맵에 대한 복수의 합성 이미지가 추출되는 경우 상기 합성 이미지들을 통합하여 하나의 복원 이미지(X')를 획득할 수 있다. Accordingly, the
한편, 전술한 제2네트워크(102)를 이용하여 생성된 제2 도메인의 가상 이미지(YV)는 제5 네트워크(105)의 입력 데이터로 사용될 수 있다. Meanwhile, the virtual image Y V of the second domain generated using the
제5 네트워크(105)는 전술한 제2 네트워크(102)로부터 생성된 가상 이미지(YV)를 제2 도메인의 원본 이미지(YR)로부터 구별하기 위한 네트워크일 수 있다. The
예를 들어, 상기 제5 네트워크(105)는 상기 가상 이미지(YV)와 원본 이미지(YR) 사이를 식별하도록 트레이닝될 수 있다. 이때, 상기 제5 네트워크(105)는 컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 이때, 상기 제 5 네트워크(105)에서는 상기 복수의 레이어 중 마지막 레이어를 통해 상기 가상 이미지와 원본 이미지의 유사도에 관련된 정보가 출력될 수 있다. 상기 원본 이미지는 전술한 데이터 베이스(20)로부터 획득될 수 있으며, 예를 들어, 상기 원본 이미지는 신생아의 얼굴을 실제 촬영한 이미지일 수 있다. For example, the
상기 유사도에 관련된 정보는 상기 가상 이미지(YV)가 원본 이미지에 해당될 확률을 나타내는 정보일 수 있다. 예를 들어, 상기 가상 이미지(YV)가 실제 촬영한 이미지에 해당되는 경우 유사도 값은 '1' 또는 1에 가까운 값일 수 있다. 또한, 예를 들어, 상기 가상 이미지(YV)가 실제 촬영한 이미지가 아닌 경우 유사도 값은 '0' 또는 0에 가까운 값일 수 있다. 또한, 예를 들어, 상기 미리 정해진 값은 사용자에 의해 설정된 값일 수 있고, 적어도 0.5~0.99 사이의 값일 수 있다. 따라서, 상기 서버(10)는 상기 제5 네트워크(105)로부터 획득되는 상기 유사도 정보가 미리 정해진 값을 초과할 때까지 상기 제1 네트워크(101) 내지 상기 제3 네트워크(103) 중 적어도 하나로 상기 유사도에 관련된 정보를 피드백할 수 있다. 상기 서버(10)는 상기 유사도에 관련된 정보를 기초로 상기 제2 네트워크(102) 및 상기 제3 네트워크(103)의 동작이 반복 수행되도록 함으로써 상기 가상 이미지(YV)를 재획득할 수 있다. 예를 들어, 상기 서버(10)는 상기 제5 네트워크(105)로부터 획득되는 상기 유사도 정보가 미리 정해진 값을 초과하는 경우의 가상 이미지(YV)를 전술한 사용자 장치를 통해 출력할 수 있다. The information related to the similarity may be information indicating a probability that the virtual image Y V corresponds to the original image. For example, when the virtual image Y V corresponds to an actually photographed image, the similarity value may be '1' or a value close to one. Also, for example, when the virtual image Y V is not an actual photographed image, the similarity value may be '0' or a value close to zero. Also, for example, the predetermined value may be a value set by a user, and may be a value between at least 0.5 and 0.99. Accordingly, the
또는, 예를 들어, 제5 네트워크(105)는 상기 가상 이미지와 원본 이미지의 차이에서 발생하는 손실함수(L)를 전술한 제1 네트워크(101) 및 제2 네트워크(102)에 피드백할 수 있다. 따라서, 상기 제1 네트워크 및 제2 네트워크에 포함된 복수의 레이어 중 적어도 하나의 레이어의 파라미터가 조정될 수 있다. 또는 상기 제1 네트워크(101) 및 상기 제2 네트워크(102)에 포함된 복수의 레이어 중 적어도 하나의 레이어가 연산에서 제거 또는 추가될 수 있다. 다시 말해, 상기 제1 네트워크(101) 및 상기 제2 네트워크(102)는 상기 제5 네트워크(105)로부터 피드백되는 상기 가상 이미지와 원본 이미지의 차이를 이용하여 트레이닝될 수 있다. Alternatively, for example, the
도 4는 본 출원의 다른 실시 예에 따른 뉴럴 네트워크(NN)의 구성을 예시적으로 나타내기 위한 블록도이다. 도 4에 도시된 바와 같이, 본 출원의 다른 실시 예에 따른 뉴럴 네트워크(NN)는 특징 분류 네트워크(106)를 더 포함할 수 있다. 4 is a block diagram illustrating an exemplary configuration of a neural network NN according to another embodiment of the present application. As shown in FIG. 4, the neural network NN according to another embodiment of the present application may further include a
상기 특징 분류 네트워크(106)는, 소스 이미지(X) 내의 각 영역들 중 에러 영역에 관련된 특징들과 관심 영역에 관련된 특징들을 분류하기 위한 네트워크일 수 있다. 이때, 상기 특징 분류 네트워크(106)는 제1 네트워크(101) 내의 일부분일 수 있다. 또는, 도 4에 도시된 바와 같이, 상기 특징 분류 네트워크(106)는 상기 제1 네트워크(101)와 별도로 구성될 수 있으며, 상기 제1 네트워크(101)와 제2 네트워크(102) 및 제3 네트워크(103) 사이에 배치될 수 있다. The
예를 들어, 상기 특징 분류 네트워크(106)는 상기 제1 네트워크(101)에서 생성된 하나 이상의 특징맵들을 이용하여 제1 특징맵 및 제2 특징맵을 생성할 수 있다. 예를 들어, 상기 제1 특징맵은 관심 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 예를 들어, 상기 제2 특징맵은 에러 영역에 관련들을 적게 포함한 것일 수 있다. 상기 관심영역에 관련된 특징들은, 예를 들어, 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 또한, 예를 들어, 상기 에러 영역에 관련된 특징들은, 예를 들어, 태아의 손, 발, 태반, 양수 등을 포함할 수 있다. For example, the
또한, 예를 들어, 상기 특징 분류 네트워크(106)는 미리 설정된 기준을 기초로 하여 상기 소스 이미지(X) 내의 관심 영역에 관련된 제1 특징맵 및 상기 에러 영역에 관련된 제2 특징맵을 분류할 수 있다. 상기 미리 설정된 기준은 상기 소스 이미지(X) 내의 관심 영역 및 상기 에러 영역에 관련된 정보를 기초로 미리 학습될 수 있다. Also, for example, the
따라서, 본 출원의 다른 실시 예에 따른 상기 특징 분류 네트워크(106)는 상기 관심 영역에 관련된 제1 특징맵을 상기 제2 네트워크(102)의 입력데이터로 전달할 수 있고, 상기 에러 영역에 관련된 제2 특징맵을 상기 제3 네트워크(103)의 입력데이터로 전달할 수 있다. 상기 특징 분류 네트워크(106)를 통하여 상기 에러 영역에 관련된 특징들이 보다 정확하게 분류될 수 있다. 즉, 상기 제2 네트워크는 상기 특징 분류 네트워크(106)를 통해 입력되는 상기 관심 영역에 관련된 제1 특징맵을 이용하여 상기 소스 이미지 내의 적어도 하나의 에러 영역에 관련된 특징들이 제거된 가상 이미지(Yv)를 생성할 수 있다. Accordingly, the
한편, 상기 특징 분류 네트워크(106)는 상기 복원 이미지(X')와 상기 소스 이미지(X)간의 차이를 이용하여 조정된 파라미터를 반영하여 업데이트될 수도 있다. 또는, 상기 특징 분류 네트워크(106)는 상기 가상 이미지와 타겟 이미지간의 차이를 이용하여 조정된 파리마터를 반영하여 업데이트될 수도 있다. 상기 파라미터에 관한 자세한 설명은 관련된 부분에서 기술하기로 한다. Meanwhile, the
도 5는 본 출원의 일 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다. 예를 들어, 상기 이미지 처리 방법은 상기 서버(10) 내의 하나 이상의 프로세서에 의해 수행될 수 있다. 이하에서는, 상기 서버(10)에서 수행되는 이미지 처리 방법의 예들을 설명한다. FIG. 5 is a flowchart for describing an image processing method of converting a source image of a first domain into a virtual image of a second domain and outputting the image, according to an exemplary embodiment. For example, the image processing method may be performed by one or more processors in the
본 출원의 일 실시 예에 따른 이미지 처리 방법은, 하나 이상의 네트워크를 이용한 이미지 처리 방법에 있어서, 제1 도메인의 소스 이미지(X)로부터 하나 이상의 특징맵을 획득하는 단계(S10), 상기 하나 이상의 특징맵을 이용하여 제2 도메인의 가상 이미지(YV) 및 에러 이미지(Ye)를 생성하는 단계(S12), 상기 에러 이미지(Ye)에 제1 가중치(weight)가 적용되고, 상기 가상 이미지(YV) 에 제2 가중치(weight)가 적용된 타겟 이미지(Y)를 획득하는 단계(S14), 상기 타겟 이미지(Y)를 상기 제1 도메인의 복원 이미지(X')로 변환하는 단계(S16), 상기 복원 이미지(X')와 상기 소스 이미지(X) 간의 차이를 기초로 상기 네트워크들 중 적어도 하나의 파라미터가 조정되는 단계(S18), 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달하였는지 여부를 판단하는 단계(S20), 및 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달한 경우 가상 이미지(YV)를 출력하는 단계(S22)를 포함할 수 있다. 본 출원의 일 실시 예에 따른 이미지 처리 방법은, 각 단계가 하나의 네트워크 내에서 수행될 수 있다. 또는 각 단계가 별도의 네트워크 내에서 수행될 수 있다. 이하에서는 설명의 편의를 위하여 도 3을 참조하여 설명한 바와 같이, 하나의 뉴럴 네트워크 내에 복수의 네트워크가 포함되며, 각 단계가 상기 복수의 네트워크 각각에서 수행되는 경우를 상정하여 상세하게 설명하기로 한다. In the image processing method according to an embodiment of the present application, in the image processing method using one or more networks, obtaining one or more feature maps from the source image (X) of the first domain (S10), the one or more features Generating a virtual image (Y V ) and an error image (Y e ) of the second domain by using a map (S12), a first weight is applied to the error image (Y e ), the virtual image Acquiring a target image (Y) to which a second weight is applied (Y V ) (S14), and converting the target image (Y) into a reconstructed image (X ') of the first domain (S16). ), Step S18 of adjusting at least one parameter of the networks based on the difference between the reconstructed image X 'and the source image X, the quality of the virtual image Y V is a predetermined level. Determining whether it has reached (S20), and If the quality of the virtual image groups (Y V) reaches a predetermined level may comprise the step (S22) for outputting a virtual image (Y V). In the image processing method according to an embodiment of the present application, each step may be performed in one network. Alternatively, each step may be performed in a separate network. Hereinafter, for convenience of explanation, as described with reference to FIG. 3, a plurality of networks are included in one neural network, and a detailed description will be made on the assumption that each step is performed in each of the plurality of networks.
먼저, 전술한 사용자장치(30)로부터 제1 도메인의 소스 이미지(X)가 입력될 수 있고, 서버(10)는 상기 소스 이미지(X)를 제1 네트워크(101)의 입력 데이터로 적용할 수 있다. First, the source image X of the first domain may be input from the user device 30 described above, and the
서버(10)는 전술한 제1 네트워크(101)를 이용하여 소스 이미지(X)로부터 생성되는 하나 이상의 특징맵을 획득할 수 있다(S10). 전술한 바와 같이, 상기 제1 네트워크(101)는 복수의 레이어를 포함할 수 있고, 서버(10)는 상기 복수의 레이어를 이용하여 상기 소스 이미지 내에 포함된 복수의 특징(feature)들을 획득할 수 있다. 상기 복수의 특징들은, 예를 들어, 엣지, 선명도, 깊이, 명도, 컨트라스트, 블러 등을 포함할 수 있다. 상기 서버(10)는 상기 복수의 특징들을 기초로 하여 상기 제1 네트워크(101)에서 생성되는 하나 이상의 특징맵(feature map)을 획득할 수 있다. 상기 특징맵은 상기 복수의 특징들의 조합일 수 있으며, 상기 특징맵을 통해 상기 소스 이미지 내의 각 영역들이 식별될 수 있다. 상기 각 영역들은 사용자의 관심 영역(ROI) 및 상기 소스 이미지 내의 적어도 하나의 인공물을 포함하는 에러 영역(error region)을 포함할 수 있다. 예를 들어, 상기 각 영역은 태아의 얼굴 영역일 수 있고, 상기 에러 영역은 태아의 얼굴 영역이 아닌 다른 신체 영역일 수 있다. 예를 들어, 상기 얼굴 영역은 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 또한, 예를 들어, 상기 에러 영역은 태아의 손, 발, 태반, 양수 등을 포함할 수 있다. The
상기 서버(10)는 상기 제1 네트워크(101)를 통해 생성된 하나 이상의 특징맵을 제2 네트워크(102) 및 제3 네트워크(103)의 입력 데이터로 적용할 수 있다. The
서버(10)는 전술한 제2 네트워크(102) 및 제3 네트워크(103)를 이용하여 제2 도메인의 가상 이미지(Yv) 및 에러 이미지(Ye)를 생성할 수 있다(S12). The
즉, 제2 네트워크(102)에서는 S10 단계에서 획득된 하나 이상의 특징맵을 이용하여 제2 도메인의 가상 이미지(Yv)가 생성될 수 있다. 또한, 제3 네트워크(103)에서는 S10단계에서 획득된 상기 하나 이상의 특징맵을 이용하여 제2 도메인의 에러 이미지(Ye)가 생성될 수 있다. That is, in the
구체적으로, 상기 제2 네트워크(102)를 통해 생성되는 가상 이미지(Yv)는, 상기 특징맵의 대응되는 특징들에 제2 도메인의 원본 이미지의 특징들이 맵핑된 이미지일 수 있다. 예를 들어, 상기 제2 네트워크(102)에 입력되는 하나 이상의 특징맵은 소스 이미지(X) 내의 얼굴 영역(예컨대, 눈, 코 입, 귀 등)의 특징들을 포함할 수 있다. 따라서, 상기 하나 이상의 특징맵을 이용하여 생성되는 상기 가상 이미지(Yv)는 상기 소스 이미지(X) 내의 얼굴 영역을 포함하는 이미지일 수 있다. In detail, the virtual image Y v generated through the
또한, 상기 제3 네트워크(103)를 통해 생성되는 에러 이미지(Ye)는, 상기 특징맵을 이용한 제2 도메인의 이미지일 수 있다. 예를 들어, 상기 특징맵은 소스 이미지 내의 얼굴 영역이 아닌 에러 영역(예컨대, 손, 발, 태반, 양수 등)의 특징들을 포함할 수 있다. 따라서, 상기 하나 이상의 특징맵을 이용하여 생성되는 상기 에러 이미지(Ye)는 상기 소스 이미지(X) 내의 에러 영역을 포함하는 이미지일 수 있다. In addition, the error image Y e generated through the
한편, 서버(10)는 상기 제2 네트워크(102) 및/또는 상기 제3 네트워크(103)를 통하여 복수의 특징맵에 대한 복수의 합성 이미지가 생성되는 경우 상기 합성 이미지들을 통합하여 하나의 가상 이미지(Yv) 및/또는 에러 이미지(Ye)를 획득할 수 있다. Meanwhile, when a plurality of composite images for a plurality of feature maps are generated through the
서버(10)는 상기 제2 네트워크(102)로부터 획득된 가상 이미지(Yv) 및 상기 제3 네트워크(103)로부터 획득된 에러 이미지(Ye)를 통합한 타겟 이미지(Y)를 획득할 수 있다(S14). The
구체적으로, 상기 서버(10)는 상기 에러 이미지(Ye)에 제1 가중치가 적용되고, 상기 가상 이미지(Yv) 에 제2 가중치가 적용된 타겟 이미지를 획득할 수 있다. In detail, the
예를 들어, 상기 제1 가중치와 제2 가중치는 같거나 서로 다른 값일 수 있다. 예를 들어, 상기 제2 가중치는 상기 제1 가중치보다 작은 값일 수 있다. 또는, 예를 들어, 상기 제2 가중치는 상기 제1 가중치와 동일한 값일 수 있다. For example, the first weight and the second weight may be the same or different values. For example, the second weight may be a value smaller than the first weight. Alternatively, for example, the second weight may be the same value as the first weight.
상기 타겟 이미지(Y)는, 예를 들어, [수학식 1]과 같이 획득될 수 있다. 즉, 타겟 이미지(Y)는 상기 가상 이미지(Yv)와 제2 가중치의 요소별 곱(element-wise product) 및, 상기 에러 이미지(Ye)와 제1 가중치의 요소별 곱의 합(sum)에 의해 생성될 수 있다. The target image Y may be obtained, for example, as shown in [Equation 1]. That is, the target image (Y) is a sum of the element-wise product of the virtual image (Yv) and the second weight, and the sum (sum) of the element-by-element product of the error image (Ye) and the first weight. Can be generated by
여기서, We는 에러 이미지(Ye)에 적용되는 제1 가중치일 수 있고, (1-We)는 가상 이미지(Yv)에 적용되는 제2 가중치일 수 있다. Here, We may be a first weight applied to the error image Ye, and (1-We) may be a second weight applied to the virtual image Yv.
상기 에러 이미지(Ye)에 적용되는 제1 가중치는 본 출원의 일 실시 예에 따른 뉴럴 네트워크(NN)의 이미지 처리 수행결과에 따라 조정된 값일 수 있다. 예를 들어, 상기 제1 가중치는 복원 이미지(X')와 소스 이미지(X) 간의 차이에서 발생하는 손실함수(Lrec)에 대한 가상 이미지(YV)의 기울기(gradient)를 기초로 산출될 수 있다. 상기 기울기는 [수학식 2]와 같이 계산될 수 있으며, 상기 손실함수(Lrec)에 대해서는 이하의 관련된 부분에서 상세하게 설명한다. The first weight applied to the error image Ye may be a value adjusted according to an image processing result of the neural network NN according to an embodiment of the present application. For example, the first weight may be calculated based on a gradient of the virtual image Y V with respect to a loss function L rec that occurs in the difference between the reconstructed image X 'and the source image X. Can be. The slope may be calculated as shown in
이 때, 상기 소스 이미지(X)는 RGB 세 개의 채널이 병합된 3차원 데이터일 수 있고, 각 채널에 대한 기울기(g)는 정규화(normalize)를 통해 조정될 수 있다. 상기 정규화 과정은 다양한 방법에 의해 수행될 수 있으며, 예를 들어 아래의 [수학식 3]과 같이 각 채널 마다 평균 및 표준 편차를 이용한 표준정규분포를 이용하여 계산될 수 있다. At this time, the source image (X) may be three-dimensional data in which three RGB channels are merged, and the slope (g) for each channel may be adjusted through normalization. The normalization process may be performed by various methods, for example, it may be calculated using a standard normal distribution using the mean and standard deviation for each channel as shown in Equation 3 below.
여기서, c는 R, G, B 각 채널을 의미한다. Here, c means R, G, and B channels.
또한, [수학식 3]을 이용하여 정규화된 기울기(g) 값에 시그모이드(sigmoid) 함수를 적용하여 가중치(We) 값이 0~1, 예를 들어 0.5~1의 범위를 갖도록 조정할 수 있으며, 아래의 수학식 [4]와 같이 계산될 수 있다. In addition, by applying the sigmoid function to the normalized gradient g using Equation 3, the weight We can be adjusted to have a range of 0 to 1, for example, 0.5 to 1. It may be calculated as in Equation [4] below.
또한, 상기 가상 이미지(Yv)에 적용되는 제2 가중치는 상기 제1 가중치를 기초로 산출될 수 있다. 이때, 상기 제1 가중치와 제2 가중치는 같거나 서로 다른 값일 수 있다. 예를 들어, 상기 제2 가중치는 상기 제1 가중치보다 작은 값일 수 있다. 또는 예를 들어, 상기 제2 가중치는 상기 제1 가중치와 동일한 값일 수 있다. In addition, a second weight applied to the virtual image Yv may be calculated based on the first weight. In this case, the first weight and the second weight may be the same or different values. For example, the second weight may be a value smaller than the first weight. Alternatively, for example, the second weight may be the same value as the first weight.
한편, 최초에 적용되는 가중치는, 예를 들어, 임의로 설정되는 랜덤(random) 값일 수 있고, 사전 훈련(pre-training) 과정을 통해 미리 조정된 값일 수 있다. Meanwhile, the weight applied initially may be, for example, a random value that is arbitrarily set, or may be a value previously adjusted through a pre-training process.
상기 서버(10)는 전술한 제4 네트워크(104)를 이용하여 상기 제2 도메인의 타겟 이미지를 상기 제1 도메인의 복원 이미지로 변환할 수 있다(S16). The
즉, 제4 네트워크(104)를 통해 S14 단계에서 획득된 타겟 이미지(Y)가 복원 이미지(X')로 역변환될 수 있다. That is, the target image Y obtained in step S14 may be inversely transformed into the reconstructed image X ′ through the
예를 들어, 상기 제4 네트워크(104)는 전술한 바와 같이 제1 서브 네트워크 및 제2 서브 네트워크를 포함할 수 있다. 구체적으로 제1 서브네트워크를 통하여 상기 타겟 이미지 내에 포함된 복수의 특징 정보들이 추출될 수 있고, 상기 복수의 특징정보들을 기초로 하나 이상의 특징맵이 생성될 수 있다. 상기 제1 서브 네트워크에서 생성된 하나 이상의 특징맵은 제2 서브네트워크의 입력 데이터로 적용될 수 있다. 또한, 상기 제2 서브네트워크를 통하여 하나 이상의 특징맵의 특징들에 소스 이미지의 특징들을 맵핑함으로써 상기 타겟 이미지가 상기 복원 이미지로 변환될 수 있다. For example, the
한편, 상기 서버(10)는 복수의 특징맵에 대한 복수의 합성 이미지가 추출되는 경우 상기 합성 이미지들을 통합하여 하나의 복원 이미지를 획득할 수 있다. Meanwhile, when a plurality of composite images for a plurality of feature maps are extracted, the
상기 서버(10)에서는 상기 복원 이미지와 상기 소스 이미지 간의 차이를 이용하여 상기 네트워크들 중 적어도 하나의 파라미터가 조정될 수 있다(S18). The
즉, 본 출원의 일 실시 예에 따른 뉴럴 네트워크는 상기 복원 이미지(X')와 상기 소스 이미지(X) 사이의 차이를 기초로 전술한 네트워크들 중 적어도 하나의 파라미터가 조정되도록 구성될 수 있다. 상기 파라미터는 상기 복원 이미지(X')와 상기 소스 이미지(X) 간의 차이에서 발생하는 손실함수(Lrec)를 전술한 네트워크들 에 역전달함으로써 조정될 수 있다. 상기 손실함수(LX)는 아래의 [수학식 5]와 같이 나타낼 수 있다. That is, the neural network according to an embodiment of the present application may be configured such that at least one parameter of the above-described networks is adjusted based on the difference between the reconstructed image X 'and the source image X. The parameter may be adjusted by passing back the loss function L rec resulting from the difference between the reconstructed image X 'and the source image X to the networks described above. The loss function (L X ) can be expressed as Equation 5 below.
따라서, 상기 뉴럴 네트워크의 이미지 처리 수행 결과에 따라 상기 뉴럴 네트워크의 상기 제1 네트워크(101), 제2 네트워크(102) 제3 네트워크(103) 및/또는 제4 네트워크(104)의 각 레이어의 파라미터가 자동으로 조정될 수 있다. 또는, 상기 제1 네트워크(101), 제2 네트워크(102), 제3 네트워크(103) 및/또는 제4 네트워크(104)의 복수의 레이어 중 적어도 하나의 레이어가 연산에서 제거 또는 추가될 수 있다. Accordingly, the parameters of each layer of the
다시 말해, 상기 서버(10)는 상기 손실함수(Lrec)를 기초로 제1 네트워크, 제2 네트워크 제3 네트워크 및/또는 제4 네트워크에 의한 동작을 반복 수행하도록 할 수 있다. In other words, the
서버(10)는 상기 가상 이미지의 품질이 미리 정해진 수준에 도달하였는지 여부를 판단할 수 있다(S20). The
즉, 상기 서버(10)는 상기 가상 이미지의 품질이 미리 정해진 수준에 도달할 때까지 전술한 S10 내지 S18 단계들을 반복적으로 수행할 수 있다. 이때, 상기 가상 이미지의 품질이 미리 정해진 수준에 도달하였는지 여부는 다양한 방식으로 판단될 수 있다. That is, the
예를 들어, 서버(10)는 미리 설정된 종료 조건이 만족될 때까지, 상기 제1 네트워크(101) 및 상기 제2 네트워크(102)의 동작이 반복하여 수행되도록 함으로써 가상 이미지(YV)를 재획득할 수 있다. For example, the
여기서 미리 설정된 종료 조건은 사용자에 의해 미리 입력된 조건일 수 있다. 예를 들어, 사용자는 상기 제1 네트워크(101), 상기 제2 네트워크(102), 상기 제3 네트워크(103) 및/또는 상기 제4 네트워크(104)의 의 동작이 미리 설정된 횟수만큼 반복되도록 설정할 수 있다. 또는, 예를 들어, 사용자는 상기 뉴럴 네트워크(NN)의 손실함수(loss function)가 감소되지 않을 때까지 상기 제1 네트워크(101), 제2 네트워크(102), 제3 네트워크(103) 및/또는 제4 네트워크(104)의 동작이 반복하여 수행되도록 설정할 수 있다. The preset termination condition may be a condition previously input by the user. For example, a user may set the operation of the
또는, 예를 들어, 상기 서버(10)는 전술한 제5 네트워크(105)를 통하여 상기 가상 이미지와 제2 도메인의 원본 이미지의 유사도에 관련된 정보를 획득할 수 있다. 상기 원본 이미지는 전술한 데이터 베이스(20)로부터 획득될 수 있으며, 예를 들어, 상기 원본 이미지는 신생아의 얼굴을 실체 촬영한 이미지일 수 있다. 상기 유사도에 관련된 정보는 상기 가상 이미지가 실제 촬영한 이미지에 해당될 확률을 나타내는 정보일 수 있다. 이 때, 상기 서버(10)는 상기 제5 네트워크(105)로부터 획득되는 상기 유사도 정보가 미리 정해진 값을 초과할 때까지 상기 제1 네트워크(101) 내지 상기 제3 네트워크(103) 중 적어도 하나로 상기 유사도에 관련된 정보를 피드백할 수 있다. 예를 들어, 상기 가상 이미지가 실제 촬영한 이미지에 해당되는 경우 유사도 값은 '1' 또는 1에 가까운 값일 수 있다. 또한, 예를 들어, 상기 가상 이미지가 실제 촬영한 이미지가 아닌 경우 유사도 값은 '0' 또는 0에 가까운 값일 수 있다. 예를 들어, 상기 미리 정해진 값은 사용자에 의해 설정된 값일 수 있고 0.5~0.99 사이의 값일 수 있다. Alternatively, for example, the
서버(10)는 상기 가상 이미지의 품질이 미리 정해진 수준에 도달한 것으로 판단되는 경우 해당 가상이미지(YV)를 출력할 수 있다(S22). If it is determined that the quality of the virtual image reaches a predetermined level, the
즉, 상기 서버(10)는 S20 단계에서 판단 결과 상기 가상 이미지의 품질이 미리 수준에 도달한 경우 전술한 S10 내지 S18의 학습 단계를 종료할 수 있다. That is, if the quality of the virtual image reaches a level in advance as a result of the determination in step S20, the
예를 들어, 상기 서버(10)는 S20 단계에서 미리 설정된 종료 조건이 만족된 것으로 판단된 경우 전술한 S10 내지 S18의 학습 단계를 종료할 수 있다.For example, if it is determined in step S20 that the preset termination condition is satisfied, the
또는, 예를 들어, 상기 서버는 S20 단계에서 상기 가상 이미지(YV)와 원본 이미지(YR)의 유사도가 미리 정해진 값을 초과한 것으로 판단되는 경우 해당 가상 이미지(YV)를 출력할 수 있다. 반면에, S20 단계에서 상기 가상 이미지(YV)와 원본 이미지(YR)의 유사도가 미리 정해진 값을 초과하지 않는 것으로 판단되는 경우 S10 단계로 돌아가 전 단계를 반복적으로 수행할 수 있다.Alternatively, for example, when it is determined in step S20 that the similarity between the virtual image Y V and the original image Y R exceeds a predetermined value, the server may output the corresponding virtual image Y V. have. On the other hand, if it is determined in step S20 that the similarity between the virtual image Y V and the original image Y R does not exceed a predetermined value, the process may return to step S10 and repeat the previous step.
다시 말해, 상기 서버(10)는 상기 제1 네트워크(102) 및 상기 제2 네트워크(102)가 반복하여 수행되도록 함으로써 미리 정해진 수준의 품질 이상의 가상이미지(YV)를 재획득할 수 있다. 이와 같이, 본 출원의 일 실시 예에 따른 이미지 처리 방법에 의하면 S10 단계 내지 S20 단계들을 반복적으로 수행함으로써 미리 정해진 품질 이상의 가상 이미지(YV)가 사용자 장치(30)를 통해 출력될 수 있다. In other words, the
도 6은 본 출원의 다른 실시 예에 따른 제1 도메인의 소스이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다. 상기 이미지 처리 방법은 상기 서버(10) 내의 하나 이상의 프로세서에 의해 수행될 수 있다. 이하에서는, 서버(10)에서 수행되는 이미지 처리 방법의 예들을 설명한다. FIG. 6 is a flowchart illustrating an image processing method of converting a source image of a first domain into a virtual image of a second domain and outputting the virtual image of the second domain according to another embodiment of the present application. The image processing method may be performed by one or more processors in the
본 출원의 다른 실시 예에 따른 이미지 처리 방법은, 하나 이상의 네트워크를 이용한 이미지 처리 방법에 있어서, 제1 도메인의 소스 이미지(X)로부터 하나 이상의 특징맵을 획득하는 단계(S30), 상기 하나 이상의 특징맵을 제1 특징맵과 제2 특징맵으로 분류하는 단계(S31), 상기 제1 특징맵을 이용하여 가상 이미지(YV)를 생성하고, 제2 특징맵을 이용하여 에러 이미지(Ye)를 생성하는 단계(S32), 상기 에러 이미지(Ye)에 제1 가중치가 적용되고, 상기 가상 이미지(YV)에 제2 가중치가 적용된 타겟 이미지(Y)를 획득하는 단계(S34), 상기 타겟 이미지(Y)를 상기 제1 도메인의 복원 이미지(X')로 변환하는 단계(S36), 상기 복원 이미지(X')와 상기 소스 이미지(X)간의 차이를 기초로 상기 네트워크들 중 적어도 하나의 파라미터가 조정되는 단계(S38), 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달하였는지 여부를 판단하는 단계(S40), 및 상기 가상 이미지의 품질이 미리 정해진 수준에 도달한 경우 가상 이미지(YV)를 출력하는 단계(S42)를 포함할 수 있다. 본 출원의 다른 실시 예에 따른 이미지 처리 방법은, 각 단계가 하나의 네트워크 내에서 수행될 수 있다. 또는 각 단계가 별도의 네트워크 내에서 수행될 수 있다. 이하에서는 설명의 편의를 위하여 도 4를 참조하여 설명한 바와 같이, 하나의 뉴럴 네트워크 내에 복수의 네트워크가 포함되며, 각 단계가 상기 복수의 네트워크 각각에 의해 수행되는 경우를 상정하여 상세하게 설명하기로 한다. The image processing method according to another embodiment of the present application, in the image processing method using one or more networks, obtaining one or more feature maps from the source image (X) of the first domain (S30), the one or more features Classifying a map into a first feature map and a second feature map (S31), generating a virtual image Y V using the first feature map, and using the second feature map, an error image Y e . Generating (S32), obtaining a target image (Y) to which the first weight is applied to the error image (Y e ), and applying a second weight to the virtual image (Y V ) (S34), Converting a target image (Y) into a reconstructed image (X ') of the first domain (S36), at least one of the networks based on a difference between the reconstructed image (X') and the source image (X) step in which the parameters are adjusted (S38), the virtual image (Y V) If the quality has reached a step (S40), and a predetermined level of quality of the virtual image to determine whether the previously reached the predetermined level may comprise the step (S42) for outputting a virtual image (Y V). In the image processing method according to another embodiment of the present application, each step may be performed in one network. Alternatively, each step may be performed in a separate network. Hereinafter, for convenience of description, as described with reference to FIG. 4, a plurality of networks are included in one neural network, and a detailed description will be made on the assumption that each step is performed by each of the plurality of networks. .
먼저 전술한 사용자장치(30)로부터 제1 도메인의 소스 이미지(X)가 입력될 수 있고, 서버(10)는 상기 소스 이미지(X)를 제1 네트워크(101)의 입력 데이터로 적용할 수 있다. First, the source image X of the first domain may be input from the aforementioned user device 30, and the
서버(10)는 전술한 제1 네트워크(101)를 통해 소스 이미지(X)로부터 생성되는 하나 이상의 특징맵을 획득할 수 있다(S30). The
전술한 바와 같이, 상기 제1 네트워크(101)는 복수의 레이어를 포함할 수 있고, 서버(10)는 상기 복수의 레이어를 이용하여 상기 소스 이미지(X) 내에 포함된 복수의 특징(feature)들을 획득할 수 있다. 상기 복수의 특징들은, 예를 들어, 엣지, 선명도, 깊이, 명도, 컨트라스트, 블러 등을 포함할 수 있다. 상기 서버(10)는 상기 복수의 특징들을 기초로 하여 상기 제1 네트워크(101)에서 생성되는 하나 이상의 특징맵(feature map)을 획득할 수 있다. 상기 특징맵은 상기 복수의 특징들의 조합일 수 있으며, 상기 특징맵을 통해 상기 소스 이미지 내의 각 영역들이 식별될 수 있다. 상기 각 영역들은 사용자의 관심 영역(ROI) 및 상기 소스 이미지 내의 적어도 하나의 인공물을 포함하는 에러 영역(error region)을 포함할 수 있다. 예를 들어, 상기 관심 영역은 태아의 얼굴 영역일 수 있고, 상기 에러 영역은 태아의 얼굴 영역이 아닌 다른 신체 영역일 수 있다. 예를 들어, 상기 얼굴 영역은 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 예를 들어, 상기 에러 영역은 태아의 손, 발, 태반, 양수 등을 포함할 수 있다. As described above, the
상기 서버(10)는 상기 제1 네트워크(101)를 통해 생성된 하나 이상의 특징맵을 제2 네트워크(102) 및 제3 네트워크(103)의 입력 데이터로 적용할 수 있다. The
서버(10)는 전술한 특징 분류 네트워크(106)를 통하여 상기 하나 이상의 특징맵을 제1 특징맵과 제2 특징맵으로 분류할 수 있다(S31). The
도 4를 참조하여 전술한 바와 같이, 상기 특징 분류 네트워크(106)는, 소스 이미지 내의 각 영역들 중 에러 영역에 관련된 제1 특징맵과 관심 영역에 관련된 제2 특징맵을 구별하도록 트레이닝될 수 있다. 예를 들어, 상기 제1 특징맵은 태아의 얼굴 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 예를 들어, 상기 제2 특징맵은 상기 에러 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 즉, 상기 얼굴 영역에 관련된 특징들은, 예를 들어, 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 상기 에러 영역에 관련된 특징들은, 예를 들어, 태아의 손, 발, 태반, 양수 등을 포함할 수 있다. As described above with reference to FIG. 4, the
예를 들어, 상기 특징 분류 네트워크(106)는 상기 얼굴 영역에 관련된 특징들 및 상기 에러 영역에 관련된 특징들을 구별하기 위한 미리 설정된 기준을 기초로 하여 상기 제1 특징맵과 상기 제2 특징맵을 분류할 수 있다. For example, the
한편, 상기 특징 분류 네트워크(106)는, 복원 이미지(X')와 상기 소스 이미지(X) 간의 차이를 이용하여 조정된 파라미터를 반영하여 업데이트될 수도 있다. 또는, 상기 특징 분류 네트워크(106)는 가상 이미지와 원본 이미지 간의 차이를 이용하여 조정된 파라미터를 반영하여 업데이트될 수도 있다. Meanwhile, the
서버(10)는 전술한 제2 네트워크(102)를 이용하여 가상 이미지(YV)를 생성하고, 전술한 제3 네트워크(103)를 이용하여 에러 이미지(Ye)를 생성할 수 있다(S32). 즉, 제2 네트워크(102)에서는 S31 단계에서 획득된 제1 특징맵을 이용하여 제2 도메인의 가상 이미지가 생성될 수 있다. 또한, 제3 네트워크(103)에서는 S31단계에서 획득된 제2 특징맵을 이용하여 제2 도메인의 에러 이미지가 생성될 수 있다. The
예를 들어, 상기 제2 네트워크(102)를 통해 생성되는 가상 이미지(YV)는, 상기 적어도 하나의 특징맵의 대응되는 특징들에 타겟 이미지의 특징들이 맵핑된 이미지일 수 있다.예를 들어, 상기 적어도 하나의 특징맵은 소스 이미지(X) 내의 얼굴 영역(예컨대, 눈, 코 입, 귀 등)의 특징들을 포함할 수 있다. 따라서, 상기 적어도 하나의 특징맵을 이용하여 생성되는 상기 가상 이미지는 상기 소스 이미지(X) 내의 얼굴 영역을 포함하는 이미지일 수 있다. For example, the virtual image Y V generated through the
또한, 예를 들어, 상기 제3 네트워크(103)를 통해 생성되는 에러 이미지(Ye)는, 상기 적어도 하나의 특징맵을 기초로 생성되는 이미지일 수 있다. 이 때, 상기 적어도 하나의 특징맵은 소스 이미지 내(X)의 관심 영역이 아닌 에러 영역(예컨대, 손, 발, 태반, 양수 등)의 특징들을 포함할 수 있다. 따라서, 상기 적어도 하나의 특징맵을 이용하여 생성되는 상기 에러 이미지(Ye)는 상기 소스 이미지(X) 내의 에러 영역을 포함하는 이미지일 수 있다. Also, for example, the error image Y e generated through the
한편, 서버(10)는 상기 제2 네트워크(102) 및/또는 상기 제3 네트워크(103)를 통하여 복수의 특징맵에 대한 복수의 합성 이미지가 생성되는 경우 상기 합성 이미지들을 통합하여 하나의 가상 이미지 및/또는 에러 이미지를 획득할 수 있다. Meanwhile, when a plurality of composite images for a plurality of feature maps are generated through the
또한, 상기 서버(10)는 상기 제2 네트워크(102)로부터 획득된 가상 이미지(YV) 및 상기 제3 네트워크(103)로부터 획득된 에러 이미지(Ye)를 통합한 타겟 이미지를 획득할 수 있고(S33), 상기 복원 이미지(X')와 상기 소스 이미지(X) 간의 차이를 이용하여 상기 네트워크들 중 적어도 하나의 파라미터가 조정될 수 있다(S35). 또한, 서버(10)는 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달하였는지 여부를 판단할 수 있고(S37), 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달한 것으로 판단되는 경우 해당 가상이미지를 출력할 수 있다(S39). 단계 S34 내지 S42는 도 5를 참조하여 설명한 단계 S14 내지 S22에 대응될 수 있으므로, 이하에서는 자세한 설명은 생략하기로 한다. In addition, the
이와 같이, 본 출원의 다른 실시 예에 따른 이미지 처리 방법에 의하면 S30 단계 내지 S39 단계들을 반복적으로 수행함으로써 미리 정해진 품질 이상의 가상 이미지(YV)가 사용자 장치(30)를 통해 출력될 수 있다. As described above, according to the image processing method according to another exemplary embodiment of the present application, the virtual image Y V having a predetermined quality or more may be output through the user device 30 by repeatedly performing the steps S30 to S39.
도 7은 본 출원의 다른 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다. 상기 이미지 처리 방법은 하나의 네트워크 내에서 수행될 수 있고, 상기 서버(10) 내의 하나 이상의 프로세서에 의해 수행될 수 있다. FIG. 7 is a flowchart illustrating an image processing method of converting a source image of a first domain into a virtual image of a second domain and outputting the image according to another embodiment of the present application. The image processing method may be performed in one network and may be performed by one or more processors in the
본 출원의 다른 실시 예에 따른 이미지 처리 방법은, 제1 도메인의 소스 이미지(X)를 획득하는 단계(S50), 상기 소스 이미지 내의 특징들을 분석하는 단계(S52), 상기 소스 이미지 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별하는 단계(S54), 상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 가상 이미지(YV)를 획득하는 단계(S56), 상기 가상 이미지(YV)를 출력하는 단계(S58)를 포함할 수 있고, 상기 제1 도메인 및 상기 제2 도메인 사이의 영역 변환을 통하여 상기 가상 이미지의 품질이 향상되도록, 상기 단계들이 반복적으로 수행될 수 있다. The image processing method according to another embodiment of the present application may include obtaining a source image (X) of a first domain (S50), analyzing features in the source image (S52), and at least one of the source image. Identifying an error feature and valid features (S54), synthesizing the attributes of the original image of the second domain with the valid features to obtain a virtual image Y V from which the error feature has been removed (S56), Outputting a virtual image Y V (S58), and the steps may be repeatedly performed so that the quality of the virtual image is improved through a region conversion between the first domain and the second domain. Can be.
서버(10)는 사용자 장치(30)로부터 제1 도메인의 소스 이미지(X) 를 획득할 수 있다(S50). The
예를 들어, 상기 사용자 장치(30)는 전술한 바와 같이, 태아를 촬영하기 위한 초음파 영상 촬영장치일 수 있고, 또는, 상기 사용자 장치(30)는 상기 초음파 영상 촬영장치로부터 촬상된 이미지를 제공받는 전자기기일 수 있다. 상기 사용자 장치(30)는 상기 사용자 장치(30)에 설치된 프로그램, 상기 사용자 장치(30) 상에 제공되는 웹사이트, 애플리케이션 등을 통하여 서버(10)에 접근할 수 있다. 따라서, 상기 사용자 장치(30)는 상기 사용자 장치(30)에서 촬영되거나 상기 사용자 장치(30)에 저장된 태아의 초음파 이미지(X)를 상기 서버(10)에 입력 이미지로서 제공할 수 있다.. For example, as described above, the user device 30 may be an ultrasound imaging apparatus for capturing a fetus, or the user device 30 may receive an image captured by the ultrasound imaging apparatus. It may be an electronic device. The user device 30 may access the
서버(10)는 상기 소스 이미지 내의 특징들을 분석할 수 있다(S52). 구체적으로, 상기 소스 이미지 내의 특징들을 분석하는 과정은 전술한 제1 네트워크(101)를 이용하여 상기 소스 이미지 내의 특징들을 추출하고 상기 특징들을 기초로 한 하나 이상의 특징맵을 획득하는 과정과 동일한 방식으로 수행될 수 있다. 이때, 상기 소스 이미지 내의 특징들은, 예를 들어, 엣지, 선명도, 깊이, 명도, 컨트라스트, 블러 등을 포함할 수 있다. 상기 특징맵은 상기 특징들의 조합일 수 있으며, 하나 이상의 특징맵을 통하여 상기 소스 이미지 내의 각 영역들이 식별될 수 있다. 상기 각 영역들은 사용자의 관심 영역(ROI) 및 상기 소스 이미지 내의 적어도 하나의 인공물을 포함하는 에러 영역(error region)을 포함할 수 있다. 예를 들어, 상기 관심 영역은 태아의 얼굴 영역일 수 있고, 상기 에러 영역은, 태아의 얼굴 영역이 아닌 다른 신체 영역일수 있다. 예를 들어, 상기 얼굴 영역은 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 또한, 예를 들어, 상기 에러 영역은 태아의 손, 발, 태반, 양수 등을 포함할 수 있다. The
서버(10)는 상기 소스 이미지(X) 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별할 수 있다(S54). 상기 에러 특징은, 전술한 에러 영역에 관련된 특징들 일 수 있다. 예를 들어, 태아의 손, 발, 태반, 양수 등에 관련된 특징들일 수 있다. 상기 유효 특징은, 전술한 얼굴 영역, 즉, 관심 영역(ROI)에 관련된 특징들일 수 있다. 예를 들어, 태아의 눈, 코, 입, 귀 등에 관련된 특징들 일 수 있다. The
상기 서버(10)에서 에러 특징 및 유효 특징들을 식별하기 과정은 전술한 특징 분류 네트워크(106)에서 수행되는 방식과 동일할 수 있다. 상기 에러 특징 및 유효 특징들은 미리 설정된 기준을 기초로 하여 식별될 수 있다. 상기 미리 설정된 기준은 상기 소스 (X) 내의 관심 영역 및 상기 에러 영역에 관련된 정보를 기초로 미리 학습될 수 있다. 상기 소스 이미지 (X) 내의 관심 영역은, 예를 들어, 태아의 얼굴 영역일 수 있고, 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 상기 에러 영역은 예를 들어, 태아의 얼굴 영역 외의 신체 영역일 수 있고, 태아의 손, 발, 태반, 양수 등을 포함할 수 있다. 상기 서버(10)는, 예를 들어, 에러 특징에 대해서는 '0'에 가까운 값을 출력하고, 유효 특징들에 대해서는 '1'에 가까운 값을 출력하도록 구성됨으로써 상기 에러 특징 및 유효 특징들을 식별할 수 있다. The process of identifying error features and valid features in the
서버(10)는 상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 가상 이미지(YV)를 획득할 수 있다(S56). The
상기 가상 이미지(YV)는 상기 유효 특징들에 원본 이미지의 속성들을 맵핑한 이미지일 수 있다. 상기 원본 이미지의 속성들은, 전술한 바와 같이, 이미지의 밝기, 색상, 반사색, 텍스쳐, 깊이, 블러 등을 포함할 수 있다. 상기 원본 이미지 및/또는 상기 원본 진 이미지의 특징들은 전술한 데이터 베이스(20)또는 외부 서버로부터 획득될 수 있다. 또는, 전술한 바와 같이 제3 네트워크(103)에 포함된 별도의 서브 네트워크를 통하여 상기 원본 이미지의 속성들이 추출될 수 있다. The virtual image Y V may be an image in which the attributes of the original image are mapped to the valid features. As described above, the attributes of the original image may include brightness, color, reflection color, texture, depth, blur, and the like of the image. Features of the original image and / or the original image may be obtained from the above-described
따라서, 상기 서버(10)는 상기 제1 도메인의 소스 이미지(X) 내의 관심 영역을 포함하는 제2 도메인의 가상 이미지(YV)를 획득할 수 있고, 상기 가상 이미지는 적어도 하나의 상기 에러 특징들이 제거된 것일 수 있다. Accordingly, the
서버(10)는 상기 에러 특징들이 제거된 가상 이미지(YV)를 사용자 장치(30)를 통하여 출력할 수 있다(S58). The
즉, 상기 서버(10)는 사용자로부터 수신된 제1 도메인의 소스 이미지(X)를 상기 소스 이미지(X) 내의 에러 특징들을 제외된 제2 도메인의 가상 이미지(YV)를 생성할 수 있다. 다시 말하면, 상기 서버(10)는 상기 제1 도메인 및 상기 제2 도메인 사이의 이미지 변환을 통하여 상기 가상 이미지의 품질이 향상되도록 전술한 단계들을 반복적으로 수행할 수 있고, 미리 정해진 수준에 도달한 품질의 가상 이미지를 사용자 장치(30)에 제공할 수 있다.That is, the
예를 들어, 서버(10)는 미리 설정된 종료 조건이 만족될 때까지, 전술한 단계들을 반복하여 수행되도록 함으로써 가상 이미지(YV)를 재획득할 수 있다. 여기서 종료 조건은 사용자에 의해 미리 입력된 조건일 수 있다. 예를 들어, 사용자는 전술한 단계들이 미리 설정된 횟수만큼 반복되도록 설정할 수 있다. For example, the
또는, 예를 들어, 상기 서버(10)는 상기 가상 이미지(YV)와 상기 원본 이미지(YR)의 유사도가 미리 정해진 값에 도달한 경우의 가상 이미지(YV)를 출력할 수 있다. 예를 들어, 상기 유사도는 상기 가상 이미지(YV)가 신생아의 실제 촬영한 이미지에 해당될 확률을 나타내는 정보일 수 있다. 상기 가상 이미지(YV)와 상기 원본 이미지(YR)의 유사도 판단은 전술한 제5 네트워크(105)에서 수행되는 방식과 동일할 수 있다. 예를 들어, 상기 가상 이미지(YV)가 신생아의 실제 촬영한 이미지에 해당되는 경우 유사도 값은 '1' 또는 1에 가까운 값일 수 있다. 예를 들어, 상기 가상 이미지(YV)가 실제 촬영한 이미지가 아닌 경우 유사도 값은 '0' 또는 0에 가까운 값일 수 있다. 예를 들어, 상기 미리 정해진 값은 사용자에 의해 설정된 값일 수 있고 0.5~0.99 사이의 값일 수 있다.Or, for example, the
따라서, 상기 서버(10)는 상기 가상 이미지의 품질이 미리 정해진 수준에 도달한 경우의 가상이미지(YV)를 사용자 장치(30)를 통해 출력할 수 있고, 사용자는 S50 단계에서 입력된 제1 도메인의 소스 이미지 내의 에러 특징이 제거된 원본 이미지와 유사한 제2 도메인의 가상 이미지를 획득하는 것이 가능할 수 있다. 예를 들어, 사용자는 초음파 이미지 내의 태아 얼굴이 손, 발, 태반, 양수 중 적어도 하나의 에러 특징에 의해 가려진 경우에도 상기 에러 특징이 제거된 실제 사진에 가까운 가상 이미지를 얻을 수 있다. Therefore, the
도 8은 본 출원의 일 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 제공하는 이미지 변환 장치의 구성을 개략적으로 나타내기 위한 블록도이다. 본 출원의 일 실시 예에 따른 이미지 변환 장치는 서버(10)일 수 있고, 상기 서버(10)는 이미지 처리를 위한 하나 이상의 모듈을 포함할 수 있다. 또는, 상기 서버(10)의 메모리에는 이미지 처리를 위한 프로그램이 저장되어 있을 수 있고, 상기 프로그램이 하나 이상의 모듈을 포함할 수 있다. FIG. 8 is a block diagram schematically illustrating a configuration of an image conversion apparatus for converting and providing a source image of a first domain to a virtual image of a second domain according to an embodiment of the present application. The image conversion apparatus according to an embodiment of the present application may be a
도 8을 참조하면, 본 출원의 일 실시 예에 따른 이미지 처리 장치(10)는 이미지 획득 모듈(11), 특징 분석 모듈(12), 가상 이미지 생성 모듈(13), 에러 이미지 생성 모듈(14), 타겟 이미지 생성 모듈(15), 이미지 복원 모듈(16), 가중치 조정 모듈(17), 등을 포함할 수 있다. 또는, 하나 이상의 모듈이 하나의 모듈로 통합되어 구성될 수 있다. 이하에서는, 설명의 편의를 위하여 상기 각 모듈에서 순차적으로 또는 병렬적으로 이미지 처리를 위한 과정이 수행되는 경우를 상정하여 설명한다 Referring to FIG. 8, the
이미지 획득 모듈(11)은 제1 도메인의 소스 이미지(X)를 획득하기 위한 구성일 수 있다. 상기 제1 도메인의 소스 이미지는 전술한 사용자 장치(30), 예를 들어, 초음파 영상 촬영 장치로부터 수신될 수 있다. The
특징 분석 모듈(12)은 상기 이미지 획득 모듈(11)에서 획득한 소스 이미지(X) 내의 특징들을 추출하고, 상기 특징들을 기초로 하나 이상의 특징맵을 생성하기 위한 구성일 수 있다. 상기 특징 분석 모듈(12)에서 수행되는 동작은 전술한 제1 네트워크(101)를 이용한 특징 추출 과정 및 상기 추출된 특징들을 이용한 특징맵 생성 과정과 동일할 수 있다. The
가상 이미지 생성 모듈(13)은 상기 특징 분석 모듈(12)에서 획득한 상기 하나 이상의 특징맵 중 제1 특징맵을 기초로 가상 이미지(YV)를 생성하기 위한 구성일 수 있다. 상기 제1 특징맵은, 전술한 바와 같이, 상기 소스 이미지(X) 내의 관심 영역에 관련된 특징들을 포함할 수 있다. 상기 가상 이미지는 상기 소스 이미지(X) 내의 관심 영역을 포함하는 이미지일 수 있다. 예를 들어, 상기 가상 이미지(YV)는 상기 소스 이미지(X) 내의 태아의 눈, 코, 입, 귀 등에 관련된 특징들을 포함할 수 있다. 상기 가상 이미지 생성 모듈(13)에서 수행되는 동작은 전술한 제2 네트워크(102)를 이용한 가상 이미지 생성 과정과 동일할 수 있다. The virtual
에러 이미지 생성 모듈(14)은 상기 특징 분석 모듈(12)에서 획득한 상기 하나 이상의 특징맵 중 제2 특징맵을 기초로 에러 이미지(Ye)를 생성하기 위한 구성일 수 있다. 상기 제2 특징맵은, 전술한 바와 같이, 상기 소스 이미지(X) 내의 얼굴 영역이 아닌 에러 영역에 관련된 특징들을 포함할 수 있다. 상기 에러 이미지(Ye)는 상기 소스 이미지(X) 내의 얼굴 영역이 아닌 에러 영역을 포함하는 이미지일 수 있다. 예를 들어, 상기 에러 이미지는 상기 소스 이미지 내의 태아의 손, 발, 태반, 양수 등 적어도 하나에 관련된 특징들을 포함할 수 있다. 상기 에러 이미지 생성 모듈(14)에서 수행되는 동작은 전술한 제3 네트워크(103)를 이용한 가상 이미지 생성 과정과 동일할 수 있다. The error
타겟 이미지 생성 모듈(15)은, 상기 가상 이미지 생성 모듈(13)로부터 생성된 가상 이미지(YV) 및 상기 에러 이미지 생성 모듈(14)로부터 생성된 에러 이미지(Ye)를 통합하여 타겟 이미지(Y)를 생성하기 위한 구성일 수 있다. 예를 들어, 상기 에러 이미지(Ye)에는 제1 가중치가 적용될 수 있고, 상기 가상 이미지(YV)에는 제2 가중치가 적용될 수 있다. 상기 에러 이미지(Y3)에 적용되는 제1 가중치는 [수학식 2] 내지 [수학식 4]를 참조하여 전술한 바와 같이 산출된 값일 수 있고, 후술할 가중치 조정 모듈(17)에 의해 산출된 값일 수 있다. 또한, 상기 가상 이미지(YV)에 적용되는 제2 가중치는 상기 제1 가중치를 기초로 산출될 수 있으며, 예를 들어, 상기 제2 가중치는 상기 제1 가중치보다 작은 값일 수 있다. 또는, 예를 들어, 상기 제2 가중치는 상기 제1 가중치와 동일한 값일 수 있다. 최초에 적용되는 가중치는, 예를 들어, 임의로 설정되는 랜덤 값일 수 있고, 사전 훈련 과정을 통해 미리 조정된 값일 수 있다. The target
이미지 복원 모듈(16)은 상기 타겟 이미지(Y)를 복원 이미지(X')로 역변환하기 위한 구성일 수 있다. 즉, 상기 이미지 복원 모듈(16)을 통하여 상기 타겟 이미지(Y)로부터 하나 이상의 특징맵을 획득할 수 있고, 상기 하나 이상의 특징맵에 상기 소스 이미지(X)의 특징들이 맵핑된 복원 이미지(X')를 획득할 수 있다. 상기 이미지 복원 모듈(16)을 이용하여 복원 이미지(X')를 획득하는 과정은 전술한 제4 네트워크(104)를 이용하여 타겟 이미지(Y)를 복원 이미지(X')로 변환하는 과정과 동일할 수 있다. The
가중치 조정모듈(17)은 상기 이미지 복원 모듈(16)에 의해 생성된 복원 이미지(X')와 상기 소스 이미지(X) 간의 차이 값을 기초로 전술한 네트워크의 파라미터를 조정하기 위한 구성일 수 있다. The
즉, 상기 조정모듈(17)은 전술한 복원 이미지(X')와 소스 이미지(X) 사이의 차이에서 발생하는 손실함수(Lrec)를 상기 특징 분석 모듈(12), 상기 가상 이미지 생성모듈(13), 상기 에러 이미지 생성모듈(14), 상기 타겟 이미지 생성모듈(15), 상기 이미지 복원 모듈(16) 중 적어도 하나에 피드백할 수 있다. 상기 손실함수는 [수학식 5]를 참조하여 전술한 바와 같이 산출될 수 있다. That is, the
또한, 상기 가중치 조정 모듈(17)은 타겟 이미지 생성 시 적용되는 제1 가중치를 더 산출할 수 있다. 이때, 상기 제1 가중치는 [수학식 2] 내지 [수학식 4]를 참조하여 전술한 바와 같이 산출될 수 있다. 상기 가중치 조정 모듈(17)은 산출된 가중치 값을 전술한 타겟 이미지 생성 모듈(15)에 전달할 수 있다.In addition, the
유사도 판단 모듈(18)은 상기 가상 이미지(YV) 및 원본 이미지(YR)의 유사도를 판단하기 위한 구성일 수 있다. 예를 들어, 상기 유사도에 관련된 정보는 상기 가상 이미지(YV)가 신생아의 실제 촬영한 이미지에 해당될 확률을 나타내는 정보일 수 있다. 예를 들어, 상기 가상 이미지(YV)가 실제 촬영한 이미지에 해당되는 경우 유사도 값은 '1' 또는 1에 가까운 값일 수 있다. 또한, 예를 들어, 상기 가상 이미지가 실제 촬영한 이미지가 아닌 경우 유사도 값은 '0' 또는 0에 가까운 값일 수 있다. 예를 들어, 상기 미리 정해진 값은 사용자에 의해 설정된 값일 수 있고 0.5~0.99 사이의 값일 수 있다. The
예를 들어, 상기 서버(10)는 상기 유사도 판단 모듈(18)에 의해 획득되는 상기 가상 이미지(YV) 및 원본 이미지(YR)의 유사도를 기준으로 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달하였는지 판단할 수 있다. 따라서, 상기 서버(10)는 상기 유사도 정보가 미리 정해진 값을 초과하는 경우 가상 이미지를 사용자 장치(30)를 통하여 출력할 수 있다. 즉, 상기 서버(10)는 상기 유사도 판단 모듈(18)의 판단 결과에 따라 상기 가상 이미지(YV)의 출력 여부를 결정할 수 있다. 다시 말해, 상기 서버(10)는 상기 유사도가 미리 정해진 값에 도달할 때까지 상기 타겟 이미지(Y) 생성 및 상기 복원 이미지 생성(X')을 반복적으로 수행할 수 있다. 결과적으로 상기 제1 도메인 및 제2 도메인 사이의 이미지 변환을 통하여 상기 가상 이미지(YV)의 품질이 향상될 수 있다. For example, the
특징 분류 모듈(19)은 상기 소스 이미지 내의 각 영역들 중 에러 영역에 관련된 특징들과 관심 영역에 관련된 특징들을 분류하기 위한 구성일 수 있다. 상기 특징 분류 모듈(19)는 상기 특징 분석 모듈(12) 내에 일 구성일 수 있다. 또는, 상기 특징 분류 모듈(19)은 상기 특징 분석 모듈(12)로부터 획득된 하나 이상의 특징맵들을 이용하여 제1 특징맵과 제2 특징맵을 생성하기 위한 별도의 구성 요소로 마련될 수 있다. 또는, 상기 특징 분류 모듈(19)은 상기 특징 분석 모듈(12)에서 획득된 상기 소스 이미지(X) 내의 특징들을 에러 특징과 유효특징들로 구별하기 위한 별도의 구성 요소로 마련될 수 있다. 예를 들어, 상기 제1 특징맵은 에러 영역에 관련된 것일 수 있고, 관심 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 또한, 예를 들어, 상기 제2 특징맵은 관심 영역에 관련된 것일 수 있고, 에러 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 상기 특징 분류 모듈(19)에서 수행되는 동작은 전술한 특징 분류 네트워크(106)에서 수행되는 분류 방식과 동일할 수 있다. The
한편, 저장 모듈(도시되지 않음)은 본 출원의 일 실시 예에 따른 이미지 처리 수행 과정에서 생성되는 모든 데이터들을 저장하기 위한 구성일 수 있다. 예를 들어, 상기 저장 모듈에는 사용자로부터 입력되는 소스 이미지, 상기 소스 이미지로부터 추출된 복수의 특징들, 상기 복수의 특징들을 기초로 생성된 특징맵들이 저장될 수 있다. 또한, 예를 들어, 상기 저장 모듈에는 원본 이미지, 상기 원본 이미지로부터 추출된 복수의 특징들에 관련된 정보들이 저장될 수 있다. 또한, 예를 들어, 상기 저장 모듈에는 전술한 유사도 판단 모듈(17)에 의해 판단된 결과 값들이 저장될 수도 있다. On the other hand, the storage module (not shown) may be a configuration for storing all data generated in the process of performing the image processing according to an embodiment of the present application. For example, the storage module may store a source image input from a user, a plurality of features extracted from the source image, and a feature map generated based on the plurality of features. Also, for example, the storage module may store information related to an original image and a plurality of features extracted from the original image. In addition, for example, the storage module may store the result values determined by the
한편, 전술한 모듈들 중 하나 이상은 다른 서버 또는 사용자 장치(30)에 위치될 수도 있다. Meanwhile, one or more of the above modules may be located in another server or user device 30.
따라서, 본 출원의 실시 예들에 따른 이미지 처리 장치에 의하면 사용자는 제1 도메인의 소스 이미지 내의 태아 얼굴이 손, 발, 태반, 양수 중 적어도 하나의 에러 특징에 의해 가려진 경우에도 상기 에러 특징이 제거된 제2 도메인의 가상 이미지를 얻을 수 있다. Therefore, according to the image processing apparatus according to the embodiments of the present application, the user may remove the error feature even when the fetal face in the source image of the first domain is covered by at least one error feature of the hand, foot, placenta, and amniotic fluid. A virtual image of the second domain can be obtained.
지금까지 설명의 편의를 위하여 이미지 처리의 각 기능들이 전술한 서버(10)에서 수행되는 경우를 가정하여 설명하였으나, 전술한 이미지 처리의 각 기능들은 컴퓨터 상에서 판독 가능한 매체에 기록되어 제공될 수 있다. So far, for convenience of description, it is assumed that each function of the image processing is performed in the above-described
즉, 본 출원의 일 실시 예에 따른 이미지 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.That is, the image processing method according to an embodiment of the present application may be implemented in the form of program instructions that may be executed through various computer means, and may be recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present disclosure, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine code, such as produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with reference to the limited embodiments and the drawings as described above, various modifications and variations are possible to those skilled in the art from the above description. For example, the described techniques may be performed in a different order than the described method, and / or components of the described systems, structures, devices, circuits, etc. may be combined or combined in a different form than the described method, or other components. Or even if replaced or replaced by equivalents, an appropriate result can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are within the scope of the claims that follow.
1: 이미지 변환 시스템
2: 네트워크:
10: 서버
11: 이미지 획득 모듈
12: 특징 분석 모듈
13: 가상 이미지 생성 모듈
14: 에러 이미지 생성 모듈
15: 타겟 이미지 생성 모듈
16: 이미지 복원 모듈
17: 가중치 조정 모듈
18: 유사도 판단 모듈
19: 특징 분류 모듈
20: 데이터 베이스
30: 사용자 장치
101: 제1 네트워크
102: 제2 네트워크
103: 제3 네트워크
104: 제4 네트워크
105: 제5 네트워크
106: 특징 분류 네트워크
NN: 뉴럴 네트워크
X: 소스 이미지
YV: 가상 이미지 1: image conversion system
2: network:
10: server
11: Image Acquisition Module
12: Feature Analysis Module
13: Virtual Image Creation Module
14: error image generation module
15: Target Image Generation Module
16: Image Restoration Module
17: weight adjustment module
18: Similarity Determination Module
19: Feature Classification Module
20: database
30: User device
101: first network
102: second network
103: third network
104: fourth network
105: fifth network
106: Feature Classification Network
NN: Neural Network
X: source image
Y V : virtual image
Claims (18)
제1 도메인의 소스 이미지로부터 하나 이상의 특징맵을 획득하는 단계;
상기 하나 이상의 특징맵을 기초로 제2 도메인의 가상 이미지 및 에러 이미지를 생성하는 단계;
상기 에러 이미지에 제1 가중치가 적용되고, 상기 가상 이미지에 제2 가중치가 적용된 타겟 이미지를 획득하는 단계;
상기 타겟 이미지를 상기 제1 도메인의 복원 이미지로 변환하는 단계; 및
상기 복원 이미지와 상기 소스 이미지 간의 차이를 이용하여 상기 네트워크들 중 적어도 하나의 파라미터가 조정되는 단계; 를 포함하되,
상기 가상 이미지의 품질이 미리 정해진 수준에 도달할 때까지 상기 단계들이 반복적으로 수행되는 것을 특징으로 하는 이미지 처리 방법.
In the image processing method using one or more networks,
Obtaining at least one feature map from a source image of the first domain;
Generating a virtual image and an error image of a second domain based on the one or more feature maps;
Obtaining a target image to which the first weight is applied to the error image and to which the second weight is applied to the virtual image;
Converting the target image into a reconstructed image of the first domain; And
Adjusting at least one parameter of the networks using the difference between the reconstructed image and the source image; Including,
And said steps are performed repeatedly until the quality of said virtual image reaches a predetermined level.
상기 하나 이상의 특징맵 중 유효 특징들에 관련된 제1 특징맵과 에러 특징들에 관련된 제2 특징맵을 분류하는 단계; 를 더 포함하고,
상기 제1 특징맵을 이용하여 상기 가상 이미지를 생성하고 상기 제2 특징맵을 이용하여 에러 이미지를 생성하는 것을 특징으로 하는 이미지 처리방법.
The method of claim 1,
Classifying a first feature map associated with valid features among the one or more feature maps and a second feature map associated with error features; More,
And generating the virtual image by using the first feature map and generating an error image by using the second feature map.
상기 가상 이미지의 품질이 미리 정해진 수준에 도달하였는지 여부는, 미리 설정된 종료 조건이 만족되었는지 여부에 따라 결정되는 것을 특징으로 하는 이미지 처리 방법.
The method of claim 1,
Whether the quality of the virtual image reaches a predetermined level is determined according to whether a preset termination condition is satisfied.
상기 제1 가중치는, 상기 복원 이미지와 상기 소스 이미지의 차이에 대한 가상 이미지의 기울기를 기초로 산출되는 것을 특징으로 하는 이미지 처리 방법.
The method of claim 1,
And the first weight is calculated based on a slope of a virtual image with respect to a difference between the reconstructed image and the source image.
상기 제2 가중치는 상기 제1 가중치를 기초로 산출되는 이미지 처리방법.
The method of claim 1,
And the second weight is calculated based on the first weight.
상기 제2 도메인의 가상 이미지와 제2 도메인의 원본 이미지 간의 차이를 이용하여 상기 가상 이미지 생성을 위한 적어도 하나의 네트워크의 파라미터가 조정되는 단계;를 더 포함하는 이미지 처리방법.
The method of claim 1,
And adjusting a parameter of at least one network for generating the virtual image by using a difference between the virtual image of the second domain and the original image of the second domain.
상기 소스 이미지 내의 특징들을 분석하고, 상기 소스 이미지 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별하는 특징 분석 모듈;
상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 제2 도메인의 가상 이미지를 생성하는 가상 이미지 생성 모듈;
상기 에러 특징들을 이용하여 에러 이미지를 생성하는 에러 이미지 생성 모듈; 및
상기 에러 이미지에 제1 가중치를 적용하고 상기 가상 이미지에 제2 가중치를 적용하여 타겟 이미지를 생성하는 타겟 이미지 생성 모듈;을 포함하되,
상기 제1 도메인 및 상기 제2 도메인 사이의 이미지 변환을 통하여 상기 가상 이미지의 품질이 향상되는 것을 특징으로 하는
이미지 처리 장치.
An image acquisition module for obtaining a source image of the first domain;
A feature analysis module for analyzing features in the source image and identifying at least one error feature and valid features in the source image;
A virtual image generation module configured to synthesize the attributes of the original image of the second domain with the valid features to generate a virtual image of the second domain from which the error feature is removed;
An error image generation module for generating an error image using the error features; And
And a target image generation module configured to generate a target image by applying a first weight to the error image and applying a second weight to the virtual image.
The image quality of the virtual image is improved through image conversion between the first domain and the second domain.
Image processing unit.
상기 타겟 이미지를 복원 이미지로 변환하기 위한 이미지 복원 모듈; 및
상기 복원 이미지와 상기 소스 이미지 간의 차이 값을 기초로 상기 모듈들 중 적어도 하나에 적용되는 파라미터를 조정하기 위한 가중치 조정 모듈;을 더 포함하는
이미지 처리 장치.
The method of claim 7, wherein
An image reconstruction module for converting the target image into a reconstructed image; And
A weight adjustment module for adjusting a parameter applied to at least one of the modules based on a difference value between the reconstructed image and the source image;
Image processing unit.
상기 가중치 조정모듈에 의해 조정된 파라미터는 상기 특징 분석 모듈, 상기 가상 이미지 생성 모듈, 상기 에러 이미지 생성 모듈, 상기 이미지 복원 모듈 중 적어도 하나에 피드백되는 것을 특징으로 하는
이미지 처리 장치.
The method of claim 9,
The parameter adjusted by the weight adjustment module is fed back to at least one of the feature analysis module, the virtual image generation module, the error image generation module, the image restoration module.
Image processing unit.
상기 제2 가중치는 상기 제1 가중치를 기초로 산출되는 것을 특징으로 하는
이미지 처리 장치.
The method of claim 7, wherein
The second weight is calculated based on the first weight
Image processing unit.
이미지 처리 장치.
The method of claim 10, wherein the target image generation and the reconstructed image conversion are repeatedly performed to improve the quality of the virtual image.
Image processing unit.
상기 유효 특징은 상기 소스 이미지 내의 관심 영역(ROI)에 관련된 것이고, 상기 에러 특징은 상기 소스 이미지 내의 에러 영역에 관련된 것이며,
상기 유효 특징 및 상기 에러 특징들을 분류하기 위한 특징 분류 모듈;를 더 포함하는
이미지 처리 장치.
The method of claim 9,
The effective feature relates to a region of interest (ROI) in the source image, the error feature relates to an error region in the source image,
A feature classification module for classifying the valid feature and the error feature;
Image processing unit.
상기 가중치 조정모듈에 의해 조정된 상기 파라미터는 상기 특징 분류 모듈에 피드백되는 것을 특징으로 하는
이미지 처리 장치.
The method of claim 13,
The parameter adjusted by the weight adjustment module is fed back to the feature classification module.
Image processing unit.
상기 소스 이미지 내의 특징들을 분석하는 단계;
상기 소스 이미지 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별하는 단계;
상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 제2 도메인의 가상 이미지를 생성하는 단계;
상기 에러 특징들을 이용하여 에러 이미지를 생성하는 단계; 및
상기 에러 이미지에 제1 가중치를 적용하고 상기 가상 이미지에 제2 가중치를 적용하여 타겟 이미지를 생성하는 단계;를 포함하되,
상기 제1 도메인 및 상기 제2 도메인 사이의 이미지 변환을 통하여 상기 가상 이미지의 품질이 향상되도록, 상기 단계들이 반복적으로 수행되는 것을 특징으로 하는 이미지 처리 방법.
Obtaining a source image of the first domain;
Analyzing features in the source image;
Identifying at least one error feature and valid features in the source image;
Synthesizing attributes of an original image of a second domain with the valid features to generate a virtual image of the second domain from which the error feature has been removed;
Generating an error image using the error features; And
Generating a target image by applying a first weight to the error image and applying a second weight to the virtual image;
And the steps are repeatedly performed so that the quality of the virtual image is improved through image conversion between the first domain and the second domain.
상기 유효 특징은 상기 소스 이미지 내의 관심 영역에 관련된 특징이고, 상기 에러 특징은 상기 소스 이미지 내의 에러 영역에 관련된 특징인 것인
이미지 처리방법.
The method of claim 15,
The valid feature is a feature related to a region of interest in the source image, and the error feature is a feature related to an error region in the source image
Image processing method.
상기 단계들은, 미리 설정된 종료 조건이 만족될 때까지 반복적으로 수행되는 것을 특징으로 하는
이미지 처리 방법.
The method of claim 15,
The steps may be performed repeatedly until a preset termination condition is satisfied.
Image processing method.
18. A computer readable medium having recorded thereon a program for executing the method of any one of claims 1 to 6 and 15 to 17 on a computer.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880067109.3A CN111226258B (en) | 2017-10-15 | 2018-10-15 | Signal conversion system and signal conversion method |
US16/160,859 US11694083B2 (en) | 2017-10-15 | 2018-10-15 | Signal translation system and signal translation method |
PCT/KR2018/012112 WO2019074339A1 (en) | 2017-10-15 | 2018-10-15 | Signal conversion system and signal conversion method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762572507P | 2017-10-15 | 2017-10-15 | |
US62/572,507 | 2017-10-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190042429A KR20190042429A (en) | 2019-04-24 |
KR102053527B1 true KR102053527B1 (en) | 2019-12-06 |
Family
ID=66282171
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180050390A KR102053527B1 (en) | 2017-10-15 | 2018-05-02 | Method for image processing |
KR1020180120762A KR102229218B1 (en) | 2017-10-15 | 2018-10-10 | Signal translation system and signal translation method |
KR1020210032325A KR20210032945A (en) | 2017-10-15 | 2021-03-11 | Signal translation system and signal translation method |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180120762A KR102229218B1 (en) | 2017-10-15 | 2018-10-10 | Signal translation system and signal translation method |
KR1020210032325A KR20210032945A (en) | 2017-10-15 | 2021-03-11 | Signal translation system and signal translation method |
Country Status (2)
Country | Link |
---|---|
KR (3) | KR102053527B1 (en) |
CN (1) | CN111226258B (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102652117B1 (en) * | 2019-07-10 | 2024-03-27 | 삼성전자주식회사 | Image processing method and image processing system |
KR20210032247A (en) * | 2019-09-16 | 2021-03-24 | 삼성전자주식회사 | Display apparatus and image processing method thereof |
CN112052818B (en) * | 2020-09-15 | 2024-03-22 | 浙江智慧视频安防创新中心有限公司 | Method, system and storage medium for detecting pedestrians without supervision domain adaptation |
KR102334666B1 (en) * | 2021-05-20 | 2021-12-07 | 알레시오 주식회사 | A method for creating a face image |
KR20220169076A (en) | 2021-06-18 | 2022-12-27 | 홍소현 | Temperance in eating large quantities of insects for food and feed equipment |
CN113487641B (en) * | 2021-08-03 | 2024-08-02 | 青岛海存微电子有限公司 | STT-MRAM-based image edge detection method and device |
KR102371145B1 (en) * | 2021-11-10 | 2022-03-07 | 주식회사 스누아이랩 | Apparatus for Image Synthesis and Driving Method Thereof |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012045065A (en) | 2010-08-25 | 2012-03-08 | Hitachi Aloka Medical Ltd | Ultrasonic image processing apparatus |
JP2016191975A (en) | 2015-03-30 | 2016-11-10 | 株式会社メガチップス | Machine learning apparatus |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3642591B2 (en) * | 1994-11-29 | 2005-04-27 | 株式会社日立メディコ | Image processing device |
KR100497398B1 (en) * | 2003-07-16 | 2005-06-23 | 삼성전자주식회사 | Method and apparatus of video noise reduction |
JP5627253B2 (en) * | 2009-05-29 | 2014-11-19 | 富士通テン株式会社 | Image processing apparatus, electronic apparatus, and image processing method |
KR20130008858A (en) * | 2011-07-13 | 2013-01-23 | 삼성전자주식회사 | Method for image processing and image processing apparatus thereof |
KR102054680B1 (en) * | 2013-01-23 | 2020-01-22 | 삼성전자주식회사 | Image processing apparatus, ultrasonic imaging apparatus and method for image processing |
JP6230239B2 (en) * | 2013-02-14 | 2017-11-15 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium |
KR102185726B1 (en) * | 2014-01-28 | 2020-12-02 | 삼성메디슨 주식회사 | Method and ultrasound apparatus for displaying a ultrasound image corresponding to a region of interest |
WO2015172735A1 (en) * | 2014-05-16 | 2015-11-19 | Mediatek Inc. | Detection devices and methods for detecting regions of interest |
US9582753B2 (en) * | 2014-07-30 | 2017-02-28 | Mitsubishi Electric Research Laboratories, Inc. | Neural networks for transforming signals |
JP6412386B2 (en) * | 2014-09-26 | 2018-10-24 | キヤノン株式会社 | Image processing apparatus, control method therefor, program, and recording medium |
KR102328269B1 (en) * | 2014-10-23 | 2021-11-19 | 삼성전자주식회사 | Ultrasound imaging apparatus and control method for the same |
CN106203460A (en) * | 2015-05-05 | 2016-12-07 | 杜比实验室特许公司 | Training signal processes model for the part replacement in signal processing system |
KR20160133230A (en) * | 2015-05-12 | 2016-11-22 | 엘지전자 주식회사 | Mobile terminal |
WO2017077121A1 (en) * | 2015-11-06 | 2017-05-11 | Thomson Licensing | Method for transfer of a style of a reference visual object to another visual object, and corresponding electronic device, computer readable program products and computer readable storage medium |
US10460231B2 (en) * | 2015-12-29 | 2019-10-29 | Samsung Electronics Co., Ltd. | Method and apparatus of neural network based image signal processor |
KR101937018B1 (en) * | 2016-03-24 | 2019-01-09 | 울산대학교 산학협력단 | Method and device for automatic inner and outer vessel wall segmentation in intravascular ultrasound images using deep learning |
-
2018
- 2018-05-02 KR KR1020180050390A patent/KR102053527B1/en active IP Right Grant
- 2018-10-10 KR KR1020180120762A patent/KR102229218B1/en active IP Right Grant
- 2018-10-15 CN CN201880067109.3A patent/CN111226258B/en active Active
-
2021
- 2021-03-11 KR KR1020210032325A patent/KR20210032945A/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012045065A (en) | 2010-08-25 | 2012-03-08 | Hitachi Aloka Medical Ltd | Ultrasonic image processing apparatus |
JP2016191975A (en) | 2015-03-30 | 2016-11-10 | 株式会社メガチップス | Machine learning apparatus |
Also Published As
Publication number | Publication date |
---|---|
CN111226258B (en) | 2023-09-22 |
KR20190042455A (en) | 2019-04-24 |
KR20190042429A (en) | 2019-04-24 |
KR20210032945A (en) | 2021-03-25 |
KR102229218B1 (en) | 2021-03-18 |
CN111226258A (en) | 2020-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102053527B1 (en) | Method for image processing | |
US11900647B2 (en) | Image classification method, apparatus, and device, storage medium, and medical electronic device | |
WO2020238734A1 (en) | Image segmentation model training method and apparatus, computer device, and storage medium | |
US20190057521A1 (en) | Topogram Prediction from Surface Data in Medical Imaging | |
US11694083B2 (en) | Signal translation system and signal translation method | |
KR20190101905A (en) | Positron emission tomography system and imgae reconstruction method using the same | |
US20210012504A1 (en) | Encoder Regularization of a Segmentation Model | |
CN110570426A (en) | Joint registration and segmentation of images using deep learning | |
US20220058798A1 (en) | System and method for providing stroke lesion segmentation using conditional generative adversarial networks | |
KR101995383B1 (en) | Method for determining brain disorder based on feature ranking of medical image and apparatus using the same | |
KR102063294B1 (en) | Method and apparatus for converting ultrasound image into real image | |
KR102160390B1 (en) | Method and system for artificial intelligence based user medical information analysis | |
WO2021120961A1 (en) | Brain addiction structure map evaluation method and apparatus | |
US10726950B2 (en) | Methods and systems for autonomous control of imaging devices | |
Ding | Visual quality assessment for natural and medical image | |
KR102695351B1 (en) | Artifacts reduction method in sparse-view computed tomography | |
US20220292673A1 (en) | On-Site training of a machine-learning algorithm for generating synthetic imaging data | |
JP7402248B2 (en) | Method, device, and program for converting quality pattern of target data based on learning data used for learning deep neural network model | |
KR20220012406A (en) | Model training method, image processing and registration method, apparatus, apparatus, medium | |
KR20200131722A (en) | Method for improving reproducibility of trained deep neural network model and apparatus using the same | |
KR102584250B1 (en) | Method, computer program and apparatus for processing data | |
EP3138495A1 (en) | Imaging subject mould manufacturing method, and individualized imaging method | |
KR20200131723A (en) | Method for improving reproducibility of trained deep neural network model and apparatus using the same | |
KR20240104350A (en) | Method for generating dataset for real-world super resolution at arbitrary scale factor | |
Jensen | Challenges in 3D Scanning: Focusing on Ears and Multiple View Stereopsis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |