KR20190042429A - 이미지 처리 방법 - Google Patents
이미지 처리 방법 Download PDFInfo
- Publication number
- KR20190042429A KR20190042429A KR1020180050390A KR20180050390A KR20190042429A KR 20190042429 A KR20190042429 A KR 20190042429A KR 1020180050390 A KR1020180050390 A KR 1020180050390A KR 20180050390 A KR20180050390 A KR 20180050390A KR 20190042429 A KR20190042429 A KR 20190042429A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- feature
- error
- network
- domain
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 47
- 238000000034 method Methods 0.000 title claims description 39
- 238000003672 processing method Methods 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 description 46
- 210000003754 fetus Anatomy 0.000 description 41
- 230000008569 process Effects 0.000 description 16
- 238000002604 ultrasonography Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 210000002826 placenta Anatomy 0.000 description 14
- 239000002131 composite material Substances 0.000 description 12
- 210000004381 amniotic fluid Anatomy 0.000 description 11
- 210000002683 foot Anatomy 0.000 description 11
- 238000012285 ultrasound imaging Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 210000005069 ears Anatomy 0.000 description 7
- 230000001605 fetal effect Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 5
- 210000000746 body region Anatomy 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008175 fetal development Effects 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/0093—Geometric image transformation in the plane of the image for image warping, i.e. transforming by individually repositioning each pixel
-
- G06T3/18—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
- G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Abstract
본 출원의 실시 예들에 따른 이미지 처리 방법은 하나 이상의 네트워크를 이용한 이미지 처리 방법에 있어서, 제1 도메인의 소스 이미지로부터 하나 이상의 특징맵을 획득하는 단계; 상기 하나 이상의 특징맵을 기초로 제2 도메인의 가상 이미지 및 에러 이미지를 생성하는 단계; 상기 에러 이미지에 제2 가중치가 적용되고, 상기 가상 이미지에 제2 가중치가 적용된 타겟 이미지를 획득하는 단계; 상기 타겟 이미지를 상기 제1 도메인의 복원 이미지로 변환하는 단계; 및 상기 복원 이미지와 상기 소스 이미지 간의 차이를 이용하여 상기 네트워크들 중 적어도 하나의 파라미터가 조정되는 단계; 를 포함할 수 있고, 상기 가상 이미지의 품질이 미리 정해진 수준에 도달할 때까지 상기 단계들이 반복적으로 수행될 수 있다.
따라서, 본 출원의 실시 예들에 의하면 제1 도메인의 소스 이미지 내의 에러 특징들이 제거된 제2 도메인의 가상 이미지가 출력될 수 있다.
따라서, 본 출원의 실시 예들에 의하면 제1 도메인의 소스 이미지 내의 에러 특징들이 제거된 제2 도메인의 가상 이미지가 출력될 수 있다.
Description
본 출원은 이미지 처리 방법에 관한 것으로, 아래의 실시 예들은 제1 도메인의 입력 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법들에 관한 것이다.
초음파를 이용한 영상 진단은 다양한 의료 분야에서 광범위하게 사용되고 있으며, 대표적으로 태아의 초음파 영상은 태아의 발육 상태, 기형 여부 등을 확인하기 위한 중요한 수단이다.
일반 초음파 검사의 경우 태아의 선천성 기형 등을 조기에 진단할 수 있어 의학적으로 중요한 의미가 있다. 또한, 입체적인 영상을 볼 수 있는 3D 입체 초음파 검사는 태아의 얼굴이나 신체 구조 등 외형적인 모습을 상세하게 확인할 수 있기 때문에 일반 초음파에서 이상 소견을 보이는 경우에 유용하게 활용될 수 있다. 뿐만 아니라 입체 초음파 영상을 통해 태어날 아기의 얼굴을 입체적이고 생동감 있게 볼 수 있어 많은 예비 부모들 사이에서 소장용 목적의 3D 입체 초음파 검사가 선호되고 있다.
최근 이미지 처리 기술의 발달로 입체 초음파 영상의 해상도가 향상되어 실물에 가까운 얼굴을 확인할 수 있게 되었으나, 초음파 영상의 경우 태아의 형태적인 정보만을 가지고 있기 때문에 실제 아기 사진과 같은 자연스러운 얼굴 모습을 제공하는 데는 한계가 있다.
아래의 실시 예들은, 서로 다른 도메인(domain)에 있는 이미지들 사이의 이미지 변환을 통해 생성되는 가상 이미지를 제공하는 것을 목적으로 한다.
본 출원의 일 실시 예에 따른 이미지 처리 방법은, 하나 이상의 네트워크를 이용한 이미지 처리 방법에 있어서, 제1 도메인의 소스 이미지로부터 하나 이상의 특징맵을 획득하는 단계; 상기 하나 이상의 특징맵을 기초로 제2 도메인의 가상 이미지 및 에러 이미지를 생성하는 단계; 상기 에러 이미지에 제1 가중치가 적용되고, 상기 가상 이미지에 제2 가중치가 적용된 타겟 이미지를 획득하는 단계; 상기 타겟 이미지를 상기 제1 도메인의 복원 이미지로 변환하는 단계; 및 상기 복원 이미지와 상기 소스 이미지 간의 차이를 이용하여 상기 네트워크들 중 적어도 하나의 파라미터가 조정되는 단계; 를 포함할 수 있고, 이때 상기 가상 이미지의 품질이 미리 정해진 수준에 도달할 때까지 상기 단계들이 반복적으로 수행될 수 있다.
상기 이미지 처리 방법은, 상기 하나 이상의 특징맵 중 유효특징들에 관련된 제1 특징맵과 에러 특징들에 관련된 제2 특징맵을 분류하는 단계; 를 더 포함할 수 있고, 상기 제1 특징맵을 이용하여 상기 가상 이미지를 생성하고 상기 제2 특징맵을 이용하여 에러 이미지를 생성할 수 있다.
또한, 상기 가상 이미지의 품질이 미리 정해진 수준에 도달하였는지 여부는, 미리 설정된 종료 조건이 만족되었는지 여부에 따라 결정될 수 있다.
이때, 상기 제1 가중치는, 상기 복원 이미지와 상기 소스 이미지의 차이에 대한 가상 이미지의 기울기를 기초로 산출될 수 있다. 상기 제2 가중치는 상기 제1 가중치를 기초로 산출될 수 있다.
또한, 상기 이미지 처리 방법은, 상기 제2 도메인의 가상 이미지와 원본 이미지 간의 차이를 이용하여 상기 가상 이미지 생성을 위한 적어도 하나의 네트워크의 파라미터가 조정되는 단계를 더 포함할 수 있다.
본 출원의 일 실시 예에 따른 이미지 처리 장치는, 제1 도메인의 소스 이미지를 획득하는 이미지 획득 모듈; 상기 소스 이미지 내의 특징들을 분석하고, 상기 소스 이미지 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별하는 특징 분석 모듈; 및 상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 제2 도메인의 가상 이미지를 생성하는 가상 이미지 생성 모듈; 을 포함할 수 있고, 이때 상기 제1 도메인 및 상기 제2 도메인 간의 이미지 변환을 통하여 상기 가상 이미지의 품질이 향상될 수 있다.
상기 이미지 처리 장치는, 상기 에러 특징들을 이용하여 에러 이미지를 생성하는 에러 이미지 생성 모듈; 및 상기 에러 이미지에 제1 가중치를 적용하고, 상기 가상 이미지에 제2 가중치를 적용하여 타겟 이미지를 생성하는 타겟 이미지 생성 모듈;을 더 포함할 수 있다.
또한, 상기 이미지 처리 장치는, 상기 타겟 이미지를 복원 이미지로 변환하기 위한 이미지 복원 모듈; 및 상기 복원 이미지와 상기 소스 이미지 사이의 차이 값을 기초로 상기 모듈들 중 적어도 하나에 적용되는 파라미터를 조정하기 위한 가중치 조정 모듈;을 더 포함할 수 있다.
이때, 상기 가중치 조정모듈에 의해 조정된 파라미터는 상기 특징 분석 모듈, 상기 가상 이미지 생성 모듈, 상기 에러 이미지 생성 모듈, 상기 이미지 복원 모듈 중 적어도 하나에 피드백될 수 있다.
이때, 상기 제2 가중치는 상기 제1 가중치를 기초로 산출될 수 있다.
또한, 상기 이미지 처리 장치는 상기 가상 이미지의 품질이 향상되도록 상기 타겟 이미지 생성 및 상기 복원 이미지 변환을 반복적으로 수행할 수 있다.
이때, 상기 유효 특징은 상기 소스 이미지 내의 관심 영역(ROI)에 관련된 것이고, 상기 에러 특징은 상기 소스 이미지 내의 에러 영역에 관련된 것일 수 있고, 상기 이미지 처리 장치는 상기 유효 특징 및 상기 에러특징들을 분류하기 위한 특징 분류 모듈;을 더 포함할 수 있다.
이때, 상기 가중치 조정모듈에 의해 조정된 상기 파라미터는 상기 특징 분류 모듈에 피드백될 수 있다.
본 출원의 다른 실시 예에 따른 이미지 처리 방법은 제1 도메인의 소스 이미지를 획득하는 단계; 상기 소스 이미지 내의 특징들을 분석하는 단계; 상기 소스 이미지 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별하는 단계; 및 상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 제2 도메인의 가상 이미지를 출력하는 단계; 를 포함할 수 있고, 이때 상기 제1 도메인 및 상기 제2 도메인 사이의 이미지 변환을 통하여 상기 가상 이미지의 품질이 향상되도록, 상기 단계들이 반복적으로 수행될 수 있다.
이때, 상기 유효 특징은 상기 소스 이미지 내의 관심영역에 관련된 특징이고, 상기 에러 특징은 상기 소스 이미지 내의 에러 영역에 관련된 특징일 수 있다.
이때, 상기 단계들은, 미리 설정된 종료 조건이 만족 될 때까지 반복적으로 수행될 수 있다.
또한, 본 출원의 일 실시 예에 따른 컴퓨터 판독 가능 매체는, 본 출원의 실시 예들에 따른 이미지 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 것일 수 있다.
본 출원의 실시 예들에 의하면 제1 도메인의 입력 이미지 내의 에러 특징들이 제거된 제2 도메인의 가상 이미지가 출력될 수 있다.
도 1은 본 출원의 일 실시 예에 따른 입력 이미지를 가상 이미지로 변환하여 제공하는 이미지 처리 시스템의 전체 환경을 개략적으로 설명하기 위한 도면이다.
도 2는 본 출원의 일 실시 예에 따른 이미지 처리 방법을 개략적으로 나타내기 위한 블록도이다.
도 3은 본 출원의 일 실시 예에 따른 뉴럴 네트워크(NN)의 구성을 예시적으로 나타내기 위한 도면이다.
도 4는 본 출원의 다른 실시 예에 따른 뉴럴 네트워크(NN)의 구성을 예시적으로 나타내기 위한 도면이다.
도 5는 본 출원의 일 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다.
도 6은 본 출원의 다른 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다.
도 7은 본 출원의 다른 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다.
도 8은 본 출원의 일 실시 예에 따른 이미지 변환 장치의 구성을 개략적으로 나타내기 위한 블록도이다.
도 2는 본 출원의 일 실시 예에 따른 이미지 처리 방법을 개략적으로 나타내기 위한 블록도이다.
도 3은 본 출원의 일 실시 예에 따른 뉴럴 네트워크(NN)의 구성을 예시적으로 나타내기 위한 도면이다.
도 4는 본 출원의 다른 실시 예에 따른 뉴럴 네트워크(NN)의 구성을 예시적으로 나타내기 위한 도면이다.
도 5는 본 출원의 일 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다.
도 6은 본 출원의 다른 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다.
도 7은 본 출원의 다른 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다.
도 8은 본 출원의 일 실시 예에 따른 이미지 변환 장치의 구성을 개략적으로 나타내기 위한 블록도이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장되어진 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위 뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하에서는, 서로 다른 도메인(domain)에 있는 이미지들 사이의 이미지 변환에 관련된 실시 예들에 대하여 설명한다.
본 출원의 일 실시 예에 따른 이미지 처리는 제1 도메인의 입력 이미지와 제2 도메인의 가상 이미지 사이의 이미지 변환에 관한 것일 수 있다.
이때, 입력 이미지는 다양한 이미징 장치(imaging apparatus)를 통해 획득된 이미지일 수 있다. 예를 들어, 입력 이미지는 엑스레이(X-ray), CT(computed Tomography), MRI(Magnetic Resonance Imaging), 초음파 영상 촬영 장치 등을 통해 획득된 의료 이미지(medical image)일 수 있다. 또는, 예를 들어, 상기 입력 이미지는 기타 다양한 종류의 카메라 장치 등을 통해 촬상된 사진 이미지일 수 있다.
또한, 가상 이미지는 상기 제1 도메인의 입력 이미지 중 사용자의 관심 영역(ROI)만을 포함하는 제2 도메인의 이미지일 수 있다. 다시 말해, 상기 제1 도메인의 입력 이미지에 포함된 인공물(artifact)이 제거된 제2 도메인의 이미지일 수 있다. 예를 들어, 상기 인공물은 상기 입력 이미지에 포함된 다양한 형태의 이미징 에러(imaging error)일 수 있고, 상기 인공물은 사용자가 원하지 않는 특징(unwanted features)들일 수 있다. 이 때, 사용자는 상기 입력 이미지에 포함된 원하지 않는 특징들을 인공물로 정의할 수 있다.
도 1은 본 출원의 일 실시 예에 따른 이미지 처리 시스템의 전체 환경을 개략적으로 설명하기 위한 도면이다. 본 출원의 일 실시 예에 따른 이미지 처리 시스템(1)은 서버(10), 데이터 베이스(20), 사용자 장치(30) 등을 포함할 수 있으며, 상기 서버(10), 상기 데이터 베이스(20), 상기 사용자 장치(30) 등이 통신망(2)을 통해 연결될 수 있다. 또한, 상기 이미지 처리 시스템(1)은 하나 이상의 서버(10), 데이터 베이스(20), 사용자 장치(30)를 포함할 수 있다.
서버(10)는 머신 러닝을 수행하는 이미지 처리 장치일 수 있다. 상기 서버는, 메모리, 이미지 처리를 수행하는 하나의 프로세서 또는 복수 개의 프로세서를 포함할 수 있다.
상기 메모리(도시되지 않음)에는 이미지 처리를 위한 프로그램이 저장되어 있을 수 있고, 상기 프로그램은 하나 이상의 모듈을 포함할 수 있다.
상기 프로세서(도시되지 않음)에는 머신 러닝을 수행하기 위한 하나 이상의 머신 러닝(Machine Learning) 알고리즘이 제공될 수 있다. 구체적으로, 본 출원의 일 실시 예에 따른 이미지 처리에는 다양한 머신 러닝 모델(Machine learning model)이 사용될 수 있으며, 예를 들어, 딥러닝 모델(Deep learning model)이 사용될 수 있다.
딥러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions)를 시도하는 알고리즘의 집합이다. 딥러닝의 핵심 모델로 딥뉴럴 네트워크(Deep Neural Network, DNN)가 활용될 수 있다. 딥뉴럴 네트워크(DNN)는 입력층(input layer)과 출력층(output layer) 사이의 여러 개의 은닉층(hidden layer)들을 포함하며, 알고리즘에 따라 비지도 학습(Unsupervised Learning)을 기반으로 하는 심층 신뢰 네트워크(Deep Belief Network, DBN), 심층 오토 인코더(Deep Auto encoder), 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN), 순환 뉴럴 네트워크(Recurrent Neural Network, RNN), 생성적 적대 네트워크(Generative Adversarial Network, GAN) 등이 활용될 수 있다. 여기서 비지도 학습은 라벨(label), 클래스(class)와 같은 출력 패턴이 주어지지 않고 입력 패턴에 근거하여 학습을 진행하는 머신 러닝 모델로서 입력 패턴의 통계적 특질을 파악하여 비슷한 입력 패턴이 비슷한 출력 패턴을 생성할 수 있도록 연결 가중치(weight)를 조정한다. 예를 들어, 이미지와 같은 2차원 데이터의 학습에 적용될 수 있는 컨볼류션 뉴럴 네트워크(CNN)의 경우, 하나 또는 여러 개의 컨볼루션 레이어(convolutional layer)과 풀링 레이어(pooling layer), 완전하게 연결된 레이어(fully connected layer)들로 구성될 수 있고, 역전달 알고리즘(Backpropagation algorithm)을 통해 훈련될 수 있다.
따라서, 상기 프로세서를 통해 사용자 장치(30)로부터 수신되는 제1 도메인의 입력이미지가 상술한 하나 이상의 머신 러닝 알고리즘을 이용하여 제2 도메인의 가상 이미지로 변환될 수 있다. 이하에서는 상기 서버(10)에서 상술한 뉴럴 네트워크, 이들의 확장 또는 기타 딥러닝 접근법들을 이용하여 이미지 처리를 수행하는 경우를 예로 들어 설명하기로 한다. 이때 변환된 이미지는 상기 입력 이미지에 포함된 에러 특징이 제거된 이미지일 수 있으며, 상기 서버(10)에서 수행되는 구체적인 이미지 처리 동작에 관해서는 이하의 관련된 부분에서 상세하게 설명하기로 한다.
데이터 베이스(20)는, 하나 이상의 메모리를 포함할 수 있고, 사용자 장치(30)로부터 수신되는 하나 이상의 이미지를 저장할 수 있고, 이미지 처리 과정에서 생성되는 각종 데이터들을 저장할 수 있다. 또한, 상기 데이터 베이스(20)는 외부 서버 또는 외부 데이터 베이스 등으로부터 획득한 하나 이상의 이미지, 상기 이미지의 특징정보 등을 저장할 수 있다. 상기 데이터 베이스(20)는 전술한 서버(10) 내에 위치할 수도 있다.
사용자 장치(30)는 특정 오브젝트(object)를 촬영하기 위한 이미징 장치(imaging device)일 수 있다. 예를 들어, 상기 사용자 장치(30)는 카메라, 엑스레이, CT, MRI 초음파 영상 촬영 장치 등 일 수 있다. 또는, 상기 사용자 장치(30)는 상기 이미징 장치로부터 촬상된 이미지를 제공받는 전자기기일 수 있다. 예를 들어, 상기 전자기기는 데스크탑, 노트북 등과 같은 컴퓨터일 수 있다. 또는, 예를 들어, 상기 전자기기는 태블릿, 스마트폰 등과 같은 휴대용 단말기일 수 있다. 상기 사용자 장치(30)는 상기 사용자 장치(30)에 설치된 프로그램, 상기 사용자 장치(30) 상에 제공되는 웹사이트, 애플리케이션 등을 통하여 서버(10)에 접근할 수 있다. 따라서, 상기 사용자 장치(30)는 상기 사용자 장치(30)에서 촬영되거나 상기 사용자 장치(30)에 저장된 적어도 하나의 이미지를 상기 서버(10)에 입력 이미지로서 제공할 수 있다.
통신망(2)은 서버(10)와 사용자 장치(30) 사이를 연결하기 위한 다양한 방식의 유무선 통신망일 수 있다. 또는, 상기 통신망(2)는 로컬 영역 통신망(local area network) 또는 광역 통신망(wide area network)일 수 있다. 예를 들어, 유에스비(USB)를 통한 유선 통신, 와이파이(Wi-Fi), 와이브로(Wibro), 블루투스(Bluetooth), 알에프(RF), 적외선 통신(IrDA) 방식 등의 무선 통신일 수 있으며, 상기 통신망(2)은 상술한 예로 한정되지 않는다.
이하에서는 도 2 내지 도 7 을 참조하여 본 출원의 일 실시 예에 따른 이미지 처리 방법의 다양한 실시 예들에 대하여 설명한다. 도 2 내지 도 7은 본 출원의 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 도면들이다.
이하에서는, 제1 도메인(domain)의 소스 이미지(source image)는 태아의 초음파 이미지(Ultrasound Image), 제2 도메인의 원본 이미지(original image)는 신생아의 실제 사진 이미지(Real Photo Image)인 경우를 예로 들어 설명하기로 한다. 이 때, 제2 도메인의 가상 이미지는 상기 태아의 초음파 이미지에 신생아의 실제 사진 이미지의 특징들을 합성하여 상기 태아의 초음파 이미지 내의 인공물(artifact)이 제거된 태아의 사진 이미지일 수 있다. , 상기 인공물(artifact)은, 예를 들어, 상기 태아의 초음파 이미지에 포함된 다양한 형태의 이미징 에러(imaging error), 상기 태아의 얼굴 영역(face region)이 아닌 임의의 특징일 수 있다. 이하에서는, 태아의 얼굴 영역(face region)을 사용자의 관심 영역(ROI)으로 정의하고, 상기 태아의 초음파 이미지 내의 적어도 하나의 인공물을 포함하는 영역을 에러 영역(error region)으로 정의한다.
또한, 상기 태아의 초음파 이미지는 초음파 촬영 장치를 통해 촬상된 태아의 2차원 또는 3차원 이미지일 수 있고, 신생아의 실제 사진 이미지는 신생아를 실제로 촬상한 2차원 이미지일 수 있다. 한편, 본 출원의 일 실시 예에 따른 이미지 처리에 있어서, 상기 초음파 이미지의 태아와 상기 실제 사진 이미지의 신생아는 서로 일치하지 않을 수 있다.
또한, 이하에서는, 설명의 편의를 위하여 도 1을 참조하여 설명한 이미지 처리 시스템(1)에 있어서, 전술한 서버(10)에서 수행되는 이미지 처리의 예들을 상세하게 설명한다.
도 2는 본 출원의 일 실시 예에 따른 이미지 처리 방법을 개략적으로 나타내기 위한 블록도이다. 도 2를 참조하면, 본 출원의 일 실시 예에 따른 이미지 처리는 뉴럴 네트워크(Neural Network, NN)를 이용하여 수행될 수 있고, 상기 뉴럴 네트워크(NN)에는 전술한 사용자 장치(30)로부터 수신되는 제1 도메인의 소스 이미지(X)가 입력데이터로서 적용될 수 있다. 즉, 도 2에 도시된 바와 같이, 상기 사용자 장치(30)로부터 수신된 상기 소스 이미지(X)가 상기 뉴럴 네트워크(NN)에 입력되면, 상기 뉴럴 네트워크(NN)를 이용하여 변환된 제2 도메인의 가상이미지(Yv)가 출력될 수 있다. 이 때, 상기 가상 이미지(Yv)는 상기 소스 이미지(X) 내의 에러 특징들이 제거된 제2 도메인의 이미지일 수 있다. 이하에서는 상기 뉴럴 네트워크(NN)를 통한 이미지 변환 방법에 대하여 상세하게 설명한다.
도 3 및 도 4는 본 출원의 일 실시 예에 따른 뉴럴 네트워크(NN)의 구성을 예시적으로 나타내기 위한 도면이다.
본 출원의 일 실시 예에 따른 뉴럴 네트워크(NN)는 하나 이상의 네트워크를 포함할 수 있고, 상기 네트워크는 복수의 레이어를 포함할 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 하나의 네트워크는 복수의 레이어를 포함하는 컨볼루션 네트워크(convolution network) 및/또는 디컨볼루션 네트워크(deconvolution network)일 수 있다. 이하에서는 설명의 편의를 위하여 하나 이상의 네트워크를 이용하여 이미지 처리가 수행되는 경우를 상정하여 설명한다. 도 3을 참조하면, 상기 뉴럴 네트워크(NN)는 제1 네트워크(101), 제2 네트워크(102), 제3 네트워크(103), 제4 네트워크(104) 및 제5 네트워크(105)를 포함할 수 있다. 상기 제1 내지 제5 네트워크에서는 이미지 처리를 위한 각 단계가 순차적으로 또는 병렬적으로 수행될 수 있다.
먼저, 제1 네트워크(101)는 제1 도메인의 소스 이미지(X)를 특징맵(Feature Map, FM)으로 변환하기 위한 네트워크일 수 있다.
예를 들어, 상기 제1 네트워크(101)는 컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 이 때, 상기 제1 네트워크(101)에서는 상기 복수의 레이어를 이용하여 상기 소스 이미지(X) 내에 포함된 복수의 특징(feature)들이 추출될 수 있다.
상기 복수의 특징들은, 예를 들어, 엣지(edge), 선명도(sharpness), 깊이(depth), 명도(brightness), 컨트라스트(contrast), 블러(blur) 등을 포함할 수 있으며, 상기 복수의 특징들은 상술한 예로 한정되지 않는다.
상기 특징맵은 상기 복수의 특징들의 조합일 수 있으며, 하나 이상의 특징맵을 통하여 상기 소스 이미지 내의 각 영역( region)들이 식별될 수 있다. 상기 각 영역들은 사용자의 관심 영역(ROI) 및 상기 소스 이미지 내의 적어도 하나의 인공물을 포함하는 에러 영역(error region)을 포함할 수 있다. 예를 들어, 상기 관심 영역은 태아의 얼굴 영역(face region)일 수 있고, 상기 에러 영역은 태아의 얼굴 영역이 아닌 다른 신체 영역일 수 있다. 예를 들어, 상기 얼굴 영역은 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 또한, 예를 들어, 상기 에러 영역은 태아의 손, 발, 태반, 양수 등을 포함할 수 있다.
따라서, 상기 제1 네트워크(101)를 이용하여 상기 복수의 레이어 중 적어도 하나의 레이어로부터 특징맵(feature map)이 획득될 수 있다. 또는, 상기 상기 복수의 레이어 중 마지막 레이어로부터 특징맵이 획득될 수도 있다. 상기 제1 네트워크(101)에서 생성된 하나 이상의 특징맵은 제2 네트워크(102) 및 제3 네트워크(103)의 입력 데이터로서 사용될 수 있다.
한편, 본 출원의 일 실시 예에 따른 뉴럴 네트워크의 이미지 처리 수행 결과에 따라 상기 복수의 레이어에 대한 파라미터가 조정될 수 있고, 상기 복수의 레이어 중 적어도 하나의 레이어가 연산에서 제거 또는 추가될 수 있다. 상기 파라미터 조정에 관한 상세한 설명은 관련된 부분에서 기술하기로 한다.
제2 네트워크(102)는 전술한 제1 네트워크(101)로부터 입력되는 하나 이상의 특징맵을 입력 데이터로 사용하여 제2 도메인의 가상 이미지(Yv)를 생성하기 위한 네트워크일 수 있다. 상기 제2 네트워크(102)는 제1 도메인의 소스 이미지(X)를 제2 도메인의 가상 이미지(Yv)로 변환하도록 트레이닝(training)될 수 있다.
예를 들어, 상기 제2 네트워크(102)는 디컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 상기 제2 네트워크(102)에서는 상기 복수의 레이어를 이용하여 상기 특징맵의 대응되는 특징들에 제2 도메인의 원본 이미지(original image)의 특징들이 맵핑된 가상 이미지(Yv)가 생성될 수 있다.
상기 제2 네트워크(102)에 입력되는 하나 이상의 특징맵은, 소스 이미지(X) 내의 관심 영역(예컨대, 눈, 코, 입, 귀 등)의 특징들을 포함할 수 있다. 상기 가상 이미지(Yv)는 상기 하나 이상의 특징맵을 이용하여 생성되며 상기 소스 이미지(X) 내의 관심 영역을 포함하는 이미지일 수 있다.
또한, 원본 이미지의 특징들은, 예를 들어, 이미지의 밝기, 색상, 반사색, 텍스쳐, 깊이, 블렌딩 등을 포함할 수 있다. 상기 원본 이미지 및/또는 상기 원본 이미지의 특징들은 전술한 데이터 베이스(20) 또는 외부 서버로부터 획득될 수 있다. 또는, 상기 제2 네트워크(102)는 상기 원본 이미지의 특징들을 추출하기 위한 서브 네트워크(도시되지 않음)를 더 포함할 수 있다. 상기 서브 네트워크는, 예를 들어, 컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 상기 서브 네트워크를 통해 상기 원본 이미지의 특징들을 추출하는 동작은 전술한 제1 네트워크(101)에서 수행되는 동작에 대응될 수 있다.
따라서, 서버(10)는 상기 제2 네트워크를 통하여 상기 적어도 하나의 특징맵에 상기 원본 이미지의 특징들이 합성된 제2 도메인의 가상 이미지를 획득할 수 있다. 상기 서버(10)는 복수의 특징맵에 대한 복수의 합성 이미지가 추출되는 경우 상기 합성 이미지들을 통합하여 하나의 가상 이미지를 획득할 수도 있다.
한편, 본 출원의 일 실시 예에 따른 뉴럴 네트워크의 이미지 처리 수행결과에 따라 상기 복수의 레이어에 대한 파라미터가 조정될 수 있고, 상기 복수의 레이어 중 적어도 하나의 레이어가 연산에서 제거 또는 추가될 수 있다. 상기 파라미터 조정에 관한 상세한 설명은 관련된 부분에서 기술하기로 한다.
제3 네트워크(103)는 전술한 제1 네트워크(101)로부터 입력되는 하나 이상의 특징맵을 입력 데이터로 사용하여 에러 이미지(Ye)를 생성하기 위한 네트워크일 수 있다. 상기 제3 네트워크(103)는 제1 도메인의 소스 이미지(X)를 제2 도메인의 에러 이미지(Ye)로 변환하도록 트레이닝(training)될 수 있다.
예를 들어, 상기 제3 네트워크(103)는 디컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 상기 제3 네트워크(103)에서는 상기 복수의 레이어를 이용하여 제2 도메인의 에러 이미지(Ye)가 생성될 수 있다.
상기 제3 네트워크(103)에 입력되는 하나 이상의 특징맵은, 소스 이미지(X) 내의 관심 영역이 아닌 에러 영역(예컨대, 손, 발, 태반, 양수 등)의 특징들을 포함할 수 있다. 상기 에러 이미지(Ye)는 상기 하나 이상의 특징맵을 이용하여 생성되며 상기 소스 이미지(X) 내의 에러 영역을 포함하는 제2 도메인의 이미지일 수 있다.
따라서, 서버(10)는 상기 제3 네트워크(103)를 통하여 제2 도메인의 에러 이미지(Ye)를 획득할 수 있다. 상기 서버(10)는 복수의 특징맵에 대한 복수의 합성 이미지가 추출되는 경우 상기 합성 이미지들을 통합하여 하나의 에러 이미지를 획득할 수 있다.
또한, 서버(10)는 상기 제2 네트워크(102)로부터 획득된 가상 이미지(Yv) 및 상기 제3 네트워크(103)로부터 획득된 에러 이미지(Ye)를 통합한 타겟 이미지(Y)를 획득할 수 있고, 상기 타겟 이미지(Y)는 제4 네트워크(104)의 입력 데이터로서 사용될 수 있다. 상기 타겟 이미지(Y)가 획득되는 과정은 관련된 부분에서 상세하게 설명하기로 한다.
제 4 네트워크(104)는 전술한 제2 네트워크(102) 및 제3 네트워크(103)로부터 생성된 가상 이미지(Yv)와 에러 이미지(Ye)가 통합된 제2 도메인의 타겟 이미지(Y)를 제1 도메인의 복원 이미지(X')로 역변환하기 위한 네트워크일 수 있다. 상기 제4 네트워크(104)는 상기 소스 이미지(X)가 정확하게 복원되도록 함으로써 상기 뉴럴 네트워크(NN)의 트레이닝 안정성을 향상시킬 수 있다.
즉, 본 출원의 일 실시 예에 따른 상기 뉴럴 네트워크(NN)는 상기 제2 네트워크(102) 및 상기 제3 네트워크(103)를 통하여 제1 도메인의 소스 이미지(X)를 제2 도메인의 타겟 이미지(Y)로 변환하는 과정과 상기 변환된 제2 도메인의 타겟 이미지(Y)를 제1 도메인의 복원 이미지(X')로 변환하는 과정을 동시에 학습함으로써 손실함수(loss function)가 최소화하도록 트레이닝될 수 있다.
상기 제4 네트워크(104)는 하나 이상의 네트워크를 포함할 수 있고, 복수의 레이어를 포함할 수 있다. 예를 들어, 상기 제4 네트워크(104)는 먼저 상기 타겟 이미지(Y)를 특징맵으로 변환하기 위한 제1 서브 네트워크(도시되지 않음) 및 상기 변환된 특징맵을 입력 데이터로 적용하여 복원 이미지를 생성하기 위한 제2 서브 네트워크(도시되지 않음)를 포함할 수 있다. 예를 들어, 상기 제1 서브 네트워크는 컨볼루션 네트워크일 수 있고, 상기 제2 서브 네트워크는 디컨볼루션 네트워크일 수 있다. 이하에서는 설명의 편의를 위하여 상기 제4 네트워크(104)는 적어도 제1 서브 네트워크 및 제2 서브 네트워크를 포함하는 경우를 상정하여 설명하기로 한다. 또한, 상기 제1 서브 네트워크에서는 전술한 제1 네트워크, 상기 제2 서브 네트워크에서는 전술한 제2 네트워크 및 제3 네트워크와 동일 또는 유사한 방식으로 이미지 처리가 수행될 수 있다.
제1 서브 네트워크는 복수의 레이어를 포함할 수 있고, 상기 복수의 레이어를 이용하여 상기 타겟 이미지(Y)가 하나 이상의 특징맵(feature)으로 변환될 수 있다. 예를 들어, 상기 상기 제1 서브 네트워크에서는 상기 복수의 레이어를 이용하여 상기 타겟 이미지(Y) 내에 포함된 복수의 특징 정보(feature)들이 추출될 수 있고, 상기 복수의 특징 정보들을 기초로 하나 이상의 특징맵(feature map)이 생성될 수 있다. 상기 제1 서브 네트워크에서 생성된 하나 이상의 특징맵은 제2 서브 네트워크의 입력 데이터로 적용될 수 있다.
제2 서브네트워크는 복수의 레이어를 포함할 수 있고, 상기 복수의 레이어를 이용하여 상기 타겟 이미지(Y)가 복원 이미지(X')로 변환될 수 있다. 즉, 상기 제2 서브 네트워크에서는 상기 제1 서브 네트워크로부터 입력된 하나 이상의 특징맵의 각 특징들에 소스 이미지(X)의 특징들이 맵핑되어 복원 이미지(X')가 생성될 수 있다. 상기 소스 이미지(X)의 특징 정보들은 전술한 제1 네트워크(101)를 통해 추출된 정보일 수 있고, 상기 서버(10)의 저장부(도시되지 않음)로부터 획득될 수 있다.
따라서, 서버(10)는 상기 제4 네트워크(104)를 통하여 상기 적어도 하나의 특징맵에 상기 소스 이미지(X)의 특징들이 합성된 제1 도메인의 복원 이미지(X')를 획득할 수 있다. 상기 서버(10)는 복수의 특징맵에 대한 복수의 합성 이미지가 추출되는 경우 상기 합성 이미지들을 통합하여 하나의 복원 이미지(X')를 획득할 수 있다.
한편, 전술한 제2네트워크(102)를 이용하여 생성된 제2 도메인의 가상 이미지(YV)는 제5 네트워크(105)의 입력 데이터로 사용될 수 있다.
제5 네트워크(105)는 전술한 제2 네트워크(102)로부터 생성된 가상 이미지(YV)를 제2 도메인의 원본 이미지(YR)로부터 구별하기 위한 네트워크일 수 있다.
예를 들어, 상기 제5 네트워크(105)는 상기 가상 이미지(YV)와 원본 이미지(YR) 사이를 식별하도록 트레이닝될 수 있다. 이때, 상기 제5 네트워크(105)는 컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 이때, 상기 제 5 네트워크(105)에서는 상기 복수의 레이어 중 마지막 레이어를 통해 상기 가상 이미지와 원본 이미지의 유사도에 관련된 정보가 출력될 수 있다. 상기 원본 이미지는 전술한 데이터 베이스(20)로부터 획득될 수 있으며, 예를 들어, 상기 원본 이미지는 신생아의 얼굴을 실제 촬영한 이미지일 수 있다.
상기 유사도에 관련된 정보는 상기 가상 이미지(YV)가 원본 이미지에 해당될 확률을 나타내는 정보일 수 있다. 예를 들어, 상기 가상 이미지(YV)가 실제 촬영한 이미지에 해당되는 경우 유사도 값은 '1' 또는 1에 가까운 값일 수 있다. 또한, 예를 들어, 상기 가상 이미지(YV)가 실제 촬영한 이미지가 아닌 경우 유사도 값은 '0' 또는 0에 가까운 값일 수 있다. 또한, 예를 들어, 상기 미리 정해진 값은 사용자에 의해 설정된 값일 수 있고, 적어도 0.5~0.99 사이의 값일 수 있다. 따라서, 상기 서버(10)는 상기 제5 네트워크(105)로부터 획득되는 상기 유사도 정보가 미리 정해진 값을 초과할 때까지 상기 제1 네트워크(101) 내지 상기 제3 네트워크(103) 중 적어도 하나로 상기 유사도에 관련된 정보를 피드백할 수 있다. 상기 서버(10)는 상기 유사도에 관련된 정보를 기초로 상기 제2 네트워크(102) 및 상기 제3 네트워크(103)의 동작이 반복 수행되도록 함으로써 상기 가상 이미지(YV)를 재획득할 수 있다. 예를 들어, 상기 서버(10)는 상기 제5 네트워크(105)로부터 획득되는 상기 유사도 정보가 미리 정해진 값을 초과하는 경우의 가상 이미지(YV)를 전술한 사용자 장치를 통해 출력할 수 있다.
또는, 예를 들어, 제5 네트워크(105)는 상기 가상 이미지와 원본 이미지의 차이에서 발생하는 손실함수(L)를 전술한 제1 네트워크(101) 및 제2 네트워크(102)에 피드백할 수 있다. 따라서, 상기 제1 네트워크 및 제2 네트워크에 포함된 복수의 레이어 중 적어도 하나의 레이어의 파라미터가 조정될 수 있다. 또는 상기 제1 네트워크(101) 및 상기 제2 네트워크(102)에 포함된 복수의 레이어 중 적어도 하나의 레이어가 연산에서 제거 또는 추가될 수 있다. 다시 말해, 상기 제1 네트워크(101) 및 상기 제2 네트워크(102)는 상기 제5 네트워크(105)로부터 피드백되는 상기 가상 이미지와 원본 이미지의 차이를 이용하여 트레이닝될 수 있다.
도 4는 본 출원의 다른 실시 예에 따른 뉴럴 네트워크(NN)의 구성을 예시적으로 나타내기 위한 블록도이다. 도 4에 도시된 바와 같이, 본 출원의 다른 실시 예에 따른 뉴럴 네트워크(NN)는 특징 분류 네트워크(106)를 더 포함할 수 있다.
상기 특징 분류 네트워크(106)는, 소스 이미지(X) 내의 각 영역들 중 에러 영역에 관련된 특징들과 관심 영역에 관련된 특징들을 분류하기 위한 네트워크일 수 있다. 이때, 상기 특징 분류 네트워크(106)는 제1 네트워크(101) 내의 일부분일 수 있다. 또는, 도 4에 도시된 바와 같이, 상기 특징 분류 네트워크(106)는 상기 제1 네트워크(101)와 별도로 구성될 수 있으며, 상기 제1 네트워크(101)와 제2 네트워크(102) 및 제3 네트워크(103) 사이에 배치될 수 있다.
예를 들어, 상기 특징 분류 네트워크(106)는 상기 제1 네트워크(101)에서 생성된 하나 이상의 특징맵들을 이용하여 제1 특징맵 및 제2 특징맵을 생성할 수 있다. 예를 들어, 상기 제1 특징맵은 관심 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 예를 들어, 상기 제2 특징맵은 에러 영역에 관련들을 적게 포함한 것일 수 있다. 상기 관심영역에 관련된 특징들은, 예를 들어, 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 또한, 예를 들어, 상기 에러 영역에 관련된 특징들은, 예를 들어, 태아의 손, 발, 태반, 양수 등을 포함할 수 있다.
또한, 예를 들어, 상기 특징 분류 네트워크(106)는 미리 설정된 기준을 기초로 하여 상기 소스 이미지(X) 내의 관심 영역에 관련된 제1 특징맵 및 상기 에러 영역에 관련된 제2 특징맵을 분류할 수 있다. 상기 미리 설정된 기준은 상기 소스 이미지(X) 내의 관심 영역 및 상기 에러 영역에 관련된 정보를 기초로 미리 학습될 수 있다.
따라서, 본 출원의 다른 실시 예에 따른 상기 특징 분류 네트워크(106)는 상기 관심 영역에 관련된 제1 특징맵을 상기 제2 네트워크(102)의 입력데이터로 전달할 수 있고, 상기 에러 영역에 관련된 제2 특징맵을 상기 제3 네트워크(103)의 입력데이터로 전달할 수 있다. 상기 특징 분류 네트워크(106)를 통하여 상기 에러 영역에 관련된 특징들이 보다 정확하게 분류될 수 있다. 즉, 상기 제2 네트워크는 상기 특징 분류 네트워크(106)를 통해 입력되는 상기 관심 영역에 관련된 제1 특징맵을 이용하여 상기 소스 이미지 내의 적어도 하나의 에러 영역에 관련된 특징들이 제거된 가상 이미지(Yv)를 생성할 수 있다.
한편, 상기 특징 분류 네트워크(106)는 상기 복원 이미지(X')와 상기 소스 이미지(X)간의 차이를 이용하여 조정된 파라미터를 반영하여 업데이트될 수도 있다. 또는, 상기 특징 분류 네트워크(106)는 상기 가상 이미지와 타겟 이미지간의 차이를 이용하여 조정된 파리마터를 반영하여 업데이트될 수도 있다. 상기 파라미터에 관한 자세한 설명은 관련된 부분에서 기술하기로 한다.
도 5는 본 출원의 일 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다. 예를 들어, 상기 이미지 처리 방법은 상기 서버(10) 내의 하나 이상의 프로세서에 의해 수행될 수 있다. 이하에서는, 상기 서버(10)에서 수행되는 이미지 처리 방법의 예들을 설명한다.
본 출원의 일 실시 예에 따른 이미지 처리 방법은, 하나 이상의 네트워크를 이용한 이미지 처리 방법에 있어서, 제1 도메인의 소스 이미지(X)로부터 하나 이상의 특징맵을 획득하는 단계(S10), 상기 하나 이상의 특징맵을 이용하여 제2 도메인의 가상 이미지(YV) 및 에러 이미지(Ye)를 생성하는 단계(S12), 상기 에러 이미지(Ye)에 제1 가중치(weight)가 적용되고, 상기 가상 이미지(YV) 에 제2 가중치(weight)가 적용된 타겟 이미지(Y)를 획득하는 단계(S14), 상기 타겟 이미지(Y)를 상기 제1 도메인의 복원 이미지(X')로 변환하는 단계(S16), 상기 복원 이미지(X')와 상기 소스 이미지(X) 간의 차이를 기초로 상기 네트워크들 중 적어도 하나의 파라미터가 조정되는 단계(S18), 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달하였는지 여부를 판단하는 단계(S20), 및 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달한 경우 가상 이미지(YV)를 출력하는 단계(S22)를 포함할 수 있다. 본 출원의 일 실시 예에 따른 이미지 처리 방법은, 각 단계가 하나의 네트워크 내에서 수행될 수 있다. 또는 각 단계가 별도의 네트워크 내에서 수행될 수 있다. 이하에서는 설명의 편의를 위하여 도 3을 참조하여 설명한 바와 같이, 하나의 뉴럴 네트워크 내에 복수의 네트워크가 포함되며, 각 단계가 상기 복수의 네트워크 각각에서 수행되는 경우를 상정하여 상세하게 설명하기로 한다.
먼저, 전술한 사용자장치(30)로부터 제1 도메인의 소스 이미지(X)가 입력될 수 있고, 서버(10)는 상기 소스 이미지(X)를 제1 네트워크(101)의 입력 데이터로 적용할 수 있다.
서버(10)는 전술한 제1 네트워크(101)를 이용하여 소스 이미지(X)로부터 생성되는 하나 이상의 특징맵을 획득할 수 있다(S10). 전술한 바와 같이, 상기 제1 네트워크(101)는 복수의 레이어를 포함할 수 있고, 서버(10)는 상기 복수의 레이어를 이용하여 상기 소스 이미지 내에 포함된 복수의 특징(feature)들을 획득할 수 있다. 상기 복수의 특징들은, 예를 들어, 엣지, 선명도, 깊이, 명도, 컨트라스트, 블러 등을 포함할 수 있다. 상기 서버(10)는 상기 복수의 특징들을 기초로 하여 상기 제1 네트워크(101)에서 생성되는 하나 이상의 특징맵(feature map)을 획득할 수 있다. 상기 특징맵은 상기 복수의 특징들의 조합일 수 있으며, 상기 특징맵을 통해 상기 소스 이미지 내의 각 영역들이 식별될 수 있다. 상기 각 영역들은 사용자의 관심 영역(ROI) 및 상기 소스 이미지 내의 적어도 하나의 인공물을 포함하는 에러 영역(error region)을 포함할 수 있다. 예를 들어, 상기 각 영역은 태아의 얼굴 영역일 수 있고, 상기 에러 영역은 태아의 얼굴 영역이 아닌 다른 신체 영역일 수 있다. 예를 들어, 상기 얼굴 영역은 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 또한, 예를 들어, 상기 에러 영역은 태아의 손, 발, 태반, 양수 등을 포함할 수 있다.
상기 서버(10)는 상기 제1 네트워크(101)를 통해 생성된 하나 이상의 특징맵을 제2 네트워크(102) 및 제3 네트워크(103)의 입력 데이터로 적용할 수 있다.
서버(10)는 전술한 제2 네트워크(102) 및 제3 네트워크(103)를 이용하여 제2 도메인의 가상 이미지(Yv) 및 에러 이미지(Ye)를 생성할 수 있다(S12).
즉, 제2 네트워크(102)에서는 S10 단계에서 획득된 하나 이상의 특징맵을 이용하여 제2 도메인의 가상 이미지(Yv)가 생성될 수 있다. 또한, 제3 네트워크(103)에서는 S10단계에서 획득된 상기 하나 이상의 특징맵을 이용하여 제2 도메인의 에러 이미지(Ye)가 생성될 수 있다.
구체적으로, 상기 제2 네트워크(102)를 통해 생성되는 가상 이미지(Yv)는, 상기 특징맵의 대응되는 특징들에 제2 도메인의 원본 이미지의 특징들이 맵핑된 이미지일 수 있다. 예를 들어, 상기 제2 네트워크(102)에 입력되는 하나 이상의 특징맵은 소스 이미지(X) 내의 얼굴 영역(예컨대, 눈, 코 입, 귀 등)의 특징들을 포함할 수 있다. 따라서, 상기 하나 이상의 특징맵을 이용하여 생성되는 상기 가상 이미지(Yv)는 상기 소스 이미지(X) 내의 얼굴 영역을 포함하는 이미지일 수 있다.
또한, 상기 제3 네트워크(103)를 통해 생성되는 에러 이미지(Ye)는, 상기 특징맵을 이용한 제2 도메인의 이미지일 수 있다. 예를 들어, 상기 특징맵은 소스 이미지 내의 얼굴 영역이 아닌 에러 영역(예컨대, 손, 발, 태반, 양수 등)의 특징들을 포함할 수 있다. 따라서, 상기 하나 이상의 특징맵을 이용하여 생성되는 상기 에러 이미지(Ye)는 상기 소스 이미지(X) 내의 에러 영역을 포함하는 이미지일 수 있다.
한편, 서버(10)는 상기 제2 네트워크(102) 및/또는 상기 제3 네트워크(103)를 통하여 복수의 특징맵에 대한 복수의 합성 이미지가 생성되는 경우 상기 합성 이미지들을 통합하여 하나의 가상 이미지(Yv) 및/또는 에러 이미지(Ye)를 획득할 수 있다.
서버(10)는 상기 제2 네트워크(102)로부터 획득된 가상 이미지(Yv) 및 상기 제3 네트워크(103)로부터 획득된 에러 이미지(Ye)를 통합한 타겟 이미지(Y)를 획득할 수 있다(S14).
구체적으로, 상기 서버(10)는 상기 에러 이미지(Ye)에 제1 가중치가 적용되고, 상기 가상 이미지(Yv) 에 제2 가중치가 적용된 타겟 이미지를 획득할 수 있다.
예를 들어, 상기 제1 가중치와 제2 가중치는 같거나 서로 다른 값일 수 있다. 예를 들어, 상기 제2 가중치는 상기 제1 가중치보다 작은 값일 수 있다. 또는, 예를 들어, 상기 제2 가중치는 상기 제1 가중치와 동일한 값일 수 있다.
상기 타겟 이미지(Y)는, 예를 들어, [수학식 1]과 같이 획득될 수 있다. 즉, 타겟 이미지(Y)는 상기 가상 이미지(Yv)와 제2 가중치의 요소별 곱(element-wise product) 및, 상기 에러 이미지(Ye)와 제1 가중치의 요소별 곱의 합(sum)에 의해 생성될 수 있다.
여기서, We는 에러 이미지(Ye)에 적용되는 제1 가중치일 수 있고, (1-We)는 가상 이미지(Yv)에 적용되는 제2 가중치일 수 있다.
상기 에러 이미지(Ye)에 적용되는 제1 가중치는 본 출원의 일 실시 예에 따른 뉴럴 네트워크(NN)의 이미지 처리 수행결과에 따라 조정된 값일 수 있다. 예를 들어, 상기 제1 가중치는 복원 이미지(X')와 소스 이미지(X) 간의 차이에서 발생하는 손실함수(Lrec)에 대한 가상 이미지(YV)의 기울기(gradient)를 기초로 산출될 수 있다. 상기 기울기는 [수학식 2]와 같이 계산될 수 있으며, 상기 손실함수(Lrec)에 대해서는 이하의 관련된 부분에서 상세하게 설명한다.
이 때, 상기 소스 이미지(X)는 RGB 세 개의 채널이 병합된 3차원 데이터일 수 있고, 각 채널에 대한 기울기(g)는 정규화(normalize)를 통해 조정될 수 있다. 상기 정규화 과정은 다양한 방법에 의해 수행될 수 있으며, 예를 들어 아래의 [수학식 3]과 같이 각 채널 마다 평균 및 표준 편차를 이용한 표준정규분포를 이용하여 계산될 수 있다.
여기서, c는 R, G, B 각 채널을 의미한다.
또한, [수학식 3]을 이용하여 정규화된 기울기(g) 값에 시그모이드(sigmoid) 함수를 적용하여 가중치(We) 값이 0~1, 예를 들어 0.5~1의 범위를 갖도록 조정할 수 있으며, 아래의 수학식 [4]와 같이 계산될 수 있다.
또한, 상기 가상 이미지(Yv)에 적용되는 제2 가중치는 상기 제1 가중치를 기초로 산출될 수 있다. 이때, 상기 제1 가중치와 제2 가중치는 같거나 서로 다른 값일 수 있다. 예를 들어, 상기 제2 가중치는 상기 제1 가중치보다 작은 값일 수 있다. 또는 예를 들어, 상기 제2 가중치는 상기 제1 가중치와 동일한 값일 수 있다.
한편, 최초에 적용되는 가중치는, 예를 들어, 임의로 설정되는 랜덤(random) 값일 수 있고, 사전 훈련(pre-training) 과정을 통해 미리 조정된 값일 수 있다.
상기 서버(10)는 전술한 제4 네트워크(104)를 이용하여 상기 제2 도메인의 타겟 이미지를 상기 제1 도메인의 복원 이미지로 변환할 수 있다(S16).
즉, 제4 네트워크(104)를 통해 S14 단계에서 획득된 타겟 이미지(Y)가 복원 이미지(X')로 역변환될 수 있다.
예를 들어, 상기 제4 네트워크(104)는 전술한 바와 같이 제1 서브 네트워크 및 제2 서브 네트워크를 포함할 수 있다. 구체적으로 제1 서브네트워크를 통하여 상기 타겟 이미지 내에 포함된 복수의 특징 정보들이 추출될 수 있고, 상기 복수의 특징정보들을 기초로 하나 이상의 특징맵이 생성될 수 있다. 상기 제1 서브 네트워크에서 생성된 하나 이상의 특징맵은 제2 서브네트워크의 입력 데이터로 적용될 수 있다. 또한, 상기 제2 서브네트워크를 통하여 하나 이상의 특징맵의 특징들에 소스 이미지의 특징들을 맵핑함으로써 상기 타겟 이미지가 상기 복원 이미지로 변환될 수 있다.
한편, 상기 서버(10)는 복수의 특징맵에 대한 복수의 합성 이미지가 추출되는 경우 상기 합성 이미지들을 통합하여 하나의 복원 이미지를 획득할 수 있다.
상기 서버(10)에서는 상기 복원 이미지와 상기 소스 이미지 간의 차이를 이용하여 상기 네트워크들 중 적어도 하나의 파라미터가 조정될 수 있다(S18).
즉, 본 출원의 일 실시 예에 따른 뉴럴 네트워크는 상기 복원 이미지(X')와 상기 소스 이미지(X) 사이의 차이를 기초로 전술한 네트워크들 중 적어도 하나의 파라미터가 조정되도록 구성될 수 있다. 상기 파라미터는 상기 복원 이미지(X')와 상기 소스 이미지(X) 간의 차이에서 발생하는 손실함수(Lrec)를 전술한 네트워크들 에 역전달함으로써 조정될 수 있다. 상기 손실함수(LX)는 아래의 [수학식 5]와 같이 나타낼 수 있다.
따라서, 상기 뉴럴 네트워크의 이미지 처리 수행 결과에 따라 상기 뉴럴 네트워크의 상기 제1 네트워크(101), 제2 네트워크(102) 제3 네트워크(103) 및/또는 제4 네트워크(104)의 각 레이어의 파라미터가 자동으로 조정될 수 있다. 또는, 상기 제1 네트워크(101), 제2 네트워크(102), 제3 네트워크(103) 및/또는 제4 네트워크(104)의 복수의 레이어 중 적어도 하나의 레이어가 연산에서 제거 또는 추가될 수 있다.
다시 말해, 상기 서버(10)는 상기 손실함수(Lrec)를 기초로 제1 네트워크, 제2 네트워크 제3 네트워크 및/또는 제4 네트워크에 의한 동작을 반복 수행하도록 할 수 있다.
서버(10)는 상기 가상 이미지의 품질이 미리 정해진 수준에 도달하였는지 여부를 판단할 수 있다(S20).
즉, 상기 서버(10)는 상기 가상 이미지의 품질이 미리 정해진 수준에 도달할 때까지 전술한 S10 내지 S18 단계들을 반복적으로 수행할 수 있다. 이때, 상기 가상 이미지의 품질이 미리 정해진 수준에 도달하였는지 여부는 다양한 방식으로 판단될 수 있다.
예를 들어, 서버(10)는 미리 설정된 종료 조건이 만족될 때까지, 상기 제1 네트워크(101) 및 상기 제2 네트워크(102)의 동작이 반복하여 수행되도록 함으로써 가상 이미지(YV)를 재획득할 수 있다.
여기서 미리 설정된 종료 조건은 사용자에 의해 미리 입력된 조건일 수 있다. 예를 들어, 사용자는 상기 제1 네트워크(101), 상기 제2 네트워크(102), 상기 제3 네트워크(103) 및/또는 상기 제4 네트워크(104)의 의 동작이 미리 설정된 횟수만큼 반복되도록 설정할 수 있다. 또는, 예를 들어, 사용자는 상기 뉴럴 네트워크(NN)의 손실함수(loss function)가 감소되지 않을 때까지 상기 제1 네트워크(101), 제2 네트워크(102), 제3 네트워크(103) 및/또는 제4 네트워크(104)의 동작이 반복하여 수행되도록 설정할 수 있다.
또는, 예를 들어, 상기 서버(10)는 전술한 제5 네트워크(105)를 통하여 상기 가상 이미지와 제2 도메인의 원본 이미지의 유사도에 관련된 정보를 획득할 수 있다. 상기 원본 이미지는 전술한 데이터 베이스(20)로부터 획득될 수 있으며, 예를 들어, 상기 원본 이미지는 신생아의 얼굴을 실체 촬영한 이미지일 수 있다. 상기 유사도에 관련된 정보는 상기 가상 이미지가 실제 촬영한 이미지에 해당될 확률을 나타내는 정보일 수 있다. 이 때, 상기 서버(10)는 상기 제5 네트워크(105)로부터 획득되는 상기 유사도 정보가 미리 정해진 값을 초과할 때까지 상기 제1 네트워크(101) 내지 상기 제3 네트워크(103) 중 적어도 하나로 상기 유사도에 관련된 정보를 피드백할 수 있다. 예를 들어, 상기 가상 이미지가 실제 촬영한 이미지에 해당되는 경우 유사도 값은 '1' 또는 1에 가까운 값일 수 있다. 또한, 예를 들어, 상기 가상 이미지가 실제 촬영한 이미지가 아닌 경우 유사도 값은 '0' 또는 0에 가까운 값일 수 있다. 예를 들어, 상기 미리 정해진 값은 사용자에 의해 설정된 값일 수 있고 0.5~0.99 사이의 값일 수 있다.
서버(10)는 상기 가상 이미지의 품질이 미리 정해진 수준에 도달한 것으로 판단되는 경우 해당 가상이미지(YV)를 출력할 수 있다(S22).
즉, 상기 서버(10)는 S20 단계에서 판단 결과 상기 가상 이미지의 품질이 미리 수준에 도달한 경우 전술한 S10 내지 S18의 학습 단계를 종료할 수 있다.
예를 들어, 상기 서버(10)는 S20 단계에서 미리 설정된 종료 조건이 만족된 것으로 판단된 경우 전술한 S10 내지 S18의 학습 단계를 종료할 수 있다.
또는, 예를 들어, 상기 서버는 S20 단계에서 상기 가상 이미지(YV)와 원본 이미지(YR)의 유사도가 미리 정해진 값을 초과한 것으로 판단되는 경우 해당 가상 이미지(YV)를 출력할 수 있다. 반면에, S20 단계에서 상기 가상 이미지(YV)와 원본 이미지(YR)의 유사도가 미리 정해진 값을 초과하지 않는 것으로 판단되는 경우 S10 단계로 돌아가 전 단계를 반복적으로 수행할 수 있다.
다시 말해, 상기 서버(10)는 상기 제1 네트워크(102) 및 상기 제2 네트워크(102)가 반복하여 수행되도록 함으로써 미리 정해진 수준의 품질 이상의 가상이미지(YV)를 재획득할 수 있다. 이와 같이, 본 출원의 일 실시 예에 따른 이미지 처리 방법에 의하면 S10 단계 내지 S20 단계들을 반복적으로 수행함으로써 미리 정해진 품질 이상의 가상 이미지(YV)가 사용자 장치(30)를 통해 출력될 수 있다.
도 6은 본 출원의 다른 실시 예에 따른 제1 도메인의 소스이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다. 상기 이미지 처리 방법은 상기 서버(10) 내의 하나 이상의 프로세서에 의해 수행될 수 있다. 이하에서는, 서버(10)에서 수행되는 이미지 처리 방법의 예들을 설명한다.
본 출원의 다른 실시 예에 따른 이미지 처리 방법은, 하나 이상의 네트워크를 이용한 이미지 처리 방법에 있어서, 제1 도메인의 소스 이미지(X)로부터 하나 이상의 특징맵을 획득하는 단계(S30), 상기 하나 이상의 특징맵을 제1 특징맵과 제2 특징맵으로 분류하는 단계(S31), 상기 제1 특징맵을 이용하여 가상 이미지(YV)를 생성하고, 제2 특징맵을 이용하여 에러 이미지(Ye)를 생성하는 단계(S32), 상기 에러 이미지(Ye)에 제1 가중치가 적용되고, 상기 가상 이미지(YV)에 제2 가중치가 적용된 타겟 이미지(Y)를 획득하는 단계(S34), 상기 타겟 이미지(Y)를 상기 제1 도메인의 복원 이미지(X')로 변환하는 단계(S36), 상기 복원 이미지(X')와 상기 소스 이미지(X)간의 차이를 기초로 상기 네트워크들 중 적어도 하나의 파라미터가 조정되는 단계(S38), 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달하였는지 여부를 판단하는 단계(S40), 및 상기 가상 이미지의 품질이 미리 정해진 수준에 도달한 경우 가상 이미지(YV)를 출력하는 단계(S42)를 포함할 수 있다. 본 출원의 다른 실시 예에 따른 이미지 처리 방법은, 각 단계가 하나의 네트워크 내에서 수행될 수 있다. 또는 각 단계가 별도의 네트워크 내에서 수행될 수 있다. 이하에서는 설명의 편의를 위하여 도 4를 참조하여 설명한 바와 같이, 하나의 뉴럴 네트워크 내에 복수의 네트워크가 포함되며, 각 단계가 상기 복수의 네트워크 각각에 의해 수행되는 경우를 상정하여 상세하게 설명하기로 한다.
먼저 전술한 사용자장치(30)로부터 제1 도메인의 소스 이미지(X)가 입력될 수 있고, 서버(10)는 상기 소스 이미지(X)를 제1 네트워크(101)의 입력 데이터로 적용할 수 있다.
서버(10)는 전술한 제1 네트워크(101)를 통해 소스 이미지(X)로부터 생성되는 하나 이상의 특징맵을 획득할 수 있다(S30).
전술한 바와 같이, 상기 제1 네트워크(101)는 복수의 레이어를 포함할 수 있고, 서버(10)는 상기 복수의 레이어를 이용하여 상기 소스 이미지(X) 내에 포함된 복수의 특징(feature)들을 획득할 수 있다. 상기 복수의 특징들은, 예를 들어, 엣지, 선명도, 깊이, 명도, 컨트라스트, 블러 등을 포함할 수 있다. 상기 서버(10)는 상기 복수의 특징들을 기초로 하여 상기 제1 네트워크(101)에서 생성되는 하나 이상의 특징맵(feature map)을 획득할 수 있다. 상기 특징맵은 상기 복수의 특징들의 조합일 수 있으며, 상기 특징맵을 통해 상기 소스 이미지 내의 각 영역들이 식별될 수 있다. 상기 각 영역들은 사용자의 관심 영역(ROI) 및 상기 소스 이미지 내의 적어도 하나의 인공물을 포함하는 에러 영역(error region)을 포함할 수 있다. 예를 들어, 상기 관심 영역은 태아의 얼굴 영역일 수 있고, 상기 에러 영역은 태아의 얼굴 영역이 아닌 다른 신체 영역일 수 있다. 예를 들어, 상기 얼굴 영역은 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 예를 들어, 상기 에러 영역은 태아의 손, 발, 태반, 양수 등을 포함할 수 있다.
상기 서버(10)는 상기 제1 네트워크(101)를 통해 생성된 하나 이상의 특징맵을 제2 네트워크(102) 및 제3 네트워크(103)의 입력 데이터로 적용할 수 있다.
서버(10)는 전술한 특징 분류 네트워크(106)를 통하여 상기 하나 이상의 특징맵을 제1 특징맵과 제2 특징맵으로 분류할 수 있다(S31).
도 4를 참조하여 전술한 바와 같이, 상기 특징 분류 네트워크(106)는, 소스 이미지 내의 각 영역들 중 에러 영역에 관련된 제1 특징맵과 관심 영역에 관련된 제2 특징맵을 구별하도록 트레이닝될 수 있다. 예를 들어, 상기 제1 특징맵은 태아의 얼굴 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 예를 들어, 상기 제2 특징맵은 상기 에러 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 즉, 상기 얼굴 영역에 관련된 특징들은, 예를 들어, 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 상기 에러 영역에 관련된 특징들은, 예를 들어, 태아의 손, 발, 태반, 양수 등을 포함할 수 있다.
예를 들어, 상기 특징 분류 네트워크(106)는 상기 얼굴 영역에 관련된 특징들 및 상기 에러 영역에 관련된 특징들을 구별하기 위한 미리 설정된 기준을 기초로 하여 상기 제1 특징맵과 상기 제2 특징맵을 분류할 수 있다.
한편, 상기 특징 분류 네트워크(106)는, 복원 이미지(X')와 상기 소스 이미지(X) 간의 차이를 이용하여 조정된 파라미터를 반영하여 업데이트될 수도 있다. 또는, 상기 특징 분류 네트워크(106)는 가상 이미지와 원본 이미지 간의 차이를 이용하여 조정된 파라미터를 반영하여 업데이트될 수도 있다.
서버(10)는 전술한 제2 네트워크(102)를 이용하여 가상 이미지(YV)를 생성하고, 전술한 제3 네트워크(103)를 이용하여 에러 이미지(Ye)를 생성할 수 있다(S32). 즉, 제2 네트워크(102)에서는 S31 단계에서 획득된 제1 특징맵을 이용하여 제2 도메인의 가상 이미지가 생성될 수 있다. 또한, 제3 네트워크(103)에서는 S31단계에서 획득된 제2 특징맵을 이용하여 제2 도메인의 에러 이미지가 생성될 수 있다.
예를 들어, 상기 제2 네트워크(102)를 통해 생성되는 가상 이미지(YV)는, 상기 적어도 하나의 특징맵의 대응되는 특징들에 타겟 이미지의 특징들이 맵핑된 이미지일 수 있다.예를 들어, 상기 적어도 하나의 특징맵은 소스 이미지(X) 내의 얼굴 영역(예컨대, 눈, 코 입, 귀 등)의 특징들을 포함할 수 있다. 따라서, 상기 적어도 하나의 특징맵을 이용하여 생성되는 상기 가상 이미지는 상기 소스 이미지(X) 내의 얼굴 영역을 포함하는 이미지일 수 있다.
또한, 예를 들어, 상기 제3 네트워크(103)를 통해 생성되는 에러 이미지(Ye)는, 상기 적어도 하나의 특징맵을 기초로 생성되는 이미지일 수 있다. 이 때, 상기 적어도 하나의 특징맵은 소스 이미지 내(X)의 관심 영역이 아닌 에러 영역(예컨대, 손, 발, 태반, 양수 등)의 특징들을 포함할 수 있다. 따라서, 상기 적어도 하나의 특징맵을 이용하여 생성되는 상기 에러 이미지(Ye)는 상기 소스 이미지(X) 내의 에러 영역을 포함하는 이미지일 수 있다.
한편, 서버(10)는 상기 제2 네트워크(102) 및/또는 상기 제3 네트워크(103)를 통하여 복수의 특징맵에 대한 복수의 합성 이미지가 생성되는 경우 상기 합성 이미지들을 통합하여 하나의 가상 이미지 및/또는 에러 이미지를 획득할 수 있다.
또한, 상기 서버(10)는 상기 제2 네트워크(102)로부터 획득된 가상 이미지(YV) 및 상기 제3 네트워크(103)로부터 획득된 에러 이미지(Ye)를 통합한 타겟 이미지를 획득할 수 있고(S33), 상기 복원 이미지(X')와 상기 소스 이미지(X) 간의 차이를 이용하여 상기 네트워크들 중 적어도 하나의 파라미터가 조정될 수 있다(S35). 또한, 서버(10)는 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달하였는지 여부를 판단할 수 있고(S37), 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달한 것으로 판단되는 경우 해당 가상이미지를 출력할 수 있다(S39). 단계 S34 내지 S42는 도 5를 참조하여 설명한 단계 S14 내지 S22에 대응될 수 있으므로, 이하에서는 자세한 설명은 생략하기로 한다.
이와 같이, 본 출원의 다른 실시 예에 따른 이미지 처리 방법에 의하면 S30 단계 내지 S39 단계들을 반복적으로 수행함으로써 미리 정해진 품질 이상의 가상 이미지(YV)가 사용자 장치(30)를 통해 출력될 수 있다.
도 7은 본 출원의 다른 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 출력하는 이미지 처리 방법을 예시적으로 설명하기 위한 순서도이다. 상기 이미지 처리 방법은 하나의 네트워크 내에서 수행될 수 있고, 상기 서버(10) 내의 하나 이상의 프로세서에 의해 수행될 수 있다.
본 출원의 다른 실시 예에 따른 이미지 처리 방법은, 제1 도메인의 소스 이미지(X)를 획득하는 단계(S50), 상기 소스 이미지 내의 특징들을 분석하는 단계(S52), 상기 소스 이미지 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별하는 단계(S54), 상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 가상 이미지(YV)를 획득하는 단계(S56), 상기 가상 이미지(YV)를 출력하는 단계(S58)를 포함할 수 있고, 상기 제1 도메인 및 상기 제2 도메인 사이의 영역 변환을 통하여 상기 가상 이미지의 품질이 향상되도록, 상기 단계들이 반복적으로 수행될 수 있다.
서버(10)는 사용자 장치(30)로부터 제1 도메인의 소스 이미지(X) 를 획득할 수 있다(S50).
예를 들어, 상기 사용자 장치(30)는 전술한 바와 같이, 태아를 촬영하기 위한 초음파 영상 촬영장치일 수 있고, 또는, 상기 사용자 장치(30)는 상기 초음파 영상 촬영장치로부터 촬상된 이미지를 제공받는 전자기기일 수 있다. 상기 사용자 장치(30)는 상기 사용자 장치(30)에 설치된 프로그램, 상기 사용자 장치(30) 상에 제공되는 웹사이트, 애플리케이션 등을 통하여 서버(10)에 접근할 수 있다. 따라서, 상기 사용자 장치(30)는 상기 사용자 장치(30)에서 촬영되거나 상기 사용자 장치(30)에 저장된 태아의 초음파 이미지(X)를 상기 서버(10)에 입력 이미지로서 제공할 수 있다..
서버(10)는 상기 소스 이미지 내의 특징들을 분석할 수 있다(S52). 구체적으로, 상기 소스 이미지 내의 특징들을 분석하는 과정은 전술한 제1 네트워크(101)를 이용하여 상기 소스 이미지 내의 특징들을 추출하고 상기 특징들을 기초로 한 하나 이상의 특징맵을 획득하는 과정과 동일한 방식으로 수행될 수 있다. 이때, 상기 소스 이미지 내의 특징들은, 예를 들어, 엣지, 선명도, 깊이, 명도, 컨트라스트, 블러 등을 포함할 수 있다. 상기 특징맵은 상기 특징들의 조합일 수 있으며, 하나 이상의 특징맵을 통하여 상기 소스 이미지 내의 각 영역들이 식별될 수 있다. 상기 각 영역들은 사용자의 관심 영역(ROI) 및 상기 소스 이미지 내의 적어도 하나의 인공물을 포함하는 에러 영역(error region)을 포함할 수 있다. 예를 들어, 상기 관심 영역은 태아의 얼굴 영역일 수 있고, 상기 에러 영역은, 태아의 얼굴 영역이 아닌 다른 신체 영역일수 있다. 예를 들어, 상기 얼굴 영역은 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 또한, 예를 들어, 상기 에러 영역은 태아의 손, 발, 태반, 양수 등을 포함할 수 있다.
서버(10)는 상기 소스 이미지(X) 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별할 수 있다(S54). 상기 에러 특징은, 전술한 에러 영역에 관련된 특징들 일 수 있다. 예를 들어, 태아의 손, 발, 태반, 양수 등에 관련된 특징들일 수 있다. 상기 유효 특징은, 전술한 얼굴 영역, 즉, 관심 영역(ROI)에 관련된 특징들일 수 있다. 예를 들어, 태아의 눈, 코, 입, 귀 등에 관련된 특징들 일 수 있다.
상기 서버(10)에서 에러 특징 및 유효 특징들을 식별하기 과정은 전술한 특징 분류 네트워크(106)에서 수행되는 방식과 동일할 수 있다. 상기 에러 특징 및 유효 특징들은 미리 설정된 기준을 기초로 하여 식별될 수 있다. 상기 미리 설정된 기준은 상기 소스 (X) 내의 관심 영역 및 상기 에러 영역에 관련된 정보를 기초로 미리 학습될 수 있다. 상기 소스 이미지 (X) 내의 관심 영역은, 예를 들어, 태아의 얼굴 영역일 수 있고, 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 상기 에러 영역은 예를 들어, 태아의 얼굴 영역 외의 신체 영역일 수 있고, 태아의 손, 발, 태반, 양수 등을 포함할 수 있다. 상기 서버(10)는, 예를 들어, 에러 특징에 대해서는 '0'에 가까운 값을 출력하고, 유효 특징들에 대해서는 '1'에 가까운 값을 출력하도록 구성됨으로써 상기 에러 특징 및 유효 특징들을 식별할 수 있다.
서버(10)는 상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 가상 이미지(YV)를 획득할 수 있다(S56).
상기 가상 이미지(YV)는 상기 유효 특징들에 원본 이미지의 속성들을 맵핑한 이미지일 수 있다. 상기 원본 이미지의 속성들은, 전술한 바와 같이, 이미지의 밝기, 색상, 반사색, 텍스쳐, 깊이, 블러 등을 포함할 수 있다. 상기 원본 이미지 및/또는 상기 원본 진 이미지의 특징들은 전술한 데이터 베이스(20)또는 외부 서버로부터 획득될 수 있다. 또는, 전술한 바와 같이 제3 네트워크(103)에 포함된 별도의 서브 네트워크를 통하여 상기 원본 이미지의 속성들이 추출될 수 있다.
따라서, 상기 서버(10)는 상기 제1 도메인의 소스 이미지(X) 내의 관심 영역을 포함하는 제2 도메인의 가상 이미지(YV)를 획득할 수 있고, 상기 가상 이미지는 적어도 하나의 상기 에러 특징들이 제거된 것일 수 있다.
서버(10)는 상기 에러 특징들이 제거된 가상 이미지(YV)를 사용자 장치(30)를 통하여 출력할 수 있다(S58).
즉, 상기 서버(10)는 사용자로부터 수신된 제1 도메인의 소스 이미지(X)를 상기 소스 이미지(X) 내의 에러 특징들을 제외된 제2 도메인의 가상 이미지(YV)를 생성할 수 있다. 다시 말하면, 상기 서버(10)는 상기 제1 도메인 및 상기 제2 도메인 사이의 이미지 변환을 통하여 상기 가상 이미지의 품질이 향상되도록 전술한 단계들을 반복적으로 수행할 수 있고, 미리 정해진 수준에 도달한 품질의 가상 이미지를 사용자 장치(30)에 제공할 수 있다.
예를 들어, 서버(10)는 미리 설정된 종료 조건이 만족될 때까지, 전술한 단계들을 반복하여 수행되도록 함으로써 가상 이미지(YV)를 재획득할 수 있다. 여기서 종료 조건은 사용자에 의해 미리 입력된 조건일 수 있다. 예를 들어, 사용자는 전술한 단계들이 미리 설정된 횟수만큼 반복되도록 설정할 수 있다.
또는, 예를 들어, 상기 서버(10)는 상기 가상 이미지(YV)와 상기 원본 이미지(YR)의 유사도가 미리 정해진 값에 도달한 경우의 가상 이미지(YV)를 출력할 수 있다. 예를 들어, 상기 유사도는 상기 가상 이미지(YV)가 신생아의 실제 촬영한 이미지에 해당될 확률을 나타내는 정보일 수 있다. 상기 가상 이미지(YV)와 상기 원본 이미지(YR)의 유사도 판단은 전술한 제5 네트워크(105)에서 수행되는 방식과 동일할 수 있다. 예를 들어, 상기 가상 이미지(YV)가 신생아의 실제 촬영한 이미지에 해당되는 경우 유사도 값은 '1' 또는 1에 가까운 값일 수 있다. 예를 들어, 상기 가상 이미지(YV)가 실제 촬영한 이미지가 아닌 경우 유사도 값은 '0' 또는 0에 가까운 값일 수 있다. 예를 들어, 상기 미리 정해진 값은 사용자에 의해 설정된 값일 수 있고 0.5~0.99 사이의 값일 수 있다.
따라서, 상기 서버(10)는 상기 가상 이미지의 품질이 미리 정해진 수준에 도달한 경우의 가상이미지(YV)를 사용자 장치(30)를 통해 출력할 수 있고, 사용자는 S50 단계에서 입력된 제1 도메인의 소스 이미지 내의 에러 특징이 제거된 원본 이미지와 유사한 제2 도메인의 가상 이미지를 획득하는 것이 가능할 수 있다. 예를 들어, 사용자는 초음파 이미지 내의 태아 얼굴이 손, 발, 태반, 양수 중 적어도 하나의 에러 특징에 의해 가려진 경우에도 상기 에러 특징이 제거된 실제 사진에 가까운 가상 이미지를 얻을 수 있다.
도 8은 본 출원의 일 실시 예에 따른 제1 도메인의 소스 이미지를 제2 도메인의 가상 이미지로 변환하여 제공하는 이미지 변환 장치의 구성을 개략적으로 나타내기 위한 블록도이다. 본 출원의 일 실시 예에 따른 이미지 변환 장치는 서버(10)일 수 있고, 상기 서버(10)는 이미지 처리를 위한 하나 이상의 모듈을 포함할 수 있다. 또는, 상기 서버(10)의 메모리에는 이미지 처리를 위한 프로그램이 저장되어 있을 수 있고, 상기 프로그램이 하나 이상의 모듈을 포함할 수 있다.
도 8을 참조하면, 본 출원의 일 실시 예에 따른 이미지 처리 장치(10)는 이미지 획득 모듈(11), 특징 분석 모듈(12), 가상 이미지 생성 모듈(13), 에러 이미지 생성 모듈(14), 타겟 이미지 생성 모듈(15), 이미지 복원 모듈(16), 가중치 조정 모듈(17), 등을 포함할 수 있다. 또는, 하나 이상의 모듈이 하나의 모듈로 통합되어 구성될 수 있다. 이하에서는, 설명의 편의를 위하여 상기 각 모듈에서 순차적으로 또는 병렬적으로 이미지 처리를 위한 과정이 수행되는 경우를 상정하여 설명한다
이미지 획득 모듈(11)은 제1 도메인의 소스 이미지(X)를 획득하기 위한 구성일 수 있다. 상기 제1 도메인의 소스 이미지는 전술한 사용자 장치(30), 예를 들어, 초음파 영상 촬영 장치로부터 수신될 수 있다.
특징 분석 모듈(12)은 상기 이미지 획득 모듈(11)에서 획득한 소스 이미지(X) 내의 특징들을 추출하고, 상기 특징들을 기초로 하나 이상의 특징맵을 생성하기 위한 구성일 수 있다. 상기 특징 분석 모듈(12)에서 수행되는 동작은 전술한 제1 네트워크(101)를 이용한 특징 추출 과정 및 상기 추출된 특징들을 이용한 특징맵 생성 과정과 동일할 수 있다.
가상 이미지 생성 모듈(13)은 상기 특징 분석 모듈(12)에서 획득한 상기 하나 이상의 특징맵 중 제1 특징맵을 기초로 가상 이미지(YV)를 생성하기 위한 구성일 수 있다. 상기 제1 특징맵은, 전술한 바와 같이, 상기 소스 이미지(X) 내의 관심 영역에 관련된 특징들을 포함할 수 있다. 상기 가상 이미지는 상기 소스 이미지(X) 내의 관심 영역을 포함하는 이미지일 수 있다. 예를 들어, 상기 가상 이미지(YV)는 상기 소스 이미지(X) 내의 태아의 눈, 코, 입, 귀 등에 관련된 특징들을 포함할 수 있다. 상기 가상 이미지 생성 모듈(13)에서 수행되는 동작은 전술한 제2 네트워크(102)를 이용한 가상 이미지 생성 과정과 동일할 수 있다.
에러 이미지 생성 모듈(14)은 상기 특징 분석 모듈(12)에서 획득한 상기 하나 이상의 특징맵 중 제2 특징맵을 기초로 에러 이미지(Ye)를 생성하기 위한 구성일 수 있다. 상기 제2 특징맵은, 전술한 바와 같이, 상기 소스 이미지(X) 내의 얼굴 영역이 아닌 에러 영역에 관련된 특징들을 포함할 수 있다. 상기 에러 이미지(Ye)는 상기 소스 이미지(X) 내의 얼굴 영역이 아닌 에러 영역을 포함하는 이미지일 수 있다. 예를 들어, 상기 에러 이미지는 상기 소스 이미지 내의 태아의 손, 발, 태반, 양수 등 적어도 하나에 관련된 특징들을 포함할 수 있다. 상기 에러 이미지 생성 모듈(14)에서 수행되는 동작은 전술한 제3 네트워크(103)를 이용한 가상 이미지 생성 과정과 동일할 수 있다.
타겟 이미지 생성 모듈(15)은, 상기 가상 이미지 생성 모듈(13)로부터 생성된 가상 이미지(YV) 및 상기 에러 이미지 생성 모듈(14)로부터 생성된 에러 이미지(Ye)를 통합하여 타겟 이미지(Y)를 생성하기 위한 구성일 수 있다. 예를 들어, 상기 에러 이미지(Ye)에는 제1 가중치가 적용될 수 있고, 상기 가상 이미지(YV)에는 제2 가중치가 적용될 수 있다. 상기 에러 이미지(Y3)에 적용되는 제1 가중치는 [수학식 2] 내지 [수학식 4]를 참조하여 전술한 바와 같이 산출된 값일 수 있고, 후술할 가중치 조정 모듈(17)에 의해 산출된 값일 수 있다. 또한, 상기 가상 이미지(YV)에 적용되는 제2 가중치는 상기 제1 가중치를 기초로 산출될 수 있으며, 예를 들어, 상기 제2 가중치는 상기 제1 가중치보다 작은 값일 수 있다. 또는, 예를 들어, 상기 제2 가중치는 상기 제1 가중치와 동일한 값일 수 있다. 최초에 적용되는 가중치는, 예를 들어, 임의로 설정되는 랜덤 값일 수 있고, 사전 훈련 과정을 통해 미리 조정된 값일 수 있다.
이미지 복원 모듈(16)은 상기 타겟 이미지(Y)를 복원 이미지(X')로 역변환하기 위한 구성일 수 있다. 즉, 상기 이미지 복원 모듈(16)을 통하여 상기 타겟 이미지(Y)로부터 하나 이상의 특징맵을 획득할 수 있고, 상기 하나 이상의 특징맵에 상기 소스 이미지(X)의 특징들이 맵핑된 복원 이미지(X')를 획득할 수 있다. 상기 이미지 복원 모듈(16)을 이용하여 복원 이미지(X')를 획득하는 과정은 전술한 제4 네트워크(104)를 이용하여 타겟 이미지(Y)를 복원 이미지(X')로 변환하는 과정과 동일할 수 있다.
가중치 조정모듈(17)은 상기 이미지 복원 모듈(16)에 의해 생성된 복원 이미지(X')와 상기 소스 이미지(X) 간의 차이 값을 기초로 전술한 네트워크의 파라미터를 조정하기 위한 구성일 수 있다.
즉, 상기 조정모듈(17)은 전술한 복원 이미지(X')와 소스 이미지(X) 사이의 차이에서 발생하는 손실함수(Lrec)를 상기 특징 분석 모듈(12), 상기 가상 이미지 생성모듈(13), 상기 에러 이미지 생성모듈(14), 상기 타겟 이미지 생성모듈(15), 상기 이미지 복원 모듈(16) 중 적어도 하나에 피드백할 수 있다. 상기 손실함수는 [수학식 5]를 참조하여 전술한 바와 같이 산출될 수 있다.
또한, 상기 가중치 조정 모듈(17)은 타겟 이미지 생성 시 적용되는 제1 가중치를 더 산출할 수 있다. 이때, 상기 제1 가중치는 [수학식 2] 내지 [수학식 4]를 참조하여 전술한 바와 같이 산출될 수 있다. 상기 가중치 조정 모듈(17)은 산출된 가중치 값을 전술한 타겟 이미지 생성 모듈(15)에 전달할 수 있다.
유사도 판단 모듈(18)은 상기 가상 이미지(YV) 및 원본 이미지(YR)의 유사도를 판단하기 위한 구성일 수 있다. 예를 들어, 상기 유사도에 관련된 정보는 상기 가상 이미지(YV)가 신생아의 실제 촬영한 이미지에 해당될 확률을 나타내는 정보일 수 있다. 예를 들어, 상기 가상 이미지(YV)가 실제 촬영한 이미지에 해당되는 경우 유사도 값은 '1' 또는 1에 가까운 값일 수 있다. 또한, 예를 들어, 상기 가상 이미지가 실제 촬영한 이미지가 아닌 경우 유사도 값은 '0' 또는 0에 가까운 값일 수 있다. 예를 들어, 상기 미리 정해진 값은 사용자에 의해 설정된 값일 수 있고 0.5~0.99 사이의 값일 수 있다.
예를 들어, 상기 서버(10)는 상기 유사도 판단 모듈(18)에 의해 획득되는 상기 가상 이미지(YV) 및 원본 이미지(YR)의 유사도를 기준으로 상기 가상 이미지(YV)의 품질이 미리 정해진 수준에 도달하였는지 판단할 수 있다. 따라서, 상기 서버(10)는 상기 유사도 정보가 미리 정해진 값을 초과하는 경우 가상 이미지를 사용자 장치(30)를 통하여 출력할 수 있다. 즉, 상기 서버(10)는 상기 유사도 판단 모듈(18)의 판단 결과에 따라 상기 가상 이미지(YV)의 출력 여부를 결정할 수 있다. 다시 말해, 상기 서버(10)는 상기 유사도가 미리 정해진 값에 도달할 때까지 상기 타겟 이미지(Y) 생성 및 상기 복원 이미지 생성(X')을 반복적으로 수행할 수 있다. 결과적으로 상기 제1 도메인 및 제2 도메인 사이의 이미지 변환을 통하여 상기 가상 이미지(YV)의 품질이 향상될 수 있다.
특징 분류 모듈(19)은 상기 소스 이미지 내의 각 영역들 중 에러 영역에 관련된 특징들과 관심 영역에 관련된 특징들을 분류하기 위한 구성일 수 있다. 상기 특징 분류 모듈(19)는 상기 특징 분석 모듈(12) 내에 일 구성일 수 있다. 또는, 상기 특징 분류 모듈(19)은 상기 특징 분석 모듈(12)로부터 획득된 하나 이상의 특징맵들을 이용하여 제1 특징맵과 제2 특징맵을 생성하기 위한 별도의 구성 요소로 마련될 수 있다. 또는, 상기 특징 분류 모듈(19)은 상기 특징 분석 모듈(12)에서 획득된 상기 소스 이미지(X) 내의 특징들을 에러 특징과 유효특징들로 구별하기 위한 별도의 구성 요소로 마련될 수 있다. 예를 들어, 상기 제1 특징맵은 에러 영역에 관련된 것일 수 있고, 관심 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 또한, 예를 들어, 상기 제2 특징맵은 관심 영역에 관련된 것일 수 있고, 에러 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 상기 특징 분류 모듈(19)에서 수행되는 동작은 전술한 특징 분류 네트워크(106)에서 수행되는 분류 방식과 동일할 수 있다.
한편, 저장 모듈(도시되지 않음)은 본 출원의 일 실시 예에 따른 이미지 처리 수행 과정에서 생성되는 모든 데이터들을 저장하기 위한 구성일 수 있다. 예를 들어, 상기 저장 모듈에는 사용자로부터 입력되는 소스 이미지, 상기 소스 이미지로부터 추출된 복수의 특징들, 상기 복수의 특징들을 기초로 생성된 특징맵들이 저장될 수 있다. 또한, 예를 들어, 상기 저장 모듈에는 원본 이미지, 상기 원본 이미지로부터 추출된 복수의 특징들에 관련된 정보들이 저장될 수 있다. 또한, 예를 들어, 상기 저장 모듈에는 전술한 유사도 판단 모듈(17)에 의해 판단된 결과 값들이 저장될 수도 있다.
한편, 전술한 모듈들 중 하나 이상은 다른 서버 또는 사용자 장치(30)에 위치될 수도 있다.
따라서, 본 출원의 실시 예들에 따른 이미지 처리 장치에 의하면 사용자는 제1 도메인의 소스 이미지 내의 태아 얼굴이 손, 발, 태반, 양수 중 적어도 하나의 에러 특징에 의해 가려진 경우에도 상기 에러 특징이 제거된 제2 도메인의 가상 이미지를 얻을 수 있다.
지금까지 설명의 편의를 위하여 이미지 처리의 각 기능들이 전술한 서버(10)에서 수행되는 경우를 가정하여 설명하였으나, 전술한 이미지 처리의 각 기능들은 컴퓨터 상에서 판독 가능한 매체에 기록되어 제공될 수 있다.
즉, 본 출원의 일 실시 예에 따른 이미지 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
1: 이미지 변환 시스템
2: 네트워크:
10: 서버
11: 이미지 획득 모듈
12: 특징 분석 모듈
13: 가상 이미지 생성 모듈
14: 에러 이미지 생성 모듈
15: 타겟 이미지 생성 모듈
16: 이미지 복원 모듈
17: 가중치 조정 모듈
18: 유사도 판단 모듈
19: 특징 분류 모듈
20: 데이터 베이스
30: 사용자 장치
101: 제1 네트워크
102: 제2 네트워크
103: 제3 네트워크
104: 제4 네트워크
105: 제5 네트워크
106: 특징 분류 네트워크
NN: 뉴럴 네트워크
X: 소스 이미지
YV: 가상 이미지
2: 네트워크:
10: 서버
11: 이미지 획득 모듈
12: 특징 분석 모듈
13: 가상 이미지 생성 모듈
14: 에러 이미지 생성 모듈
15: 타겟 이미지 생성 모듈
16: 이미지 복원 모듈
17: 가중치 조정 모듈
18: 유사도 판단 모듈
19: 특징 분류 모듈
20: 데이터 베이스
30: 사용자 장치
101: 제1 네트워크
102: 제2 네트워크
103: 제3 네트워크
104: 제4 네트워크
105: 제5 네트워크
106: 특징 분류 네트워크
NN: 뉴럴 네트워크
X: 소스 이미지
YV: 가상 이미지
Claims (18)
- 하나 이상의 네트워크를 이용한 이미지 처리 방법에 있어서,
제1 도메인의 소스 이미지로부터 하나 이상의 특징맵을 획득하는 단계;
상기 하나 이상의 특징맵을 기초로 제2 도메인의 가상 이미지 및 에러 이미지를 생성하는 단계;
상기 에러 이미지에 제1 가중치가 적용되고, 상기 가상 이미지에 제2 가중치가 적용된 타겟 이미지를 획득하는 단계;
상기 타겟 이미지를 상기 제1 도메인의 복원 이미지로 변환하는 단계; 및
상기 복원 이미지와 상기 소스 이미지 간의 차이를 이용하여 상기 네트워크들 중 적어도 하나의 파라미터가 조정되는 단계; 를 포함하되,
상기 가상 이미지의 품질이 미리 정해진 수준에 도달할 때까지 상기 단계들이 반복적으로 수행되는 것을 특징으로 하는 이미지 처리 방법.
- 제 1항에 있어서,
상기 하나 이상의 특징맵 중 유효 특징들에 관련된 제1 특징맵과 에러 특징들에 관련된 제2 특징맵을 분류하는 단계; 를 더 포함하고,
상기 제1 특징맵을 이용하여 상기 가상 이미지를 생성하고 상기 제2 특징맵을 이용하여 에러 이미지를 생성하는 것을 특징으로 하는 이미지 처리방법.
- 제 1항에 있어서,
상기 가상 이미지의 품질이 미리 정해진 수준에 도달하였는지 여부는, 미리 설정된 종료 조건이 만족되었는지 여부에 따라 결정되는 것을 특징으로 하는 이미지 처리 방법.
- 제 1항에 있어서,
상기 제1 가중치는, 상기 복원 이미지와 상기 소스 이미지의 차이에 대한 가상 이미지의 기울기를 기초로 산출되는 것을 특징으로 하는 이미지 처리 방법.
- 제 1항에 있어서,
상기 제2 가중치는 상기 제1 가중치를 기초로 산출되는 이미지 처리방법.
- 제 1항에 있어서,
상기 제2 도메인의 가상 이미지와 제2 도메인의 원본 이미지 간의 차이를 이용하여 상기 가상 이미지 생성을 위한 적어도 하나의 네트워크의 파라미터가 조정되는 단계;를 더 포함하는 이미지 처리방법.
- 제1 도메인의 소스 이미지를 획득하는 이미지 획득 모듈;
상기 소스 이미지 내의 특징들을 분석하고, 상기 소스 이미지 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별하는 특징 분석 모듈; 및
상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 제2 도메인의 가상 이미지를 생성하는 가상 이미지 생성 모듈;을 포함하되,
상기 제1 도메인 및 상기 제2 도메인 사이의 이미지 변환을 통하여 상기 가상 이미지의 품질이 향상되는 것을 특징으로 하는
이미지 처리 장치.
- 제 7항에 있어서,
상기 에러 특징들을 이용하여 에러 이미지를 생성하는 에러 이미지 생성 모듈; 및
상기 에러 이미지에 제1 가중치를 적용하고 상기 가상 이미지에 제2 가중치를 적용하여 타겟 이미지를 생성하는 타겟 이미지 생성 모듈;을 더 포함하는
이미지 처리 장치.
- 제 8항에 있어서,
상기 타겟 이미지를 복원 이미지로 변환하기 위한 이미지 복원 모듈; 및
상기 복원 이미지와 상기 소스 이미지 간의 차이 값을 기초로 상기 모듈들 중 적어도 하나에 적용되는 파라미터를 조정하기 위한 가중치 조정 모듈;을 더 포함하는
이미지 처리 장치.
- 제 9항에 있어서,
상기 가중치 조정모듈에 의해 조정된 파라미터는 상기 특징 분석 모듈, 상기 가상 이미지 생성 모듈, 상기 에러 이미지 생성 모듈, 상기 이미지 복원 모듈 중 적어도 하나에 피드백되는 것을 특징으로 하는
이미지 처리 장치.
- 제 8항에 있어서,
상기 제2 가중치는 상기 제1 가중치를 기초로 산출되는 것을 특징으로 하는
이미지 처리 장치.
- 제 10항에 있어서, 상기 가상 이미지의 품질이 향상되도록 상기 타겟 이미지 생성 및 상기 복원 이미지 변환이 반복적으로 수행되는
이미지 처리 장치.
- 제 7항에 있어서,
상기 유효 특징은 상기 소스 이미지 내의 관심 영역(ROI)에 관련된 것이고, 상기 에러 특징은 상기 소스 이미지 내의 에러 영역에 관련된 것이며,
상기 유효 특징 및 상기 에러 특징들을 분류하기 위한 특징 분류 모듈;를 더 포함하는
이미지 처리 장치.
- 제 13항에 있어서,
상기 가중치 조정모듈에 의해 조정된 상기 파라미터는 상기 특징 분류 모듈에 피드백되는 것을 특징으로 하는
이미지 처리 장치.
- 제1 도메인의 소스 이미지를 획득하는 단계;
상기 소스 이미지 내의 특징들을 분석하는 단계;
상기 소스 이미지 내의 적어도 하나의 에러 특징 및 유효 특징들을 식별하는 단계; 및
상기 유효 특징들에 제2 도메인의 원본 이미지의 속성들을 합성하여 상기 에러 특징이 제거된 제2 도메인의 가상 이미지를 출력하는 단계;를 포함하되,
상기 제1 도메인 및 상기 제2 도메인 사이의 이미지 변환을 통하여 상기 가상 이미지의 품질이 향상되도록, 상기 단계들이 반복적으로 수행되는 것을 특징으로 하는 이미지 처리 방법.
- 제 15항에 있어서,
상기 유효 특징은 상기 소스 이미지 내의 관심 영역에 관련된 특징이고, 상기 에러 특징은 상기 소스 이미지 내의 에러 영역에 관련된 특징인 것인
이미지 처리방법.
- 제 15항에 있어서,
상기 단계들은, 미리 설정된 종료 조건이 만족될 때까지 반복적으로 수행되는 것을 특징으로 하는
이미지 처리 방법.
- 제 1항 내지 제 6항, 제 15항 내지 제17항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 매체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201880067109.3A CN111226258B (zh) | 2017-10-15 | 2018-10-15 | 信号转换系统和信号转换方法 |
| PCT/KR2018/012112 WO2019074339A1 (ko) | 2017-10-15 | 2018-10-15 | 신호 변환 시스템 및 신호 변환 방법 |
| US16/160,859 US11694083B2 (en) | 2017-10-15 | 2018-10-15 | Signal translation system and signal translation method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762572507P | 2017-10-15 | 2017-10-15 | |
| US62/572,507 | 2017-10-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190042429A true KR20190042429A (ko) | 2019-04-24 |
| KR102053527B1 KR102053527B1 (ko) | 2019-12-06 |
Family
ID=66282171
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180050390A KR102053527B1 (ko) | 2017-10-15 | 2018-05-02 | 이미지 처리 방법 |
| KR1020180120762A KR102229218B1 (ko) | 2017-10-15 | 2018-10-10 | 신호 변환 시스템 및 신호 변환 방법 |
| KR1020210032325A KR20210032945A (ko) | 2017-10-15 | 2021-03-11 | 신호 변환 시스템 및 신호 변환 방법 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180120762A KR102229218B1 (ko) | 2017-10-15 | 2018-10-10 | 신호 변환 시스템 및 신호 변환 방법 |
| KR1020210032325A KR20210032945A (ko) | 2017-10-15 | 2021-03-11 | 신호 변환 시스템 및 신호 변환 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (3) | KR102053527B1 (ko) |
| CN (1) | CN111226258B (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052818A (zh) * | 2020-09-15 | 2020-12-08 | 浙江智慧视频安防创新中心有限公司 | 无监督域适应的行人检测方法、系统及存储介质 |
| KR20210007234A (ko) * | 2019-07-10 | 2021-01-20 | 삼성전자주식회사 | 이미지 보정 방법 및 이미지 보정 시스템 |
| WO2021054572A1 (ko) * | 2019-09-16 | 2021-03-25 | 삼성전자주식회사 | 디스플레이 장치 및 이의 영상 처리 방법 |
| CN113487641A (zh) * | 2021-08-03 | 2021-10-08 | 致真存储(北京)科技有限公司 | 一种基于stt-mram的图像边缘检测方法及装置 |
| KR102371145B1 (ko) * | 2021-11-10 | 2022-03-07 | 주식회사 스누아이랩 | 이미지 복원을 위한 장치 및 그 장치의 구동방법 |
| KR20220169076A (ko) | 2021-06-18 | 2022-12-27 | 홍소현 | 식용 및 사료용 곤충의 대량절식장치 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102334666B1 (ko) * | 2021-05-20 | 2021-12-07 | 알레시오 주식회사 | 얼굴 이미지 생성 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012045065A (ja) * | 2010-08-25 | 2012-03-08 | Hitachi Aloka Medical Ltd | 超音波画像処理装置 |
| KR20150089836A (ko) * | 2014-01-28 | 2015-08-05 | 삼성메디슨 주식회사 | 관심 영역에 대응하는 초음파 영상 표시 방법 및 이를 위한 초음파 장치 |
| JP2016191975A (ja) * | 2015-03-30 | 2016-11-10 | 株式会社メガチップス | 機械学習装置 |
| KR20170113251A (ko) * | 2016-03-24 | 2017-10-12 | 재단법인 아산사회복지재단 | 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3642591B2 (ja) * | 1994-11-29 | 2005-04-27 | 株式会社日立メディコ | 画像処理装置 |
| KR100497398B1 (ko) * | 2003-07-16 | 2005-06-23 | 삼성전자주식회사 | 영상 잡음 제거방법 및 장치 |
| JP5627253B2 (ja) * | 2009-05-29 | 2014-11-19 | 富士通テン株式会社 | 画像処理装置、電子装置、および、画像処理方法 |
| KR20130008858A (ko) * | 2011-07-13 | 2013-01-23 | 삼성전자주식회사 | 영상 처리 방법 및 그에 따른 영상 처리 장치 |
| KR102054680B1 (ko) * | 2013-01-23 | 2020-01-22 | 삼성전자주식회사 | 영상 처리 장치, 초음파 영상 장치 및 영상 처리 방법 |
| JP6230239B2 (ja) * | 2013-02-14 | 2017-11-15 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
| WO2015172735A1 (en) * | 2014-05-16 | 2015-11-19 | Mediatek Inc. | Detection devices and methods for detecting regions of interest |
| US9582753B2 (en) * | 2014-07-30 | 2017-02-28 | Mitsubishi Electric Research Laboratories, Inc. | Neural networks for transforming signals |
| JP6412386B2 (ja) * | 2014-09-26 | 2018-10-24 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラムならびに記録媒体 |
| KR102328269B1 (ko) * | 2014-10-23 | 2021-11-19 | 삼성전자주식회사 | 초음파 영상 장치 및 그 제어 방법 |
| CN106203460A (zh) * | 2015-05-05 | 2016-12-07 | 杜比实验室特许公司 | 训练信号处理模型以用于信号处理系统中的部件替换 |
| KR20160133230A (ko) * | 2015-05-12 | 2016-11-22 | 엘지전자 주식회사 | 이동 단말기 |
| US20180322662A1 (en) * | 2015-11-06 | 2018-11-08 | Thomson Licensing | Method for transfer of a style of a reference visual object to another visual object, and corresponding electronic device, computer readable program products and computer readable storage medium |
| US10460231B2 (en) * | 2015-12-29 | 2019-10-29 | Samsung Electronics Co., Ltd. | Method and apparatus of neural network based image signal processor |
-
2018
- 2018-05-02 KR KR1020180050390A patent/KR102053527B1/ko active IP Right Grant
- 2018-10-10 KR KR1020180120762A patent/KR102229218B1/ko active IP Right Grant
- 2018-10-15 CN CN201880067109.3A patent/CN111226258B/zh active Active
-
2021
- 2021-03-11 KR KR1020210032325A patent/KR20210032945A/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012045065A (ja) * | 2010-08-25 | 2012-03-08 | Hitachi Aloka Medical Ltd | 超音波画像処理装置 |
| KR20150089836A (ko) * | 2014-01-28 | 2015-08-05 | 삼성메디슨 주식회사 | 관심 영역에 대응하는 초음파 영상 표시 방법 및 이를 위한 초음파 장치 |
| JP2016191975A (ja) * | 2015-03-30 | 2016-11-10 | 株式会社メガチップス | 機械学習装置 |
| KR20170113251A (ko) * | 2016-03-24 | 2017-10-12 | 재단법인 아산사회복지재단 | 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210007234A (ko) * | 2019-07-10 | 2021-01-20 | 삼성전자주식회사 | 이미지 보정 방법 및 이미지 보정 시스템 |
| WO2021054572A1 (ko) * | 2019-09-16 | 2021-03-25 | 삼성전자주식회사 | 디스플레이 장치 및 이의 영상 처리 방법 |
| CN112052818A (zh) * | 2020-09-15 | 2020-12-08 | 浙江智慧视频安防创新中心有限公司 | 无监督域适应的行人检测方法、系统及存储介质 |
| CN112052818B (zh) * | 2020-09-15 | 2024-03-22 | 浙江智慧视频安防创新中心有限公司 | 无监督域适应的行人检测方法、系统及存储介质 |
| KR20220169076A (ko) | 2021-06-18 | 2022-12-27 | 홍소현 | 식용 및 사료용 곤충의 대량절식장치 |
| CN113487641A (zh) * | 2021-08-03 | 2021-10-08 | 致真存储(北京)科技有限公司 | 一种基于stt-mram的图像边缘检测方法及装置 |
| KR102371145B1 (ko) * | 2021-11-10 | 2022-03-07 | 주식회사 스누아이랩 | 이미지 복원을 위한 장치 및 그 장치의 구동방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102053527B1 (ko) | 2019-12-06 |
| CN111226258A (zh) | 2020-06-02 |
| KR102229218B1 (ko) | 2021-03-18 |
| KR20190042455A (ko) | 2019-04-24 |
| KR20210032945A (ko) | 2021-03-25 |
| CN111226258B (zh) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102053527B1 (ko) | 이미지 처리 방법 | |
| US10304193B1 (en) | Image segmentation and object detection using fully convolutional neural network | |
| CN110276411B (zh) | 图像分类方法、装置、设备、存储介质和医疗电子设备 | |
| CN106887039B (zh) | 一种基于医学影像的器官和病灶的三维成像方法及系统 | |
| KR102245693B1 (ko) | 3차원 영상 재구성 장치 및 그 방법 | |
| KR20190101905A (ko) | 양전자방출 단층촬영 시스템 및 그것을 이용한 영상 재구성 방법 | |
| US11694083B2 (en) | Signal translation system and signal translation method | |
| Ghazvinian Zanjani et al. | Impact of JPEG 2000 compression on deep convolutional neural networks for metastatic cancer detection in histopathological images | |
| KR102063294B1 (ko) | 초음파 영상을 실사 영상으로 변환하는 방법 및 그 장치 | |
| US20210012504A1 (en) | Encoder Regularization of a Segmentation Model | |
| WO2018217871A1 (en) | Systems and methods for analysis of heterotopic ossification in 3d images | |
| KR101995383B1 (ko) | 의료 영상에 대한 특징 순위에 기반하여 뇌질환을 판정하는 방법 및 이를 이용한 장치 | |
| WO2021120961A1 (zh) | 大脑成瘾结构图谱评估方法及装置 | |
| CN113424222A (zh) | 用于使用条件生成对抗网络提供中风病灶分割的系统和方法 | |
| CN114067389A (zh) | 一种面部表情的分类方法和电子设备 | |
| US20240078756A1 (en) | Image generation method and apparatus, device, storage medium, and computer program product | |
| CN112699885A (zh) | 一种基于对抗生成网络gan的语义分割训练数据增广方法和系统 | |
| KR101948701B1 (ko) | 피검체의 뇌 구조를 기술하는 잠재 변수에 기반하여 상기 피검체의 뇌질환을 판정하는 방법 및 이를 이용한 장치 | |
| KR102046720B1 (ko) | 영상의 색상을 조정하는 방법 및 이를 이용한 장치 | |
| KR20200058295A (ko) | 딥러닝 기반 고자기장 자기공명영상 합성 방법 및 장치 | |
| CN115170401A (zh) | 图像补全方法、装置、设备及存储介质 | |
| KR20220012406A (ko) | 모델 트레이닝 방법, 이미지 처리 및 정합 방법, 장치, 기기, 매체 | |
| CN113327221A (zh) | 融合roi区域的图像合成方法、装置、电子设备及介质 | |
| KR20200131722A (ko) | 훈련된 심층 신경망 모델의 재현 성능을 개선하는 방법 및 이를 이용한 장치 | |
| Deshmukh et al. | Depth map estimation with 3DFFT for two-dimensional to three-dimensional stereoscopic conversion based on image registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |