KR20190042455A - 신호 변환 시스템 및 신호 변환 방법 - Google Patents

신호 변환 시스템 및 신호 변환 방법 Download PDF

Info

Publication number
KR20190042455A
KR20190042455A KR1020180120762A KR20180120762A KR20190042455A KR 20190042455 A KR20190042455 A KR 20190042455A KR 1020180120762 A KR1020180120762 A KR 1020180120762A KR 20180120762 A KR20180120762 A KR 20180120762A KR 20190042455 A KR20190042455 A KR 20190042455A
Authority
KR
South Korea
Prior art keywords
signal
virtual
domain
error
network
Prior art date
Application number
KR1020180120762A
Other languages
English (en)
Other versions
KR102229218B1 (ko
Inventor
최광민
장호용
김세경
김다운
Original Assignee
알레시오 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알레시오 주식회사 filed Critical 알레시오 주식회사
Priority to US16/160,859 priority Critical patent/US11694083B2/en
Priority to PCT/KR2018/012112 priority patent/WO2019074339A1/ko
Priority to CN201880067109.3A priority patent/CN111226258B/zh
Publication of KR20190042455A publication Critical patent/KR20190042455A/ko
Application granted granted Critical
Publication of KR102229218B1 publication Critical patent/KR102229218B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

본 출원의 실시 예들에 따른 신호 변환 방법은 제1 도메인의 소스 신호를 입력받는 단계; 상기 소스 신호 내의 에러 특징 및 유효 특징들을 식별하는 단계; 상기 소스 신호에 포함된 적어도 하나의 제1 에러 특징들을 제거한 제2 도메인의 제1 가상 신호를 생성하는 단계; 및 상기 제1 가상 신호를 출력하는 단계;를 포함할 수 있다.
따라서, 본 출원의 실시 예들에 의하면 제1 도메인의 소스 신호 내의 에러 특징들이 제거된 제2 도메인의 가상 신호가 출력될 수 있다.

Description

신호 변환 시스템 및 신호 변환 방법 {SIGNAL TRANSLATION SYSTEM AND SIGNAL TRANSLATION METHOD}
본 출원은 신호 변환 시스템 및 신호 변환 방법에 관한 것으로, 아래의 실시 예들은 제1 도메인의 입력 신호에 포함된 에러 특징들이 제거된 제2 도메인의 가상 신호를 생성하기 위한 신호 변환 시스템 및 신호 변환 방법들에 관한 것이다.
기계 학습(machine learning)은 인공 지능의 한 분야로 여러 데이터를 이용하여 컴퓨터가 데이터의 특성들을 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야이다. 기계 학습은 다양한 분야에 응용되고 있으며, 문자 인식이 가장 대표적인 사례이다.
기계 학습은 학습 방식에 따라 지도 학습(supervised learning), 비지도학습(unsupervised learning), 강화 학습(reinforcement learning) 등으로 분류될 수 있다. 지도 학습은 미리 구축된 학습용 입력 및 출력 데이터의 쌍을 활용하여 모델을 학습하며, 비지도 학습은 입력 데이터만을 이용하여 모델이 데이터 자체를 분석하거나 군집하면서 학습을 수행한다. 강화 학습은 학습 수행 결과에 대해 적절한 보상을 주면서 피드백을 통해 학습한다.
최근 기계 학습의 한 분야로 데이터를 컴퓨터가 처리 가능한 형태인 여러 비선형 기법의 조화를 통해 높은 수준의 추상화를 시도하는 딥러닝 기술이 주목받고 있으며, 물체 인식과 자동차를 위한 장애물 센서 연구 등 다양한 분야에 활용되고 있다.
아래의 실시 예들은, 서로 다른 도메인(domain)에 있는 신호들 사이의 변환을 통해 소스 신호에 포함된 에러 특징들을 고려한 가상 신호를 생성하여 제공하는 것을 목적으로 한다.
본 출원의 일 실시 예에 따른 신호 변환 방법은 제1 도메인의 소스 신호를 입력받는 단계; 상기 소스 신호 내의 에러 특징 및 유효 특징들을 식별하는 단계; 상기 소스 신호에 포함된 적어도 하나의 제1 에러 특징들을 제거한 제2 도메인의 제1 가상 신호를 생성하는 단계; 및 상기 제1 가상 신호를 출력하는 단계;를 포함할 수 있다.
상기 제1 가상 신호는 상기 소스 신호에 포함된 에러 특징들이 제거된 가상 신호를 생성하도록 미리 학습된 파라미터를 이용하여 생성될 수 있다.
상기 미리 학습된 파라미터는 상기 가상 신호의 품질을 향상시키도록 지속적으로 업데이트될 수 있다.
또한, 본 출원의 다른 실시 예에 따른 신호 변환 방법은, 상기 제1 가상 신호의 품질이 미리 정해진 수준에 부합하는지 여부를 판단하는 단계;를 더 포함하고, 상기 제1 가상 신호의 품질이 미리 정해진 수준에 부합하는 것으로 판단되는 경우, 상기 제1 가상 신호를 출력할 수 있다.
상기 제1 가상 신호의 품질이 미리 정해진 수준에 부합하지 않는 것으로 판단되는 경우, 상기 제1 가상 신호를 제1 도메인의 제1 복원 신호로 역변환하는 단계; 및 상기 제1 복원 신호를 입력 신호로 하여 제2 가상 신호를 생성하는 단계; 를 더 포함하되, 상기 제2 가상 신호의 품질이 미리 정해진 수준에 부합할 때까지 상기 단계들을 반복적으로 수행할 수 있다.
상기 제2 가상 신호는, 상기 제1 복원 신호에 포함된 적어도 하나의 제2 에러 특징이 더 제거된 것일 수 있다.
상기 제1 가상 신호는, 상기 제1 도메인의 소스 신호에 상기 제2 도메인의 데스티네이션 신호의 특징들을 합성하여 생성될 수 있다.
상기 유효 특징은, 사용자로부터 미리 설정된 상기 소스 신호 내의 관심 영역(ROI)에 관한 것 일수 있다.
본 출원의 또 다른 실시 예에 따른 학습 방법은 적어도 하나의 뉴럴 네트워크를 이용한 학습 방법에 있어서, 제1 도메인의 소스 신호로부터 적어도 하나의 제1 에러 특징을 식별하는 단계; 및 상기 제1 에러 특징이 제거된 제2 도메인의 제1 가상 신호를 산출하는 단계; 상기 제1 가상 신호의 품질이 미리 정해진 수준에 부합하는지 여부를 판단하는 단계;를 포함하되, 상기 제1 가상 신호의 품질이 미리 정해진 수준에 부합하지 않는 것으로 판단되는 경우, 상기 제1 가상 신호를 제1 도메인의 제1 복원 신호로 역변환하는 단계; 및 상기 제1 복원 신호 및 상기 소스 신호의 차이를 이용하여 제1 가중치를 산출하는 단계;를 더 포함하며, 상기 제1 가중치를 통해 상기 소스 신호에 포함된 상기 적어도 하나의 제1 에러 특징이 학습될 수 있다.
상기 제1 가상 신호의 품질이 미리 정해진 수준에 부합하지 않는 것으로 판단되는 경우, 상기 제1 가중치를 이용하여 상기 제1 에러 특징이 포함된 제2 도메인의 제2 가상 신호를 생성하는 단계; 상기 제2 가상 신호를 제1 도메인의 제2 복원 신호로 역변환 하는 단계; 및 상기 제2 복원 신호와 상기 소스 신호의 차이를 이용하여 파마리터를 조정하는 단계;를 더 포함될 수 있다.
상기 제1 에러 특징을 식별하는 단계는, 상기 소스 신호로부터 하나 이상의 특징들을 획득하는 단계; 및 상기 하나 이상의 특징들 중 유효 특징들에 관련된 제1 특징과 에러 특징들에 관련된 제2 특징을 분류하는 단계;를 더 포함할 수 있다.
상기 제2 가상 신호를 생성하는 단계는, 상기 적어도 하나의 제1 에러 특징을 기초로 산출되는 제1 에러 신호에 상기 제1 가중치를 적용하고, 상기 제1 가상 신호에 제2 가중치를 적용하여 생성될 수 있다.
상기 제2 가중치는, 상기 제1 가중치를 기초로 산출될 수 있다.
또한, 상기 제1 가상 신호와 제2 도메인의 데스티네이션 신호의 유사도를 산출하는 단계를 더 포함할 수 있고, 상기 뉴럴 네트워크는 상기 제1 가상 신호와 상기 데스티네이션 신호의 유사도가 높아지도록 학습될 수 있다.
본 출원의 또 다른 실시 예에 따른 학습 방법은 적어도 하나의 뉴럴 네트워크를 이용한 학습 방법에 있어서, 제1 도메인의 입력 신호로부터 복수 개의 특징을 획득하는 단계; 상기 복수 개의 특징 중 제1 특징만을 이용하여 제1 가상 신호를 생성하고, 상기 복수 개의 특징 모두를 이용하여 제2 가상 신호를 생성하는 단계; 및 상기 제1 가상 신호와 제2 도메인의 데스티네이션 신호의 유사도를 산출하는 단계; 및 상기 제2 가상 신호를 제1 도메인의 신호로 역변환한 제1 복원 신호와 상기 소스 신호의 차이를 이용하여 상기 네트워크에 적용되는 파라미터가 조정되는 단계;를 포함할 수 있다.
상기 제1 가상 신호의 품질이 미리 정해진 수준에 도달할 때까지 상기 단계들이 반복적으로 수행될 수 있다.
또한, 상기 뉴럴 네트워크는 상기 제1 가상 신호와 제2 도메인의 데스티네이션 신호의 유사도가 높아지도록 학습될 수 있다.
이때 상기 유사도는 상기 제1 가상 신호와 상기 데스티네이션 신호 간의 정성적 특징들 사이의 유사성일 수 있다.
또한, 본 출원의 또 다른 실시 예에 따른 컴퓨터 판독 가능 매체는, 본 출원의 실시 예들에 따른 신호 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 것일 수 있다.
본 출원의 실시 예들에 의하면 제1 도메인의 입력 신호 내의 에러 특징들이 제거된 제2 도메인의 가상 신호가 출력될 수 있다.
도 1은 본 출원의 일 실시 예에 따른 신호 변환 제공 시스템의 전체 환경을 개략적으로 설명하기 위한 도면이다.
도 2는 본 출원의 일 실시 예에 따른 신호 변환 제공 시스템에서 제공되는 신호 변환 과정을 개략적으로 나타내기 위한 블록도이다.
도 3은 본 출원의 일 실시 예에 따른 신호 변환 모듈의 구성을 예시적으로 나타내는 블록도이다.
도 4는 본 출원의 제1 실시 예에 따른 신호 변환 방법을 예시적으로 설명하기 위한 순서도이다.
도 5는 본 출원의 제2 실시 예에 따른 신호 변환 방법을 예시적으로 설명하기 위한 순서도이다.
도 6은 본 출원의 제2 실시 예에 따른 신호 변환 방법을 예시적으로 나타내기 위한 도면이다.
도 7 및 도 8은 본 출원의 일 실시 예에 따른 하나 이상의 뉴럴 네트워크(NN)에 의해 수행되는 신호 변환 학습 과정을 예시적으로 설명하기 위한 도면이다.
도 9는 본 출원의 일 실시 예에 따른 신호 변환 학습 과정을 개략적으로 설명하기 위한 도면이다.
도 10은 본 출원의 제4 실시 예에 따른 학습 방법을 예시적으로 설명하기 위한 순서도이다.
도 11은 본 출원의 제5 실시 예에 따른 학습 방법을 예시적으로 설명하기 위한 도면이다.
도 12는 본 출원의 제5 실시 예에 따른 학습 방법을 예시적으로 설명하기 위한 순서도이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장되어진 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위 뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하에서는, 서로 다른 도메인(domain)에 있는 다양한 신호들 사이의 신호 변환에 관련된 실시 예들에 대하여 설명한다.
본 출원의 실시 예들에 따른 신호 변환은 제1 도메인의 입력 신호와 제2 도메인의 가상 신호 사이의 신호 변환에 관한 것일 수 있다.
본 명세서에서 신호는, 예를 들어, 이미지, 음성, 3차원 정보 등을 포함할 수 있다. 또한, 본 명세서에서 에러 특징은, 입력 신호에 포함된 사용자가 원하지 않는 임의의 특징일 수 있다.
음성 신호 변환의 일 예로, 제1 도메인의 남자 목소리를 제2 도메인의 여자 목소리로 변환할 수 있다. 이때, 제1 도메인의 남자 목소리에는 잡음(noise) 및 다른 목소리가 섞여있을 수 있고, 변환된 가상 신호는 상기 제1 도메인의 신호에 포함된 잡음 및 다른 목소리가 제거된 것일 수 있다.
다른 예로, 자연어 신호 변환의 경우, 제1 도메인의 한국어 문장을 제2 도메인의 영어 문장으로 변환할 수 있다. 이때, 제1 도메인의 한국어 문장에는 오타 및 잘못된 단어가 섞여있을 수 있고, 변환된 가상 신호는 상기 제1 도메인의 신호에 포함된 오타 및 잘못된 단어가 제거된 것일 수 있다.
소리 신호 변환의 일 예로, 제1 도메인의 클래식 음악을 제2 도메인의 재즈 음악으로 변환할 수 있다. 이때, 제1 도메인의 클래식 음악에는 잡음 및 사람 목소리(보컬이 아닌)가 섞여있을 수 있고, 변환된 가상 신호는 상기 제1 도메인의 신호에 포함된 잡음 및 사람 목소리가 제거된 것일 수 있다.
또 다른 예로, 3D 신호 변환의 경우, 제1 도메인의 3차원 복셀(voxel)을 제2 도메인의 2차원 이미지로 변환할 수 있다. 이때, 제1 도메인의 3차원 복셀에는 에러 특징이 포함되어 있을 수 있고, 변환된 가상 신호는 상기 제1 도메인의 신호에 포함된 에러 특징이 제거된 것일 수 있다.
또한 이미지 변환의 일 예로, 제1 도메인의 초음파 이미지를 제2 도메인의 사진 이미지로 변환할 수 있다. 이때, 제1 도메인의 초음파 이미지에는 에러, 사용자가 원하지 않는 특징들이 포함되어 있을 수 있고, 변환된 가상 이미지는 상기 제1 도메인의 신호에 포함된 에러, 원하지 않는 특징들이 제거된 것일 수 있다.
상술한 신호 변환의 실시 예들은 예시적인 목적으로 기재된 것으로, 본 발명이 상술한 실시 예로 한정되지 않으며 서로 다른 도메인에 있는 신호들 사이의 신호 변환에 있어서, 에러 신호가 포함된 제1 도메인의 소스 신호를 에러 신호가 제거된 제2 도메인의 가상 신호로 변환하기 위한 모든 분야에 활용될 수 있다.
이하에서는 설명의 편의를 위하여 제1 도메인의 이미지를 입력 신호로 하여 제2 도메인의 가상 이미지를 출력하기 위한 이미지 변환을 상정하여 설명하기로 한다.
이때, 입력 이미지는 다양한 이미징 장치(imaging apparatus)를 통해 획득된 이미지일 수 있다.
예를 들어, 입력 이미지는 엑스레이(X-ray), CT(computed Tomography), MRI(Magnetic Resonance Imaging), 초음파 영상 촬영 장치 등을 통해 획득된 의료 이미지(medical image)일 수 있다.
또는, 예를 들어, 상기 입력 이미지는 기타 다양한 종류의 카메라 장치 등을 통해 촬상된 사진 이미지일 수 있다.
또한, 가상 이미지는 상기 제1 도메인의 입력 이미지 내의 사용자의 관심 영역(ROI)을 적어도 하나 이상 포함하는 제2 도메인의 이미지일 수 있다.
예를 들어, 가상 이미지는 상기 제1 도메인의 입력 이미지에 포함된 적어도 하나의 인공물(artifact)이 제거된 제2 도메인의 이미지일 수 있다.
상기 인공물은, 예를 들어, 상기 입력 이미지에 포함된 다양한 형태의 이미징 에러(imaging error)일 수 있다. 또는, 상기 인공물은 사용자가 원하지 않는 특징(unwanted features)들일 수 있다. 사용자는 상기 입력 이미지에 포함된 원하지 않는 특징들을 인공물로 정의할 수 있다.
1. 신호 변환 제공 시스템
이하에서는 도 1 및 도 2를 참조하여 전술한 다양한 신호 변환을 통해 변환된 가상 신호를 제공하기 위한 신호 변환 제공 시스템(1)의 전체 환경을 개략적으로 설명한다.
본 출원의 일 실시 예에 따른 신호 변환 제공 시스템(1)은, 사용자 장치(30)로부터 입력되는 제1 도메인의 소스 신호를 제2 도메인의 가상 신호로 변환하여 해당 사용자 장치(30)를 통해 제공하기 위한 시스템일 수 있다.
또한, 상기 신호 변환 제공 시스템(1)은 소스 신호 내의 에러 특징들이 제거된 가상 신호를 제공하기 위해 미리 학습된 시스템일 수 있다.
도 1은 본 출원의 일 실시 예에 따른 신호 변환 제공 시스템의 전체 환경을 개략적으로 설명하기 위한 도면이다. 본 출원의 일 실시 예에 따른 신호 변환 제공 시스템(1)은 서버(10), 데이터 베이스(20), 사용자 장치(30) 등을 포함할 수 있으며, 상기 서버(10), 상기 데이터 베이스(20), 상기 사용자 장치(30) 등이 통신망(2)을 통해 연결될 수 있다. 또한, 상기 신호 변환 제공 시스템(1)은 하나 이상의 서버(10), 데이터 베이스(20), 사용자 장치(30)를 포함할 수 있다.
서버(10)는 사용자 장치(30)로부터 수신된 제1 도메인의 소스 신호를 제2 도메인의 가상 신호로 변환하여 제공하기 위한 장치일 수 있다.
예를 들어, 상기 서버(10)는 소스 신호 내의 에러 특징들이 제거된 가상 신호를 생성하기 위해 학습을 수행하는 학습 모듈(M), 상기 학습 모듈(M)을 통해 획득된 소정의 기준을 기초로 하여 신호 변환 동작을 수행하는 신호 변환 모듈(T) 등을 포함할 수 있다.
상기 학습 모듈(M) 및 상기 신호 변환 모듈(T)은 설명의 편의를 위하여 예시적으로 기재된 것으로 상기 서버(10)는 하나의 모듈을 통해 모든 기능들을 통합하여 제공할 수 있으며, 기타 가상 신호를 생성하여 제공하기 위해 필요한 모든 기능들을 제공할 수 있다. 상기 학습 모듈(M) 및 상기 신호 변환 모듈(T)에서 수행되는 세부 동작은 이하의 관련된 부분에서 설명하기로 한다.
또한, 예를 들어, 상기 서버(10)는, 메모리, 신호 처리를 수행하는 하나의 프로세서 또는 복수 개의 프로세서를 포함할 수 있다.
상기 메모리(도시되지 않음)에는 신호 처리를 위한 프로그램이 저장되어 있을 수 있고, 상기 프로그램은 하나 이상의 모듈을 포함할 수 있다.
상기 프로세서(도시되지 않음)에는 머신 러닝을 수행하기 위한 하나 이상의 머신 러닝(Machine Learning) 알고리즘이 제공될 수 있다. 구체적으로, 본 출원의 일 실시 예에 따른 신호 처리에는 다양한 머신 러닝 모델(Machine learning model)이 사용될 수 있으며, 예를 들어, 딥러닝 모델(Deep learning model)이 사용될 수 있다.
딥러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions)를 시도하는 알고리즘의 집합이다. 딥러닝의 핵심 모델로 딥뉴럴 네트워크(Deep Neural Network, DNN)가 활용될 수 있다. 딥뉴럴 네트워크(DNN)는 입력층(input layer)과 출력층(output layer) 사이의 여러 개의 은닉층(hidden layer)들을 포함하며, 학습방법 또는 구조에 따라 심층 신뢰 네트워크(Deep Belief Network, DBN), 심층 오토 인코더(Deep Auto encoder), 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN), 순환 뉴럴 네트워크(Recurrent Neural Network, RNN), 생성적 적대 네트워크(Generative Adversarial Network, GAN) 등이 활용될 수 있다. 여기서 학습은 주어진 목적에 맞게 데이터의 특성을 파악하는 것으로 딥러닝에서는 연결 가중치(weight)를 조정한다. 예를 들어, 이미지와 같은 2차원 데이터의 학습에 적용될 수 있는 컨볼류션 뉴럴 네트워크(CNN)의 경우, 하나 또는 여러 개의 컨볼루션 레이어(convolutional layer)와 풀링 레이어(pooling layer), 완전하게 연결된 레이어(fully connected layer)들로 구성될 수 있고, 역전달 알고리즘(Backpropagation algorithm)을 통해 훈련될 수 있다.
예를 들어, 상기 프로세서를 통해 사용자 장치(30)로부터 수신되는 제1 도메인의 입력 신호가 상술한 하나 이상의 머신 러닝 알고리즘을 이용하여 제2 도메인의 가상 신호로 변환될 수 있다. 한편, 상기 서버(10)는 외부에 위치하는 학습 모듈(M)을 통해 전달되는 소정의 기준을 기초로 하여 신호 변환 동작만을 수행할 수도 있다. 또는 상기 서버(10)는 신호 변환 학습 동작만을 수행하고, 학습 결과 산출되는 소정의 기준을 외부의 신호 변환 모듈(T)에 제공할 수도 있다. 또는, 상기 서버(10)는 외부에 위치하는 학습 모듈(M) 및 신호 변환 모듈(T)로부터 변환된 가상 신호만을 사용자에게 제공할 수도 있다.
이하에서는 설명의 편의를 위하여 상기 서버(10) 내에 학습 모듈(M) 및 신호 변환 모듈(T)이 모두 위치하고, 상기 서버(10)에서 상술한 뉴럴 네트워크, 이들의 확장 또는 기타 딥러닝 접근법들을 이용하여 신호 변환을 수행하는 경우를 예로 들어 설명하기로 한다. 이때 변환된 가상 신호는 상기 입력 신호에 포함된 적어도 하나의 에러 특징이 제거된 신호일 수 있다.
데이터 베이스(20)는, 각종 데이터를 저장하기 위한 구성으로 하나 이상의 메모리를 포함할 수 있다.
예를 들어, 데이터 베이스(20)는 사용자 장치(30)로부터 수신되는 하나 이상의 신호를 저장할 수 있고, 신호 변환 과정에서 생성되는 각종 데이터들을 저장할 수 있다.
또한, 예를 들어, 상기 데이터 베이스(20)는 외부 서버 또는 외부 데이터 베이스 등으로부터 획득한 하나 이상의 신호, 예컨대, 이미지, 음성, 3차원 정보의 특징 정보 등을 저장하고 있을 수 있다.
한편, 상기 데이터 베이스(20)는 전술한 서버(10) 내에 위치할 수 있고, 상기 서버(10)로부터 분리되어 위치할 수도 있다.
사용자 장치(30)는 특정 오브젝트(object)의 이미지, 음성, 3차원 정보 등을 획득하기 위한 전자기기일 수 있다. 예를 들어, 상기 사용자 장치(30)는 카메라, 엑스레이, CT, MRI, 초음파 영상 촬영 장치, 컴퓨터, 휴대용 단말기 등 일 수 있다. 또는, 상기 사용자 장치(30)는 외부 장치로부터 생성된 신호를 제공받는 컴퓨터,휴대용 단말기 등의 전자기기일 수 있다. 예를 들어, 컴퓨터는 데스크탑, 노트북 등을 포함할 수 있다. 또는, 예를 들어, 상기 휴대용 단말기는 태블릿, 스마트폰 등을 포함할 수 있다.
일 예로, 외부 장치가 초음파 영상 촬영 장치인 경우, 상기 사용자 장치(30)는 상기 초음파 영상 촬영 장치로부터 촬상된 이미지를 제공받는 병원 내의 단말기일 수 있다.
상기 사용자 장치(30)는 상기 사용자 장치(30)에 설치된 프로그램, 상기 사용자 장치(30) 상에 제공되는 웹사이트, 애플리케이션 등을 통하여 서버(10)에 접근할 수 있다.
예를 들어, 상기 사용자 장치(30)는 상기 사용자 장치(30)에 미리 저장된 음성, 자연어, 음악, 이미지 데이터 등 중 적어도 하나를 상기 서버(10)에 입력 신호로서 제공할 수 있다. 또한, 예를 들어, 상기 사용자 장치(30)는 상기 사용자 장치(30)를 통해 실시간으로 획득되는 음성, 자연어, 음악, 이미지 데이터 등 중 적어도 하나를 상기 서버(10)에 입력 신호로써 제공할 수 있다.
통신망(2)은 서버(10)와 사용자 장치(30) 사이를 연결하기 위한 다양한 방식의 유무선 통신망일 수 있다. 또는, 상기 통신망(2)은 로컬 영역 통신망(local area network) 또는 광역 통신망(wide area network)일 수 있다. 예를 들어, 유에스비(USB)를 통한 유선 통신, 와파이(Wi-Fi), 와이브로(Wibro), 블루투스(Bluetooth), 알에프(RF), 적외선 통신(IrDA) 방식 등의 무선 통신일 수 있으며, 상기 통신망(2)은 상술한 예로 한정되지 않는다.
2. 신호 변환 과정
도 2는 본 출원의 일 실시 예에 따른 신호 변환 제공 시스템(1)에서 제공되는 신호 변환 과정을 개략적으로 나타내기 위한 블록도이다.
예를 들어, 본 출원의 일 실시 예에 따른 신호 변환 과정은 전술한 서버(10) 내부에 위치하는 신호 변환 모듈(T)을 통해 수행될 수 있다.
이때 상기 신호 변환 모듈(T)에는 하나 이상의 머신러닝 알고리즘이 제공될 수 있으다. 예를 들어, 상기 신호 변환 모듈(T)은, 도 2에 도시된 바와 같이, 적어도 하나의 뉴럴 네트워크(Neural Network, NN)를 이용하여 신호 변환을 수행할 수 있다. 상기 신호 변환 모듈(T)에 의해 수행되는 세부 동작에 관해서는 이하의 관련된 실시 예를 통해 설명하기로 한다.
도 2를 참조하면, 상기 뉴럴 네트워크(NN)에는 전술한 사용자 장치(30)로부터 수신되는 제1 도메인의 소스 신호(X)가 입력데이터로서 적용될 수 있다. 즉, 상기 사용자 장치(30)로부터 수신된 초음파 이미지(X)가 상기 뉴럴 네트워크(NN)에 입력되면, 상기 뉴럴 네트워크(NN)를 이용하여 변환된 제2 도메인의 실제 사진 이미지(Yv)가 상기 사용자 장치(30) 상에 출력될 수 있다.
예를 들어, 도 2에 도시된 바와 같이, 상기 실제 사진 이미지(Yv)는 상기 초음파 이미지(X) 내의 태아의 손과 같은 에러 특징들이 제거된 제2 도메인의 가상 이미지일 수 있다. 이때, 상기 신호 변환 모듈(T)은 미리 설정된 기준에 따라 제1 도메인의 소스 이미지(X) 내에 포함된 에러 특징들이 제거된 제2 도메인의 가상 이미지를 생성할 수 있다. 예를 들어, 상기 미리 설정된 기준은 기계 학습 결과로써 획득되는 파라미터일 수 있고, 상기 파라미터는 지속적으로 업데이트될 수 있다.
이하에서는 도3 내지 도 6을 참조하여 신호 변환 모듈(T)에서 수행되는 신호 변환 방법의 실시 예들에 관하여 상세하게 설명한다.
도 3은 본 출원의 실시 예에 따른 신호 변환 모듈(T)의 구성을 예시적으로 설명하기 위한 블록도이다. 예를 들어, 신호 변환 모듈(T)은 신호 송수신부(11), 특징 분석부(12), 가상 신호 생성부(13), 신호 역변환부(14) 및 제어부(15) 등을 포함할 수 있다. 각 구성요소는 예시적으로 기재된 것으로, 상기 신호 변환 모듈(T)에는 상술한 구성요소 중 하나 이상이 포함될 수 있으며, 각 구성요소에서 수행되는 동작들이 하나의 구성요소로 통합되어 제공될 수 있다. 또한, 각 구성요소에서 수행되는 동작들은 필요에 따라 순차적으로 또는 병렬적으로 수행될 수 있다.
이하에서는 제1 도메인(domain)의 소스 신호(source signal)는 태아의 초음파 이미지(Ultrasound Image), 제2 도메인의 데스티네이션 신호(destination signal)는 신생아의 실제 사진 이미지(Real Photo Image)인 경우를 예로 들어 설명하기로 한다.
이 때, 제2 도메인의 가상 신호는 상기 태아의 초음파 이미지에 신생아의 실제 사진 이미지의 특징들을 합성한 이미지일 수 있으며, 상기 태아의 초음파 이미지 내에 포함된 적어도 하나의 인공물(artifact)이 제거된 태아의 사진 이미지일 수 있다.
여기서, 상기 인공물(artifact)은, 예를 들어, 상기 태아의 초음파 이미지에 포함된 다양한 형태의 이미징 에러(imaging error), 상기 태아의 얼굴 영역(face region)이 아닌 임의의 특징일 수 있다.
이하에서는, 태아의 얼굴 영역(face region)을 사용자의 관심 영역(ROI)으로 정의하고, 상기 태아의 초음파 이미지 내의 적어도 하나의 인공물을 포함하는 영역을 에러 영역(error region)으로 정의한다.
또한, 상기 태아의 초음파 이미지는 초음파 촬영 장치를 통해 촬상된 태아의 2차원 또는 3차원 이미지일 수 있고, 신생아의 실제 사진 이미지는 신생아를 실제로 촬상한 2차원 이미지일 수 있다. 한편, 본 출원의 일 실시 예에 따른 신호 처리에 있어서, 상기 초음파 이미지의 태아와 상기 실제 사진 이미지의 신생아는 서로 일치하지 않을 수 있다.
신호 송수신부(11)는 사용자로부터 제1 도메인의 소스 신호(X)를 수신하고, 후술할 가상 신호 생성부(13)에서 생성된 제2 도메인의 가상 신호를 사용자 장치(30) 상에 전송하기 위한 구성일 수 있다.
예를 들어, 상기 제1 도메인의 소스 신호(X)가 태아의 초음파 이미지인 경우, 상기 소스 신호(X)는 초음파 영상 촬영 장치로부터 실시간으로 수신되는 이미지일 수 있다. 또는, 상기 소스 신호(X)는 사용자의 휴대용 단말기에 저장되어 있는 이미지들 중 사용자에 의해 선택된 이미지일 수 있다.
특징 분석부(12)는 상기 신호 송수신부(11)를 통해 획득한 제1 도메인의 소스 신호(X) 내의 복수의 특징들을 추출하기 위한 구성일 수 있다.
예를 들어, 상기 특징 분석부(12)는 적어도 하나의 뉴럴 네트워크를 이용하여 상기 소스 신호(X) 내의 복수의 특징들을 추출할 수 있다. 예를 들어, 상기 네트워크는 컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 따라서, 상기 특징 분석 부(12)는 상기 복수의 레이어를 이용하여 상기 소스 신호(X) 내에 포함된 복수의 특징(feature)들을 추출할 수 있다.
또한, 상기 특징 분석부(12)는 상기 복수의 특징들을 미리 설정된 기준에 따라 관심 영역(ROI)에 관련된 유효 특징 및/또는 에러 영역에 관련된 에러 특징으로 분류할 수 있다. 상기 미리 설정된 기준은, 예를 들어, 사용자로부터 미리 입력된 기준일 수 있고, 학습 모듈(M)을 통해 미리 학습된 결과에 따라 업데이트되는 것일 수 있다.
예를 들어, 상기 특징 분석부(12)는 하나 이상의 특징맵(FM, Feature Map)을 통하여 상기 소스 신호 내의 관심 영역(ROI, Region of Interest) 및 에러 영역(error region)을 식별할 수 있다. 이때, 상기 특징맵은 상기 복수의 특징들의 조합일 수 있다.
일 예로, 상기 소스 신호(X)가 태아의 초음파 이미지인 경우, 상기 관심 영역은 태아의 얼굴 영역(face region)일 수 있고, 상기 에러 영역은 태아의 얼굴 영역이 아닌 다른 신체 영역일 수 있다. 예를 들어, 상기 얼굴 영역은 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 예를 들어, 상기 에러 영역은 태아의 손, 발, 태반, 양수 등을 포함할 수 있다.
추가로, 상기 특징 분석부(12)는 제2 도메인의 데스티네이션 신호의 특징들을 추출할 수도 있다. 이때, 상기 데스티네이션 신호의 특징들을 추출하는 방법은, 상기 소스 신호 내의 특징들을 추출하는 방법에 대응될 수 있다.
또한, 선택적으로, 상기 신호 변환 모듈(T)은 사용자 장치(30)를 통해 상기 특징 분석부(12)를 통해 분석된 유효 특징 및/또는 에러 특징들의 리스트를 제공할 수 있다. 예를 들어, 사용자는 상기 리스트의 특징들 중 하나를 선택하여 속성 정보를 변경할 수 있다. 예를 들어, 상기 속성 정보는, 피부색, 머리 색깔 등을 포함할 수 있다.
가상 신호 생성부(13)는 전술한 특징 분석부(12)로부터 획득되는 하나 이상의 특징들을 이용하여 제1 도메인의 소스 신호를 제2 도메인의 제1 가상 신호로 변환하기 위한 구성일 수 있다.
예를 들어, 상기 가상 신호 생성부(13)는 적어도 하나의 뉴럴 네트워크를 이용하여 상기 소스 신호를 제2 도메인의 제1 가상 신호로 변환할 수 있다. 예를 들어, 상기 네트워크는 복수의 레이어를 포함할 수 있고, 상기 가상 신호 생성부(13)는 상기 복수의 레이어에 미리 학습된 파라미터를 적용하여 상기 제1 가상 신호를 생성할 수 있다.
상기 미리 학습된 파라미터는, 일정 수준 이상의 품질을 갖는 제1 가상 신호를 생성하도록 학습 모듈(M)에 의해 미리 학습된 것일 수 있다. 상기 파라미터가 산출되는 과정에 대해서는 이하의 학습 모듈(M)에서 수행되는 학습 방법에 관한 부분에서 후술한다.
또한, 예를 들어, 상기 가상 신호 생성부(13)는 소스 신호의 유효 특징들을 기초로 신호 변환에 필요한 데스티네이션 신호의 특징들을 재조합할 수 있고, 상기 소스 신호의 유효 특징들에 재조합된 데스티네이션 신호의 특징들을 합성하여 제2 도메인의 제1 가상 신호로 변환할 수 있다. 이때, 상기 가상 신호 생성부(13)로부터 변환된 제1 가상 신호는 상기 소스 신호 내의 적어도 하나의 에러 특징들이 제거된 것일 수 있다.
예를 들어, 상기 데스티네이션 신호의 특징들은, 이미지의 밝기, 색상, 반사색, 텍스쳐, 깊이, 블렌딩, 형태 또는 형태의 조합 등을 포함할 수 있다.
한편, 상기 데스티네이션 신호 및/또는 상기 데스티네이션 신호의 특징들은 전술한 특징 분석부(12), 데이터 베이스(20), 메모리 또는 외부 서버로부터 획득될 수 있다. 또는, 상기 가상 신호 생성부(13)는 상기 뉴럴 네트워크를 이용하여 상기 데스티네이션 신호의 특징들을 추출할 수 있으며, 상기 데스티네이션의 특징들이 추출되는 과정은 전술한 특징 분석부(12)에서 상기 소스 신호 내의 특징들을 추출하는 방법에 대응될 수 있다.
일 예로, 상기 소스 신호가 태아의 초음파 이미지인 경우, 미리 설정된 기준에 따라 상기 태아의 초음파 이미지 내에 포함된 에러 특징들이 식별될 수 있고, 상기 가상 신호 생성부(13)를 통해 상기 에러 특징들을 제거한 가상 이미지가 생성될 수 있다. 예를 들어, 상기 가상 신호 생성부(13)를 통해 생성되는 가상 이미지는 상기 초음파 이미지 내의 태아의 손, 발, 태반 등과 같은 에러 특징들이 제거된 제2 도메인의 실제 사진 이미지일 수 있다.
다른 예로, 사용자가 사용자 장치(30) 상에 제공되는 상기 유효 특징 및/또는 유효 특징 리스트의 특징들 중 하나를 선택하여 속성 정보 변경을 요청한 경우, 상기 가상 신호 생성부(13)는 상기 속성 정보 변경 요청을 반영하여 가상 신호를 생성할 수 있다.
추가로, 상기 가상 신호 생성부(13)는 후술할 신호 역변환부(14) 통해 변환된 복원 신호를 입력 신호로 하여 제2 가상 신호를 생성할 수도 있다. 상기 복원 신호를 입력 신호로 하여 제2 가상 신호를 생성하는 방법은 전술한 제1 가상 신호를 생성하는 방법에 대응될 수 있다.
신호 역변환부(14)는 전술한 가상 신호 생성부(13)에서 생성된 제2 도메인의 제1 가상 신호를 제1 도메인의 복원 신호로 역변환하기 위한 구성일 수 있다.
예를 들어, 상기 신호 역변환부(14)는 적어도 하나의 뉴럴 네트워크를 이용하여 상기 제1 가상 신호를 제1 도메인의 복원 신호로 역변환할 수 있다.
이때, 상기 제1 가상 신호를 제1 도메인의 복원 신호로 변환하는 과정은 전술한 가상 신호 생성부(13)에서 수행되는 신호 변환 동작에 대응될 수 있다.
예를 들어, 상기 뉴럴 네트워크는 두 개의 서브 네트워크를 포함할 수 있고, 상기 신호 역변환부(14)는 제1 서브 네트워크에 포함된 복수의 레이어를 이용하여 상기 제1 가상 신호 내의 복수의 특징들을 추출할 수 있다. 이때, 상기 신호 역변환부(14)에서 상기 제1 서브 네트워크를 이용하여 복수의 특징들을 추출하는 과정은 전술한 특징 분석부(12)에서 수행되는 동작에 대응될 수 있다. 이때, 상기 신호 역변환부(14)에서 복원 신호를 생성하는 과정은 전술한 가상 신호 생성부(13)에서 수행되는 동작에 대응될 수 있다.
즉, 상기 신호 역변환부(14)는 제2 서브 네트워크에 포함된 복수의 레이어를 이용하여 상기 복수의 특징들에 상기 제1 도메인의 소스 신호의 특징들을 맵핑하여 복원 신호를 생성할 수 있다.
한편, 상기 제1 가상 신호는 상기 소스 신호 내의 적어도 하나의 에러 특징이 제거된 것일 수 있으므로, 상기 신호 역변환부(14)를 통해 생성되는 복원 신호 또한 상기 적어도 하나의 에러 특징이 제거된 것일 수 있다.
일 예로, 후술할 제어부(15)는 가상 신호의 품질이 미리 정해진 수준에 부합할 때까지 전술한 가상 신호 생성부(13) 및 신호 역변환부(14)를 통해 신호 변환 및 역변환 과정을 반복적으로 수행하도록 제어함으로써, 상기 소스 신호에 포함된 에러 특징들이 점차적/단계적으로 제거될 수 있다. 상기 신호 변환 및 역변환 과정에 관한 상세한 설명은 이하의 관련된 실시 예를 통해 상세하게 설명한다.
제어부(15)는 사용자로부터 입력된 소스 신호에 포함된 에러 신호들을 식별하여 품질이 향상된 제2 도메인의 가상 신호를 생성하도록 상기 신호 변환 모듈(T)에서 수행되는 모든 동작을 제어하기 위한 구성일 수 있다.
예를 들어, 상기 제어부(15)는 학습 모듈(M)로부터 산출된 최적의 파라미터를 획득할 수 있고, 상기 파라미터를 전술한 특징 분석부(12), 가상 신호 생성부(13) 및/또는 신호 역변환부(14)에 전달할 수 있다.
또한, 예를 들어, 상기 제어부(15)는 상기 가상 신호 생성부(13)를 통해 최종 변환된 제2 도메인의 가상 이미지를 상기 신호 송수신부(11)를 통해 사용자 장치(30) 상에 출력하도록 제어할 수 있다.
또한, 예를 들어, 상기 제어부(15)는 상기 가상 신호 생성부(13)를 통해 생성된 가상 신호의 품질이 미리 정해진 수준에 부합하는지 여부를 더 판단할 수 있다.
여기서 미리 정해진 수준은 사용자에 의해 미리 입력된 기준일 수 있으며, 예를 들어 사용자는 상기 가상 신호 생성부(13) 및 상기 신호 역변환부(14)에 의한 동작을 미리 지정된 횟수 이상 반복하도록 설정할 수 있다. 상기 가상 신호의 품질은 신호의 종류에 따라 다양한 기준에 의해 판단될 수 있으며, 이와 관련된 상세한 설명은 이하의 실시 예를 통해 상세하게 설명한다.
일 예로, 상기 제어부(15)는 상기 가상 신호의 품질이 미리 정해진 수준에 부합하는 것으로 판단되는 경우, 상기 신호 송수신부(11)를 통해 상기 가상 이미지를 사용자 장치(30) 상에 출력하도록 제어할 수 있다.
또는, 상기 가상 신호의 품질이 미리 정해진 수준에 부합하지 않는 것으로 판단되는 경우, 상기 가상 신호를 전술한 신호 역변환부(14)로 전달할 수 있다.
즉, 상기 제어부(15)는 상기 가상 신호 생성부(13)를 통해 생성된 가상 신호의 품질이 미리 정해진 수준에 부합할 때까지, 신호 변환 과정 및 신호 역변환 과정을 반복하도록 상기 가상 신호 생성부(13) 및 상기 신호 역변환부(14)의 동작을 제어함으로써, 상기 소스 신호에 포함된 에러 특징들이 제거되도록 할 수 있다.
이하에서는 도 4 및 도 5를 참조하여 전술한 신호 변환 모듈(T)에 의해 수행되는 신호 변환 방법의 다양한 실시 예들에 관하여 설명한다.
도 4는 본 출원의 제1 실시 예에 따른 신호 변환 방법을 예시적으로 설명하기 위한 순서도이다. 도 4를 참조하면, 본 출원의 제1 실시 예에 따른 신호 변환 방법은 제1 도메인의 소스 신호를 입력받는 단계(S41), 상기 소스 신호 내의 에러 특징 및 유효 특징들을 식별하는 단계(S42), 상기 소스 신호에 포함된 적어도 하나의 제1 에러 특징들을 제거한 제2 도메인의 제1 가상 신호를 생성하는 단계(S43), 상기 제1 가상 신호를 출력하는 단계 (S45)를 포함할 수 있다.
이하에서는, 제1 도메인의 소스 신호가 태아의 초음파 이미지(X)이고, 제2 도메인의 가상 신호는 상기 태아의 초음파 이미지에 신생아의 실제 사진 이미지의 특징들을 합성된 이미지(Yv)인 경우를 예로 들어 상세하게 설명한다.
신호 변환 모듈(T)은 제1 도메인의 소스 신호를 입력받을 수 있다(S41).
도 3을 참조하여 설명한 바와 같이, 상기 신호 변환 모듈(T)은 상기 신호 송수신부(11)를 통해 사용자로부터 제1 도메인의 소스 신호(X)를 수신할 수 있다. 예를 들어, 상기 신호 변환 모듈(T)은 병원 내에 위치하는 초음파 영상 촬영 장치로부터 태아의 초음파 이미지를 전송받을 수 있다.
신호 변환 모듈(T)은 상기 소스 신호 내의 에러 특징 및 유효 특징들을 식별할 수 있다(S42).
예를 들어, 신호 변환 모듈(T)은 전술한 바와 같이 특징 분석부(12)를 통해 상기 소스 신호에 포함된 복수의 특징들을 추출할 수 있다. 또한, 예를 들어, 상기 특징 분석부(12)는 상기 복수의 특징들을 미리 설정된 기준에 따라 유효 특징 및/또는 에러 특징으로 분류할 수 있다.
신호 변환 모듈(T)은 상기 소스 신호에 포함된 적어도 하나의 제1 에러 특징들이 제거된 제2 도메인의 제1 가상 신호를 생성할 수 있다(S43).
예를 들어, 상기 신호 변환 모듈(T)은 S42 단계에서 식별된 적어도 하나의 제1 에러 특징들을 제외하고상기 제1 도메인의 소스 신호를 제2 도메인의 제1 가상 신호로 변환할 수 있다. 예를 들어, 상기 적어도 하나의 제1 에러 특징들은 태아의 초음파 이미지 내에 포함된 손, 발, 태반, 양수 등과 관련된 것일 수 있다.
또한, 예를 들어, 상기 신호 변환 모듈(T)은 미리 학습된 파라미터를 이용하여 상기 제1 가상 신호를 생성할 수 있다. 이때 상기 미리 학습된 파라미터는 상기 제1 가상 신호의 품질을 향상시키도록 지속적으로 업데이트될 수 있다.
일 예로 상기 가상 신호 생성부(13)는 상기 태아의 초음파 이미지 내에 포함된 복수의 특징들 중 S42 단계에서 식별된 제1 에러 특징들을 제외하고, 태아의 얼굴 영역에 관한 특징들(예컨대, 얼굴, 눈, 코, 입, 귀 등)을 기초로 신호 변환에 필요한 신생아의 실제 사진 이미지의 특징들(예컨대, 이미지의 밝기, 색상, 반사색, 텍스쳐, 깊이, 블렌딩, 형태 또는 형태의 조합 등)을 재조합할 수 있다. 이때 상기 가상 신호 생성부(13)는 상기 태야의 얼굴 영역에 관한 특징들에 재조합된 실제 사진 이미지의 특징들을 합성하여 제1 가상 신호를 생성할 수 있다.
신호 변환 모듈(T)은 사용자 장치 상에 상기 제1 가상 신호를 출력할 수 있다(S45).
예를 들어, 상기 신호 변환 모듈(T)은 전술한 신호 송수신부(11)를 통하여 가상 신호 생성부(13)에서 생성된 제1 가상 신호를 전송할 수 있다. 이때, 상기 사용자 장치 상에 출력되는 상기 제1 가상 이미지는 상기 태아의 초음파 이미지 내의 에러 특징들이 제거된 품질이 향상된 이미지일 수 있다.
한편, 신호 변환 모듈(T)은 전술한 신호 변환 동작을 적어도 2회 이상 반복적으로 수행함으로써 사용자에게 품질이 향상된 가상 신호를 제공할 수 있다. 이때, 신호 변환 모듈(T)에서 신호 변환 동작을 반복 수행하는 기준은 다양할 수 있다.
본 출원의 제2 실시 예에 따른 신호 변환 방법에 의하면 전술한 S41 단계 내지 S43 단계를 통해 생성된 제1 가상 신호의 품질이 미리 지정된 수준에 부합할 때까지 신호 변환 과정을 반복적으로 수행함으로써 품질이 향상된 가상 신호를 출력할 수 있다.
즉, 본 출원의 제2 실시 예에 따른 신호 변환 방법은 가상 신호의 품질이 미리 지정된 수준에 부합하는지 여부를 판단하고, 상기 제1 가상 신호의 품질이 미리 지정된 수준에 부합하는 것으로 판단되는 경우에만 사용자 장치(30)를 통해 제1 가상 신호를 출력할 수 있다.
다시 말해, 본 출원의 제2 실시 예에 따른 신호 변환 방법에 의하면 S43 단계를 통해 생성된 제1 가상 신호를 사용자 장치(30) 상에 출력하기 전에 상기 제1 가상 신호의 품질을 확인하는 단계를 더 거침으로써 사용자에게 미리 정해진 품질 이상의 가상 신호를 제공하도록 할 수 있다.
도 5는 본 출원의 제2 실시 예에 따른 신호 변환 방법을 예시적으로 설명하기 위한 순서도이다. 도 5를 참조하면, 본 출원의 제2 실시 예에 따른 신호 변환 방법은, 제1 가상 신호의 품질이 미리 정해진 수준에 부합하는지 여부를 판단하는 단계(S44), 상기 제1 가상 신호의 품질이 미리 지정된 수준에 부합하지 않는 것으로 판단되는 경우, 상기 제1 가상 신호를 제1 도메인의 제1 복원 신호로 역변환 하는 단계(S46), 상기 제1 복원 신호를 입력 신호로 하여 제2 가상 신호를 생성하는 단계(S48)를 더 포함할 수 있다.
신호 변환 모듈(T)은 제1 가상 신호의 품질이 미리 정해진 수준에 부합하는지 여부를 판단할 수 있다(S44).
즉, 전술한 제어부(15)는 S43 단계에서 생성된 제1 가상 신호의 품질이 미리 정해진 수준에 부합하는지 여부를 판단할 수 있다. 이때, 상기 제1 가상 신호의 품질이 미리 정해진 수준에 부합하는지 여부는, 상기 제1 가상 신호와 제2 도메인의 데스티네이션 신호의 유사도(similarity)를 기초로 판단될 수 있다.
여기서 유사도는 상기 가상 신호와 데스티네이션 신호의 정성적 특징들(qualitative features) 사이의 유사성을 의미할 수 있다. 예를 들어, 상기 소스 신호가 태아의 초음파 이미지인 경우, 상기 유사도는, 상기 가상 신호 생성부(13)를 통해 생성된 상기 태아의 실제 사진 이미지가 신생아의 실제 사진 이미지에 해당될 확률로 나타낼 수 있다.
일 예로, 상기 제어부(15)는 상기 제1 가상 이미지가 데스티네이션 이미지에 해당될 확률을 산출할 수 있고, 상기 제1 가상 이미지가 데스티네이션 이미지에 해당될 확률이 미리 정해진 값 이상일 경우 제1 가상 신호의 품질이 미리 정해진 수준에 부합하는 것으로 결정할 수 있다. 따라서, 상기 제어부(15)는 상기 제1 가상 이미지를 사용자 장치(30) 상에 출력하도록 제어할 수 있다.
다른 예로, 상기 제어부(15)는 상기 제1 가상 이미지가 데스티네이션 이미지에 해당될 확률을 산출할 수 있고, 상기 제1 가상 이미지가 데스티네이션 이미지에 해당될 확률이 미리 정해진 값 미만일 경우 제1 가상 신호의 품질이 미리 정해진 수준에 부합하지 않는 것으로 결정할 수 있다.
이때 신호 변환 모듈(T)은 상기 제1 가상 신호를 제1 도메인의 제1 복원 신호로 역변환할 수 있다(S46).
전술한 바와 같이, 신호 역변환부(14)는 상기 제1 가상 신호에 포함된 복수의 특징에 상기 제1 도메인의 소스 신호의 특징들을 맵핑하여 상기 제1 도메인의 제1 복원 신호를 생성할 수 있다. 이때, 상기 제1 복원 신호는 전술한 제1 에러 특징이 제거된 것일 수 있다.
일 예로, 제1 도메인의 소스 신호가 태아의 초음파 이미지 이고, 상기 태아의 초음파 이미지에는 태아의 눈, 코, 입, 귀 등 얼굴 영역에 관련된 유효 특징들 및 손, 발, 양수, 태반 등 에러 영역에 관련된 에러 특징들이 포함되어 있을 수 있다. 이때 상기 제1 에러 특징이 상기 초음파 이미지 내의 태반에 관련된 특징인 경우, 상기 제1 가상 신호에는 상기 초음파 이미지 내의 태반에 관련된 특징이 제거된 제2 도메인의 실제 사진 이미지일 수 있다. 따라서, S46 단계에 의하면 상기 신호 역변환부(14)를 통해 역변환된 제1 복원 신호에는 상기 초음파 이미지 내의 태반에 관련된 특징이 제거되어 있을 수 있다.
상기 제1 복원 신호를 입력 신호로 하여 제2 가상 신호를 생성할 수 있다(S48).
전술한 바와 같이, 가상 신호 생성부(13)는 상기 제1 복원 신호에 포함된 복수의 특징들에 상기 제2 도메인의 데스티네이션 신호의 특징들을 맵핑하여 상기 제2 도메인의 제2 가상 신호를 생성할 수 있다.
예를 들어, 상기 제2 가상 신호를 생성하는 과정은 전술한 S42 및 S43 단계에서 수행되는 동작에 대응될 수 있다.
일 예로, 상기 신호 변환 모듈(T)은 S42 단계에서 수행되는 동작과 유사하게 상기 제1 복원 신호 내에 존재하는 적어도 하나의 제2 에러 특징들을 더 식별할 수 있고, 상기 적어도 하나의 제2 에러 특징들을 고려하여 상기 제1 복원 신호를 제2 도메인의 제2 가상 신호로 변환할 수 있다.
다른 예로, 상기 신호 변환 모듈(T)은 미리 학습된 파라미터를 이용하여 상기 제1 복원 신호를 제2 가상 신호로 변환할 수 있다. 이때 상기 가상 신호 생성부(13)를 통해 생성되는 상기 제2 가상 신호는 상기 제2 에러 특징이 더 제거된 것일 수 있다.
따라서, 본 출원의 제2 실시 예에 따른 신호 변환 방법에 의하면 가상 신호의 품질이 미리 정해진 수준에 부합할 때까지 상기 단계들을 반복적으로 수행함으로써 일정 수준 이상의 품질을 갖는 가상 신호를 사용자에게 제공할 수 있다.
예를 들어, 도 6을 참조하면, 제1 도메인의 초음파 이미지(x0)를 제2 도메인의 실제 사진 이미지로 변환한 제1 가상 이미지(y0)에는 상기 소스 이미지(x0) 내의 에러 특징들 중 태아의 손에 관련된 특징이 포함되어 있을 수 있다. 이때, 상기 제어부(15)는 상기 제1 가상 이미지(y0)의 품질이 미리 정해진 수준에 부합하지 않는 것으로 판단할 수 있고, 상기 제1 가상 이미지(y0)를 상기 제1 도메인으로 역변환한 제1 복원 이미지(x1)를 생성하도록 신호 역변환부(13)에 상기 제1 가상 이미지(y0)를 전달할 수 있다. 또한, 상기 제어부(15)는 상기 신호 역변환부(14)를 통해 생성된 제1 복원 이미지(x1)를 상기 가상 신호 생성부(13)에 재입력하여 상기 제1 복원 이미지(x1)를 상기 제2 도메인의 제2 가상 이미지로 재변환할 수 있다.
즉, 도 6에 도시된 바와 같이, 상기 제어부(15)는 가상 신호 생성부(13)에 의한 신호 변환 과정 및 신호 역변환부(14)에 의한 신호 역변환 과정이 연쇄적/반복적으로 수행되도록 할 수 있다. 결과적으로 상기 제어부(15)는 상기 소스 이미지(x0) 내에 포함된 원하지 않는 특징들이 제거된 미리 정해진 수준에 부합하는 품질을 갖는 가상 이미지(y*)가 출력되도록 상기 신호 변환부(T)의 동작을 제어할 수 있다.
또한, 본 출원의 제3 실시 예에 따른 신호 변환 방법은, 전술한 신호 변환 동작을 미리 설정된 횟수만큼 반복적으로 수행함으로써 품질이 향상된 가상 신호를 출력할 수 있다.
예를 들어, 제어부(15)는 S43 단계에서 소스 신호에 포함된 적어도 하나의 제1 에러 특징들을 제거한 제2 도메인의 제1 가상 신호를 생성한 다음, 미리 설정된 횟수만큼 신호 변환 동작이 수행되었는지 여부를 확인하는 단계를 더 포함할 수 있다.
이때 제어부(15)는 미리 설정된 횟수만큼 신호 변환 동작이 수행된 것으로 확인된 경우, S45 단계에 따라 사용자 장치 상에 상기 제1 가상 신호를 출력할 수 있다.
반대로, 제어부(15)는, 미리 설정된 횟수만큼 신호 변환 동작이 수행되지 않은 것으로 확인된 경우, S43 단계로 돌아가 제2 가상 신호를 생성하도록 가상 신호 생성부(13)의 동작을 제어할 수 있다. 예를 들어, 가상 신호 생성부(13)는 상기 소스 신호 내의 적어도 하나의 제2 에러 특징들이 더 제거된 제2 가상 신호를 생성할 수 있다.
또는, 제어부(15)는 미리 설정된 횟수만큼 신호 변환 동작이 수행되지 않은 것으로 확인된 경우, S42 단계 및 S43 단계에 대응되는 동작을 수행하도록 특징 분석부(12) 및 가상 신호 생성부(13)의 동작을 제어할 수 있다.
따라서, 제어부(15)는 가상 신호 생성부(13)에 의한 신호 변환 동작이 미리 설정된 횟수만큼 단순 반복되도록 하여, 사용자 장치 상에 미리 정해진 수준 이상의 품질을 갖는 가상 신호를 출력할 수 있다.
3. 신호 변환 학습 과정
이하에서는 도 7 및 도 8을 참조하여 전술한 신호 변환 동작을 최적화하기 위한 기계 학습 과정에 관하여 상세하게 설명한다.
본 출원의 일 실시 예에 따른 기계 학습 과정은 전술한 서버(10) 내부 또는 외부에 위치하는 학습 모듈(M)에 의해 수행될 수 있으며, 상기 학습 모듈(M)은 하나 이상의 뉴럴 네트워크(NN)을 포함할 수 있다.
도 7 및 도 8은 본 출원의 일 실시 예에 따른 하나 이상의 뉴럴 네트워크(NN)에 의해 수행되는 신호 변환 학습 과정을 예시적으로 설명하기 위한 도면이다.
본 출원의 일 실시 예에 따른 신호 변환 학습은 메모리 또는 데이터베이스로부터 획득되는 복수의 데이터들을 이용하여 수행될 수 있으며, 이하에서는 서로 다른 도메인에 있는 이미지들 사이의 이미지 변환의 예를 상정하여 설명하기로 한다.
도 7은 본 출원의 일 실시 예에 따른 뉴럴 네트워크(NN)의 구성을 예시적으로 나타내기 위한 도면이다. 예를 들어, 뉴럴 네트워크(NN)는 하나 이상의 네트워크를 포함할 수 있고, 상기 네트워크는 복수의 레이어를 포함할 수 있다. 이하에서는 설명의 편의를 위하여 하나 이상의 네트워크를 이용하여 신호 변환 학습이 수행되는 경우를 상정하여 설명한다. 도 7을 참조하면, 상기 뉴럴 네트워크(NN)는, 예를 들어, 제1 네트워크(101), 제2 네트워크(102), 제3 네트워크(103), 제4 네트워크(104) 및 제5 네트워크(105)를 포함할 수 있다. 상기 제1 내지 제5 네트워크에서는 신호 변환 학습을 위한 각 단계가 순차적으로 또는 병렬적으로 수행될 수 있다.
이하에서는 각 네트워크에서 수행될 수 있는 동작에 대해 상세하게 설명한다.
먼저, 제1 네트워크(101)는 제1 도메인의 소스 신호(X)를 특징맵(Feature Map, FM)으로 변환하기 위한 네트워크일 수 있다.
예를 들어, 상기 제1 네트워크(101)는 컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 이 때, 상기 제1 네트워크(101)에서는 상기 복수의 레이어를 이용하여 상기 소스 신호(X) 내에 포함된 복수의 특징(feature)들이 추출될 수 있다.
상기 소스 신호(X)가 이미지인 경우, 상기 복수의 특징들은, 예를 들어, 엣지(edge), 선명도(sharpness), 깊이(depth), 명도(brightness), 컨트라스트(contrast), 블러(blur), 형태 또는 형태의 조합 등을 포함할 수 있으며, 상기 복수의 특징들은 상술한 예로 한정되지 않는다.
상기 특징맵은 상기 복수의 특징들의 조합일 수 있으며, 하나 이상의 특징맵을 통하여 상기 소스 신호 내의 각 영역(region)들이 식별될 수 있다. 상기 각 영역들은 사용자의 관심 영역(ROI, Region of Interest) 및 상기 소스 신호 내의 적어도 하나의 인공물을 포함하는 에러 영역(error region)을 포함할 수 있다. 예를 들어, 상기 소스 신호(X)가 태아의 초음파 이미지인 경우, 상기 관심 영역은 태아의 얼굴 영역(face region)일 수 있고, 상기 에러 영역은 태아의 얼굴 영역이 아닌 다른 신체 영역일 수 있다. 예를 들어, 상기 얼굴 영역은 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 또한, 예를 들어, 상기 에러 영역은 태아의 손, 발, 태반, 양수 등을 포함할 수 있다.
따라서, 상기 제1 네트워크(101)를 이용하여 상기 복수의 레이어 중 적어도 하나의 레이어로부터 특징맵(feature map)이 획득될 수 있다. 또는, 상기 복수의 레이어 중 마지막 레이어로부터 특징맵이 획득될 수도 있다. 상기 제1 네트워크(101)에서 생성된 하나 이상의 특징맵은 제2 네트워크(102) 및/또는 제3 네트워크(103)의 입력 데이터로서 사용될 수 있다.
한편, 본 출원의 일 실시 예에 따른 뉴럴 네트워크의 신호 처리 수행 결과에 따라 상기 복수의 레이어에 대한 파라미터가 조정될 수 있고, 상기 복수의 레이어 중 적어도 하나의 레이어가 연산에서 제거 또는 추가될 수 있다. 상기 파라미터 조정에 관한 상세한 설명은 관련된 부분에서 기술하기로 한다.
제2 네트워크(102)는 전술한 제1 네트워크(101)로부터 입력되는 하나 이상의 특징맵을 입력 데이터로 사용하여 제2 도메인의 가상 신호(Yv)를 생성하기 위한 네트워크일 수 있다. 상기 제2 네트워크(102)는 제1 도메인의 소스 신호(X)를 제2 도메인의 가상 신호(Yv)로 변환하도록 학습 될 수 있다.
예를 들어, 상기 제2 네트워크(102)는 복수의 레이어를 포함할 수 있다. 상기 제2 네트워크(102)에서는 상기 복수의 레이어를 이용하여 상기 특징맵의 대응되는 특징들에 제2 도메인의 데스티네이션 신호(destination signal)의 특징들이 맵핑된 가상 신호(Yv)가 생성될 수 있다.
상기 데스티네이션 신호의 특징들은, 상기 소스 신호(X)가 이미지인 경우, 예를 들어, 이미지의 밝기, 색상, 반사색, 텍스쳐, 깊이, 블렌딩, 형태 또는 형태의 조합 등을 포함할 수 있다.
전술한 제1 네트워크(101)로부터 상기 제2 네트워크(102)에 입력되는 하나 이상의 특징맵은, 소스 신호(X) 내의 관심 영역(예컨대, 눈, 코, 입, 귀 등)의 특징들을 포함한 것일 수 있다.
또는, 상기 제2 네트워크(102)는 전술한 제1 네트워크(101)로부터 입력되는 하나 이상의 특징맵 중 에러 영역(예컨대, 손, 발, 태반 등)에 관련된 특징을 식별하도록 학습될 수 있다.
상기 가상 신호(Yv)는 상기 하나 이상의 특징맵을 이용하여 생성되며 상기 소스 신호(X) 내의 관심 영역을 포함하는 신호일 수 있다.
예를 들어, 상기 소스 신호(X)가 태아의 초음파 이미지인 경우, 상기 제2 네트워크(102)에서 변환된 가상 신호(Yv)는 상기 초음파 이미지(X) 내의 에러 영역의 특징들이 적게 포함된 제2 도메인의 이미지일 수 있다. 또는, 예를 들어, 상기 가상 신호(Yv)는 상기 초음파 이미지(X) 내의 적어도 하나의 에러 영역의 특징들이 제거된 제2 도메인의 이미지일 수 있다. 또는, 예를 들어, 상기 가상 신호(Yv)는 상기 초음파 이미지(X) 내의 에러 영역의 특징들이 모두 제거된 제2 도메인의 이미지일 수 있다.
상기 데스티네이션 신호 및/또는 상기 데스티네이션 신호의 특징들은 전술한 데이터 베이스(20), 메모리 또는 외부 서버로부터 획득될 수 있다. 또는, 상기 제2 네트워크(102)는 상기 데스티네이션 신호의 특징들을 추출하기 위한 서브 네트워크(도시되지 않음)를 더 포함할 수 있다. 상기 서브 네트워크는, 예를 들어, 컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 상기 서브 네트워크를 통해 상기 데스티네이션 신호의 특징들을 추출하는 동작은 전술한 제1 네트워크(101)에서 수행되는 동작에 대응될 수 있다.
따라서, 서버(10)는 상기 제2 네트워크(102)를 통하여 상기 적어도 하나의 특징맵에 상기 데스티네이션 신호의 특징들이 합성된 제2 도메인의 가상 신호를 획득할 수 있다. 상기 서버(10)는 복수의 특징맵에 대한 복수의 합성 신호가 추출되는 경우 상기 합성 신호들을 통합하여 하나의 가상 신호를 획득할 수도 있다.
한편, 본 출원의 일 실시 예에 따른 뉴럴 네트워크의 신호 처리 수행결과에 따라 상기 복수의 레이어에 대한 파라미터가 조정될 수 있고, 상기 복수의 레이어 중 적어도 하나의 레이어가 연산에서 제거 또는 추가될 수 있다. 상기 파라미터 조정에 관한 상세한 설명은 관련된 부분에서 기술하기로 한다.
제3 네트워크(103)는 전술한 제1 네트워크(101)로부터 입력되는 하나 이상의 특징맵을 입력 데이터로 사용하여 에러 신호(Ye)를 생성하기 위한 네트워크일 수 있다. 예를 들어, 상기 에러 신호(Ye)는 제1 도메인, 제2 도메인, 또는 상기 제1 도메인과 상기 제2 도메인 사이의 임의의 중간 도메인의 신호일 수 있다.
상기 제3 네트워크(103)에 입력되는 하나 이상의 특징맵은, 소스 신호(X) 내의 관심 영역이 아닌 에러 영역(예컨대, 손, 발, 태반, 양수 등)의 특징들 중 적어도 하나를 포함할 수 있다.
상기 에러 신호(Ye)는 상기 하나 이상의 특징맵을 이용하여 생성될 수 있고, 상기 소스 신호(X) 내의 에러 영역에 관련된 특징들 중 적어도 하나를 포함하는 신호일 수 있다.
따라서, 서버(10)는 상기 제3 네트워크(103)를 통하여 에러 신호(Ye)를 획득할 수 있다. 예를 들어, 상기 서버(10)는 복수의 특징맵에 대한 복수의 합성 신호가 추출되는 경우 상기 합성 신호들을 통합하여 하나의 에러 신호를 획득할 수 있다.
또는, 제3 네트워크(103)는 제1 도메인의 소스 신호(X)에 포함된 에러 영역에 관련된 특징들 중 적어도 하나를 포함하는 에러 신호(Ye)를 추출 또는 분리하도록 학습될 수 있다.
예를 들어, 상기 제3 네트워크(103)는 컨볼루션 또는 디컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 상기 제3 네트워크(103)에서는 상기 복수의 레이어 중 적어도 하나를 이용하여 에러 신호(Ye)를 생성할 수 있다. 예를 들어, 상기 복수의 레이어 중 임의의 제1 레이어를 통해 제1 에러 신호가 추출될 수 있고, 제2 레이어를 통해 제2 에러 신호가 추출될 수 있다. 다시 말해, 복수 개의 레이어들을 거쳐 복수 개의 에러 신호가 획득 또는 추출될 수 있다.
또한, 서버(10)는 상기 제2 네트워크(102)로부터 획득된 가상 신호(Yv) 및 상기 제3 네트워크(103)로부터 획득된 에러 신호(Ye)를 통합한 타겟 신호(YT)를 획득할 수 있고, 상기 타겟 신호(YT)는 제4 네트워크(104)의 입력 데이터로서 사용될 수 있다. 이하에서는 상기 타겟 신호(YT)가 획득되는 과정에 관하여 상세하게 설명한다.
상기 타겟 신호(YT)는 에러 신호(Ye)에 제1 가중치가 적용되고, 가상 신호(Yv)에 제2 가중치가 적용된 것일 수 있고, 예를 들어 [수학식 1]과 같이 산출될 수 있다. [수학식 1]을 참조하면, 상기 타겟 신호(YT)는 상기 가상 신호(Yv)와 제2 가중치의 요소별 곱(element-wise product) 및, 상기 에러 신호(Ye)와 제1 가중치의 요소별 곱의 합(sum)에 의해 생성될 수 있다.
Figure pat00001
여기서, We는 에러 신호(Ye)에 적용되는 제1 가중치일 수 있고, (1-We)는 가상 신호(Yv)에 적용되는 제2 가중치일 수 있다. 상기 에러 신호(Ye)에 적용되는 제1 가중치는 본 출원의 일 실시 예에 따른 뉴럴 네트워크(NN)의 이미지 처리 수행결과에 따라 조정된 값일 수 있다.
또한, 상기 가상 신호(Yv)에 적용되는 제2 가중치는 상기 제1 가중치를 기초로 산출될 수 있다. 이때, 상기 제1 가중치와 제2 가중치는 같거나 서로 다른 값일 수 있다.
예를 들어, 상기 제1 가중치는 후술할 제4 네트워크(104)에서 가상 신호(Yv)만을 이용하여 복원된 복원 신호(X'')와 소스 신호(X)의 차이를 기초로 산출된 값일 수 있다. 상기 제1 가중치 산출방법에 관해서는 이하의 관련된 실시 예에서 상세하게 설명하기로 한다.
제 4 네트워크(104)는 전술한 제2 네트워크(102) 및 제3 네트워크(103)를 통해 생성된 제2 도메인의 타겟 신호(YT)를 제1 도메인의 복원 신호(X')로 역변환하기 위한 네트워크일 수 있다.
예를 들어, 상기 제4 네트워크(104)는 상기 소스 신호(X)가 정확하게 복원되도록 함으로써 복원된 신호와 소스 신호 간의 컨텐츠(content)의 일관성(consistency)을 향상시킬 수 있다. 여기서 컨텐츠의 일관성은, 태아의 초음파 이미지를 실제 사진 이미지로 변환하는 경우에, 상기 초음파 이미지 내의 태아와 변환된 실제 사진 이미지의 태아의 유사성일 수 있다.
또는, 예를 들어, 상기 뉴럴 네트워크(NN)는 상기 제2 네트워크(102) 및 상기 제3 네트워크(103)를 통하여 제1 도메인의 소스 신호(X)를 제2 도메인의 타겟 신호(YT)로 변환하는 과정과 상기 변환된 제2 도메인의 타겟 신호(YT)를 제1 도메인의 복원 신호(X')로 변환하는 과정을 동시에 학습함으로써 전체 학습 내용의 일관성을 유지하면서 도메인을 변환하도록 학습할 수 있다.
이때, 상기 타겟 신호(YT)를 역변환하여 생성한 복원 신호(X')와 소스 신호(X) 간의 차이 값을 기초로 상기 뉴럴 네트워크(NN) 중 적어도 하나에 적용되는 파라미터가 조정될 수 있다. 즉, 상기 파라미터는 상기 복원 신호(X')와 상기 소스 신호(X) 간의 차이에서 발생하는 손실함수(Lrec)를 전술한 네트워크들 중 적어도 하나에 역전달함으로써 조정될 수 있다. 상기 손실함수(Lrec)는 아래의 [수학식 2]와 같이 나타낼 수 있다.
Figure pat00002
또는, 제4 네트워크(104)는 전술한 제1 가중치를 산출하기 위해 제2 네트워크(102)로부터 생성된 가상 신호(Yv)를 제1 도메인의 복원 신호(X'')로 역변환하기 위한 네트워크일 수 있다.
이 때, 상기 제4 네트워크(104)는 상기 가상 신호(Yv)만을 이용하여 제1 도메인의 복원 신호(X'')를 생성하므로, 상기 복원 신호(X'')를 이용하여 상기 가상 신호(Yv)만으로 복원할 수 없는 부분(예컨대, 에러 영역)을 식별하도록 상기 뉴럴 네트워크(NN)를 학습시킬 수 있다. 상기 뉴럴 네트워크(NN)가 에러 영역을 식별하도록 상기 에러 영역에 대한 정보를 가이드 하는 방법에 관해서는 이하의 관련된 부분에서 상세하게 설명한다.
상기 제4 네트워크(104)는 하나 이상의 네트워크를 포함할 수 있고, 복수의 레이어를 포함할 수 있다. 예를 들어, 상기 제4 네트워크(104)는 먼저 상기 타겟 신호(YT) 또는 가상 신호(Yv)를 특징맵으로 변환하기 위한 제1 서브 네트워크(도시되지 않음) 및 상기 변환된 특징맵을 입력 데이터로 적용하여 복원 신호(X', X'')를 생성하기 위한 제2 서브 네트워크(도시되지 않음)를 포함할 수 있다. 예를 들어, 상기 제1 서브 네트워크는 컨볼루션 네트워크일 수 있고, 상기 제2 서브 네트워크는 디컨볼루션 네트워크일 수 있다.
이하에서는 설명의 편의를 위하여 상기 제4 네트워크(104)는 적어도 제1 서브 네트워크 및 제2 서브 네트워크를 포함하는 경우를 상정하여 설명하기로 한다. 또한, 상기 제1 서브 네트워크에서는 전술한 제1 네트워크, 상기 제2 서브 네트워크에서는 전술한 제2 네트워크 및 제3 네트워크와 동일 또는 유사한 방식으로 신호 변환이 수행될 수 있다.
제1 서브 네트워크는 복수의 레이어를 포함할 수 있고, 상기 복수의 레이어를 이용하여 상기 타겟 신호(YT) 또는 가상 신호(Yv)가 하나 이상의 특징맵(feature)으로 변환될 수 있다. 예를 들어, 상기 상기 제1 서브 네트워크에서는 상기 복수의 레이어를 이용하여 상기 타겟 신호(YT) 또는 가상 신호(Yv) 내에 포함된 복수의 특징 정보(feature)들이 추출될 수 있고, 상기 복수의 특징 정보들을 기초로 하나 이상의 특징맵(feature map)이 생성될 수 있다. 상기 제1 서브 네트워크에서 생성된 하나 이상의 특징맵은 제2 서브 네트워크의 입력 데이터로 적용될 수 있다.
제2 서브네트워크는 복수의 레이어를 포함할 수 있고, 상기 복수의 레이어를 이용하여 상기 타겟 신호(YT) 또는 가상 신호(Yv)가 복원 신호(X', X'')로 변환될 수 있다. 즉, 상기 제2 서브 네트워크에서는 상기 제1 서브 네트워크로부터 입력된 하나 이상의 특징맵의 각 특징들에 소스 신호(X)의 특징들이 맵핑되어 복원 신호(X', X'')가 생성될 수 있다. 상기 소스 신호(X)의 특징 정보들은 전술한 제1 네트워크(101)를 통해 추출된 정보일 수 있고, 상기 서버(10)의 저장부(도시되지 않음)로부터 획득될 수 있다.
따라서, 서버(10)는 상기 제4 네트워크(104)를 통하여 상기 적어도 하나의 특징맵에 상기 소스 신호(X)의 특징들이 합성된 제1 도메인의 복원 신호(X', X'')를 획득할 수 있다. 상기 서버(10)는 복수의 특징맵에 대한 복수의 합성 신호가 추출되는 경우 상기 합성 신호들을 통합하여 하나의 복원 신호(X', X'')를 획득할 수 있다.
한편, 전술한 제2네트워크(102)를 이용하여 생성된 제2 도메인의 가상 신호(YV)는 제5 네트워크(105)의 입력 데이터로 사용될 수 있다.
제5 네트워크(105)는 전술한 제2 네트워크(102)로부터 생성된 가상 신호(YV)를 제2 도메인의 데스티네이션 신호(YR)로부터 구별하기 위한 네트워크일 수 있다.
예를 들어, 상기 제5 네트워크(105)는 상기 가상 신호(YV)와 데스티네이션 신호(YR) 사이를 식별하도록 학습될 수 있다. 예를 들어, 상기 제5 네트워크(105)는 컨볼루션 네트워크일 수 있고, 복수의 레이어를 포함할 수 있다. 이때, 상기 제 5 네트워크(105)에서는 상기 복수의 레이어 중 마지막 레이어를 통해 상기 가상 신호와 데스티네이션 신호의 유사도(similarity)에 관련된 정보가 출력될 수 있다. 여기서, 유사도라 함은 상기 가상 신호와 데스티네이션 신호의 정성적 특징(qualitative features)들 사이의 유사성을 의미할 수 있다.
상기 데스티네이션 신호는 전술한 데이터 베이스(20)로부터 획득될 수 있으며, 예를 들어, 상기 데스티네이션 신호는 신생아의 얼굴을 실제 촬영한 이미지일 수 있다.
상기 유사도에 관련된 정보는 상기 가상 신호(YV)가 데스티네이션 신호에 해당될 확률을 나타내는 정보일 수 있다. 예를 들어, 상기 가상 이미지(YV)가 실제 촬영한 이미지에 해당되는 경우 유사도 값은 '1' 또는 1에 가까운 값일 수 있다. 또한, 예를 들어, 상기 가상 신호(YV)가 실제 촬영한 이미지가 아닌 경우 유사도 값은 '0' 또는 0에 가까운 값일 수 있다.
따라서, 상기 서버(10)는 상기 제1 네트워크(101) 내지 상기 제3 네트워크(103) 중 적어도 하나로 상기 유사도에 관련된 정보를 피드백할 수 있다. 상기 서버(10)는 상기 유사도에 관련된 정보를 기초로 상기 제2 네트워크(102) 및 상기 제3 네트워크(103)의 동작이 반복 수행되도록 함으로써 상기 가상 신호(YV)를 재획득할 수 있다.
또는, 예를 들어, 제5 네트워크(105)는 상기 가상 신호와 데스티네이션 신호의 차이에서 발생하는 손실함수를 전술한 제1 네트워크(101) 및 제2 네트워크(102)에 피드백할 수 있다. 따라서, 상기 제1 네트워크 및 제2 네트워크에 포함된 복수의 레이어 중 적어도 하나의 레이어의 파라미터가 조정될 수 있다. 또는 상기 제1 네트워크(101) 및 상기 제2 네트워크(102)에 포함된 복수의 레이어 중 적어도 하나의 레이어가 연산에서 제거 또는 추가될 수 있다. 다시 말해, 상기 제1 네트워크(101) 및 상기 제2 네트워크(102)는 상기 제5 네트워크(105)로부터 피드백되는 상기 가상 신호와 데스티네이션 신호의 차이를 이용하여 학습될 수 있다.
도 8은 본 출원의 다른 실시 예에 따른 뉴럴 네트워크(NN)의 구성을 예시적으로 나타내기 위한 블록도이다. 도 8에 도시된 바와 같이, 본 출원의 다른 실시 예에 따른 뉴럴 네트워크(NN)는 특징 분류 네트워크(106)를 더 포함할 수 있다.
상기 특징 분류 네트워크(106)는, 소스 신호(X) 내의 각 영역들 중 에러 영역에 관련된 특징들과 관심 영역에 관련된 특징들을 분류하기 위한 네트워크일 수 있다. 이때, 상기 특징 분류 네트워크(106)는 제1 네트워크(101) 내의 일부분일 수 있다. 또는, 도 8에 도시된 바와 같이, 상기 특징 분류 네트워크(106)는 상기 제1 네트워크(101)와 별도로 구성될 수 있으며, 상기 제1 네트워크(101)와 제2 네트워크(102) 및 제3 네트워크(103) 사이에 배치될 수 있다.
예를 들어, 상기 특징 분류 네트워크(106)는 상기 제1 네트워크(101)에서 생성된 하나 이상의 특징맵들을 이용하여 제1 특징맵 및 제2 특징맵을 생성할 수 있다. 예를 들어, 상기 제1 특징맵은 유효 특징들에 관련된 것일 수 있고, 에러 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 예를 들어, 상기 제2 특징맵은 에러 특징들에 관련된 것일 수 있고, 관심 영역에 관련된 특징들을 적게 포함한 것일 수 있다. 예를 들어, 상기 소스 신호가 태아의 초음파 이미지인 경우, 상기 관심영역에 관련된 특징들은, 태아의 눈, 코, 입, 귀 등을 포함할 수 있다. 또한, 예를 들어, 상기 에러 영역에 관련된 특징들은, 예를 들어, 태아의 손, 발, 태반, 양수 등을 포함할 수 있다.
또한, 예를 들어, 상기 특징 분류 네트워크(106)는 미리 설정된 기준을 기초로 하여 상기 소스 신호(X) 내의 관심 영역에 관련된 제1 특징맵 및 상기 에러 영역에 관련된 제2 특징맵을 분류할 수 있다. 상기 미리 설정된 기준은 상기 소스 신호(X) 내의 관심 영역 및 상기 에러 영역에 관련된 정보를 기초로 미리 학습될 수 있다.
따라서, 본 출원의 다른 실시 예에 따른 상기 특징 분류 네트워크(106)는 상기 관심 영역에 관련된 제1 특징맵을 상기 제2 네트워크(102)의 입력데이터로 전달할 수 있고, 상기 에러 영역에 관련된 제2 특징맵을 상기 제3 네트워크(103)의 입력데이터로 전달할 수 있다. 상기 특징 분류 네트워크(106)를 통하여 상기 에러 영역에 관련된 특징들이 보다 정확하게 분류될 수 있다. 예를 들어, 상기 제2 네트워크(102)는 상기 특징 분류 네트워크(106)를 통해 입력되는 상기 관심 영역에 관련된 제1 특징맵을 이용하여 상기 소스 신호 내의 적어도 하나의 에러 영역에 관련된 특징들이 제거된 가상 신호(Yv)를 생성할 수 있다.
한편, 상기 특징 분류 네트워크(106)는 상기 복원 신호(X')와 상기 소스 신호(X)간의 차이를 이용하여 조정된 파라미터를 반영하여 업데이트될 수도 있다. 또는, 상기 특징 분류 네트워크(106)는 상기 가상 신호와 데스티네이션 신호간의 차이를 이용하여 조정된 파리마터를 반영하여 업데이트될 수도 있다. 상기 파라미터에 관한 자세한 설명은 관련된 부분에서 기술하기로 한다.
이하에서는 전술한 뉴럴 네트워크(NN)를 통해 수행되는 신호 변환 학습 방법의 실시 예들을 상세하게 설명한다.
도 9는 본 출원의 제4 실시 예에 따른 신호 변환 과정을 개략적으로 설명하기 위한 도면이다. 또한, 도 10은 본 출원의 제4 실시 예에 따른 제1 도메인의 소스 신호(X)를 제2 도메인의 가상 신호(Yv)로 변환하여 제공하기 위한 학습 방법을 예시적으로 설명하기 위한 순서도이다.
예를 들어, 본 출원의 제4 실시 예에 따른 학습 방법은 전술한 서버(10) 내에 위치하는 학습 모듈(M)에 의해 수행될 수 있고, 상기 학습 모듈(M)에는 전술한 제1 네트워크 내지 제5 네트워크 중 적어도 하나 이상이 제공될 수 있다.
도 9를 참조하면, 본 출원의 제4 실시 예에 따른 학습 방법은 제1 도메인의 소스 신호를 제2 도메인의 가상 신호로 변환하고, 상기 변환된 가상 신호를 다시 제1 도메인의 복원 신호로 역변환 하는 과정을 반복적으로 수행하도록 구성될 수 있다. 예를 들어, 제1 도메인의 소스 신호는 태아의 초음파 이미지(X)이고, 제2 도메인의 가상 신호는 상기 태아의 초음파 이미지에 신생아의 실제 사진 이미지의 특징들을 합성된 이미지(Yv)일 수 있다. 이때, 상기 소스 신호(X)를 상기 가상 신호(Y)로 변환하는 과정에서 하나 이상의 에러 신호(eo, e1, …, en)들이 식별될 수 있다.
이하에서는 도 10을 참조하여 본 출원의 제4 실시 예에 따른 신호 변환 학습이 수행되는 단계들을 상세하게 설명한다.
도 10을 참조하면, 본 출원의 제4 실시 예에 따른 학습 방법은 적어도 하나의 네트워크를 이용하여 제1 도메인의 소스 신호를 제2 도메인의 가상 신호로 변환하는 방법에 있어서, 제1 도메인의 소스 신호로부터 적어도 하나의 제1 에러 특징을 식별하는 단계(S61), 상기 제1 에러 특징이 제거된 제2 도메인의 제1 가상 신호를 산출하는 단계(S62), 상기 제1 가상 신호의 품질이 미리 정해진 수준에 부합하는지 여부를 판단하는 단계(S63)를 포함할 수 있고, 상기 제1 가상 신호의 품질이 미리 정해진 수준에 부합하지 않는 것으로 판단되는 경우, 상기 제1 가상 신호를 제1 도메인의 제1 복원 신호로 역변환하는 단계(S64), 상기 제1 복원 신호 및 상기 소스 신호의 차이를 이용하여 제1 가중치를 산출하고, 상기 제1 가중치를 상기 네트워크에 공유하는 단계(S65), 상기 제1 가중치를 이용하여 상기 제1 에러 특징이 포함된 제2 도메인의 제2 가상 신호를 생성하는 단계(S66), 상기 제2 가상 신호를 제1 도메인의 제2 복원 신호로 역변환하는 단계(S67), 상기 제2 복원 신호와 상기 소스 신호의 차이를 이용하여 상기 네트워크의 파라미터를 조정하는 단계(S68)를 더 포함할 수 있다.
이하에서는, 도 9를 참조하여 설명한 바와 같이, 제1 도메인의 소스 신호가 태아의 초음파 이미지(X)이고, 제2 도메인의 가상 신호는 상기 태아의 초음파 이미지에 신생아의 실제 사진 이미지의 특징들을 합성된 이미지(Y)인 경우를 예로 들어 상세하게 설명한다.
먼저 전술한 바와 같이 제1 네트워크(101)을 통해 적어도 하나의 초음파 이미지(X)가 입력될 수 있고, 상기 학습 모듈(M)은 상기 초음파 이미지(X)를 입력 데이터로 하여 학습을 수행할 수 있다.
학습 모듈(M)은 제1 도메인의 소스 신호로부터 적어도 하나의 제1 에러 특징을 식별할 수 있다(S61).
예를 들어, 학습 모듈(M)은 전술한 바와 같이 제1 네트워크(101)를 통해 제공되는 하나 이상의 특징들을 이용하여 상기 태아의 초음파 이미지(X) 내에 포함된 적어도 하나의 에러 특징(예컨대, 손, 발, 태반 등)을 식별할 수 있다. 예를 들어, 상기 에러 특징은 상기 제1 네트워크(101)에 포함된 복수의 레이어 중 임의의 레이어를 통해 추출될 수 있으며, 에러 특징을 추출하는 단계는 반복적으로 수행될 수 있다.
일 예로, 상기 학습 모듈(M)은 상기 제1 네트워크(101)에 포함된 복수의 레이어 중 임의의 제1 레이어를 통해 제1 에러 특징(e1)을 추출할 수 있다. 또한, 상기 학습 모듈(M)은 상기 제1 네트워크(101)에 포함된 복수의 레이어 중 임의의 제2 레이어를 통해 제2 에러 특징(e2)을 추출할 수 있다. 예를 들어, 제1 에러 특징(e1)은 상기 태아의 초음파 이미지(X) 내에 포함된 태아의 손에 관련된 특징을 포함할 수 있다. 또한, 제2 에러 특징(e2)은 상기 태아의 초음파 이미지(X) 내에 포함된 태아의 발에 관련된 특징들을 포함할 수 있다.
한편, 상기 학습 모듈(M)에서 에러 특징을 추출하는 과정은 전술한 제1 네트워크(101), 제2 네트워크(102), 제3 네트워크(103) 및/또는 특징 분류 네트워크(106)에서 수행되는 동작에 대응될 수 있다.
학습 모듈(M)은 제1 에러 특징이 제거된 제2 도메인의 제1 가상 신호를 산출할 수 있다(S62).
예를 들어, 학습 모듈(M)은, S61 단계에서 식별된 제1 에러 특징을 반영하여 제2 도메인의 제1 가상 신호(Y)를 생성할 수 있다. 도 9를 참조하면, 상기 학습 모듈(M)은 태아의 손에 관련된 특징이 제거된 가상 이미지(Y)를 합성할 수 있다. 상기 학습 모듈(M)에서 수행되는 가상 신호 산출 과정은 전술한 제2 네트워크(102)에서 수행되는 동작에 대응될 수 있다.
한편, 본 출원의 제4 실시 예에 따른 학습 방법에 있어서, 상기 학습 모듈(M)은S61 단계에서 식별된 에러 특징을 이용하여 제1 에러 신호를 더 생성할 수 있다. 이때 상기 에러 신호를 생성하는 과정은 전술한 제3 네트워크(103)에서 수행되는 동작에 대응될 수 있다.
학습 모듈(M)은 상기 제1 가상 신호의 품질이 미리 정해진 수준에 부합하는지 여부를 판단할 수 있다(S63).
다시 말해, 학습 모듈(M)은 S62 단계에서 산출된 제1 가상 신호의 품질이 미리 정해진 수준에 도달할 때까지 이하의 학습 과정을 반복하고, 가상 신호의 품질이 미리 정해진 수준에 도달한 것으로 판단되는 경우 학습 과정을 종료할 수 있다.
이 때, 가상 신호의 품질이 미리 정해진 수준에 도달하였는지 여부는 다양한 방식으로 판단될 수 있다.
여기서 미리 설정된 종료 조건은 사용자에 의해 미리 입력된 조건일 수 있다.
예를 들어, 사용자는 학습 모듈(M)이 미리 설정된 횟수만큼 학습 과정을 반복하도록 설정할 수 있다.
또는, 예를 들어, 사용자는 상기 뉴럴 네트워크(NN)의 손실함수(loss function)가 감소되지 않을 때까지 학습 과정을 반복하여 수행하도록 설정할 수 있다.
또는, 예를 들어, 상기 학습 모듈(M)은 전술한 제5 네트워크(105)를 통하여 상기 가상 신호와 제2 도메인의 데스티네이션 신호의 유사도(similarity)에 관련된 정보를 획득할 수 있다. 상기 데스티네이션 신호는 전술한 데이터 베이스(20)로부터 획득될 수 있으며, 예를 들어, 상기 데스티네이션 신호는 신생아의 얼굴을 실제로 촬영한 이미지일 수 있다. 상기 유사도에 관련된 정보는 상기 가상 신호가 실제 촬영한 이미지에 해당될 확률을 나타내는 것으로, 이에 관한 설명은 전술하였으므로 이하에서는 상세한 설명은 생략한다.
학습 모듈(M)은 상기 제1 가상 신호의 품질이 미리 정해진 수준에 부합하지 않는 것으로 판단되는 경우, 이하의 학습 과정들을 수행할 수 있다.
학습 모듈(M)은 상기 제1 가상 신호를 제1 도메인의 제1 복원 신호로 역변환할 수 있다(S64).
예를 들어, 학습 모듈(M)은 S62 단계에서 생성된 제1 가상 신호를 제1 도메인의 제1 복원 신호로 역변환할 수 있다. 상기 제1 가상 신호를 제1 복원 신호로 변환하는 과정은 전술한 제4 네트워크(104)에서 수행되는 동작에 대응될 수 있다.
또한, 학습 모듈(M)은 상기 제1 복원 신호 및 상기 소스 신호의 차이를 이용하여 제1 가중치를 산출하고, 상기 제1 가중치를 상기 네트워크에 공유할 수 있다(S65).
예를 들어, 상기 제1 가중치는 상기 제1 복원 신호와 소스 신호의 차이(difference)일 수 있다.
또는, 예를 들어, 상기 제1 가중치는 가상 이미지 또는 임의의 특징맵에 대하여 상기 제1 복원 신호와 소스 신호(X)의 차이를 미분하여 산출된 기울기(gradient)일 수 있다. 예를 들어, 상기 기울기는 [수학식 3]과 같이 계산될 수 있다.
Figure pat00003
따라서, 상기 제1 가중치는 상기 제1 가상 신호(Yv)만으로 복원할 수 없는 영역(예컨대, 에러 영역)에 관한 정보를 반영하고 있으므로, 상기 소스 신호에 포함된 에러 영역에 대한 정보를 가이드할 수 있다.
이때, 상기 소스 신호(X)는 RGB 세 개의 채널이 병합된 3차원 데이터일 수 있고, 각 채널에 대한 기울기(g)는 정규화(normalize)를 통해 조정될 수 있다. 상기 정규화 과정은 다양한 방법에 의해 수행될 수 있으며, 예를 들어 아래의 [수학식 4]과 같이 각 채널 마다 평균 및 표준 편차를 이용한 표준정규분포를 이용하여 계산될 수 있다.
Figure pat00004
여기서, c는 R, G, B 각 채널을 의미한다.
또한, [수학식 4]를 이용하여 정규화된 기울기(g) 값에 시그모이드(sigmoid) 함수를 적용하여 가중치(We) 값이 0~1, 예를 들어 0.5~1의 범위를 갖도록 조정할 수 있으며, 아래의 수학식 [5]와 같이 계산될 수 있다.
Figure pat00005
다시 말해, 상기 소스 신호(X) 내의 에러 영역에 관한 정보는 상기 제1 네트워크 내지 제5 네트워크 중 적어도 하나에 공유될 수 있다.
학습 모듈(M)은 상기 제1 가중치를 이용하여 상기 제1 에러 특징이 포함된 제2 도메인의 제2 가상 신호를 생성할 수 있고(S66), 상기 제2 가상 신호를 제1 도메인의 제2 복원 신호로 역변환할 수 있다(S67).
예를 들어, 상기 뉴럴 네트워크(NN)를 이용한 학습 과정에 있어서 소스 신호 내의 컨텐츠의 일관성을 유지하기 위하여 제1 가상 신호와 제1 에러 신호를 통합하여 제2 가상 신호를 생성할 수 있고, 상기 제2 가상 신호를 생성하는 과정은 도 7을 참조하여 전술한 타겟 신호(T) 생성 방법에 대응될 수 있다.
또한, 학습 모듈(M)은 전술한 제4 네트워크(104)를 이용하여 상기 제2 가상 신호를 상기 제1 도메인의 제2 복원 신호로 더 역변환할 수 있다. 즉, 상기 제2 가상 신호를 기초로 역변환된 신호와 소스 신호의 차이를 이용하여 상기 역변환된 신호와 상기 소스 신호 내의 컨텐츠의 일관성이 비교될 수 있다.
학습 모듈(M)은 상기 제2 복원 신호와 상기 소스 신호의 차이를 이용하여 상기 네트워크의 파라미터를 조정할 수 있다(S68).
여기서 파마리터는 상기 제2 복원 신호와 상기 소스 신호의 차이로 산출되는 손실함수에 따라 조정될 수 있다.
상기 학습 모듈(M)은 상기 파라미터를 전술한 제1 뉴럴 네트워크(101), 제2 뉴럴 네트워크(102), 제3 뉴럴 네트워크(103), 제4 뉴럴 네트워크(104), 제5 뉴럴 네트워크(105) 및/또는 특징분류 네트워크(106)에 역전달할 수 있다. 이에 따라 각 네트워크에 포함된 복수의 레이어에 적용되는 파라미터가 조정될 수 있으며, 복수의 레이어 중 어느 하나의 레이어가 제거될 수도 있다.
즉, 본 출원의 제4 실시 예에 따른 학습 방법에 의하면 제1 도메인의 소스 신호를 제2 도메인의 가상 신호로 변환하는 과정을 반복적으로 수행함으로써, 전술한 뉴럴 네트워크(NN)에 포함된 복수의 레이어에 적용되는 최적의 파라미터가 도출될 수 있다.
따라서, 본 출원의 일 실시 예에 따른 신호 변환 모듈(T)은 상기 학습 모듈(M)로부터 전달되는 파라미터를 이용하여 신호 변환 동작을 수행함으로써 소스 신호에 있는 에러 특징들이 제거된 가상 신호를 제공할 수 있다.
이때 상기 서버(10)는 상기 학습 모듈(M)에 의해 수행되는 기계 학습 과정을 지속적으로 다시 수행함으로써, 상기 뉴럴 네트워크(NN)에 적용되는 최적의 파라미터를 업데이트할 수 있다.
따라서, 본 출원의 실시 예에 따른 신호 변환 제공 시스템(1)에 의하면 가상 신호의 품질이 향상될 수 있다.
도 11은 본 출원의 제5 실시 예에 따른 신호 변환 학습 과정을 개략적으로 설명하기 위한 도면이다. 또한, 도 12는 본 출원의 제5 실시 예에 따른 제1 도메인의 소스 신호(X)를 제2 도메인의 가상 신호(Yv)로 변환하여 제공하기 위한 학습 방법을 예시적으로 설명하기 위한 순서도이다.
예를 들어, 본 출원의 제2 실시 예에 따른 학습 방법은 전술한 서버(10) 내에 위치하는 학습 모듈(M)에 의해 수행될 수 있고, 상기 학습 모듈(M)에는 전술한 제1 네트워크 내지 제5 네트워크 중 적어도 하나 이상이 제공될 수 있다.
도 11을 참조하면, 본 출원의 제5 실시 예에 따른 학습 방법은 제1 도메인의 소스 신호를 제2 도메인의 가상 신호로 변환하는 과정에서, 상기 소스 신호 내의 컨텐츠의 일관성을 유지함과 동시에 상기 소스 신호 내의 에러 영역에 관한 특징들을 학습하기 위하여 제1 가상 신호(IA) 및 제2 가상 신호(IB)를 각각 생성하도록 구성될 수 있다.
예를 들어, 제1 가상 신호(IA) 는 상기 소스 신호 내의 사용자의 관심 영역(ROI)에 관한 특징들만을 선택하여 변환된 것일 수 있다. 또한, 예를 들어, 제2 가상 신호(IB)는 상기 소스 신호 내의 모든 특징들을 이용하여 변환된 것일 수 있다.
도 11에 도시된 바와 같이, 제1 도메인의 소스 신호는 태아의 초음파 이미지(IS)이고, 제2 도메인의 제1 가상 신호(IA)는 상기 초음파 이미지 내의 태아의 얼굴 영역에 관련된 특징들에 신생아의 실제 사진 이미지의 특징들이 합성된 이미지일 수 있다. 또한, 제2 도메인의 제2 가상 신호(IB)는 상기 초음파 이미지 내의 에러 특징들을 포함하는 모든 특징들에 신생아의 실제 사진 이미지의 특징들이 합성된 이미지일 수 있다.
이하에서는 도 12를 참조하여 본 출원의 제5 실시 예에 따른 신호 변환 학습이 수행되는 단계들을 상세하게 설명한다.
도 12를 참조하면, 본 출원의 제5 실시 예에 따른 학습 방법은 제1 도메인의 소스 신호로부터 복수 개의 특징을 획득하는 단계(S111), 제1 특징을 이용한 제1 가상 신호 및 복수 개의 특징들을 이용한 제2 가상 신호를 생성하는 단계(S112), 제2 가상 신호를 제1 도메인의 복원 신호로 역변환하고, 역변환된 복원 신호와 소스 신호의 차이를 이용하여 일관성을 비교하는 단계(S113), 제1 가상 신호와 제2 도메인의 데스티네이션 신호의 유사도를 산출하여(S114), 제1 가상 신호의 품질이 미리 정해진 수준에 부합하는지 여부를 판단하는 단계(S115)를 포함할 수 있다. 이하에 설명되는 단계들은 설명의 편의를 위하여 예시적으로 기재된 것으로써 각 단계들이 순차적 또는 병렬적으로 수행될 수 있다.
이하에서는, 도 11을 참조하여 설명한 바와 같이, 제1 도메인의 소스 신호가 태아의 초음파 이미지(IS)이고, 제2 도메인의 제1 가상 신호(IA) 및 제2 가상 신호(IB)는 상기 태아의 초음파 이미지에 신생아의 실제 사진 이미지의 특징들을 합성된 이미지인 경우를 예로 들어 상세하게 설명한다.
먼저, 전술한 바와 같이 제1 네트워크(101)를 통해 적어도 하나의 초음파 이미지(IS)가 입력될 수 있고, 상기 학습 모듈(M)은 상기 초음파 이미지(IS)를 입력 데이터로 하여 학습을 수행할 수 있다.
학습 모듈(M)은 제1 도메인의 소스 신호로부터 복수 개의 특징을 획득할 수 있다(S111).
예를 들어, 학습 모듈(M)은 상기 제1 도메인의 초음파 이미지으로부터 복수의 특징들을 추출할 수 있다. 예를 들어, 상기 복수의 특징들은 사용자의 관심 영역(ROI)에 관련된 제1 특징(유효 특징) 및 적어도 하나의 에러 영역에 관련된 제2 특징(에러 특징)들을 포함할 수 있다.
또한, 예를 들어, 상기 복수의 특징들은 상기 제1 네트워크(101)에 포함된 복수의 레이어 중 임의의 레이어를 통해 추출될 수 있으며, 상기 학습 모듈(M)에서 에러 특징을 추출하는 과정은 전술한 제1 네트워크(101)에서 수행되는 동작에 대응될 수 있다.
학습 모듈(M)은 제1 특징을 이용한 제1 가상 신호 및 복수 개의 특징들을 이용한 제2 가상 신호를 생성할 수 있다(S112).
상기 학습 모듈(M)은 S111 단계에서 획득된 복수의 특징들 중 제1 특징 및/또는 제2 특징들을 구별할 수 있다. 예를 들어, 상기 학습 모듈(M)은 미리 설정된 기준 또는 이전 학습 과정을 통해 전달된 파라미터를 이용하여 상기 복수의 특징들 중 에러 영역에 관련된 특징들을 선택할 수 있다.
예를 들어, 상기 제1 특징은 상기 복수의 특징들 중 태아의 얼굴 영역에 관련된 특징들을 포함할 수 있고, 적어도 하나의 제2 특징이 제거된 것일 수 있다. 예컨대, 상기 제 1특징은 태아의 눈, 코, 입, 귀 등 얼굴 영역에 관련된 특징들을 포함할 수 있고, 태아의 손, 발 등 얼굴 영역이 아닌 특징들은 포함하지 않을 수 있다.
따라서, 상기 학습 모듈(M)은 전술한 제2 네트워크(102) 및/또는 제3 네트워크(103)를 이용하여 상기 태의 손 및 발에 관련된 특징이 제거된 제1 가상 신호 및 상기 태아의 손 및 발에 관련된 특징을 포함하는 제2 가상 신호를 각각 생성할 수 있다. 학습 모듈(M)은 제2 가상 신호를 제1 도메인의 복원 신호로 역변환할 수 있고, 상기 복원 신호와 소스 신호의 차이를 이용하여 일관성을 비교할 수 있다(S113).
즉, 학습 모듈(M)은 S112 단계에서 생성된 제2 가상 신호를 제1 도메인의 복원 신호로 역변환할 수 있다. 상기 제2 가상 신호를 복원 신호로 변환하는 과정은 전술한 제4 네트워크(104)에서 수행되는 동작에 대응될 수 있으므로, 이하에서는 상세한 설명은 생략한다.
예를 들어, 도 11을 참조하면, 상기 학습 모듈(M)은 태아의 손에 관련된 특징을 포함하는 제2 가상 신호(IB)를 복원한 복원 이미지(I's)와 상기 소스 신호(Is)의 차이를 비교할 수 있다.
따라서, 상기 학습 모듈(M)은 제2 가상 신호(IB)만을 이용하여 역변환된 복원 신호(I's)와 소스 신호(Is)의 차이를 상기 뉴럴 네트워크(NN)에 역전달함으로써 상기 소스 신호 내의 컨텐츠의 일관성이 유지되도록 할 수 있다.
또한, 학습 모듈(M)은 제1 가상 신호와 제2 도메인의 데스티네이션 신호를 구별할 수 있다(S114).
즉, 학습 모듈(M)은 전술한 제5 네트워크(105)를 이용하여 상기 소스 신호에 포함된 적어도 하나의 에러 특징들이 제거된 제1 가상 신호(IA)와 제2 도메인의 데스티네이션(IR) 신호의 유사도(similarity)를 판단할 수 있다.
여기서, 유사도(similarity)라 함은 상기 가상 신호와 데스티네이션 신호의 정성적 특징(qualitative features)들 사이의 유사성을 의미할 수 있다.
예를 들어, 도 11을 참조하면, 상기 학습 모듈(M)은 상기 태아의 초음파 이미지 내의 손에 관련된 특징이 제거된 제1 가상 이미지(IB)가 신생아의 실제 사진 이미지(IR)에 해당될 확률을 산출할 수 있다. 따라서 상기 뉴럴 네트워크(NN)는 실제 사진 이미지(IR)에 가까운 가상 이미지를 생성하도록 학습을 수행함으로써 가상 이미지의 품질이 더 향상되도록 할 수 있다.
또한, 학습 모듈(M)은 제1 가상 신호의 품질이 미리 정해진 수준에 부합하는지 여부를 판단할 수 있다(S115).
예를 들어, 상기 학습 모듈(M)은 S114 단계에서 판단된 유사도를 이용하여 상기 제1 가상 신호(IA)의 품질이 미리 정해진 수준에 부합하는지 여부를 판단할 수 있고, 상기 제1 가상 신호의 품질이 미리 정해진 수준에 도달할 때까지 전술한 단계들을 반복적으로 수행할 수 있다.
또는 예를 들어, 상기 학습 모듈(M)은 미리 설정된 종료 조건이 만족될 때까지, 전술한 S111 내지 S114 단계를 반복적으로 수행하도록 함으로써 원하는 품질의 가상 신호를 생성하기 위한 파라미터를 업데이트할 수 있다.
여기서 미리 설정된 종료 조건은 사용자에 의해 미리 입력된 조건일 수 있다.
또는 예를 들어, 사용자는 학습 모듈(M)이 S111 단계 내지 S114 단계를 미리 설정된 횟수만큼 반복하도록 설정할 수 있다.
또는, 예를 들어, 사용자는 상기 뉴럴 네트워크(NN)의 손실함수(loss function)가 감소되지 않을 때까지 S111 단계 내지 S114 단계를 반복하여 수행하도록 설정할 수 있다.
이때 학습 모듈(M)은 S115 단계에서 판단 결과 상기 제1 가상 신호의 품질이 미리 정해진 수준에 도달하지 않은 것으로 판단되는 경우, 상기 가상 신호들 및 손실함수에 기반하여 상기 뉴럴 네트워크(NN)의 복수의 레이어에 대한 파라미터가 조정될 수 있다.
따라서, 상기 학습 모듈(M)은 해당 학습 과정의 S113 및 S114 단계를 통해 도출된 상기 뉴럴 네트워크(NN)의 복수의 레이어에 대한 파라미터를 신호 변환 모듈(T)에 전달할 수 있다.
반대로, 상기 학습 모듈(M)은 S115 단계에서 판단 결과 상기 제1 가상 신호의 품질이 미리 정해진 수준에 도달한 것으로 판단되는 경우 학습 과정을 종료할 수 있다.
따라서, 본 출원의 제5 실시 예에 따른 학습 방법에 의하면 제1 도메인의 소스 신호에 포함된 모든 특징들을 이용하여 변환된 제2 가상 신호를 다시 제1 도메인의 신호로 역변환하는 과정을 통해 소스 신호 내의 컨텐츠의 일관성을 학습할 수 있다. 또한, 적어도 하나의 에러 특징들을 식별하고 상기 에러 특징들이 제거된 제1 가상 신호(IA)를 제2 도메인의 데스티네이션 신호(IR)와 구별하도록 함으로써 상기 소스 신호에 포함된 에러 특징들이 제거된 제1 가상 신호를 생성하도록 학습될 수 있다.
즉, 본 출원의 제5 실시 예에 따른 학습 방법에 의하면 제1 도메인의 소스 신호를 제2 도메인의 가상 신호로 변환하고 손실 함수를 측정하여 파라미터를 조정하는과정을 반복적으로 수행함으로써, 전술한 뉴럴 네트워크(NN)에 포함된 복수의 레이어에 적용되는 최적의 파라미터가 도출될 수 있다.
따라서, 본 출원의 일 실시 예에 따른 신호 변환 모듈(T)은 상기 학습 모듈(M)로부터 전달되는 파라미터를 이용하여 신호 변환 동작을 수행함으로써 미리 지정된 품질 이상의 가상 신호를 제공할 수 있다. 이때 상기 서버(10)는 상기 학습 모듈(M)에 의해 수행되는 기계 학습 과정을 미리 정해진 주기마다 다시 수행함으로써, 상기 뉴럴 네트워크(NN)에 적용되는 최적의 파라미터를 업데이트할 수 있다.
한편, 전술한 본 출원의 실시 예들에 있어서, 제1 도메인의 소스 신호(IS)를 제2 도메인의 가상 신호(IA, IB)로 변환하는 과정뿐만 아니라, 제2 도메인의 가상 신호(IB)를 제1 도메인의 복원 신호(I's)로 역변환하는 과정에서도 동일한 방식으로 학습이 수행될 수 있다.
예를 들어, 도 11에 도시된 바와 같이 제2 도메인의 신생아의 실제 사진 이미지(IR)를 제1 도메인의 태아의 초음파 이미지로 변환한 이미지(I's)와 제1 도메인의 태아의 초음파 이미지(Is)를 구별하도록 학습할 수 있다. 또한, 초음파 이미지로 변환한 이미지(I's)를 다시 제2 도메인의 실제 사진 이미지로 역변환한 이미지(I'R)와 신생아의 실제 사진 이미지(IR)를 비교함으로써 상기 역변환한 이미지(I'R)와 상기 실제 사진 이미지(IR) 내의 컨텐츠의 일관성을 유지할 수 있다.
결과적으로, 본 출원의 일 실시 예에 따른 신호 변환 제공 시스템(1)은 전술한 학습 과정을 반복적으로 수행함으로써 미리 정해진 품질의 가상 신호를 사용자 장치(30) 상에 제공할 수 있다.
예를 들어, 제1 도메인의 입력 신호가 태아의 초음파 이미지인 경우, 사용자는 제1 도메인의 소스 이미지 내의 태아 얼굴이 손, 발, 태반, 양수 중 적어도 하나의 에러 특징에 의해 가려진 경우에도 상기 에러 특징이 제거된 제2 도메인의 가상 이미지를 얻을 수 있다.
지금까지 설명의 편의를 위하여 신호 변환의 각 기능들이 전술한 서버(10)에서 수행되는 경우를 가정하여 설명하였으나, 전술한 신호 변환의 각 기능들은 컴퓨터 상에서 판독 가능한 매체에 기록되어 제공될 수 있다.
즉, 본 출원의 일 실시 예에 따른 신호 변환 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
1: 신호 변환 제공 시스템
2: 통신망
10: 서버
11: 신호 송수신부
12: 특징 분석부
13: 가상 신호 생성부
14: 신호 역변환부
15: 제어부

Claims (19)

  1. 제1 도메인의 소스 신호를 입력받는 단계;
    상기 소스 신호 내의 에러 특징 및 유효 특징들을 식별하는 단계;
    상기 소스 신호에 포함된 적어도 하나의 제1 에러 특징들을 제거한 제2 도메인의 제1 가상 신호를 생성하는 단계; 및
    상기 제1 가상 신호를 출력하는 단계;를 포함하는
    신호 변환 방법.
  2. 제1항에 있어서,
    상기 제1 가상 신호는 상기 소스 신호에 포함된 에러 특징들이 제거된 가상 신호를 생성하도록 미리 학습된 파라미터를 이용하여 생성되는 것을 특징으로 하는
    신호 변환 방법.
  3. 제2 항에 있어서,
    상기 미리 학습된 파라미터는 상기 가상 신호의 품질을 향상시키도록 지속적으로 업데이트 되는 것을 특징으로 하는
    신호 변환 방법.
  4. 제1항에 있어서,
    상기 제1 가상 신호의 품질이 미리 정해진 수준에 부합하는지 여부를 판단하는 단계;를 더 포함하고,
    상기 제1 가상 신호의 품질이 미리 지정된 수준에 부합하는 것으로 판단되는 경우, 상기 제1 가상 신호를 출력하는 것을 특징으로 하는
    신호 변환 방법.
  5. 제4항에 있어서,
    상기 제1 가상 신호의 품질이 미리 정해진 수준에 부합하지 않는 것으로 판단되는 경우,
    상기 제1 가상 신호를 제1 도메인의 제1 복원 신호로 역변환하는 단계; 및
    상기 제1 복원 신호를 입력 신호로 하여 제2 가상 신호를 생성하는 단계; 를 더 포함하되,
    상기 제2 가상 신호의 품질이 미리 정해진 수준에 부합할 때까지 상기 단계들을 반복적으로 수행하는 것을 특징으로 하는
    신호 변환 방법.
  6. 제5항에 있어서,
    상기 제2 가상 신호는, 상기 제1 복원 신호에 포함된 적어도 하나의 제2 에러 특징이 더 제거된 것인 신호 변환 방법.
  7. 제1항에 있어서,
    상기 제1 가상 신호는, 상기 제1 도메인의 소스 신호에 상기 제2 도메인의 데스티네이션 신호의 특징들을 합성하여 생성되는 것을 특징으로 하는 신호 변환 방법.
  8. 제1항에 있어서,
    상기 유효 특징은, 사용자로부터 미리 설정된 상기 소스 신호 내의 관심 영역(ROI)에 관한 것인
    신호 변환 방법.
  9. 적어도 하나의 뉴럴 네트워크를 이용한 신호 변환 방법에 있어서,
    제1 도메인의 소스 신호로부터 적어도 하나의 제1 에러 특징을 식별하는 단계; 및
    상기 제1 에러 특징이 제거된 제2 도메인의 제1 가상 신호를 산출하는 단계;
    상기 제1 가상 신호의 품질이 미리 정해진 수준에 부합하는지 여부를 판단하는 단계;를 포함하고,
    상기 제1 가상 신호의 품질이 미리 정해진 수준에 부합하지 않는 것으로 판단되는 경우,
    상기 제1 가상 신호를 제1 도메인의 제1 복원 신호로 역변환하는 단계; 및
    상기 제1 복원 신호 및 상기 소스 신호의 차이를 이용하여 제1 가중치를 산출하는 단계;를 더 포함하며,
    상기 제1 가중치를 통해 상기 소스 신호에 포함된 상기 적어도 하나의 제1 에러 특징이 학습되는 것을 특징으로 하는
    신호 변환 방법.
  10. 제9항에 있어서,
    상기 제1 가상 신호의 품질이 미리 정해진 수준에 부합하지 않는 것으로 판단되는 경우,
    상기 제1 가중치를 이용하여 상기 제1 에러 특징이 포함된 제2 도메인의 제2 가상 신호를 생성하는 단계;
    상기 제2 가상 신호를 제1 도메인의 제2 복원 신호로 역변환 하는 단계; 및
    상기 제2 복원 신호와 상기 소스 신호의 차이를 이용하여 파마리터를 조정하는 단계;를 더 포함하는 것을 특징으로 하는
    신호 변환 방법.
  11. 제9항에 있어서,
    상기 제1 에러 특징을 식별하는 단계는,
    상기 소스 신호로부터 하나 이상의 특징들을 획득하는 단계; 및
    상기 하나 이상의 특징들 중 유효 특징들에 관련된 제1 특징과 에러 특징들에 관련된 제2 특징을 분류하는 단계;를 더 포함하는 것을 특징으로 하는
    신호 변환 방법.
  12. 제9항에 있어서,
    상기 제2 가상 신호를 생성하는 단계는, 상기 적어도 하나의 제1 에러 특징을 기초로 산출되는 제1 에러 신호에 상기 제1 가중치를 적용하고, 상기 제1 가상 신호에 제2 가중치를 적용하여 생성되는 것인
    신호 변환 방법.
  13. 제12항에 있어서,
    상기 제2 가중치는, 상기 제1 가중치를 기초로 산출되는 것을 특징으로 하는 신호 변환 방법.
  14. 제9항에 있어서,
    상기 제1 가상 신호와 제2 도메인의 데스티네이션 신호의 유사도를 산출하는 단계;를 더 포함하고,
    상기 뉴럴 네트워크는 상기 제1 가상 신호와 상기 데스티네이션 신호의 유사도가 높아지도록 학습되는 것을 특징으로 하는
    신호 변환 방법.
  15. 적어도 하나의 뉴럴 네트워크를 이용한 학습 방법에 있어서,
    제1 도메인의 입력 신호로부터 복수 개의 특징을 획득하는 단계;
    상기 복수 개의 특징 중 제1 특징만을 이용하여 제1 가상 신호를 생성하고, 상기 복수 개의 특징을 이용하여 제2 가상 신호를 생성하는 단계; 및
    상기 제1 가상 신호와 제2 도메인의 데스티네이션 신호의 유사도를 산출하는 단계;를 포함하고,
    상기 제2 가상 신호를 제1 도메인의 신호로 역변환한 제1 복원 신호와 상기 소스 신호의 차이를 이용하여 상기 네트워크에 적용되는 파라미터가 조정되는 것을 특징으로 하는
    학습 방법.
  16. 제15항에 있어서,
    상기 제1 가상 신호의 품질이 미리 정해진 수준에 도달할 때까지 상기 단계들이 반복적으로 수행되는 것을 특징으로 하는
    학습 방법
  17. 제15항에 있어서,
    상기 뉴럴 네트워크는 상기 제1 가상 신호와 제2 도메인의 데스티네이션 신호의 유사도가 높아지도록 학습되는 것인
    학습 방법.
  18. 제15항에 있어서,
    상기 유사도는 상기 제1 가상 신호와 상기 데스티네이션 신호 간의 정성적 특징들 사이의 유사성인 것을 특징으로 하는
    학습 방법.
  19. 제1항 내지 제18항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 매체.
KR1020180120762A 2017-10-15 2018-10-10 신호 변환 시스템 및 신호 변환 방법 KR102229218B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/160,859 US11694083B2 (en) 2017-10-15 2018-10-15 Signal translation system and signal translation method
PCT/KR2018/012112 WO2019074339A1 (ko) 2017-10-15 2018-10-15 신호 변환 시스템 및 신호 변환 방법
CN201880067109.3A CN111226258B (zh) 2017-10-15 2018-10-15 信号转换系统和信号转换方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762572507P 2017-10-15 2017-10-15
US62/572,507 2017-10-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210032325A Division KR20210032945A (ko) 2017-10-15 2021-03-11 신호 변환 시스템 및 신호 변환 방법

Publications (2)

Publication Number Publication Date
KR20190042455A true KR20190042455A (ko) 2019-04-24
KR102229218B1 KR102229218B1 (ko) 2021-03-18

Family

ID=66282171

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020180050390A KR102053527B1 (ko) 2017-10-15 2018-05-02 이미지 처리 방법
KR1020180120762A KR102229218B1 (ko) 2017-10-15 2018-10-10 신호 변환 시스템 및 신호 변환 방법
KR1020210032325A KR20210032945A (ko) 2017-10-15 2021-03-11 신호 변환 시스템 및 신호 변환 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020180050390A KR102053527B1 (ko) 2017-10-15 2018-05-02 이미지 처리 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210032325A KR20210032945A (ko) 2017-10-15 2021-03-11 신호 변환 시스템 및 신호 변환 방법

Country Status (2)

Country Link
KR (3) KR102053527B1 (ko)
CN (1) CN111226258B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102652117B1 (ko) * 2019-07-10 2024-03-27 삼성전자주식회사 이미지 보정 방법 및 이미지 보정 시스템
KR20210032247A (ko) * 2019-09-16 2021-03-24 삼성전자주식회사 디스플레이 장치 및 이의 영상 처리 방법
CN112052818B (zh) * 2020-09-15 2024-03-22 浙江智慧视频安防创新中心有限公司 无监督域适应的行人检测方法、系统及存储介质
KR102334666B1 (ko) * 2021-05-20 2021-12-07 알레시오 주식회사 얼굴 이미지 생성 방법
KR20220169076A (ko) 2021-06-18 2022-12-27 홍소현 식용 및 사료용 곤충의 대량절식장치
CN113487641A (zh) * 2021-08-03 2021-10-08 致真存储(北京)科技有限公司 一种基于stt-mram的图像边缘检测方法及装置
KR102371145B1 (ko) * 2021-11-10 2022-03-07 주식회사 스누아이랩 이미지 복원을 위한 장치 및 그 장치의 구동방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130008858A (ko) * 2011-07-13 2013-01-23 삼성전자주식회사 영상 처리 방법 및 그에 따른 영상 처리 장치
KR20150089836A (ko) * 2014-01-28 2015-08-05 삼성메디슨 주식회사 관심 영역에 대응하는 초음파 영상 표시 방법 및 이를 위한 초음파 장치
KR20170078516A (ko) * 2015-12-29 2017-07-07 삼성전자주식회사 신경망 기반 영상 신호 처리를 수행하는 방법 및 장치
KR20170113251A (ko) * 2016-03-24 2017-10-12 재단법인 아산사회복지재단 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3642591B2 (ja) * 1994-11-29 2005-04-27 株式会社日立メディコ 画像処理装置
KR100497398B1 (ko) * 2003-07-16 2005-06-23 삼성전자주식회사 영상 잡음 제거방법 및 장치
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP5632680B2 (ja) * 2010-08-25 2014-11-26 日立アロカメディカル株式会社 超音波画像処理装置
KR102054680B1 (ko) * 2013-01-23 2020-01-22 삼성전자주식회사 영상 처리 장치, 초음파 영상 장치 및 영상 처리 방법
JP6230239B2 (ja) * 2013-02-14 2017-11-15 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US9892336B2 (en) * 2014-05-16 2018-02-13 Mediatek Inc. Detection devices and methods for detecting regions of interest
US9582753B2 (en) * 2014-07-30 2017-02-28 Mitsubishi Electric Research Laboratories, Inc. Neural networks for transforming signals
JP6412386B2 (ja) * 2014-09-26 2018-10-24 キヤノン株式会社 画像処理装置およびその制御方法、プログラムならびに記録媒体
KR102328269B1 (ko) * 2014-10-23 2021-11-19 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법
JP6543066B2 (ja) * 2015-03-30 2019-07-10 株式会社メガチップス 機械学習装置
CN106203460A (zh) * 2015-05-05 2016-12-07 杜比实验室特许公司 训练信号处理模型以用于信号处理系统中的部件替换
KR20160133230A (ko) * 2015-05-12 2016-11-22 엘지전자 주식회사 이동 단말기
EP3371777A1 (en) * 2015-11-06 2018-09-12 THOMSON Licensing Method for transfer of a style of a reference visual object to another visual object, and corresponding electronic device, computer readable program products and computer readable storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130008858A (ko) * 2011-07-13 2013-01-23 삼성전자주식회사 영상 처리 방법 및 그에 따른 영상 처리 장치
KR20150089836A (ko) * 2014-01-28 2015-08-05 삼성메디슨 주식회사 관심 영역에 대응하는 초음파 영상 표시 방법 및 이를 위한 초음파 장치
KR20170078516A (ko) * 2015-12-29 2017-07-07 삼성전자주식회사 신경망 기반 영상 신호 처리를 수행하는 방법 및 장치
KR20170113251A (ko) * 2016-03-24 2017-10-12 재단법인 아산사회복지재단 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치

Also Published As

Publication number Publication date
CN111226258A (zh) 2020-06-02
CN111226258B (zh) 2023-09-22
KR102053527B1 (ko) 2019-12-06
KR20190042429A (ko) 2019-04-24
KR20210032945A (ko) 2021-03-25
KR102229218B1 (ko) 2021-03-18

Similar Documents

Publication Publication Date Title
KR102229218B1 (ko) 신호 변환 시스템 및 신호 변환 방법
US11694083B2 (en) Signal translation system and signal translation method
US11257259B2 (en) Topogram prediction from surface data in medical imaging
US11210781B2 (en) Methods and devices for reducing dimension of eigenvectors and diagnosing medical images
US11810301B2 (en) System and method for image segmentation using a joint deep learning model
JP7246811B2 (ja) 顔画像生成用のデータ処理方法、データ処理機器、コンピュータプログラム、及びコンピュータ機器
KR102063294B1 (ko) 초음파 영상을 실사 영상으로 변환하는 방법 및 그 장치
KR102160390B1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
KR102427484B1 (ko) 이미지 생성 시스템 및 이를 이용한 이미지 생성 방법
Wang et al. Unsupervised learning for cross-domain medical image synthesis using deformation invariant cycle consistency networks
CN113688912B (zh) 基于人工智能的对抗样本生成方法、装置、设备及介质
Shankar et al. Non-parallel emotion conversion using a deep-generative hybrid network and an adversarial pair discriminator
CN114067389A (zh) 一种面部表情的分类方法和电子设备
Valiuddin et al. Improving aleatoric uncertainty quantification in multi-annotated medical image segmentation with normalizing flows
KR20210135039A (ko) 조건부 생성 적대적 네트워크를 이용한 의료 영상의 예측을 위한 방법 및 장치
US11494959B2 (en) Method and apparatus with generation of transformed image
US20240078756A1 (en) Image generation method and apparatus, device, storage medium, and computer program product
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
US11138785B2 (en) Method and system for generating 3D image of character
Zou et al. Disentangled representations: towards interpretation of sex determination from hip bone
US20230087494A1 (en) Determining image similarity by analysing registrations
EP3864620B1 (en) Correcting segmentation of medical images using a statistical analysis of historic corrections
CN113469197A (zh) 图文匹配方法、装置、设备以及存储介质
Risha et al. Medical Image Synthesis using Generative Adversarial Network
CN116977272A (zh) 一种基于联邦图注意力学习的结构磁共振图像处理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant