KR102251898B1 - 태양 영상 노이즈 처리 장치 및 방법 - Google Patents

태양 영상 노이즈 처리 장치 및 방법 Download PDF

Info

Publication number
KR102251898B1
KR102251898B1 KR1020200022534A KR20200022534A KR102251898B1 KR 102251898 B1 KR102251898 B1 KR 102251898B1 KR 1020200022534 A KR1020200022534 A KR 1020200022534A KR 20200022534 A KR20200022534 A KR 20200022534A KR 102251898 B1 KR102251898 B1 KR 102251898B1
Authority
KR
South Korea
Prior art keywords
image data
corrected
image
corrected image
input
Prior art date
Application number
KR1020200022534A
Other languages
English (en)
Inventor
문용재
박은수
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020200022534A priority Critical patent/KR102251898B1/ko
Application granted granted Critical
Publication of KR102251898B1 publication Critical patent/KR102251898B1/ko

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

태양 영상의 노이즈 제거 장치 및 방법에 관한 것으로, 태양 영상의 노이즈 제거 장치는, 태양에 대한 입력 영상 데이터의 노이즈를 제거하여 상기 입력 영상 데이터에 대응하는 보정 영상 데이터를 획득하는 보정 영상 생성부 및 상기 보정 영상 데이터를 수신하고, 상기 보정 영상 데이터 및 목표 영상 데이터를 이용하여 상기 보정 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별하는 판별부를 포함하되, 상기 판별부가 상기 보정 영상 데이터가 실제 영상으로 판별하면, 상기 보정 영상 데이터는 상기 태양에 대한 최종 영상 데이터로 결정된다.

Description

태양 영상 노이즈 처리 장치 및 방법{APPRATUS AND METHOD FOR DENOSING SOLAR IMAGE}
태양 영상 노이즈 처리 장치 및 방법에 관한 것이다.
플레어의 발생이나 코로나 질량 방출과 같은 태양의 활동은 태양 자기장에 의해 에너지를 공급받기 때문에, 태양 자기장(solar magnetic field)의 변화에 영향을 받는다. 다시 말해서, 태양의 활동 주기(태양 주기)는 태양 자기장 주기에 대응하여 강하게 변동하게 된다. 태양의 활동은 지구 내의 자연 현상(예를 들어, 기후 변화 등)에도 영향을 미칠 뿐만 아니라, 인간이 사용하는 여러 전자 장치(전파를 이용하는 통신 장치나 인공 위성 등)에도 강한 영향을 미쳐, 이들 전자 장치의 동작 오류나 데이터의 오차 등의 원인이 된다. 따라서, 태양 자기장에 기인한 여러 문제점의 조기 발견 또는 대처를 위해 지속적으로 태양 자기장에 대한 관측이 이뤄지고 있다. 이와 같은 관측 자료로 태양 자기장 지도(Solar magnetogram)가 존재한다. 태양 자기장 지도는 관측된 태양 자기장의 강도의 공간적 변화를 시각적으로 표현한 것으로, 태양 물리 연구 및 우주 환경 예보에 중요한 관측 자료이다. 현재 태양 자기장 지도를 위해 이용되고 있는 주된 관측기기는, 태양 활동 관측 위성(SDO: Solar Dynamics Observatory)에 탑재된 태양 지진 자기장 영상화 장치(HMI: Helioseismic and Magnetic Imager)이다. 태양 지진 및 자기장 영상화 장치는 두 대의 카메라를 이용하여 태양에 대한 정보를 수집하는데, 양자는 서로 상이한 시간 간격(구체적으로 45초 및 720초)으로 태양 전면에서의 태양 자기장을 관측하고 있다. 그러나 태양 지진 및 자기장 영상화 장치에 의해 획득된 데이터에는 상당한 노이즈가 존재한다. 이들 노이즈의 존재는 태양 자기장 지도의 정확성을 저해하는 문제점이 있었다. 그러므로 현재 이들 노이즈를 제거하거나 감소시키기 위해 다양한 연구가 진행되고 있다. 예를 들어, 신호 대 잡음비(SNR: Signal to Noise Ratio)의 감소를 위해 관측 시간을 증가시키는 방법 등이 이용되었다.
그러나 이는 특정 지역을 장시간 관측해야 하므로 특정 지역을 정밀하게 추적해야 하고 또한 많은 양의 데이터를 생산하지 못하는 문제점이 있다.
노이즈가 제거 또는 감소된 고품질의 태양 영상을 획득할 수 있는 태양 영상 노이즈 처리 장치 및 방법을 제공하는 것을 해결하고자 하는 과제로 한다.
상술한 과제를 해결하기 위하여 태양 영상 노이즈 처리 장치 및 태양 영상 노이즈 처리 방법이 제공된다.
태양 영상 노이즈 처리 장치는, 태양에 대한 입력 영상 데이터의 노이즈를 제거하여 상기 입력 영상 데이터에 대응하는 보정 영상 데이터를 획득하는 보정 영상 생성부 및 상기 보정 영상 데이터를 수신하고, 상기 보정 영상 데이터 및 목표 영상 데이터를 이용하여 상기 보정 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별하는 판별부를 포함하되, 상기 판별부가 상기 보정 영상 데이터를 실제 영상으로 판별하면, 상기 보정 영상 데이터는 상기 태양에 대한 최종 영상 데이터로 결정될 수 있다.
상기 보정 영상 생성부는, 상기 보정 영상 데이터가 위조 영상으로 판별되면, 상기 원 영상 데이터에 대응하는 다른 보정 영상 데이터를 획득할 수 있다.
상기 판별부는, 상기 다른 보정 데이터 및 상기 목표 영상 데이터를 이용하여 상기 다른 대응 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별할 수 있다.
상기 판별부는, 상기 보정 영상 데이터 및 상기 입력 영상 데이터를 포함하는 제1 쌍의 영상 데이터를 수신하고, 상기 목표 영상 데이터 및 상기 입력 영상 데이터를 포함하는 제2 쌍의 영상 데이터를 수신하고, 상기 제2 쌍의 영상 데이터를 이용하여, 상기 제1 쌍의 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별할 수 있다.
상기 보정 영상 생성부는, 상기 보정 영상 데이터 및 상기 목표 영상 데이터의 차이가 최소화되도록 상기 보정 영상 데이터를 반복하여 생성할 수 있다.
상기 판별부는, 상기 목표 영상 데이터가 상기 입력 영상 데이터에 대응할 확률 및 상기 보정 영상 데이터가 상기 입력 영상 데이터에 대응할 확률을 기반으로, 상기 보정 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별할 수 있다.
상기 태양에 대한 입력 영상 데이터는, 태양 자기장 지도를 포함할 수 있다.
상기 태양에 대한 입력 영상 데이터는, 상기 태양의 중심부에 대한 영상 데이터를 포함할 수도 있다.
상기 보정 영상 생성부 및 상기 판별부 중 적어도 하나는, 적어도 하나의 신경망(Neural Network)을 이용하여 구축된 것일 수 있다.
태양 영상 노이즈 처리 방법은, 태양에 대한 입력 영상 데이터의 노이즈를 제거하여 상기 입력 영상 데이터에 대응하는 보정 영상 데이터를 획득하는 단계, 상기 보정 영상 데이터 및 목표 영상 데이터를 이용하여 상기 보정 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별하는 단계 및 상기 보정 영상 데이터가 실제 영상으로 판별되면, 상기 보정 영상 데이터를 상기 태양에 대한 최종 영상 데이터로 결정하는 단계를 포함할 수 있다.
태양 영상 노이즈 처리 방법은, 상기 보정 영상 데이터가 위조 영상으로 판별되면, 상기 원 영상 데이터에 대응하는 다른 보정 영상 데이터를 더 획득하는 단계를 더 포함할 수도 있다.
태양 영상 노이즈 처리 방법은, 상기 다른 보정 데이터 및 목표 영상 데이터를 이용하여 상기 다른 대응 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별하는 단계를 더 포함할 수도 있다.
상기 보정 영상 데이터 및 목표 영상 데이터를 이용하여 상기 보정 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별하는 단계는, 상기 목표 영상 데이터 및 상기 입력 영상 데이터를 포함하는 제2 쌍의 영상 데이터를 이용하여, 상기 보정 영상 데이터 및 상기 입력 영상 데이터를 포함하는 제1 쌍의 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별하는 단계를 포함할 수도 있다.
상기 태양에 대한 입력 영상 데이터는, 태양 자기장 지도를 포함할 수 있다.
상기 태양에 대한 입력 영상 데이터는, 상기 태양의 중심부에 대한 영상 데이터를 포함할 수 있다.
상기 입력 영상 데이터에 대응하는 보정 영상 데이터를 획득하는 단계 및 상기 보정 영상 데이터 및 상기 보정 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별하는 단계 중 적어도 하나의 단계는, 미리 정의된 신경망을 이용하는 것일 수 있다.
상술한 태양 영상 노이즈 처리 장치 및 방법에 의하면, 태양 영상, 일례로 태양 자기장 지도 내의 노이즈를 제거하거나 또는 감소시킴으로써 보다 개선된 품질의 태양 영상을 획득할 수 있게 된다.
상술한 태양 영상 노이즈 처리 장치 및 방법에 의하면, 보다 정확한 태양 영상의 확보가 가능해짐에 따라 태양에 대한 연구 능력의 강화 및 우주 환경 모델의 정확도 향상이 가능해진다.
상술한 태양 영상 노이즈 처리 장치 및 방법에 의하면, 태양 자기장 지도를 기반으로 동작하는 우주 환경 예보 모델의 정확도를 개선함으로써, 태양 지도의 오류 또는 오차에 기인한 경제적, 상업적 피해를 제거하거나 또는 최소화할 수도 있게 된다.
도 1은 태양 영상 노이즈 처리 장치의 일 실시예에 대한 블록도이다.
도 2는 입력 영상, 목표 영상 및 보정 영상의 일례를 도시한 도면이다.
도 3은 프로세서의 동작의 일 실시예를 설명하기 위한 도면이다.
도 4는 입력 영상, 목표 영상 및 보정 영상 각각의 자속(자기력 선속, magnetic flux) 밀도의 일례를 도시한 히스토그램 도면이다.
도 5는 테스트 셋에 대한 노이즈의 평균 값의 일례를 도시한 도표이다.
도 6은 태양 영상 노이즈 처리 방법의 일 실시예에 대한 흐름도이다.
이하 명세서 전체에서 동일 참조 부호는 특별한 사정이 없는 한 동일 구성요소를 지칭한다. 이하에서 사용되는 '부'가 부가된 용어는, 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예에 따라 하나의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 복수의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 하나의 '부'가 복수의 물리적 또는 논리적 부품들로 구현되는 것도 가능하다.
명세서 전체에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 어떤 부분과 다른 부분에 따라서 물리적 연결을 의미할 수도 있고, 또는 전기적으로 연결된 것을 의미할 수도 있다. 또한, 어떤 부분이 다른 부분을 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 부분 이외의 또 다른 부분을 제외하는 것이 아니며, 설계자의 선택에 따라서 또 다른 부분을 더 포함할 수 있음을 의미한다.
제 1 이나 제 2 등의 용어는 어느 하나의 부분을 다른 부분으로부터 구별하기 위해 사용되는 것으로, 특별한 기재가 없는 이상 이들이 순차적임을 의미하는 것은 아니다. 또한 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함할 수 있다.
이하 도 1 내지 도 4를 참조하여 태양 영상 노이즈 처리 장치의 일 실시예에 대해서 설명하도록 한다.
도 1은 태양 영상 노이즈 처리 장치의 일 실시예에 대한 블록도이고, 도 2는 입력 영상, 목표 영상 및 보정 영상의 일례를 도시한 도면이다.
태양 영상 노이즈 처리 장치(100)는 태양 영상 노이즈 제거를 수행 가능한 적어도 하나의 정보 처리 장치를 기반으로 구현될 수 있다. 실시예에 따라서, 태양 영상 노이즈 처리 장치(100)는 하나의 정보 처리 장치를 이용하여 구현될 수도 있고, 또는 상호 연관되어 동작하는 둘 이상의 정보 처리 장치를 이용하여 구현될 수도 있다. 여기서, 적어도 하나의 정보 처리 장치는, 데스크톱 컴퓨터, 랩톱 컴퓨터, 서버용 컴퓨터 장치, 셀룰러 폰, 스마트 폰, 태블릿 피씨, 스마트 시계, 두부 장착형 디스플레이(HMD, Head Mounted Display) 장치, 내비게이션 장치, 개인용 디지털 보조기(PDA, Personal Digital Assistant), 디지털 텔레비전, 셋톱 박스, 휴대용 게임기, 인공지능 음향 재생 장치 및/또는 특별히 태양 영상의 노이즈 제거를 위해 마련되거나 특별히 제작된 정보 처리 장치(예를 들어, 인공 위성 내에 장착된 반도체 칩 및 회로 기판 등으로 구현되는 정보 처리 장치) 등을 포함할 수 있다.
도 1에 도시된 바와 같이, 일 실시예에 따른 태양 영상 노이즈 처리 장치(100)는, 입력부(110), 출력부(112), 저장부(114) 및 프로세서(120)를 포함할 수 있다. 입력부(110), 출력부(112), 저장부(114) 및 프로세서(120) 중 적어도 둘은 회로 라인 또는 도선 등을 통해 데이터를 송신하거나 수신할 수 있도록 마련된다. 여기서, 데이터는 전기적 신호의 형태로 송수신될 수 있다. 실시예에 따라, 입력부(110), 출력부(112) 및 저장부(114) 중 적어도 하나는 생략되는 것도 가능하다.
입력부(110)는 외부로부터 데이터를 입력 받고, 입력 받은 데이터를 프로세서(120) 및/또는 저장부(114)로 전달할 수 있다. 도 2에 도시된 바를 참조하면, 입력부(110)는, 예를 들어, 관측 장비(예를 들어, 태양 활동 관측 위성의 태양 지진 자기장 영상화 장치)에 의해 획득된 영상 데이터(도 2의 i0, 이하 태양에 대한 입력 영상 데이터)를 입력 받을 수 있다. 태양에 대한 입력 영상 데이터(i0)는 프로세서(120)의 보정 영상 생성부(121)로 전달되어 보정 영상(i11-1 내지 i11-n)을 생성하기 위해 이용될 수 있다. 태양에 대한 입력 영상 데이터(i0)는, 적어도 일 방향에서의 태양의 전부 또는 일부에 대한 영상 데이터를 포함할 수 있다. 예를 들어, 입력 영상 데이터(i0)는 태양의 중심부 또는 그 주변에 대한 영상 데이터(일례로 태양의 적도 주변의 영상 데이터)를 포함할 수 있다. 일 실시예에 의하면, 태양에 대한 입력 영상 데이터(i0)는, 태양 자기장 지도를 포함할 수 있다. 태양 자기장 지도는 일 면 방향에서의 태양의 전부에 대한 자기장 지도일 수도 있고 또는 태양의 특정한 일부분에 한정된 자기장 지도일 수도 있다. 다른 예를 들어, 입력부(110)는 판별부(123)에서 보정 영상과의 비교를 위해 이용될 목표 영상 데이터(i21)도 입력 받을 수 있다. 목표 영상 데이터(i21) 역시 태양의 전부 또는 일부에 대한 영상 데이터일 수 있으며, 실시예에 따라 태양 자기장 지도일 수 있다. 일 실시예에 의하면, 목표 영상 데이터(i21)는 다수의 단일 태양 자기장 지도를 중첩하여 노이즈를 제거한 태양 자기장 지도(stacked magnetogram)일 수도 있다. 적어도 하나의 입력 영상 데이터(i0) 및/또는 적어도 하나의 목표 영상 데이터(i21) 등을 동시에 또는 순차적으로 입력부(110)를 통해 입력될 수 있다. 입력된 적어도 하나의 영상 데이터(i0, i21)는, 실시예에 따라, 저장부(114)로 전달된 후 프로세서(120)로 전달될 수도 있고, 또는 바로 프로세서(120)로 전달될 수도 있다.
일 실시예에 의하면, 입력부(110)는 키보드 장치, 마우스 장치, 스캐너 장치, 터치스크린, 그래픽 태블릿 장치, 터치패드, 메모리 카드 리더기, 콤팩트 디스크 리더기, 디브디이 디스크 리더기, 데이터 송수신 단자(예를 들어, 범용 직렬 버스(USB) 등), 유선 통신 모듈(예를 들어, 랜 카드 등) 및/또는 무선 통신 모듈(예를 들어, 와이파이나 블루투스 등과 같은 근거리 통신 모듈이나, 3GPP, 3GPP2 또는 와이맥스 계열 등의 이동 통신 표준을 이용하는 이동 통신 모듈 등) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
출력부(112)는, 프로세서(120)의 처리 결과를 시각적 및/또는 청각적 형태로 외부로 출력하거나 및/또는 외부의 다른 장치(일례로, 다른 정보 처리 장치)로 전달할 수 있다. 구체적으로 예를 들어, 프로세서(120)가 최종적인 보정 영상 데이터(이하 최종 영상 데이터)를 획득하면, 출력부(112)는 최종 영상 데이터를 출력하여 사용자가 노이즈가 제거된 태양 영상을 시각적으로 확인할 수 있도록 할 수 있다. 일 실시예에 의하면, 출력부(112)는, 디스플레이 장치, 스피커 장치, 프린터 장치, 유선 통신 모듈 및/또는 무선 통신 모듈 등을 포함할 수 있고 또한, 범용 직렬 버스 단자나 고선명 멀티미디어 인터페이스(HDMI: High Definition Multimedia Interface) 단자 등과 같은 데이터 송수신 단자 등을 포함할 수도 있다. 데이터 송수신 단자는 모니터 장치 등과 연결되고, 최종 영상 데이터를 전기적 신호 형태로 모니터 장치 등에 전달함으로써 사용자가 최종 영상 데이터를 시각적으로 용이하게 확인 가능하게 할 수 있다.
저장부(114)는, 태양 영상 노이즈 처리 장치(100)의 동작에 필요한 적어도 하나의 데이터 및/또는 적어도 하나의 애플리케이션(앱, 소프트웨어, 프로그램 등으로 지칭 가능함) 등을 저장할 수 있다. 예를 들어, 저장부(114)는 입력부(110)가 수신한 영상 데이터(i0, i21)나 최종 영상 데이터를 일시적 또는 비일시적으로 저장할 수도 있고, 태양 영상의 노이즈 제거를 위해 설계된 애플리케이션이나 이들 애플리케이션에 의해 이용될 적어도 하나의 학습 알고리즘을 저장할 수도 있다. 여기서 저장부에 저장된 애플리케이션은 설계자에 의해 태양 영상 노이즈 처리 장치(100)에 직접 작성된 것일 수도 있고, 및/또는 입력부(110)를 통해 입력된 후 작성/설치된 것일 수도 있다. 저장부(114)는, 예를 들어, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있다. 주기억장치는 롬(ROM) 및/또는 램(RAM)과 같은 반도체 저장 매체를 이용하여 구현된 것일 수 있다. 보조기억장치는, 플래시 메모리 장치, SD(Secure Digital) 카드, 솔리드 스테이트 드라이브(SSD, Solid State Drive), 하드 디스크 드라이브(HDD, Hard Disc Drive), 자기 드럼, 콤팩트 디스크(CD), 디브이디(DVD) 또는 레이저 디스크 등과 같은 광 기록 매체(optical media), 자기 테이프, 광자기 디스크 및/또는 플로피 디스크 등과 같이 데이터를 영구적 또는 반영구적으로 저장 가능한 적어도 하나의 저장 매체를 이용하여 구현될 수 있다.
프로세서(120)는 입력부(110)를 통해 입력된 입력 영상 데이터(i0) 및 목표 영상 데이터(i21)를 이용하여 최종 영상 데이터, 즉 노이즈가 제거 또는 감소된 태양에 대한 영상 데이터를 생성할 수 있다. 이 경우, 입력 영상 데이터(i0)가 태양 자기장 지도인 경우라면, 프로세서(120)는 노이즈가 제거 또는 감소된 태양 자기장 지도를 생성할 수 있다. 프로세서(120)는, 실시예에 따라서 저장부(114)에 저장된 애플리케이션을 구동시켜 태양에 대한 영상 데이터로부터 노이즈 제거 작업을 수행할 수 있다. 프로세서(120)는, 예를 들어, 중앙 처리 장치(CPU, Central Processing Unit), 마이크로 컨트롤러 유닛(MCU, Micro Controller Unit), 마이컴(Micom, Micro Processor), 애플리케이션 프로세서(AP, Application Processor), 전자 제어 유닛(ECU, Electronic Controlling Unit) 및/또는 각종 연산 처리 및 제어 신호의 생성이 가능한 다른 전자 장치 등을 포함할 수 있다. 이들 장치는 예를 들어 하나 또는 둘 이상의 반도체 칩 및 관련 부품을 이용하여 구현 가능하다.
도 3은 프로세서의 동작의 일 실시예를 설명하기 위한 도면이다.
일 실시예에 의하면, 프로세서(120)는 도 1 및 도 3에 도시된 바와 같이 보정 영상 생성부(121), 판별부(123) 및 결과 처리부(125)를 포함할 수 있다. 보정 영상 생성부(121), 판별부(123) 및 결과 처리부(125) 중 적어도 둘은 물리적으로 구분되는 것일 수도 있고 논리적으로 구분되는 것일 수도 있다. 물리적으로 구분되는 경우, 보정 영상 생성부(121), 판별부(123) 및 결과 처리부(125) 중 적어도 둘은 서로 물리적으로 분리된 장치(일례로 중앙 처리 장치 등)에 의해 구현될 수도 있다.
보정 영상 생성부(121)는 입력 영상 데이터(i0)를 수신하고, 수신된 입력 영상 데이터(i0)를 이용하여 입력 영상 데이터(i0)에 대응하는 적어도 하나의 영상 데이터(i11-1 내지 i11-n, 이하 보정 영상 데이터)를 획득할 수 있다. 이 경우, 보정 영상 생성부(121)는 목표 영상 데이터(i21)와 동일 또는 유사하게 보정 영상 데이터(i11-1 내지 i11-n)를 생성할 수 있다. 실시예에 따라서, 보정 영상 생성부(121)는 입력 영상 데이터(i0)와 임의적으로 생성된 노이즈 벡터를 기반으로 매핑을 수행하여 보정 영상 데이터(i11-1 내지 i11-n)를 생성할 수도 있다.
일 실시예에 의하면, 보정 영상 생성부(121)는 제i 보정 영상 데이터(i11-i, i는 1보다 큰 자연수)를 생성한 후, 결과 처리부(125)가 전송한 처리 결과를 기반으로 다른 보정 영상 데이터, 즉 제(i+1) 보정 영상 데이터(i11-i+1)를 생성할 수도 있다. 구체적으로 보정 영상 생성부(121)가, 결과 처리부(125)로부터, 제i 보정 영상 데이터(i11-i)가 위조 영상이라는 판별 결과에 대응하는 처리 결과를 수신하면, 제(i+1) 보정 영상 데이터(i11-i+1)를 생성하고, 반대로 제i 보정 영상 데이터(i11-i)가 실제 영상이라는 판별 결과에 대응하는 처리 결과를 수신하면 제i 보정 영상 데이터(i11-i)를 최종 영상 데이터로 결정한다. 이 경우, 제(i+1) 보정 영상 데이터(i11-i+1)는 생성되지 않는다.
보정 영상 생성부(121)는 학습 알고리즘을 이용하여 입력 영상 데이터(i0)에 대응하는 보정 영상 데이터(i11-1 내지 i11-n)를 생성할 수도 있다. 여기서, 학습 알고리즘은, 적어도 하나의 신경망(Neural Network)을 이용하여 구현된 것일 수 있다. 신경망은 딥 인공 신경망(DNN: Deep Neural Network), 합성곱 신경망(CNN: Convolution Neural Network) 및/또는 순환 신경망(RNN: Recurrent Neural Network) 등을 포함 가능하나 이에 한정되는 것은 아니다.
일 실시예에 의하면, 보정 영상 생성부(121)는 하기의 수학식 1에 따른 손실 함수(L1)를 최소화하도록 설계된 것일 수 있다.
[수학식 1]
Figure 112020019466226-pat00001
여기서, i는 픽셀의 번호를 의미하고, Mi T는 목표 영상 데이터를 의미하며, Mi D는 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나)를 의미한다.
수학식 1이 최소화된 경우, Mi D는 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나) 중에서 선택된 최종적인 보정 영상 데이터, 즉 최종 영상 데이터를 의미하게 된다. 구체적으로 수학식 1에 의하면, 보정 영상 생성부(121)는 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나)와 목표 영상 데이터(i21)의 차이가 최소화되도록 스스로 훈련/학습된다. 여기서, 손실 함수(L1)이 최소화된다는 것은, 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나)가 목표 영상 데이터(i21)와 대체적으로 동일하거나 또는 근사하다는 것을 의미한다. 따라서, 보정 영상 생성부(121)는 적어도 일 회 이상의 반복 수행을 통해 목표 영상 데이터(i21)와 대체적으로 동일한 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나), 즉 최종 영상 데이터를 획득할 수 있게 된다. 이는 수학식 1을 최소화하는 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나)를 수신한 판별부(123)는, 수신한 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나)의 위조 여부를 적절하게 판별할 수 없다는 것을 의미한다. 다시 말해서, 판별부(123)는 최종 영상 데이터와 목표 영상 데이터(i21)를 서로 식별하지 못하게 된다.
보정 영상 생성부(121)가 생성한 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나)는 판별부(123)로 전달될 수 있다.
판별부(123)는 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나)를 수신하고, 위조 영상(fake image)인지 또는 실제 영상(real image)인지 여부를 판별할 수 있다. 위조 영상 및 실제 영상 여부의 판별을 위해서 판별부(123)는 입력부(110)로부터 목표 영상 데이터(i21)를 더 수신할 수도 있다. 판별부(123)는 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나)를 목표 영상 데이터(i21)와 비교하여 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나)가 위조 영상인지 또는 실제 영상인지 여부를 판별하고 판별 결과에 따라 대응하는 값을 출력하여 결과 처리부(125)로 전달할 수 있다.
실시예에 따라서, 판별부(123)로 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나) 외에도 다른 영상 데이터(i12, 이하 제1 부가 영상 데이터)도 함께 전달될 수도 있다. 즉, 판별부(123)는 한 쌍의 영상 데이터(i10, 이하 제1 쌍의 영상 데이터)를 수신할 수도 있다. 이 경우, 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나)는 보정 영상 생성부(121)로부터 직접 또는 저장부(114)를 경유하여 전달된 것일 수 있고, 제1 부가 영상 데이터(i12)는 입력부(110) 또는 저장부(114)로부터 전달된 것일 수도 있다. 제1 쌍의 영상 데이터(i10)를 수신하는 경우, 판별부(123)는 목표 영상 데이터(i21)와 또 다른 영상 데이터(i22, 이하 제2 부가 영상 데이터)를 포함하는 다른 한 쌍의 영상 데이터(i20, 이하 제2 쌍의 영상 데이터)를 수신할 수도 있다. 여기서, 목표 영상 데이터(i21) 및 제2 부가 영상 데이터(i22)는 입력부(110) 및/또는 저장부(114)로부터 전달된 것일 수 있다. 실시예에 따라서, 제1 부가 영상 데이터(i12) 및 제2 부가 영상 데이터(i22)는 실시예에 따라 서로 동일한 영상 데이터일 수도 있다. 이 경우, 제1 부가 영상 데이터(i12) 및 제2 부가 영상 데이터(i22)는, 예를 들어, 입력 영상 데이터(i0)와 동일한 영상 데이터를 포함할 수 있다. 이와 같이 제1 쌍의 영상 데이터(i10) 및 제2 쌍의 영상 데이터(i20)를 수신한 경우, 판별부(123)는, 제2 쌍의 영상 데이터(i20)를 이용하여, 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나)를 포함하는 제1 쌍의 영상 데이터(i10)가 위조 영상 데이터인지 또는 실제 영상 데이터인지 여부를 판별하게 된다.
일 실시예에 따르면, 판별부(123)는 학습 알고리즘을 이용하여 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나) 또는 제1 쌍의 영상 데이터(i10)가 위조 영상 데이터인지 또는 실제 영상 데이터인지 여부를 판정할 수도 있다. 학습 알고리즘은, 신경망을 이용하여 구현된 것일 수 있으며, 신경망은 딥 인공 신경망, 합성곱 신경망 및/또는 순환 신경망 등을 이용할 수 있다. 실시예에 따라서, 판별부(123)가 이용하는 학습 알고리즘은 보정 영상 생성부(121)가 이용하는 학습 알고리즘과 동일할 수도 있고 상이할 수도 있다. 실시예에 따라서, 판별부(123)가 이용하는 학습 알고리즘은 보정 영상 생성부(121)가 이용하는 학습 알고리즘을 일부 변형한 것일 수도 있다.
일 실시예에 의하면, 판별부(123)는, 하기의 수학식 2에 따른 손실 함수(LcGAN(G,D))를 이용하여, 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나) 또는 제1 쌍의 영상 데이터(i10)가 위조 영상인지 또는 실제 영상인지 여부를 판별할 수도 있다.
[수학식 2]
Figure 112020019466226-pat00002
여기서, G는 보정 영상 생성부(121)이고, D는 판별부(123)이다. MI는 입력 영상 데이터(i0)이고, MT는 목표 영상 데이터(i21)이며, MD는 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나) 또는 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나) 중에서 선택된 최종 영상 데이터이다. D(MI, MT)는 목표 영상 데이터(i21) 또는 제2 쌍의 영상 데이터(i20)를 이용하여 연산된 확률로, 목표 영상 데이터(i21)가 입력 영상 데이터(i0)에 대응할 확률을 의미할 수 있으며, 보다 구체적으로는 목표 영상 데이터(i21)가 입력 영상 데이터(i0)로부터 도출/획득된 영상 데이터일 확률을 의미할 수 있다. D(MI, MD)는 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나) 또는 제1 쌍의 영상 데이터(i10)를 이용하여 연산된 확률로, 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나)가 입력 영상 데이터(i0)에 대응할 확률을 의미할 수 있다. 즉, 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나)가 입력 영상 데이터(i0)로부터 도출/획득된 영상 데이터일 확률을 의미할 수 있다.
판별부(123)는 위조 영상 및 실제 영상을 잘 판별하기 위하여 수학식 2의 손실 함수를 최대화하도록 설계된다. 즉, 판별부(123)는 판별 결과를 기반으로 손실 함수를 최대화할 수 있도록 훈련/학습된다. 구체적으로, 판별부(123)는 목표 영상 데이터(i21)가 입력 영상 데이터(i0)로부터 도출/획득된 영상 데이터일 확률을 최대화하고, 반대로 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나)가 입력 영상 데이터(i0)로부터 도출/획득된 영상 데이터일 확률을 최소화하도록 설계되고 이에 따라 동작한다. 따라서, 판별부(123)는 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나)와 목표 영상 데이터(i21)를 서로 최대한 구분할 수 있도록(즉, 위조 여부를 판단할 수 있도록) 동작하게 된다.
한편, 상술한 바와 같이, 보정 영상 생성부(121)는 판별부(123)가 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나)와 목표 영상 데이터(i21)를 서로 구분/식별하지 못하도록 동작한다. 이는 보정 영상 생성부(121)는 수학식 2의 손실 함수가 최대화되도록 동작한다는 것으로 해석될 수 있다. 따라서, 보정 영상 생성부(121) 및 판별부(123) 양자의 동작은 하기의 수학식 3과 같이 표현될 수 있다.
[수학식 3]
Figure 112020019466226-pat00003
여기서, 람다(λ)는 수학식 1의 손실 함수(L1)와 수학식 2의 손실 함수(LcGAN(G,D)) 사이의 상대적 가중치를 의미한다. 람다(λ)는 설계자 또는 사용자에 의해 임의적으로 정의 가능하다. 람다(λ)는 사전에 미리 정의된 것일 수도 있으며, 상황에 따라 가변되어 정의될 수도 있다.
판별부(123)는 상술한 과정을 통해 보정 영상 데이터(i11-1 내지 i11-n 중 적어도 하나) 또는 제1 쌍의 영상 데이터(i10)가 위조 영상인지 또는 실제 영상인지 판별하고 판별 결과를 결과 처리부(125)로 전달할 수 있다. 이 경우, 판별 결과는 미리 정의된 수치(예를 들어, 0 또는 1) 등의 형태로 결과 처리부(125)로 전달될 수도 있다.
결과 처리부(125)는, 판별 결과(즉, 위조 영상이라는 판별 결과 또는 실제 영상이라는 판별 결과)를 수신하고, 수신한 결과 값에 대응하는 결과 값을 보정 영상 생성부(121) 및 판별부(123)로 피드백한다. 이에 따라 역-전파(Back-propagation)가 수행될 수 있게 되고, 보정 영상 생성부(121) 및 판별부(123)의 신경망은 갱신될 수 있게 된다. 만약 결과 처리부(125)에서 전달된 값에 따라 판별부(123)가 보정 영상 데이터(일례로, i11-i)가 위조 영상이라고 판별한 경우에는, 보정 영상 생성부(121)는 새로운 보정 영상 데이터(i11-i+1)를 입력 영상 데이터(i0)를 이용하여 생성한다. 이 경우, 보정 영상 생성부(121)는 상술한 바와 같이 소정의 신경망, 일례로 합성곱 신경망을 기반으로 새로운 보정 영상 데이터(i11-i+1)를 입력 영상 데이터(i0)를 이용하여 생성할 수도 있다. 반대로 결과 처리부(125)에서 전달된 값에 따라 판별부(123)가 보정 영상 데이터(일례로, i11-i)가 실제 영상이라고 판별하거나 또는 위조 영상인지 여부를 판별하지 못한 경우(예를 들어, 보정 영상 데이터(일례로, i11-i)와 목표 영상 데이터(i21)가 서로 동일하거나 근사한 경우), 보정 영상 생성부(121)는 해당 보정 영상 데이터(i11-i)를 최종 영상 데이터로 결정한다. 결정된 최종 영상 데이터(i11-i)는 출력부(112) 및/또는 저장부(114)로 전달될 수 있다.
도 2에 도시된 바를 참조하면, 생성된 최종 영상 데이터(i11-i)는 입력 영상(i0)에 비해서 상대적으로 노이즈가 감소된 것을 확인할 수 있다. 또한 최종 영상 데이터(i11-i) 및 목표 영상 데이터(i21) 사이의 차영상(i30)을 검토하면, 최종 영상 데이터(i11-i)는 목표 영상 데이터(i21)에 상당히 부응함을 알 수 있다. 다시 말해서, 프로세서(120)는 목표하는 영상과 동일하거나 근사한 영상(i11-i)을 입력 영상(i0)으로부터 획득할 수 있게 되며, 구체적으로 예를 들어, 영상을 중첩시켜 노이즈를 제거한 태양 자기장 지도와 동일 또는 근사한 태양 자기장 지도를 생성할 수 있게 된다.
이하 상술한 과정에 의해 획득한 최종 영상 데이터에 대해서 실험 결과를 기반으로 보다 구체적으로 분석하도록 한다.
도 4는 입력 영상, 목표 영상 및 보정 영상 각각의 자속 밀도의 일례를 도시한 히스토그램 도면으로, 도 4에서 x축은 자속 밀도를, y축은 도수를 의미한다. 보다 구체적으로는 도 4는 도 2의 입력된 태양 자기장 지도(i0), 목표 태양 자기장 지도(i21) 및 최종적으로 생성된 노이즈가 제거된 태양 자기장 지도(i11-i) 각각에 대한 히스토그램을 병합한 것으로 적색 실선은 입력된 태양 자기장 지도(i0)를, 녹색 파선은 목표 태양 자기장 지도(i21)를, 청색 점선은 최종적으로 생성된 태양 자기장 지도(i11-i)를 의미한다.
도 4에 도시된 바에 의하면, 목표 태양 자기장 지도(i21)와 최종적으로 생성된 태양 자기장 지도(i11-i)는 거의 일치하며, 이들(i21, i11-i) 사이의 노이즈 레벨 역시 거의 동일한 반면에 입력된 태양 자기장 지도(i0)는 이들(i21, i11-i)과 상당히 차이가 남을 알 수 있다. 특히 자속 밀도가 0인 지점 및 그 주변 구역(자속 밀도가 -20 내지 20 사이의 구역)에는 이와 같은 차이가 더욱 뚜렷하게 나타난다. 이런 점에서 최종적으로 생성된 태양 자기장 지도(i11-i)는 목표 태양 자기장 지도(i21)와 실질적으로 동일하며, 원하는 정도로 노이즈가 제거된 영상 데이터(i11-i)의 획득이 가능함을 알 수 있다.
도 5는 테스트 셋에 대한 노이즈의 평균 값의 일례를 도시한 도표이다. 도 5에서 입력은 입력 영상 데이터에 해당하는 값을, 목표는 목표 영상 데이터에 해당하는 값을, 최종은 최종적으로 생성된 노이즈가 제거 또는 감소된 영상 데이터(최종 영상 데이터)에 해당하는 값을 나타낸다. 정규화된 평균 제곱 편차에서 괄호 안의 값은 노이즈 레벨이 일정 이상인 구역만을 고려하였을 때의 평균 제곱 편차를 의미한다.
도 5에 도시된 바를 참조하면, 상술한 태양 영상 노이즈 처리 장치(100)는 평균 노이즈 수준을 8.66G(입력 영상 데이터)에서 3.21G(최종 영상 데이터)까지 상당히 감소시킨 영상을 획득할 수 있다. 이는 목표 영상 데이터의 노이즈 수준인 3.21G와 거의 동일하다.
또한 평균적인 픽셀 상관계수(pixel to pixel correlation coefficient) 역시 0.88(입력 영상 데이터)에서 0.94(최종 영상 데이터)로 증가하였다. 이는 최종 영상 데이터가 목표 영상 데이터에 보다 부응함을 의미한다.
하기의 수학식 4와 같이 정의된 전체 언사인드 자속(TUMF: total unsigned magnetic flux, Φi)에 대한 상대 오차(relative error)의 경우, 0.529(입력 영상 데이터)에서 0.001(최종 영상 데이터)로 급격히 감소하였다. 이는 프로세서(120)의 동작 결과가 전체 언사인드 자속은 일부 과대평가할 수도 있으나, 오차는 0.1%로 매우 작음을 의미한다.
[수학식 4]
Figure 112020019466226-pat00004
여기서, i는 테스트 샘플의 번호를 의미한다.
한편, 수학식 5와 같이 정의된 정규화된 평균 제곱근 편차(NMSE: Normalized Mean Square Error)의 경우, 0.31(입력 영상 데이터)에서 0.12(최종 영상 데이터)로 감소하였다. 정규화된 평균 제곱근 편차는 적은 자속 밀도를 갖은 픽셀에 민감하게 반응하므로, 노이즈 레벨이 일정 이상인 구역만을 고려한다면 그 값은 0.23(입력 영상 데이터)에서 0.07(최종 영상 데이터)로 크게 감소한다.
[수학식 5]
Figure 112020019466226-pat00005
여기서, i는 테스트 샘플의 번호를, j는 픽셀 번호를 의미한다.
또한, 수학식 6과 같이 정의되는 최대 신호 대 잡음비의 경우, 목표 영상 데이터(i21) 및 최종 영상 데이터(i11-i) 사이의 값은 32.63dB인 반면에, 목표 영상 데이터(i21) 및 입력 영상 데이터(i0) 사이의 값은 25.53dB에 해당한다. 이는 최종 영상 데이터(i11-i)가 훨씬 덜 노이즈를 가지고 있음을 나타낸다.
[수학식 6]
Figure 112020019466226-pat00006
여기서, i는 테스트 샘플의 번호를 의미하고, MAXI는 데이터 구역의 길이를, MSEi는 목표 영상 데이터(i21)와 최종 영상 데이터(i11-i) 사이의 평균 제곱근 편차 또는 목표 영상 데이터(i21)와 입력 영상 데이터(i0) 사이의 평균 제곱근 편차를 의미한다.
결론적으로, 대부분의 수치는 최종 영상 데이터(i11-1)가 입력 영상 데이터(i0)에 비해 상대적으로 노이즈가 크게 감소했거나 거의 제거된 것을 나타나고 있다. 다시 말해서, 상술한 태양 영상 노이즈 처리 장치(100)는 태양 영상, 일례로 태양 자기장 영상의 노이즈를 감소시켜 이의 품질을 개선할 수 있음을 보여준다.
이하 도 6을 참조하여 태양 영상 노이즈 처리 방법의 일 실시예에 대해서 설명하도록 한다.
도 6은 태양 영상 노이즈 처리 방법의 일 실시예에 대한 흐름도이다.
도 6에 도시된 바를 참조하면, 먼저 입력 영상 데이터가 획득된다(300). 입력 영상 데이터는 적어도 일 방향에서의 태양의 전부 또는 일부에 대한 영상 데이터를 포함할 수 있다. 예를 들어, 입력 영상 데이터는 태양의 중심부에 대한 영상 데이터를 포함할 수 있다. 입력 영상 데이터는, 실시예에 따라서 태양 자기장 지도를 포함할 수 있다.
순차적으로 입력 영상 데이터에 대응하여 제1 보정 영상 데이터가 생성 및 획득될 수 있다(302, 304). 제1 보정 영상 데이터의 생성 및 획득은 소정의 학습 알고리즘, 예를 들어 합성곱 신경망 등을 이용하여 수행될 수 있다. 실시예에 따라서, 제1 보정 영상 데이터의 생성 과정은, 상술한 수학식 1에 따른 손실 함수를 최소화하도록 설계될 수도 있다.
제1 보정 영상 데이터가 생성되면, 제1 보정 영상 데이터가 실제 영상인지 또는 위조 영상인지 여부가 판별될 수 있다(306). 이 경우, 실제 영상 또는 위조 영상의 판별을 위하여 목표 영상 데이터가 이용될 수 있다. 목표 영상 데이터는, 예를 들어, 태양 자기장 지도일 수 있으며, 구체적으로는 측정된 다수의 태양 자기장 지도를 중첩 및 영상 처리하여 획득된 태양 자기장 지도일 수도 있다. 또한, 실시예에 따라서, 제1 보정 영상 데이터 및 제1 부가 영상 데이터를 포함하는 제1 쌍의 영상 데이터에 대해 실제 영상 또는 위조 영상 여부가 판별될 수도 있다. 이 경우, 영상의 판별을 위하여 제1 쌍에 대응하는 제2 쌍의 영상 데이터가 이용될 수 있다. 제2 쌍의 영상 데이터는 목표 영상 데이터 및 제2 부가 영상 데이터를 포함할 수 있다. 여기서, 제1 부가 영상 데이터 및 제2 부가 영상 데이터 중 적어도 하나는 입력 영상 데이터일 수 있다. 제1 부가 영상 데이터 및 제2 부가 영상 데이터는 서로 동일한 영상 데이터일 수도 있다.
실제 영상 및 위조 영상의 판별은 상술한 수학식 2를 기반으로 수행될 수도 있다. 구체적으로 영상의 판별은 수학식 2를 최대화할 수 있도록 설계된 학습 알고리즘을 기반으로 수행될 수 있으며, 여기서 학습 알고리즘은 예를 들어 합성곱 신경망을 포함할 수 있다. 수학식 2를 이용하는 경우, 목표 영상 데이터가 입력 영상 데이터에 대응할 확률 및 보정 영상 데이터가 입력 영상 데이터에 대응할 확률을 기반으로, 보정 영상 데이터가 위조 영상인지 실제 영상인지 여부가 판별될 수 있다.
판별 결과 제1 보정 영상 데이터가 위조 영상이라면(308의 예), 위조 영상이라는 판단 결과를 이용하여 제2 보정 영상 데이터가 생성된다(310, 304). 이어서 제2 보정 영상 데이터에 대한 위조 영상 또는 실제 영상 여부가 판단되고(306), 여전히 위조 영상으로 판별된 경우라면, 제3 보정 영상 데이터가 생성되고(310, 304), 제3 보정 영상에 대한 위조 영상 또는 실제 영상 여부가 판단된다(306). 이와 같은 과정은 생성된 제j 보정 영상 데이터(j는 2 이상의 자연수)가 위조 영상이 아니라고 판별되거나 또는 실제 영상이라고 판별될 때까지 반복된다(308의 아니오).
만약 판별 결과 제1 보정 영상 데이터(또는 제j 보정 영상 데이터)가 실제 영상이라고 판별되거나 또는 위조 영상이 아니라고 판별되면(308의 아니오), 제1 보정 영상 데이터(또는 제j 보정 영상 데이터)는 최종 영상 데이터로 결정된다. 최종 영상 데이터는 외부로 출력되거나 또는 저장부에 저장될 수 있다.
상술한 실시예에 따른 태양 영상 노이즈 처리 방법은, 컴퓨터 장치에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다. 여기서 프로그램은, 프로그램 명령, 데이터 파일 및 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 프로그램은 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다. 프로그램은 상술한 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다. 또한, 여기서, 컴퓨터 장치는, 프로그램의 기능을 실현 가능하게 하는 프로세서나 메모리 등을 포함하여 구현된 것일 수 있으며, 필요에 따라 통신 장치를 더 포함할 수도 있다.
상술한 태양 영상 노이즈 처리 방법을 구현하기 위한 프로그램은, 컴퓨터에 의해 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터에 의해 판독 가능한 기록 매체는, 예를 들어, 솔리드 스테이트 드라이브(SSD), 롬, 램 또는 플래시 메모리 등과 같은 반도체 저장 장치, 하드 디스크나 플로피 디스크 등과 같은 자기 디스크 저장 매체, 콤팩트 디스크나 디브이디 등과 같은 광 기록 매체, 플롭티컬 디스크 등과 같은 자기-광 기록 매체 및 자기 테이프 등 컴퓨터 등의 호출에 따라 실행되는 특정 프로그램을 저장 가능한 적어도 한 종류의 물리적 장치를 포함할 수 있다.
이상 태양 영상 노이즈 처리 장치 및 방법의 여러 실시예에 대해 설명하였으나, 태양 영상 노이즈 처리 장치 및 방법은 오직 상술한 실시예에 한정되는 것은 아니다. 해당 기술 분야에서 통상의 지식을 가진 자가 상술한 실시예를 기초로 수정 및 변형하여 구현 가능한 다양한 장치나 방법 역시 상술한 태양 영상 노이즈 처리 장치 및 방법의 일례가 될 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나 다른 구성 요소 또는 균등물에 의하여 대치되거나 또는 치환되더라도 상술한 태양 영상 노이즈 처리 장치 및 방법의 일 실시예가 될 수 있다.
100: 태양 영상 노이즈 제거 장치 110: 입력부
120: 프로세서 121: 보정 영상 생성부
123: 판별부 125: 결과 처리부

Claims (16)

  1. 태양에 대한 입력 영상 데이터의 노이즈를 제거하여 상기 입력 영상 데이터에 대응하는 보정 영상 데이터를 획득하는 보정 영상 생성부; 및
    상기 보정 영상 데이터를 수신하고, 상기 보정 영상 데이터 및 목표 영상 데이터를 이용하여 상기 보정 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별하는 판별부;를 포함하되,
    상기 판별부가 상기 보정 영상 데이터를 실제 영상으로 판별하면, 상기 보정 영상 데이터는 상기 태양에 대한 최종 영상 데이터로 결정되는 태양 영상 노이즈 처리 장치.
  2. 제1항에 있어서,
    상기 보정 영상 생성부는, 상기 보정 영상 데이터가 위조 영상으로 판별되면, 상기 입력 영상 데이터에 대응하는 다른 보정 영상 데이터를 획득하는 태양 영상 노이즈 처리 장치.
  3. 제2항에 있어서,
    상기 판별부는, 상기 다른 보정 영상 데이터 및 상기 목표 영상 데이터를 이용하여 상기 다른 보정 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별하는 태양 영상 노이즈 처리 장치.
  4. 제1항에 있어서,
    상기 판별부는, 상기 보정 영상 데이터 및 상기 입력 영상 데이터를 포함하는 제1 쌍의 영상 데이터를 수신하고, 상기 목표 영상 데이터 및 상기 입력 영상 데이터를 포함하는 제2 쌍의 영상 데이터를 수신하고, 상기 제2 쌍의 영상 데이터를 이용하여, 상기 제1 쌍의 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별하는 태양 영상 노이즈 처리 장치.
  5. 제1항에 있어서,
    상기 보정 영상 생성부는, 상기 보정 영상 데이터 및 상기 목표 영상 데이터의 차이가 최소화되도록 상기 보정 영상 데이터를 반복하여 생성하는 태양 영상 노이즈 처리 장치.
  6. 제1항에 있어서,
    상기 판별부는, 상기 목표 영상 데이터가 상기 입력 영상 데이터에 대응할 확률 및 상기 보정 영상 데이터가 상기 입력 영상 데이터에 대응할 확률을 기반으로, 상기 보정 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별하는 태양 영상 노이즈 처리 장치.
  7. 제1항에 있어서,
    상기 태양에 대한 입력 영상 데이터는, 태양 자기장 지도를 포함하는 태양 영상 노이즈 처리 장치.
  8. 제7항에 있어서,
    상기 태양에 대한 입력 영상 데이터는, 상기 태양의 중심부에 대한 영상 데이터를 포함하는 태양 영상 노이즈 처리 장치.
  9. 제1항에 있어서,
    상기 보정 영상 생성부 및 상기 판별부 중 적어도 하나는, 적어도 하나의 신경망(Neural Network)을 이용하여 구축된 것인 태양 영상 노이즈 처리 장치.
  10. 태양에 대한 입력 영상 데이터의 노이즈를 제거하여 상기 입력 영상 데이터에 대응하는 보정 영상 데이터를 획득하는 단계;
    상기 보정 영상 데이터 및 목표 영상 데이터를 이용하여 상기 보정 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별하는 단계; 및
    상기 보정 영상 데이터가 실제 영상으로 판별되면, 상기 보정 영상 데이터를 상기 태양에 대한 최종 영상 데이터로 결정하는 단계;를 포함하는 태양 영상 노이즈 처리 방법.
  11. 제10항에 있어서,
    상기 보정 영상 데이터가 위조 영상으로 판별되면, 상기 입력 영상 데이터에 대응하는 다른 보정 영상 데이터를 더 획득하는 단계;를 더 포함하는 태양 영상 노이즈 처리 방법.
  12. 제11항에 있어서,
    상기 다른 보정 데이터 및 목표 영상 데이터를 이용하여 상기 다른 보정 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별하는 단계;를 더 포함하는 태양 영상 노이즈 처리 방법.
  13. 제10항에 있어서,
    상기 보정 영상 데이터 및 목표 영상 데이터를 이용하여 상기 보정 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별하는 단계는,
    상기 목표 영상 데이터 및 상기 입력 영상 데이터를 포함하는 제2 쌍의 영상 데이터를 이용하여, 상기 보정 영상 데이터 및 상기 입력 영상 데이터를 포함하는 제1 쌍의 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별하는 단계;를 포함하는 태양 영상 노이즈 처리 방법.
  14. 제10항에 있어서,
    상기 태양에 대한 입력 영상 데이터는, 태양 자기장 지도를 포함하는 태양 영상 노이즈 처리 방법.
  15. 제14항에 있어서,
    상기 태양에 대한 입력 영상 데이터는, 상기 태양의 중심부에 대한 영상 데이터를 포함하는 태양 영상 노이즈 처리 방법.
  16. 제10항에 있어서,
    상기 입력 영상 데이터에 대응하는 보정 영상 데이터를 획득하는 단계 및 상기 보정 영상 데이터 및 상기 보정 영상 데이터가 위조 영상인지 실제 영상인지 여부를 판별하는 단계 중 적어도 하나의 단계는, 미리 정의된 신경망을 이용하는 태양 영상 노이즈 처리 방법.
KR1020200022534A 2020-02-24 2020-02-24 태양 영상 노이즈 처리 장치 및 방법 KR102251898B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200022534A KR102251898B1 (ko) 2020-02-24 2020-02-24 태양 영상 노이즈 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200022534A KR102251898B1 (ko) 2020-02-24 2020-02-24 태양 영상 노이즈 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102251898B1 true KR102251898B1 (ko) 2021-05-13

Family

ID=75913256

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200022534A KR102251898B1 (ko) 2020-02-24 2020-02-24 태양 영상 노이즈 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102251898B1 (ko)

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Long Xu, Wenqing Sun, Yihua Yan, Weiqiang Zhang,"Solar Image Deconvolution by Generative Adversarial Network", Astrophysics_Solar and Stellar Astrophysics, 12 Jan. 2020(2020.01.12.) 1부.* *
Park Eunsu, Moon Yong-Jae, Lim Daye, Lee Harim, "Denoising solar SDO/HMI magnetograms using Deep Learning", The Bulletin of The Korean Astronomical Society (천문학회보), 14 Oct. 2019(2019.10.14.) 1부.* *
Talha Iqbal, Hazrat Ali, "Generative Adversarial Network for Medical Images (MI-GAN)", Journal of Medical Systems, volume 42, Article number: 231, 12 Oct. 2018(2018.10.12.) 1부.* *

Similar Documents

Publication Publication Date Title
US20220198609A1 (en) Modifying sensor data using generative adversarial models
CN112001983B (zh) 生成遮挡图像的方法、装置、计算机设备和存储介质
CN114842343A (zh) 一种基于ViT的航空图像识别方法
CN111630568A (zh) 电子装置及其控制方法
US6785398B1 (en) Motion picture electronic watermark system
KR102251898B1 (ko) 태양 영상 노이즈 처리 장치 및 방법
US8526673B2 (en) Apparatus, system and method for recognizing objects in images using transmitted dictionary data
US20200242412A1 (en) Training apparatus, training method, and non-transitory computer-readable recording medium
US20210374480A1 (en) Arithmetic device, arithmetic method, program, and discrimination system
CN116977256A (zh) 缺陷检测模型的训练方法、装置、设备及存储介质
KR102462459B1 (ko) 태양에 대한 정보 획득 장치 및 방법
CN113269730B (zh) 图像处理方法、装置、计算机设备及存储介质
WO2022130496A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN107992277A (zh) 图像数据输出方法和系统、计算机设备、存储介质
CN114238968A (zh) 应用程序检测方法及装置、存储介质及电子设备
Byun et al. Vision-based virtual vibration sensor using error calibration convolutional neural network with signal augmentation
JP2006260410A (ja) 画像処理アルゴリズムの評価装置、生成装置、評価方法、生成方法、コンピュータをその評価装置として機能させるためのプログラム、およびコンピュータをその生成装置として機能させるためのプログラム
KR102369662B1 (ko) 전 지구적 총 전자수 함유량 분포 예측 방법 및 장치
US7228454B2 (en) Method and apparatus of processing data according to data types
US20240029863A1 (en) System and method for managing storage and image interpretation
CN111860070A (zh) 识别发生改变的对象的方法和装置
US11468657B2 (en) Storage medium, information processing apparatus, and line-of-sight information processing method
US20240144729A1 (en) Generation method and information processing apparatus
CN111310770B (zh) 目标检测方法和装置
US20230106136A1 (en) Electronic apparatus and generating method of target domain

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant