KR102095443B1 - 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치 - Google Patents

구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치 Download PDF

Info

Publication number
KR102095443B1
KR102095443B1 KR1020190129419A KR20190129419A KR102095443B1 KR 102095443 B1 KR102095443 B1 KR 102095443B1 KR 1020190129419 A KR1020190129419 A KR 1020190129419A KR 20190129419 A KR20190129419 A KR 20190129419A KR 102095443 B1 KR102095443 B1 KR 102095443B1
Authority
KR
South Korea
Prior art keywords
image
output
convolution
input
feature map
Prior art date
Application number
KR1020190129419A
Other languages
English (en)
Inventor
정형주
김영중
손광훈
하남구
장현성
Original Assignee
엘아이지넥스원 주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사, 연세대학교 산학협력단 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020190129419A priority Critical patent/KR102095443B1/ko
Application granted granted Critical
Publication of KR102095443B1 publication Critical patent/KR102095443B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

본 실시예들은 프로세서, 프로세서에 의해 실행되는 프로그램을 저장하는 메모리 및 영상 촬영 장치에서 촬영된 입력 영상을 수신하는 영상 수신부를 포함하는 영상 개선 방법에 있어서, 프로세서가 다수의 채널 각각에 대한 채널 영상을 포함하는 입력 영상을 입력 받는 단계, 채널 영상을 컨볼루션 연산하여 필터링하는 입력 레지듀얼 블록(Resblock)을 이용하여 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계, 추출된 다수의 제1 특징 맵을 서로 결합하여 통합 특징 맵을 생성하는 단계 및 통합 특징 맵을 컨볼루션 연산하여 필터링하는 출력 레지듀얼 블록을 이용하여 제2 특징 맵을 생성하고, 제2 특징 맵을 통해 입력 영상의 왜곡이 개선된 출력 영상을 생성하는 단계를 포함하는 영상 개선 방법을 제시한다.

Description

구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치{Method and Apparatus for Enhancing Image using Structural Tensor Based on Deep Learning}
본 발명은 딥러닝 기반의 영상 개선 방법 및 장치에 관한 것으로, 특히 구조텐서 표현자를 이용한 딥러닝 기반의 영상 개선 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
다양한 분야에서는 영상 획득 장치를 통해 영상 데이터의 분석 및 처리를 한다. 그러나 영상 획득 장치의 성능 및 외부 환경 요인에 의해 다양한 왜곡이 발생하는 문제가 있다. 대표적인 현상으로는 초점 불량(블러), 노출 불량(저조도, 포화), 대조비저하 등이 있다. 뿐만 아니라 멀티 센서의 융합을 통해 가시광과 적외선 특성이 모두 잘 드러난 영상 융합도 요구되고 있다.
기존의 컴퓨터 비전 분야에서는 다수의 영상 처리 알고리즘이 개발되어 왔으며, 목적이 되는 하나의 문제를 해결하였다. 하지만 실제 영상에는 초점이 나가고 어두운 영상 등의 여러 가지 문제가 복합적으로 나타나기 때문에 실제 적용을 위해서는 여러 가지 알고리즘을 개발해야 하며, 영상 처리에 시간이 많이 걸리는 문제가 있다.
기존의 센서융합 문제를 극복하기 위해서는 라플라시안 피라미드(Laplacian Pyramid), 이산 웨이블릿 변환(Discrete Wavelet Transform) 등이 사용되었고, 대조비 개선을 위해 플래토(Plateau), 최소-최대(Min-max), 히스토그램 평활화, 대비 제한 적응 히스토그램 평활화(CLAHE, Contrast Limited Adaptive Histogram Equalization) 등이 사용되었다.
기존 영상 개선 기술은 최적의 표현자 공간을 결정 짓기 어려우며, 주로 단순화시켜 의사 결정하는 휴리스틱한 가정에 의해 결정된다. 또한, 다양한 영상에 일반화 되기 어려워 각 목적에 맞는 여러 개의 알고리즘을 사용해야 하며, 특정 영상에서 좋은 성능을 얻기 위해 많은 변수를 조절해야 했다. 기존 딥러닝 기반 영상 개선 기술은 지도학습을 위한 정답 영상을 획득하기 어려운 문제가 있다. 즉, 개선 결과에 대한 최적의 정답 영상을 얻기 위한 명확한 방법이 없는 문제가 있다. 또한, 하나의 알고리즘은 단 하나의 문제만 해소 가능한 문제가 있었다.
본 발명의 실시예들은 구조텐서 표현자를 이용한 비지도 학습 기반의 영상 개선 알고리즘을 제안한다. 영상 개선 알고리즘은 하나의 알고리즘으로 여러 가지 영상 처리가 가능한 딥러닝 네트워크를 사용한다.
본 발명의 실시예들은 특이값 분해(SVD, Singular Value Decomposition) 나 역행렬 등 복잡한 연산 없이 수행 가능하므로 기존의 많은 알고리즘을 통해 영상을 처리하는 방식에 비해 속도 면에서도 뛰어나다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 영상 개선 방법은 프로세서, 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리 및 영상 촬영 장치에서 촬영된 입력 영상을 수신하는 영상 수신부를 포함하는 영상 개선 방법에 있어서, 상기 프로세서가 다수의 채널 각각에 대한 채널 영상을 포함하는 상기 입력 영상을 입력 받는 단계, 상기 채널 영상을 컨볼루션 연산하여 필터링하는 입력 레지듀얼 블록(Resblock)을 이용하여 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계, 상기 추출된 다수의 제1 특징 맵을 서로 결합하여 통합 특징 맵을 생성하는 단계 및 상기 통합 특징 맵을 컨볼루션 연산하여 필터링하는 출력 레지듀얼 블록을 이용하여 제2 특징 맵을 생성하고, 상기 제2 특징 맵을 통해 상기 입력 영상의 왜곡이 개선된 출력 영상을 생성하는 단계를 포함한다.
여기서, 상기 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계는 학습 시 상기 입력 영상의 영향력이 점차 사라지는 현상을 방지하기 위해 다수의 컨볼루션 레이어로 구성된 상기 입력 레지듀얼 블록을 이용하며, 상기 입력 레지듀얼 블록의 입력과 상기 다수의 컨볼루션 레이어의 결과의 합으로 상기 제1 특징 맵을 추출하는 것을 특징으로 한다.
여기서, 상기 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계는 상기 입력 영상에 대하여 제1 컨볼루션 연산을 수행함에 따라 컨볼루션 맵을 생성하는 단계, 상기 컨볼루션 레이어의 가중치 매개변수가 변화함에 따라 활성화 함수 출력 값의 분포가 변화하는 내부 공변량 변화를 줄이기 위해 상기 출력 값을 정규화하는 단계, 상기 생성된 컨볼루션 맵을 기 설정된 함수에 따라 매핑하는 단계 및 상기 매핑된 컨볼루션 맵에 대하여 제2 컨볼루션 연산을 수행함에 따라 제1 특징 맵을 생성하는 단계를 포함한다.
여기서, 상기 출력 영상을 생성하는 단계는 상기 통합 특징 맵에 대하여 컨볼루션 연산을 수행함에 따라 컨볼루션 출력 맵을 생성하는 단계, 상기 컨볼루션 레이어의 가중치 매개변수가 변화함에 따라 활성화 함수 출력 값의 분포가 변화하는 내부 공변량 변화를 줄이기 위해 상기 출력 값을 정규화하는 단계, 상기 생성된 컨볼루션 출력 맵을 기 설정된 함수에 따라 매핑하는 단계 및 상기 컨볼루션 출력 맵에 대하여 컨볼루션 연산을 수행함에 따라 제2 특징 맵을 생성하며, 상기 제2 특징 맵을 통해 상기 출력 영상을 생성하는 단계를 포함한다.
여기서, 상기 영상 개선 방법은 상기 입력 영상, 상기 출력 영상 및 상기 입력 영상의 좌표 도메인을 이용하여 손실 함수를 계산하는 단계 및 상기 손실 함수를 통해 오차를 최소화하기 위한 가중치를 재설정하는 단계를 더 포함한다.
여기서, 상기 손실 함수를 계산하는 단계는 상기 출력 영상에 대한 그래디언트 크기의 합으로 형성된 상기 출력 영상의 구조텐서와 상기 입력 영상에 대한 그래디언트 크기의 합으로 형성된 상기 입력 영상의 구조텐서의 차이를 통해 제1 손실 함수를 계산하는 단계 및 상기 출력 영상과 상기 입력 영상의 평균 영상의 차이를 통해 제2 손실 함수를 계산하는 단계를 포함한다.
여기서, 상기 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계는 상기 입력 레지듀얼 블록에 입력되는 다수의 채널 영상 간의 상기 가중치를 공유하며, 손실 함수를 이용하여 상기 가중치를 재 설정한다.
여기서, 상기 출력 영상을 생성하는 단계는 상기 가중치를 재설정하는 단계를 통해 상기 가중치를 조절하여, 상기 입력 영상의 채널 별로 서로 다른 객체 정보를 결합하는 단계, 상기 입력 영상의 각 채널의 서로 다른 초점 정보를 조합하여 상기 입력 영상의 초점을 개선하는 단계, 상기 입력 영상의 각 채널의 서로 다른 노출 정보를 조합하여 노출에 의해 사라진 부분을 복원하는 단계 및 상기 입력 영상의 각 채널의 서로 다른 객체 정보를 조합하여 대조비를 개선하는 단계 중 하나를 수행하여 상기 입력 영상의 왜곡을 개선하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따른 영상 개선 장치는, 다수의 채널 각각에 대한 채널 영상을 포함하는 상기 입력 영상을 입력 받는 입력부, 상기 채널 영상을 컨볼루션 연산하여 필터링하는 입력 레지듀얼 블록(Resblock)을 이용하여 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 특징 맵 추출부, 상기 추출된 다수의 제1 특징 맵을 서로 결합하여 통합 특징 맵을 생성하는 특징 맵 결합부 및 상기 통합 특징 맵을 컨볼루션 연산하여 필터링하는 출력 레지듀얼 블록을 이용하여 제2 특징 맵을 생성하고, 상기 제2 특징 맵을 통해 상기 입력 영상의 왜곡이 개선된 출력 영상을 생성하는 영상 생성부를 포함한다.
여기서, 상기 특징 맵 추출부는 상기 입력 영상에 대하여 제1 컨볼루션 연산을 수행함에 따라 컨볼루션 맵을 생성하는 제1 컨볼루션 필터, 컨볼루션 레이어의 가중치 매개변수가 변화함에 따라 활성화 함수 출력 값의 분포가 변화하는 내부 공변량 변화를 줄이기 위해 상기 출력 값을 정규화하는 제1 정규화부, 상기 생성된 컨볼루션 맵을 기 설정된 함수에 따라 매핑하는 제1 함수 매핑부 및 상기 매핑된 컨볼루션 맵에 대하여 제2 컨볼루션 연산을 수행함에 따라 제1 특징 맵을 생성하는 제2 컨볼루션 필터를 포함한다.
여기서, 상기 영상 생성부는 상기 통합 특징 맵에 대하여 컨볼루션 연산을 수행함에 따라 컨볼루션 출력 맵을 생성하는 제3 컨볼루션 필터, 컨볼루션 레이어의 가중치 매개변수가 변화함에 따라 활성화 함수 출력 값의 분포가 변화하는 내부 공변량 변화를 줄이기 위해 상기 출력 값을 정규화하는 제2 정규화부 및 상기 생성된 컨볼루션 출력 맵을 기 설정된 함수에 따라 매핑하는 제2 함수 매핑부를 포함하며, 상기 영상 생성부는 상기 컨볼루션 출력 맵에 대하여 컨볼루션 연산을 수행함에 따라 제2 특징 맵을 생성하며, 상기 제2 특징 맵을 통해 상기 출력 영상을 생성한다.
여기서, 상기 입력 영상, 상기 출력 영상 및 상기 입력 영상의 좌표 도메인을 이용하여 손실 함수를 계산하는 손실 함수 계산부 및 상기 손실 함수를 통해 오차를 최소화하기 위한 가중치를 설정하는 가중치 재 설정부를 더 포함한다.
여기서, 상기 손실 함수 계산부는 (i) 상기 출력 영상에 대한 그래디언트 크기의 합으로 형성된 상기 출력 영상의 구조텐서와 상기 입력 영상에 대한 그래디언트 크기의 합으로 형성된 상기 입력 영상의 구조텐서의 차이를 통해 제1 손실 함수 및 (ii) 상기 출력 영상과 상기 입력 영상의 평균 영상의 차이를 최소화하는 제2 손실 함수를 계산하는 것을 특징으로 한다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 본 발명은 가시광/열(Visible/Thermal) 융합, 다중 초점(Multi-focus) 영상개선, 다중 노출(Multi-exposure) 영상개선, 그리고 대조비 개선에 적용하며, 다양한 응용 분야에 활용이 가능한 효과가 있다.
본 발명의 실시예들에 의하면, 본 발명은 단 하나의 알고리즘으로 센서 융합, 초점개선(Deblur), 노출개선, 대조비개선이 모두 가능하며, 한가지 목적에 의해 영상을 개선하는 것이 아니라 여러 가지 영상 개선이 모두 가능한 효과가 있다.
본 발명의 실시예들에 의하면, 본 발명은 특이값 분해(SVD, Singular Value Decomposition)나 복잡한 기법 없이 레지듀얼 블록(Residual Block, Resblock)만으로 영상 개선을 위한 특징 추출과 재구성이 가능하다는 것이다. 또한, 추출된 특징결합 자체도 단순한 표현자연결(Concatenate)만으로 이루어져 속도와 복잡도 측면에서 기존 방식보다 우수한 효과가 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 영상 개선 장치 및 방법이 수행되기 위한 구성 요소를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 개선 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 영상 개선 방법을 자세히 나타내는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 영상 개선 방법의 손실 함수 계산을 자세히 나타내는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 영상 개선 장치 및 방법의 프로세서가 수행하는 영상 개선 신경망의 구조를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 개선 장치 및 방법의 가중치 설정을 예시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 개선 장치 및 방법의 학습을 나타내는 블록도이다.
도 8는 본 발명의 일 실시예에 따른 영상 개선 장치 및 방법에서 그래디언트 크기의 합을 나타내는 그래프이다.
도 9는 본 발명의 일 실시예에 따른 영상 개선 장치 및 방법이 적용된 결과를 나타내는 도면이다.
도 10은 실시예들에서 사용되기에 적합한 컴퓨팅 기기를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
및/또는 이라는 용어는 복수의 관련된 기재된 항들의 조합 또는 복수의 관련된 기재된 항들 중의 어느 항을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명은 영상 개선 장치 및 방법에 관한 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 개선 장치 및 방법이 수행되기 위한 구성 요소를 나타내는 블록도이다.
도 1을 참조하면, 영상 개선 장치(10)는 프로세서(12), 프로세서(12)에 의해 실행되는 프로그램을 저장하는 메모리(14) 및 영상 촬영 장치(20)에서 촬영된 입력 영상을 수신하는 영상 수신부(16)를 포함할 수 있으며, 프로세서(12)에 의해 영상 개선 방법을 수행할 수 있다.
도 1의 영상 개선 장치(10)는 단독적으로 구현될 수도 있고, 또는 다른 컴퓨팅 장치와 적어도 일부 결합된 형태로 구현될 수도 있다. 또한, 도 1의 개념은, 사용 목적과 적용되는 장치에 따라 다양한 형태로 구현될 수 있다. 즉, 전체적인 구성을 소프트웨어로 구현할 수도 있고, 또는 그 일부를 소프트웨어적으로 구현할 수 있음은 당업자에게 자명한 것이다.
영상 촬영 장치(20)는 영상 개선 장치(10)의 외부에 위치하는 것으로 도시하였으나 반드시 이에 한정되는 것은 아니며 영상 개선 장치(10)의 내부에 구성되어 촬영된 영상을 영상 개선 장치(10)와 주고 받을 수 있다.
본 발명의 일 실시예에 따르면, 영상 촬영 장치(20)는 카메라, CCTV 등 영상을 촬영하여 영상 데이터를 생성하거나 이미지를 촬영하여 이미지 데이터를 생성하기 위한 장치일 수 있다.
영상 개선 장치(10)는 다기능 영상개선을 위한 딥러닝 네트워크로서, 컨볼루션(Convolution) 연산을 이용하여 영상의 특징을 효과적으로 추출하였으며, 정류 선형 유닛(ReLU, Rectified Linear Unit) 연산을 통해 고차원 공간에서 적합을 하여 높은 성능을 이끌어낸다. 또한, 영상 개선 장치(10)는 비지도학습 효율을 높이기 위해 배치 정규화(Batch Normalization)기법과 레지듀얼 블록(ResidulBlock)을 사용하여 영상 개선을 위한 성능을 높였다.
비지도 학습은 데이터 형태로 학습을 진행하는 방법으로, 정답(레이블)이 필요 없기 때문에 모든 문제에 적용할 수 있으며, 문제로만 학습을 시키는 방식이다. 예를 들어, 비지도 학습은 데이터를 비슷한 특징을 가진 다수의 부류로 묶을 수 있다. 즉, 비지도 학습은 비슷한 데이터들을 군집화할 수 있다.
영상 개선 장치(10)는 하나의 알고리즘으로 여러 가지 영상처리가 가능한 딥러닝 네트워크를 이용하며, 제안 알고리즘을 통해 특이값 분해(SVD, Singular Value Decomposition), 역행렬 등 복잡한 연산 없이 수행 가능하므로 속도 면에서도 뛰어나다.
본 발명의 일 실시예에 따르면, 영상 개선 장치(10)는 그래디언트의 구조텐서를 이용한 비지도 학습 기반의 영상 개선 알고리즘이다. 영상 개선 장치(10)는 특이값 분해(SVD, Singular Value Decomposition)나 복잡한 기법 없이 레지듀얼 블록(ResidulBlock)만으로 영상 개선을 위한 특징 추출과 재구성이 가능하다.
영상 개선 장치(10)는 추출된 특징의 결합 자체도 단순한 표현자 연결(concatenate) 만으로 이루어져 속도와 복잡도 측면에서 기존 방식보다 우수하다. 본 발명의 일 실시예에 따르면, 표현자는 입력 영상에서 추출된 특징을 의미할 수 있다.
영상 개선 장치(10)는 단 하나의 알고리즘을 통해 센서 융합, 초점 개선(Deblur), 노출 개선, 대조비 개선이 모두 가능하다. 이는 영상 개선 장치(10)에서 나타낸 딥러닝 네트워크 구조가 기존 영상처리 알고리즘처럼 한가지 목적에만 잘되는 것이 아니라 여러 가지 영상개선이 모두 가능하다는 것을 알 수 있다.
영상 개선 장치(10)는 구조텐서를 이용하여 영상을 개선할 수 있다. 구조텐서는 콘트라스트 정보를 제공한다. 이러한 구조텐서를 이용하여, 영상 개선 장치(10)는 M 채널의 입력 영상의 모든 콘트라스트 정보를 포함하는 N 채널의 출력 영상을 생성하는 것을 목표로 한다(M-to-N 매핑, M>N). 영상 개선 장치(10)는 기존의 딥러닝 기반 영상처리 기술과는 다르게 비지도 학습을 통해 네트워크를 학습하기 위한 정답 영상을 필요로 하지 않는 장점을 갖는다.
본 발명의 일 실시예에 따르면, 콘트라스트는 밝은 것과 어두운 것과의 대비이다. 예를 들어, 입력 영상의 콘트라스트는 정보는 밝은 부분과 어두운 부분의 차이를 구별해 영상 결합, 초점 개선, 노출 개선 및 대조비에 개선 시 출력 영상에 포함되는 정보일 수 있다.
본 발명의 일 실시예에 따르면, 구조텐서는 변환 형식과 관련된 것으로 행렬로 표현될 수 있다. 구조텐서는 그래디언트 크기의 합을 성분으로 가질 수 있으며 반드시 이에 한정되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 영상 개선 방법을 나타내는 흐름도이다. 도 2는 도 1의 영상 개선 장치(10)에서 수행되는 영상 개선 방법을 설명하는 흐름도이다. 본 발명의 일 실시예에 따른 영상 개선 방법은, 영상 개선 장치(10)에서 시계열적으로 수행되는 하기의 단계들을 포함한다.
영상 개선 방법은 다수의 채널 각각에 대한 채널 영상을 포함하는 입력 영상을 입력 받는 단계(S210), 채널 영상을 컨볼루션 연산하여 필터링하는 입력 레지듀얼 블록(Resblock)을 이용하여 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계(S220), 추출된 다수의 제1 특징 맵을 서로 결합하여 통합 특징 맵을 생성하는 단계(S230) 및 통합 특징 맵을 컨볼루션 연산하여 필터링하는 출력 레지듀얼 블록을 이용하여 제2 특징 맵을 생성하고, 제2 특징 맵을 통해 입력 영상의 왜곡이 개선된 출력 영상을 생성하는 단계(S240)를 포함한다.
본 발명의 일 실시예에 따르면, 채널은 입력 영상의 맵들을 나타낼 수 있다. 예를 들어, 입력 영상은 천연색을 표현하기 위해 각 픽셀을 RGB 3개의 실수로 표현한 3차원 데이터이며, 3개의 채널로 구성되어 3개의 맵으로 볼 수 있으며, 반드시 이에 한정되는 것은 아니다.
채널 영상을 컨볼루션 연산하여 필터링하는 입력 레지듀얼 블록(Resblock)을 이용하여 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계(S220)는 학습 시 입력 영상의 영향력이 점차 사라지는 현상을 방지하기 위해 다수의 컨볼루션 레이어로 구성된 입력 레지듀얼 블록을 이용하며, 입력 레지듀얼 블록의 입력과 다수의 컨볼루션 레이어의 결과의 합으로 제1 특징 맵을 추출할 수 있다.
채널 영상을 컨볼루션 연산하여 필터링하는 입력 레지듀얼 블록(Resblock)을 이용하여 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계(S220)는 입력 영상에 대하여 제1 컨볼루션 연산을 수행함에 따라 컨볼루션 맵을 생성하는 단계, 컨볼루션 레이어의 가중치 매개변수가 변화함에 따라 활성화 함수 출력 값의 분포가 변화하는 내부 공변량 변화를 줄이기 위해 출력 값을 정규화하는 단계, 생성된 컨볼루션 특징 맵을 기 설정된 함수에 따라 매핑하는 단계 및 매핑된 컨볼루션 맵에 대하여 제2 컨볼루션 연산을 수행함에 따라 제1 특징 맵을 생성하는 단계를 포함한다.
통합 특징 맵을 컨볼루션 연산하여 필터링하는 출력 레지듀얼 블록을 이용하여 제2 특징 맵을 생성하고, 제2 특징 맵을 통해 입력 영상의 왜곡이 개선된 출력 영상을 생성하는 단계(S240)는 통합 특징 맵에 대하여 컨볼루션 연산을 수행함에 따라 컨볼루션 출력 맵을 생성하는 단계, 컨볼루션 레이어의 가중치 매개변수가 변화함에 따라 활성화 함수 출력 값의 분포가 변화하는 내부 공변량 변화를 줄이기 위해 출력 값을 정규화하는 단계, 생성된 컨볼루션 출력 맵을 기 설정된 함수에 따라 매핑하는 단계 및 컨볼루션 출력 맵에 대하여 컨볼루션 연산을 수행함에 따라 제2 특징 맵을 생성하며, 제2 특징 맵을 통해 출력 영상을 생성하는 단계를 포함한다.
영상 개선 방법은 입력 영상, 출력 영상 및 입력 영상의 좌표 도메인을 이용하여 손실 함수를 계산하는 단계 및 손실 함수를 통해 오차를 최소화하기 위한 가중치를 재설정하는 단계를 더 포함한다.
손실 함수를 계산하는 단계는 출력 영상에 대한 그래디언트 크기의 합으로 형성된 출력 영상의 구조텐서와 입력 영상에 대한 그래디언트 크기의 합으로 형성된 입력 영상의 구조텐서의 차이를 통해 제1 손실 함수를 계산하는 단계 및 출력 영상과 입력 영상의 평균 영상의 차이를 통해 제2 손실 함수를 계산하는 단계를 포함한다.
채널 영상을 컨볼루션 연산하여 필터링하는 입력 레지듀얼 블록(Resblock)을 이용하여 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계(S220)는 입력 레지듀얼 블록에 입력되는 다수의 채널 영상 간의 가중치를 공유하며, 손실 함수를 이용하여 가중치를 재 설정한다.
통합 특징 맵을 컨볼루션 연산하여 필터링하는 출력 레지듀얼 블록을 이용하여 제2 특징 맵을 생성하고, 제2 특징 맵을 통해 입력 영상의 왜곡이 개선된 출력 영상을 생성하는 단계(S240)는 가중치를 재설정하는 단계를 통해 가중치를 조절하여, 입력 영상의 채널 별로 서로 다른 객체 정보를 결합하는 단계, 입력 영상의 각 채널의 서로 다른 초점 정보를 조합하여 입력 영상의 초점을 개선하는 단계, 입력 영상의 각 채널의 서로 다른 노출 정보를 조합하여 노출에 의해 사라진 부분을 복원하는 단계 및 입력 영상의 각 채널의 서로 다른 객체 정보를 조합하여 대조비를 개선하는 단계 중 하나를 수행하여 입력 영상의 왜곡을 개선할 수 있다.
도 2에서는 각각의 과정을 순차적으로 실행하는 것으로 개재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
이하에서는 영상 개선 방법에 대해서 자세히 알아본다.
도 3은 본 발명의 일 실시예에 따른 영상 개선 방법을 자세히 나타내는 흐름도이다.
영상 개선 방법은 입력 영상을 수신하는 단계(S310)를 통해 영상 촬영 장치(20)에 의해 촬영된 입력 영상을 수신할 수 있다.
영상 개선 방법은 입력 레지듀얼 블록을 이용하여 입력 영상의 제1 특징 맵을 추출 하고(S320), 추출된 특징맵을 서로 결합하여 통합 특징 맵 생성하며(S330), 출력 레지듀얼 블록을 이용하여 출력 영상 생성할 수 있다(S340).
영상 개선 방법은 단계 S340을 통해 출력 영상이 생성된 후, 손실 함수 계산 여부를 판단한다(S350). 손실 함수를 계산하는 경우, 손실 함수 계산부를 통해 손실 함수를 계산하며(S360), 손실 함수를 계산하지 않는 경우 생성된 출력 영상을 출력한다(S370). 손실 함수의 계산은 손실 함수 계산부를 통해 이루어 지며, 구조텐서를 기반으로 이루어질 수 있다.
본 발명의 일 실시예에 따르면, 출력 영상은 성능 및 외부 환경 요인에 의하여 다양한 왜곡이 발생한 입력 영상에서 왜곡이 제거된 영상이다. 예를 들면, 입력 영상에서 초점 불량, 노출 불량, 대조비 저하 등에 의해 발생한 왜곡을 제거한 출력 영상일 수 있다.
이하에서는 손실 함수 계산 과정에 대해 자세히 알아본다.
도 4는 본 발명의 일 실시예에 따른 영상 개선 방법의 손실 함수 계산을 자세히 나타내는 흐름도이다.
도 4는 도 3의 손실 함수 계산(S360)을 자세히 나타낸 흐름도이다. 손실 함수 계산(S360)은 단계 S340을 통해 출력 영상이 생성되면 입력 영상, 출력 영상 획득을 손실 함수 계산부(600)가 획득하며(S352), 손실 함수를 계산할 수 있다.
손실 함수 계산은 M차원의 입력 영상을 통해 생성된 구조텐서를 통해 제1 손실 함수 계산하고(S362), M차원의 입력 영상 및 N차원의 출력 영상을 통해 제2 손실 함수 계산할 수 있다(S364).
단계 S362 및 S364를 통해 계산된 제1 손실 함수의 값 및 제2 손실 함수의 값의 합을 통해 입력 영상의 컨볼루션 연산 과정의 가중치 재 설정할 수 있다(S366). 예를 들어 단계 S366을 통해 계산된 합을 통해 입력 영상의 영상 개선 신경망(18)가 수행되는 과정의 가중치를 재 설정하며, 이를 통해 출력 영상에서 왜곡이 제거될 때 형성되는 오차를 줄일 수 있다.
단계 S364 및 S366을 통해 계산된 제2 교차 정보 손실 함수의 값 및 배경 유사 손실 함수의 값의 합을 통해 제2 입력 영상의 컨볼루션 연산 과정의 가중치 재 설정할 수 있다(S369). 예를 들어 단계 S369를 통해 계산된 합을 통해 제2 입력 영상의 인코더가 수행되는 과정의 가중치를 재 설정하며, 이를 통해 제2 배경 영상에서 제2 선형 영상이 제거될 때 형성되는 오차를 줄일 수 있다.
도 3 및 도 4에서는 각각의 과정을 순차적으로 실행하는 것으로 개재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3 및 도 4에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
도 5는 본 발명의 일 실시예에 따른 영상 개선 장치 및 방법의 프로세서가 수행하는 영상 개선 신경망의 구조를 나타내는 도면이다.
도 5는 영상 개선 장치(10)의 영상 개선 신경망(18)의 전체 구조(M-to-N 매핑)를 나타내는 도면이다. M 차원의 입력 영상 {Ii}M i=1으로부터 N차원의 출력 영상 u를 생성한다.
본 발명의 일 실시예에 따르면, 영상 개선 신경망(18)의 구조는 표현자 추출(Feature Extraction), 표현자 결합(Feature Fusion), 그리고 영상 생성 (Reconstruction) 서브 네트워크로 구성된다. 총 13개의 컨볼루션(Conv) 레이어로 구성되어 있으며, 마지막 컨볼루션(Conv) 레이어를 제외하고는 16차원의 딥러닝 표현자를 추출할 수 있다. 마지막 컨볼루션(Conv) 레이어는 N 채널의 출력 영상을 생성한다. 각 컨볼루션(Conv) 레이어의 내부 공변량 이동 방지 및 고차원 비선형성 증가를 위해 배치 정규화(Bnorm)와 정류 선형 유닛(ReLU)을 사용하였다. 본 발명 기술은 가시광/열(Visible/Thermal) 융합, 다중 초점(Multi-focus) 영상개선, 다중 노출(Multi-exposure) 영상개선과 대조비 개선에 적용할 수 있다. 영상 개선 신경망(18)의 구조는 반드시 이에 한정되는 것은 아니며, 필요에 의해 일부 구성요소를 생략하거나 다른 구성요소를 추가할 수 있다.
도 5를 참조하면, 영상 개선 장치(10)는 입력 영상(100)이 입력되면 영상 개선 신경망(18)를 통해 출력 영상(500)을 출력할 수 있다. 입력 영상(100)은 M개의 채널로 형성된 영상이 입력될 수 있다.
영상 개선 장치(10)는 특징 맵 추출부(200)를 통해 추출된 제1 특징 맵을 특징맵 결합부(300)를 통해 결합하여 영상 생성부(400)에서 입력 영상의 왜곡이 개선된 출력 영상을 생성할 수 있다.
도 5를 참조하면, 영상 개선 신경망(18)의 구조는 특징 맵 추출부(200), 특징맵 결합부(300) 및 영상 생성부(400)로 구성되어 있다. 영상 개선 신경망(18)의 구조는 반드시 이에 한정되는 것은 아니며, 필요에 의해 일부 구성요소를 생략하거나 다른 구성요소를 추가할 수 있다.
본 발명의 일 실시예에 따르면, 영상 개선 신경망(18)는 고차원의 비선형 매핑을 갖게 하기 위한 활성화 함수로 정류된 선형 유닛(ReLU, Rectified Linear Unit)을 사용하였다. 또한, 영상 개선 신경망(18)는 컨볼루션(Convolution) 레이어의 내부 공변량 이동(Internal Covariate Shift)을 줄이기 위해 배치 정규화 (Batch Normalization)를 사용하였다.
내부 공변량 이동(Internal Covariate Shift)은 내부에 있는(internal) 층의 입력값, 즉 공변량(covariate)이 고정된 분포를 갖지 않고 이리저리 움직인다(shift)는 의미이며, 배치 정규화를 통해 해결할 수 있다.
본 발명의 일 실시예에 따르면, 표현자는 특징 맵일 수 있다.
모든 컨볼루션 레이어는 3Х3 커널(행, 열)을 사용하였으며, 마지막 레이어를 제외하고 모두 16차원의 딥러닝 표현자를 추출한다. 마지막 컨볼루션 레이어의 경우 N차원의 결과 영상을 생성할 수 있다.
본 발명의 일 실시예에 따르면, 영상 개선 장치(10)는 입력 영상(100)이 입력되면, 컨볼루션 필터 및 함수 매핑부를 거쳐 특징 맵 추출부(200)에 입력될 수 있다.
본 발명의 일 실시예에 따르면, 특징 맵 추출부(200)는 M개의 채널의 입력 영상의 각 채널에서 16차원의 딥러닝 표현자를 추출할 수 있다. 특징 맵 추출부(200)는 학습 시 입력 영상의 영향력이 점차 사라지는 문제를 방지하기 위해 레지듀얼 블록(ResBlock, Residual Block)을 이용하여 영상 개선 신경망(18)를 설계할 수 있다.
본 발명의 일 실시예에 따르면, 입력 레지듀얼 블록(ResBlock)은 2개의 컨볼루션(Conv, Convolution) 레이어로 구성되어 있다. 특징 맵 추출부(200)를 통해 추출된 제1 특징 맵은 입력 레지듀얼 블록의 입력과 두 번째 컨볼루션 레이어의 결과의 합으로 표현될 수 있다.
본 발명의 일 실시예에 따르면, 특징 맵 추출부(200)는 입력 영상(100)에서 특징을 추출하는 것을 학습한다. 이 과정에서 각 대역 별 영상(I)들이 입력되며, 유용한 특징을 효율적으로 뽑기 위해 영상 개선 장치(10)는 가중치(Weight)를 공유한다. 이를 통해 특징 추출의 효율 향상과 더불어 매개변수(Parameter)가 줄어들어 학습(Learning)이 잘되는 효과가 있다.
본 발명의 일 실시예에 따르면, 특징맵 결합부(300)는 특징 맵 추출부(200)에서 추출된 M 개의 딥러닝 표현자를 결합하기 위한 네트워크일 수 있다. 특징맵 결합부(300)는 표현자 연결(Concatenate) 및 컨볼루션 레이어를 이용하여 표현자 결합 과정을 학습할 수 있다.
본 발명의 일 실시예에 따르면, 영상 생성부(400)는 결합된 표현자로부터 최종 결과 영상을 나타내는 출력 영상을 생성할 수 있다. 영상 생성부(400)는 특징 맵 추출부(200)와 마찬가지로 3개의 출력 레지듀얼 블록(ResBlock)을 이용하여 설계될 수 있다. 영상 생성부(400)는 마지막 컨볼루션 레이어를 통해 N 채널의 출력 영상을 바로 생성할 수 있다.
영상 개선 장치(10)는 기존 기술과 달리 레지듀얼 블록(ResBlock) 만으로 복원(Reconstruction)이 가능하며 속도와 품질 면에서 그 결과가 기존 기술보다 뛰어날 수 있다.
본 발명의 일 실시예에 따르면, 영상 개선 장치(10)는 구조텐서 손실 함수를 이용하여 한쪽 끝에서 다른 쪽 끝까지의 엔드투엔드(End-to-end) 방식으로 학습될 수 있다.
본 발명의 일 실시예에 따르면, 손실 함수의 LT를 최소화하도록 학습된 영상 개선 장치(10)의 출력 영상은 입력 영상의 구조텐서를 가지며, 그 결과 입력 영상의 모든 콘트라스트 정보를 포함한다. 또한, 출력 영상은 결과 영상의 픽셀 값(Intensity)이 입력 영상의 채널들의 평균 픽셀 값을 갖게 하기 위해 LI를 손실 함수에 추가로 설계할 수 있다.
상술한 영상 개선 신경망(18)는 전체적으로 소프트웨어적인 형태로 구현되고, 메모리(14)상에 저장되며, 프로세서(12)에 의하여 명령어에 따른 실행이 이루어지도록 구현될 수 있으나, 필요에 따라 그 중 적어도 일부를 하드웨어적으로도 구성할 수 있음은 당업자에게 자명하다.
도 6은 본 발명의 일 실시예에 따른 영상 개선 장치 및 방법의 가중치 설정을 예시한 도면이다.
가중치는 상술한 손실 함수를 계산하여 설정될 수 있다. 가중치는 특징 맵 추출부(200)에서 컨볼루션하는 과정에서 필요한 값으로서, 오차가 최소가 되도록 조절되는 값이다. 예를 들어, 가중치는 특징 맵 추출부(200)에 설정될 수 있다. 입력 영상(100)이 영상 개선 장치(10)에 입력되면, 영상 개선 장치(10)는 가중치가 조절된 값에 의해 특징 추출 및 결합이 이루어지며, 가중치가 조절된 값에 의해 출력 영상이 생성될 수 있다.
본 발명의 일 실시예에 따르면, 영상 개선 장치(10)는 입력 영상(100)의 각 채널이 특징 맵 추출부(200)에서 컨볼루션하는 과정 사이의 가중치를 서로 공유할 수 있다.
본 발명의 일 실시예에 따르면, 가중치는 특징 맵 추출부(200)에 입력될 수 있고, 반드시 이에 한정되는 것은 아니며 영상 생성부(400) 또는 특징 맵 추출부(200) 및 영상 생성부(400) 모두에 입력되어 적용될 수 있다.
본 발명의 일 실시예에 따르면, 영상 개선 장치(10)는 영상 개선 신경망(18)를 학습시키기 위해서 출력에 대한 손실함수를 제공하고 역전파(Backpropagation)를 통해 네트워크의 각 가중치(Weight)들을 수정해주어야 한다. 이를 위해서는 손실함수에 답안을 제공해 주어야 하나(지도학습), 다른 딥러닝 문제와는 달리 영상개선에 결과에 대한 답안을 제공해주는 것은 불가능 하다. 따라서, 영상 개선 장치(10)는 비지도학습 방법을 도입하여 이 문제를 해결하였다.
도 7은 본 발명의 일 실시예에 따른 영상 개선 장치 및 방법의 학습을 나타내는 블록도이다. 영상 개선 장치는 영상 개선 방법과 관한 상세한 설명과 중복되는 설명은 생략하기로 한다.
도 7을 참조하면, 영상 제거 장치(10)는 입력부(110), 영상 개선 신경망(18), 손실 함수 계산부(600), 구조텐서 계산부(610) 및 옵티마이저(Optimizer)(620)를 포함할 수 있다. 영상 개선 신경망(18)은 특징 맵 추출부(200), 특징 맵 결합부(300) 및 영상 생성부(400)를 포함할 수 있다. 영상 제거 장치(10)는 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.
입력부(110)는 다수의 채널 각각에 대한 채널 영상을 포함하는 입력 영상을 입력 받는다.
특징 맵 추출부(200)는 채널 영상을 컨볼루션 연산하여 필터링하는 입력 레지듀얼 블록(Resblock)을 이용하여 영상 개선을 위한 다수의 제1 특징 맵을 추출한다.
특징 맵 추출부(200)는 입력 영상에 대하여 제1 컨볼루션 연산을 수행함에 따라 컨볼루션 맵을 생성하는 제1 컨볼루션 필터, 컨볼루션 레이어의 가중치 매개변수가 변화함에 따라 활성화 함수 출력 값의 분포가 변화하는 내부 공변량 변화를 줄이기 위해 상기 출력 값을 정규화하는 제1 정규화부, 생성된 컨볼루션 맵을 기 설정된 함수에 따라 매핑하는 제1 함수 매핑부 및 매핑된 컨볼루션 맵에 대하여 제2 컨볼루션 연산을 수행함에 따라 제1 특징 맵을 생성하는 제2 컨볼루션 필터를 포함할 수 있으며, 반드시 이에 한정되는 것은 아니다.
특징 맵 결합부(300)는 추출된 다수의 제1 특징 맵을 서로 결합하여 통합 특징 맵을 생성한다.
영상 생성부(400)는 통합 특징 맵을 컨볼루션 연산하여 필터링하는 출력 레지듀얼 블록을 이용하여 제2 특징 맵을 생성하고, 제2 특징 맵을 통해 입력 영상의 왜곡이 개선된 출력 영상을 생성한다.
영상 생성부(400)는 통합 특징 맵에 대하여 컨볼루션 연산을 수행함에 따라 컨볼루션 출력 맵을 생성하는 제3 컨볼루션 필터, 컨볼루션 레이어의 가중치 매개변수가 변화함에 따라 활성화 함수 출력 값의 분포가 변화하는 내부 공변량 변화를 줄이기 위해 출력 값을 정규화하는 제2 정규화부 및 생성된 컨볼루션 출력 맵을 기 설정된 함수에 따라 매핑하는 제2 함수 매핑부를 포함한다. 영상 생성부(400)는 컨볼루션 출력 맵에 대하여 컨볼루션 연산을 수행함에 따라 제2 특징 맵을 생성하며, 상기 제2 특징 맵을 통해 상기 출력 영상을 생성한다.
영상 제거 장치(10)는 입력 영상, 상기 출력 영상 및 상기 입력 영상의 좌표 도메인을 이용하여 손실 함수를 계산하는 손실 함수 계산부 및 손실 함수를 통해 오차를 최소화하기 위한 가중치를 설정하는 가중치 재 설정부를 포함한다.
손실 함수 계산부는 출력 영상에 대한 그래디언트 크기의 합으로 형성된 출력 영상의 구조텐서와 입력 영상에 대한 그래디언트 크기의 합으로 형성된 입력 영상의 구조텐서의 차이를 통해 제1 손실 함수 및 (ii) 출력 영상과 입력 영상의 평균 영상의 차이를 최소화하는 제2 손실 함수를 계산한다.
본 발명의 일 실시예에 따르면, 옵티마이저(Optimizer)(620)는 학습 알고리즘의 종류를 의미하며, 미분을 통해 그래디언트(Gradient)를 구한 후 최적화가 되는 값을 찾는 것이다. 옵티마이저(Optimizer)(620)는 그래디언트 하강법(Gradient Descent), 미니 배치 확률적 그래디언트 하강법 등이 있을 수 있으며, 딥러닝에 많이 사용되는 역전파 알고리즘이 있다.
예를 들어, 영상 제거 장치(10)는 손실 함수를 통해 오차를 최소화하기 위한 가중치를 설정하는 오류 역 전파를 수행할 수 있다.
본 발명의 일 실시예에 따르면, 가중치는 손실함수를 바탕으로 옵티마이저(Optimizer)(620)를 통해 수정되는데, 손실 함수를 계산해주기 위해서 구조텐서 계산부(610)를 통해 계산된 구조텐서(700)를 손실 함수에 입력하여 구할 수 있다. 손실 함수는 [수학식 1]과 같이 구할 수 있다.
Figure 112019106192755-pat00001
상술한 [수학식 1]에서,
Figure 112019106192755-pat00002
는 손실 함수를 나타내고,
Figure 112019106192755-pat00003
는 제1 손실 함수를 나타내고,
Figure 112019106192755-pat00004
는 제2 손실 함수를 나타낸다, 또한, u는 N차원의 출력 영상을 나타내고, I는 M차원의 입력 영상을 나타내고, Iavg는 입력 영상의 평균 영상을 나타내고,
Figure 112019106192755-pat00005
는 영상 좌표 도메인을 나타내고, Zu는 출력 영상의 구조텐서를 나타내고, ZI는 입력 영상의 구조텐서를 나타낸다.
상술한 [수학식 1]을 기반으로 [수학식 2] 및 [수학식 4]과 같은 제1 손실함수 및 제2 손실 함수를 제안 할 수 있으며, [수학식 1]은 [수학식 2] 및 [수학식 4]의 합으로 형성될 수 있다. 이하에서는 [수학식 2] 및 [수학식 4]의 제1 손실함수 및 제2 손실 함수를 자세히 서술한다.
Figure 112019106192755-pat00006
상술한 [수학식 2]는 제1 손실 함수를 나타내는 식이다. 제1 손실 함수는 입력 영상의 구조텐서 및 출력 영상의 구조텐서의 차를 통해 구할 수 있다.
여기서, 구조텐서는 [수학식 3]을 통해 구할 수 있다. 본 발명의 일 실시예에 따르면, 구조텐서는 구조텐서 계산부(610)를 통해 계산할 수 있다.
Figure 112019106192755-pat00007
여기서, ZI(x,y)는 입력 영상의 구조텐서이며, I = {I1,...,IM}은 M차원의 입력 영상을 나타내며,
Figure 112019106192755-pat00008
는 x, y 방향의 그래디언트를 나타낸다.
[수학식 3]을 참조하면, 구조텐서는 야코비(Jacobi) 행렬의 그래디언트(Grad) 크기의 합을 성분으로 갖기 때문에, 그래디언트 크기에 대한 성질을 압축하고 있다.
[수학식 3]은 일반적인 M차원 영상 I = {Ii}M i=1의 구조텐서 ZI의 정의를 나타낸다. 구조텐서는 2Х2 행렬로 표현되며, M 차원 영상의 그래디언트 정보를 요약한다. 이때, 2Х2 행렬의 최대 고유벡터(Eigenvector)는 최대 콘트라스트의 방향을 나타내며, 최대 고유값(Eigenvalue)은 그 크기를 의미한다. 영상 개선 장치(10)는 구조텐서를 이용하여 M차원 영상의 콘트라스트를 측정하는데 사용하였다.
도 8는 본 발명의 일 실시예에 따른 영상 개선 장치 및 방법에서 그래디언트 크기의 합을 나타내는 그래프이다. 도 8을 참조하면, 그래디언트 크기 합이 어느 방향으로 가장 뻗어 나가는지를 알 수 있다.
도 8의 그래디언트 크기는 구조텐서를 통해 계산할 수 있으며, 2차원 또는 3차원으로 확인할 수 있다.
따라서, 본 발명의 일 실시예에 따르면, 제1 손실 함수를 통해 영상 제거 장치(10)는 픽셀을 이용하여 영상을 비교하는 기존 기술들과 달리 입력으로 구조텐서를 계산하여 고차원 입력에 대한 그래디언트(Gradient) 정보를 생성할 수 있다. 상술한 [수학식 3]을 통해 계산된 구조텐서는 제1 손실 함수에 제공된다. 이를 통해 제1 손실 함수는 출력이 입력의 특성을 온전히 보전할 수 있다.
본 발명의 일 실시예에 따르면, 제1 손실 함수는 구조텐서를 입력으로 사용하여 정답 값을 제공해주지 않아도 되므로, 비지도 학습 방식으로 학습이 가능할 수 있다. 또한, 구조텐서는 차원에 영향을 받지 않기 때문에 입력 영상(100)의 차원에 영향을 받지 않을 수 있다.
[수학식 2]의 그래디언트 정보만을 나타내는 제1 손실 함수로 학습하면 눈으로 보기에 부자연스러운 영상이 될 수 있다. 따라서, 기술적 해결을 유지하면서 자연스러운 영상을 생성하기 위해 하기의 [수학식 4]의 제2 손실 함수를 추가할 수 있다.
Figure 112019106192755-pat00009
상술한 [수학식 4]는 제2 손실 함수를 나타내는 식이다. 제2 손실 함수는 N차원의 출력 영상 및 입력 영상의 평균 영상의 차를 통해 구할 수 있다.
Iavg 는 입력 영상의 평균영상인데, 사람의 눈으로 보기에 자연스러운 영상이다.
본 발명의 일 실시예에 따르면, 제2 손실 함수는 u와 Iavg의 차이를 최소하며, 출력인 u가 자연스러운 영상을 따라가도록 할 수 있다.
따라서, 본 발명의 일 실시예에 따르면, 구조텐서를 비지도 학습의 손실 함수의 입력으로 사용하며, 픽셀구성을 크게 망가뜨리지 않게 하기 위한 데이터 충실도 구간(Data Fidelity Term)을 사용할 수 있다. 영상 제거 장치(10)는 사용자의 눈으로 보기에 자연스러우면서 동시에 영상들의 특징이 강하게 유지될 수 있다.
영상 제거 장치(10)는 여러 영상의 특징을 잘 드러나게 영상 처리를 할 수 있다. 도 9와 같이 영상 제거 장치(10)는 센서 융합, 초점 개선, 노출 개선 및 대조비 개선이 하나의 알고리즘으로 처리할 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상 개선 장치 및 방법이 적용된 결과를 나타내는 도면이다.
도 9a는 영상 제거 장치(10)를 통해 센서 융합이 개선된 예시도이고, 도 9b는 영상 제거 장치(10)를 통해 초점이 개선된 예시도이고, 도 9c는 영상 제거 장치(10)를 통해 노출이 개선된 예시도이고, 도 9d는 영상 제거 장치(10)를 통해 대조비가 개선된 예시도이다.
도 9a는 영상 제거 장치(10)의 가시광/열(Visible/Thermal) 융합에 적용한 예시를 보여준다.
도 9a를 참조하면, 가시광(Visible) 영상은 나무 줄기 및 도로의 세부 정보를 갖지만, 객체(인간)의 정보를 확인할 수 없다. 반면 열(Thermal) 영상에서는 주변 환경과의 온도 차에 의해 객체 정보를 확인할 수 있다. 영상 제거 장치(10)는 입력 영상의 주요 정보를 모두 포함하는 융합 영상을 출력 영상으로 생성할 수 있다.
도 9b는 영상 제거 장치(10)의 다중 초점(Multi-focus) 영상개선에 적용한 예시를 보여준다.
도 9b를 참조하면, 입력 영상은 각각 근접 초점(Near-focus) 및 원거리(Far-focus)되어 있으며, 이러한 두 영상의 단점을 보완해 본 기술은 모두 초점(All-in-focus)되어 초점이 선명하게 개선된 영상을 만들어낼 수 있다.
도 9c는 영상 제거 장치(10)의 다중 노출(Multi-exposure) 영상 개선에 적용한 예시를 보여준다.
도 9c를 참조하면, 컬러 정보의 경우 영상 시스템에서 사용되는 색 공간의 일종인 YCbCR 공간에서 색 정보(Cb, Cr 채널)를 각각 평균하여 계산하였으며, 본 영상 개선 기술은 Y 채널에 적용하였다. 도 9c의 출력 영상은 노출에 의해 영상에서 사라진 부분이 잘 복원되어 개선된 영상 결과를 확일 할 수 있다.
도 9d는 영상 제거 장치(10)의 근적외선(NIR)을 이용한 대조비 개선에 적용한 예시를 보여준다.
도 9d를 참조하면, 근적외선(NIR) 영상은 가시광선 보다 높은 투과율을 갖기 때문에 안개 영역에서 더 많은 세부 정보를 제공해 줄 수 있다. 본 영상 개선 기술을 적,녹,청/근적외선(RGB/NIR)에 적용한 결과를 통하여, RGB의 적은 세부 정보(나무 줄기 및 배경의 안개 영역 등)를 강조하는 대조비가 향상된 영상을 획득할 수 있다.
이처럼 결과에서 보이듯이 단 하나의 영상 개선 신경망(18)으로 센서융합, 초점개선(Deblur), 노출개선, 대조비개선이 모두 가능하다. 이는 영상 제거 장치(10)에서 나타낸 딥러닝 네트워크 구조가 기존 영상처리 알고리즘처럼 한가지 목적에만 잘되는 것이 아니라 여러 가지 영상 개선이 모두 가능하다는 것을 나타낼 수 있다.
도 10은 실시예들에서 사용되기에 적합한 컴퓨팅 기기를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다.
도 10은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 기기를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경은 영상 개선 장치(10)를 포함한다. 일 실시예에서, 영상 개선 장치(10)는 타 단말기와 신호를 송수신하는 모든 형태의 컴퓨팅 기기일 수 있다.
영상 개선 장치(10)는 적어도 하나의 프로세서(1010), 컴퓨터 판독 가능한 저장매체(1020) 및 통신 버스(1060)를 포함한다. 프로세서(1010)는 영상 개선 장치(10)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(1010)는 컴퓨터 판독 가능한 저장 매체(1020)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(1010)에 의해 실행되는 경우 영상 개선 장치(10)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능한 저장 매체(1020)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(1020)에 저장된 프로그램(1030)은 프로세서(1010)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장 매체(1020)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 기기들, 광학 디스크 저장 기기들, 플래시 메모리 기기들, 그 밖에 영상 개선 장치(10)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(1060)는 프로세서(1010), 컴퓨터 판독 가능한 저장 매체(1020)를 포함하여 영상 개선 장치(10)의 다른 다양한 컴포넌트들을 상호 연결한다.
영상 개선 장치(10)는 또한 하나 이상의 입출력 장치(미도시)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(1040) 및 하나 이상의 통신 인터페이스(1050)를 포함할 수 있다. 입출력 인터페이스(1040) 및 통신 인터페이스(1050)는 통신 버스(1060)에 연결된다. 입출력 장치(미도시)는 입출력 인터페이스(1040)를 통해 영상 개선 장치(10)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(미도시)는 영상 개선 장치(10)를 구성하는 일 컴포넌트로서 영상 개선 장치(10)의 내부에 포함될 수도 있고, 영상 개선 장치(10)와는 구별되는 별개의 장치로 컴퓨팅 기기와 연결될 수도 있다.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 영상 개선 장치
100: 입력 영상
200: 특징 맵 추출부
300: 특징 맵 결합부
400: 영상 생성부
500: 출력 영상
600: 손실 함수 계산부

Claims (13)

  1. 프로세서, 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리 및 영상 촬영 장치에서 촬영된 입력 영상을 수신하는 영상 수신부를 포함하는 영상 개선 학습 장치의 영상 개선 방법에 있어서,
    상기 프로세서가,
    다수의 채널 각각에 대한 채널 영상을 포함하는 상기 입력 영상을 입력 받는 단계;
    상기 채널 영상을 컨볼루션 연산하여 필터링하는 입력 레지듀얼 블록(Resblock)을 이용하여 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계;
    상기 추출된 다수의 제1 특징 맵을 서로 결합하여 통합 특징 맵을 생성하는 단계;
    상기 통합 특징 맵을 컨볼루션 연산하여 필터링하는 출력 레지듀얼 블록을 이용하여 제2 특징 맵을 생성하고, 상기 제2 특징 맵을 통해 상기 입력 영상의 왜곡이 개선된 출력 영상을 생성하는 단계;
    상기 입력 영상, 상기 출력 영상 및 상기 입력 영상의 좌표 도메인을 이용하여 손실 함수를 계산하는 단계; 및
    상기 손실 함수를 통해 오차를 최소화하기 위한 가중치를 재설정하는 단계를 포함하는 영상 개선 방법.
  2. 제1항에 있어서,
    상기 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계는,
    학습 시 상기 입력 영상의 영향력이 점차 사라지는 현상을 방지하기 위해 다수의 컨볼루션 레이어로 구성된 상기 입력 레지듀얼 블록을 이용하며,
    상기 입력 레지듀얼 블록의 입력과 상기 다수의 컨볼루션 레이어의 결과의 합으로 상기 제1 특징 맵을 추출하는 것을 특징으로 하는 영상 개선 방법.
  3. 제2항에 있어서,
    상기 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계는,
    상기 입력 영상에 대하여 제1 컨볼루션 연산을 수행함에 따라 컨볼루션 맵을 생성하는 단계;
    상기 컨볼루션 레이어의 가중치 매개변수가 변화함에 따라 활성화 함수 출력 값의 분포가 변화하는 내부 공변량 변화를 줄이기 위해 상기 출력 값을 정규화하는 단계;
    상기 생성된 컨볼루션 맵을 기 설정된 함수에 따라 매핑하는 단계; 및
    상기 매핑된 컨볼루션 맵에 대하여 제2 컨볼루션 연산을 수행함에 따라 상기 제1 특징 맵을 생성하는 단계를 포함하는 영상 개선 방법.
  4. 제1항에 있어서,
    상기 출력 영상을 생성하는 단계는,
    상기 통합 특징 맵에 대하여 컨볼루션 연산을 수행함에 따라 컨볼루션 출력 맵을 생성하는 단계;
    컨볼루션 레이어의 가중치 매개변수가 변화함에 따라 활성화 함수 출력 값의 분포가 변화하는 내부 공변량 변화를 줄이기 위해 상기 출력 값을 정규화하는 단계;
    상기 생성된 컨볼루션 출력 맵을 기 설정된 함수에 따라 매핑하는 단계; 및
    상기 컨볼루션 출력 맵에 대하여 컨볼루션 연산을 수행함에 따라 제2 특징 맵을 생성하며, 상기 제2 특징 맵을 통해 상기 출력 영상을 생성하는 단계를 포함하는 영상 개선 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 손실 함수를 계산하는 단계는,
    상기 출력 영상에 대한 그래디언트 크기의 합으로 형성된 상기 출력 영상의 구조텐서와 상기 입력 영상에 대한 그래디언트 크기의 합으로 형성된 상기 입력 영상의 구조텐서의 차이를 통해 제1 손실 함수를 계산하는 단계; 및
    상기 출력 영상과 상기 입력 영상의 평균 영상의 차이를 통해 제2 손실 함수를 계산하는 단계를 포함하는 영상 개선 방법.
  7. 제6항에 있어서,
    상기 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계는 상기 입력 레지듀얼 블록에 입력되는 다수의 채널 영상 간의 상기 가중치를 공유하며, 손실 함수를 이용하여 상기 가중치를 재 설정하는 것을 특징으로 하는 영상 개선 방법.
  8. 제7항에 있어서,
    상기 출력 영상을 생성하는 단계는 상기 가중치를 재설정하는 단계를 통해 상기 가중치를 조절하여,
    상기 입력 영상의 채널 별로 서로 다른 객체 정보를 결합하는 단계;
    상기 입력 영상의 각 채널의 서로 다른 초점 정보를 조합하여 상기 입력 영상의 초점을 개선하는 단계;
    상기 입력 영상의 각 채널의 서로 다른 노출 정보를 조합하여 노출에 의해 사라진 부분을 복원하는 단계; 및
    상기 입력 영상의 각 채널의 서로 다른 객체 정보를 조합하여 대조비를 개선하는 단계 중 하나를 수행하여 상기 입력 영상의 왜곡을 개선하는 것을 특징으로 하는 영상 개선 방법.
  9. 다수의 채널 각각에 대한 채널 영상을 포함하는 입력 영상을 입력 받는 입력부;
    상기 채널 영상을 컨볼루션 연산하여 필터링하는 입력 레지듀얼 블록(Resblock)을 이용하여 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 특징 맵 추출부;
    상기 추출된 다수의 제1 특징 맵을 서로 결합하여 통합 특징 맵을 생성하는 특징 맵 결합부;
    상기 통합 특징 맵을 컨볼루션 연산하여 필터링하는 출력 레지듀얼 블록을 이용하여 제2 특징 맵을 생성하고, 상기 제2 특징 맵을 통해 상기 입력 영상의 왜곡이 개선된 출력 영상을 생성하는 영상 생성부;
    상기 입력 영상, 상기 출력 영상 및 상기 입력 영상의 좌표 도메인을 이용하여 손실 함수를 계산하는 손실 함수 계산부; 및
    상기 손실 함수를 통해 오차를 최소화하기 위한 가중치를 설정하는 가중치 재 설정부를 포함하는 영상 개선 학습 장치.
  10. 제9항에 있어서,
    상기 특징 맵 추출부는,
    상기 입력 영상에 대하여 제1 컨볼루션 연산을 수행함에 따라 컨볼루션 맵을 생성하는 제1 컨볼루션 필터;
    컨볼루션 레이어의 가중치 매개변수가 변화함에 따라 활성화 함수 출력 값의 분포가 변화하는 내부 공변량 변화를 줄이기 위해 상기 출력 값을 정규화하는 제1 정규화부;
    상기 생성된 컨볼루션 맵을 기 설정된 함수에 따라 매핑하는 제1 함수 매핑부; 및
    상기 매핑된 컨볼루션 맵에 대하여 제2 컨볼루션 연산을 수행함에 따라 상기 제1 특징 맵을 생성하는 제2 컨볼루션 필터를 포함하는 영상 개선 학습 장치.
  11. 제9항에 있어서,
    상기 영상 생성부는,
    상기 통합 특징 맵에 대하여 컨볼루션 연산을 수행함에 따라 컨볼루션 출력 맵을 생성하는 제3 컨볼루션 필터;
    컨볼루션 레이어의 가중치 매개변수가 변화함에 따라 활성화 함수 출력 값의 분포가 변화하는 내부 공변량 변화를 줄이기 위해 상기 출력 값을 정규화하는 제2 정규화부; 및
    상기 생성된 컨볼루션 출력 맵을 기 설정된 함수에 따라 매핑하는 제2 함수 매핑부를 포함하며,
    상기 영상 생성부는 상기 컨볼루션 출력 맵에 대하여 컨볼루션 연산을 수행함에 따라 제2 특징 맵을 생성하며, 상기 제2 특징 맵을 통해 상기 출력 영상을 생성하는 것을 특징으로 하는 영상 개선 학습 장치.
  12. 삭제
  13. 제9항에 있어서,
    상기 손실 함수 계산부는,
    (i) 상기 출력 영상에 대한 그래디언트 크기의 합으로 형성된 상기 출력 영상의 구조텐서와 상기 입력 영상에 대한 그래디언트 크기의 합으로 형성된 상기 입력 영상의 구조텐서의 차이를 통해 제1 손실 함수 및 (ii) 상기 출력 영상과 상기 입력 영상의 평균 영상의 차이를 최소화하는 제2 손실 함수를 계산하는 것을 특징으로 하는 영상 개선 학습 장치.
KR1020190129419A 2019-10-17 2019-10-17 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치 KR102095443B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190129419A KR102095443B1 (ko) 2019-10-17 2019-10-17 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190129419A KR102095443B1 (ko) 2019-10-17 2019-10-17 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102095443B1 true KR102095443B1 (ko) 2020-05-26

Family

ID=70914857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190129419A KR102095443B1 (ko) 2019-10-17 2019-10-17 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102095443B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288668A (zh) * 2020-09-22 2021-01-29 西北工业大学 基于深度无监督密集卷积网络的红外和可见光图像融合方法
CN113379618A (zh) * 2021-05-06 2021-09-10 航天东方红卫星有限公司 一种基于残差密集连接和特征融合的光学遥感图像去云方法
KR20210153851A (ko) * 2020-06-11 2021-12-20 한국생산기술연구원 딥러닝 기반 열전대 온도센서 실측을 통한 측정대상의 전체 온도 분포 예측 장치 및 방법
KR20220076815A (ko) * 2020-12-01 2022-06-08 서울과학기술대학교 산학협력단 실감형 콘텐츠 생성 방법
CN117670753A (zh) * 2024-01-30 2024-03-08 浙江大学金华研究院 基于深度多亮度映射无监督融合网络的红外图像增强方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180126362A (ko) * 2017-05-17 2018-11-27 삼성전자주식회사 동영상의 초해상 처리 방법 및 이를 위한 영상 처리 장치
JP2019159595A (ja) * 2018-03-09 2019-09-19 株式会社東芝 画像処理装置、画像処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180126362A (ko) * 2017-05-17 2018-11-27 삼성전자주식회사 동영상의 초해상 처리 방법 및 이를 위한 영상 처리 장치
JP2019159595A (ja) * 2018-03-09 2019-09-19 株式会社東芝 画像処理装置、画像処理方法及びプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210153851A (ko) * 2020-06-11 2021-12-20 한국생산기술연구원 딥러닝 기반 열전대 온도센서 실측을 통한 측정대상의 전체 온도 분포 예측 장치 및 방법
KR102452394B1 (ko) * 2020-06-11 2022-10-11 한국생산기술연구원 딥러닝 기반 열전대 온도센서 실측을 통한 측정대상의 전체 온도 분포 예측 장치 및 방법
CN112288668A (zh) * 2020-09-22 2021-01-29 西北工业大学 基于深度无监督密集卷积网络的红外和可见光图像融合方法
CN112288668B (zh) * 2020-09-22 2024-04-16 西北工业大学 基于深度无监督密集卷积网络的红外和可见光图像融合方法
KR20220076815A (ko) * 2020-12-01 2022-06-08 서울과학기술대학교 산학협력단 실감형 콘텐츠 생성 방법
KR102511495B1 (ko) * 2020-12-01 2023-03-17 서울과학기술대학교 산학협력단 실감형 콘텐츠 생성 방법
CN113379618A (zh) * 2021-05-06 2021-09-10 航天东方红卫星有限公司 一种基于残差密集连接和特征融合的光学遥感图像去云方法
CN113379618B (zh) * 2021-05-06 2024-04-12 航天东方红卫星有限公司 基于残差密集连接和特征融合的光学遥感图像去云方法
CN117670753A (zh) * 2024-01-30 2024-03-08 浙江大学金华研究院 基于深度多亮度映射无监督融合网络的红外图像增强方法

Similar Documents

Publication Publication Date Title
KR102095443B1 (ko) 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치
Jung et al. Unsupervised deep image fusion with structure tensor representations
US11107205B2 (en) Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames
CN115442515B (zh) 图像处理方法和设备
Jang et al. C2n: Practical generative noise modeling for real-world denoising
EP4109392A1 (en) Image processing method and image processing device
CN110675336A (zh) 一种低照度图像增强方法及装置
Diamond et al. Dirty pixels: Towards end-to-end image processing and perception
CN113168670A (zh) 使用神经网络的亮点去除
Hu et al. Convolutional sparse coding for RGB+ NIR imaging
US20220301114A1 (en) Noise Reconstruction For Image Denoising
Wang et al. Joint iterative color correction and dehazing for underwater image enhancement
Liu et al. Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives
CN113129236B (zh) 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统
CN110728626A (zh) 图像去模糊方法和装置及其训练
US11741579B2 (en) Methods and systems for deblurring blurry images
CN110728627A (zh) 图像降噪方法、装置、系统和存储介质
Rasheed et al. LSR: Lightening super-resolution deep network for low-light image enhancement
Zhao et al. Deep pyramid generative adversarial network with local and nonlocal similarity features for natural motion image deblurring
Zhao et al. D2hnet: Joint denoising and deblurring with hierarchical network for robust night image restoration
Yang et al. A model-driven deep dehazing approach by learning deep priors
Hsieh et al. Variational contrast-saturation enhancement model for effective single image dehazing
Gasparyan et al. Iterative Retinex-Based Decomposition Framework for Low Light Visibility Restoration
Batard et al. Variational models for color image correction inspired by visual perception and neuroscience
Jiji et al. Extended depth of focus imaging using optics and image processing