KR101821285B1 - 열화상 이미지 개선 장치 및 방법 - Google Patents

열화상 이미지 개선 장치 및 방법 Download PDF

Info

Publication number
KR101821285B1
KR101821285B1 KR1020160100058A KR20160100058A KR101821285B1 KR 101821285 B1 KR101821285 B1 KR 101821285B1 KR 1020160100058 A KR1020160100058 A KR 1020160100058A KR 20160100058 A KR20160100058 A KR 20160100058A KR 101821285 B1 KR101821285 B1 KR 101821285B1
Authority
KR
South Korea
Prior art keywords
image
learning
neural network
target image
target
Prior art date
Application number
KR1020160100058A
Other languages
English (en)
Inventor
권인소
최유경
황순민
김남일
박종찬
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160100058A priority Critical patent/KR101821285B1/ko
Application granted granted Critical
Publication of KR101821285B1 publication Critical patent/KR101821285B1/ko

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/003—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

적어도 하나의 프로세서에 의해 동작하는 이미지 개선 장치로서, 학습 이미지의 개선 정보를 포함하는 학습 목표 이미지를 생성하고, 상기 학습 이미지로부터 상기 학습 목표 이미지가 추론되도록 컨볼루션 신경 회로망을 학습시키는 학습부, 상기 컨볼루션 신경 회로망을 이용하여 입력된 원본 이미지에 대한 추론 이미지를 획득하는 획득부, 그리고 상기 원본 이미지와 상기 추론 이미지를 합성하여 출력 이미지를 생성하는 합성부를 포함한다.

Description

열화상 이미지 개선 장치 및 방법{APPARATUS AND METHOD FOR THERMAL IMAGE ENHANCEMENT}
본 발명은 열화상 개선에 관한 것이다.
열화상 카메라는 객체에서 복사되는 적외선을 측정하여 객체의 온도를 나타내는 열화상 이미지(thermal image)를 생성한다. 열화상 카메라는 날씨나 조명의 영향을 덜 받는 장점이 있어 소방, 안전 관리, 건축 및 의료, 자율주행 분야 등과 같이 여러 분야에서의 사용이 날로 높아지고 있으나 가시광 카메라에 비해 물체의 패턴이나 물체간 경계 등의 구별성이 뚜렷하지 않은 단점이 있다.
지금까지 열화상 카메라는 저역 통과 필터(low pass filter)를 이용하여 잡음(noise)을 제외한 엣지(edge)를 강조하여 가시성을 개선한다. 입력 이미지는 저역 통과 필터를 통과한 저주파 이미지와 그 차이를 이용한 고주파 이미지로 나누어져(decomposition) 처리된다. 대부분의 연구들은 잡음이 제외되어 엣지가 증폭된 고주파 이미지와, 대조비가 향상된(contrast enhancing) 저주파 이미지를 합성(composition)하여 개선된 이미지를 얻는다. 카메라 해상도에 따라 분리된 저주파 이미지와 고주파 이미지는 8비트, 14비트 또는 16비트 등으로 표현된다. 저주파 이미지와 고주파 이미지가 14비트 또는 16비트의 표현력을 가지는 고명암비(high dynamic range, HDR) 이미지이라면, 결과물의 출력을 위해 저명암비(low dynamic range, LDR) 이미지로 압축하는 과정이 필요하다.
또한, 열화상 이미지의 고주파 성분을 증폭하는 필터 기반 개선 방법이 다양하게 연구되고 있다. 예를 들면, 논문1(New technique for the visualization of high dynamic range infrared images, Optical Engineering 2009)은 양방향 필터(Bilateral Filter)를 저역 통과 필터로 사용하고, 저주파 이미지와 고주파 이미지 각각을 감마 보정(gamma correction)한 후, 저명암비 이미지로 압축하여 합성한다. 논문2(Display and detail enhancement for high-dynamic-range infrared images, Optical Engineering 2011)는 논문1에서 다루지 못했던 심한 왜곡과 잡음을 적응형 가우시안 필터(adaptive gaussian filter)로 제거한다. 논문3(Real time Visualization of High-Dynamic-Range Infrared Images based on Human Perception Characteristics, Journal of Electronic Imaging, 2015)은 논문1에서 저역 통과 필터로 사용한 양방향 필터(bilateral filter) 대신 유도 필터(guided filter)와 프로파게이트 필터(propagated filter)를 사용하여, 심한 왜곡과 cross-region mixing 문제를 해결한다. 하지만, 지금까지의 연구들은 파라미터에 매우 의존적이며, 다양한 실내외 환경에 적합한 파라미터를 자동으로 결정하지 못하는 한계가 존재한다.
열화상 이미지를 개선하기 위한 다른 방법으로 가시광 센서에서 획득한 엣지 정보를 열화상 이미지에 오버레이하는 기술이 있다. 하지만, 이 기술은 열화상 카메라에 가시광 센서가 추가되어야 하고, 가시광 센서의 영향으로 과한 조명 환경이나 밤과 같은 어두운 조명 환경에는 노이즈 및 왜곡이 발생한다. 또한 이 기술은 움직이는 객체를 촬영하면, 가시광 이미지와 열화상 이미지의 싱크가 맞지 않는다. 따라서, 가시광 이미지와 열화상 이미지를 합성한 출력 이미지에서 고스트 효과(ghost effect)가 발생할 수 있다.
본 발명이 해결하고자 하는 과제는 학습 이미지로부터 학습 이미지의 개선 정보를 포함하는 학습 목표 이미지를 추론하도록 컨볼루션 신경 회로망(Convolution Neural Network, CNN)을 학습시키고, 컨볼루션 신경 회로망으로 추론한 이미지를 열화상 이미지에 합성하여 열화상 이미지의 디테일을 개선하는 장치 및 방법에 관한 것이다.
본 발명의 한 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 이미지 개선 장치로서, 학습 이미지의 개선 정보를 포함하는 학습 목표 이미지를 생성하고, 상기 학습 이미지로부터 상기 학습 목표 이미지가 추론되도록 컨볼루션 신경 회로망을 학습시키는 학습부, 상기 컨볼루션 신경 회로망을 이용하여, 입력된 원본 이미지에 대한 추론 이미지를 획득하는 획득부, 그리고 상기 원본 이미지와 상기 추론 이미지를 합성하여 출력 이미지를 생성하는 합성부를 포함한다.
상기 학습부는 상기 학습 이미지로부터 추출한 엣지 정보를 포함하는 이미지를 상기 학습 목표 이미지로 사용할 수 있다.
상기 학습부는 상기 학습 이미지와 기하학적으로 정렬된 이미지로부터 엣지 정보를 추출하고, 추출한 엣지 정보를 포함하는 이미지를 상기 학습 목표 이미지로 사용할 수 있다.
상기 학습부는 상기 학습 이미지의 대조비를 개선한 이미지로부터 엣지 정보를 추출하고, 추출한 엣지 정보를 포함하는 이미지를 상기 학습 목표 이미지로 사용할 수 있다.
상기 학습부는 기준 이미지와 상기 기준 이미지로부터 가공된 이미지의 차이를 나타내는 레지듀얼(residual) 이미지를 상기 학습 목표 이미지로 사용하고, 상기 기준 이미지는 상기 학습 이미지, 상기 학습 이미지와 기하학적으로 정렬된 가시광 이미지, 그리고 상기 학습 이미지의 대조비를 개선한 이미지 중 어느 하나일 수 있다.
상기 가공된 이미지는 상기 기준 이미지를 스케일링 변수(scaling factor)에 따라 고등차수 보간한 이미지(bicubic interpolation image)일 수 있다.
상기 레지듀얼 이미지는 복수의 스케일링 변수(scaling factor)에 따라 상기 기준 이미지로부터 가공된 이미지들 각각과 상기 기준 이미지의 차이를 합산한 이미지일 수 있다.
상기 컨볼루션 신경 회로망은 복수의 컨볼루션 블록과 하나의 컨볼루션 레이어를 포함하고, 각 컨볼루션 블록은 컨볼루션 레이어, 배치 정규화(Batch Normalization) 레이어 그리고 ReLU(Rectified Linear Unit) 레이어를 포함할 수 있다.
상기 학습부는 상기 학습 이미지로부터 상기 학습 목표 이미지가 추론되도록 상기 컨볼루션 레이어의 필터값을 최적화할 수 있다.
상기 컨볼루션 신경 회로망은 상기 원본 이미지의 개선 정보를 포함하는 상기 추론 이미지를 출력할 수 있다.
본 발명의 다른 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 장치의 열화상 이미지 개선 방법으로서, 학습 이미지의 개선 정보를 포함하는 학습 목표 이미지를 생성하는 단계, 상기 학습 이미지로부터 상기 학습 목표 이미지가 추론되도록 컨볼루션 신경 회로망을 학습시키는 단계, 개선 대상인 원본 이미지를 상기 컨볼루션 신경 회로망에 입력하여 추론 이미지를 획득하는 단계, 그리고 상기 원본 이미지와 상기 추론 이미지를 합성하여 출력 이미지를 생성하는 단계를 포함한다.
상기 학습 목표 이미지를 생성하는 단계는 상기 학습 이미지로부터 추출한 개선 정보, 상기 학습 이미지와 기하학적으로 정렬된 이미지로부터 추출한 개선 정보, 상기 학습 이미지의 대조비를 개선한 이미지로부터 추출한 개선 정보 중 적어도 하나를 포함하는 상기 학습 목표 이미지를 생성할 수 있다.
상기 학습 이미지와 상기 원본 이미지는 열화상 이미지이고, 상기 학습 이미지와 기하학적으로 정렬된 이미지는 가시광 이미지일 수 있다.
상기 개선 정보는 해당 이미지에 포함된 엣지 정보일 수 있다.
상기 학습 목표 이미지를 생성하는 단계는 기준 이미지와 상기 기준 이미지로부터 가공된 이미지 사이의 차이를 나타내는 레지듀얼(residual) 이미지를 상기 학습 목표 이미지로 사용하고, 상기 기준 이미지는 상기 학습 이미지, 상기 학습 이미지와 기하학적으로 정렬된 가시광 이미지, 그리고 상기 학습 이미지의 대조비를 개선한 이미지 중 어느 하나일 수 있다.
상기 컨볼루션 신경 회로망을 학습시키는 단계는 복수의 컨볼루션 블록과 하나의 컨볼루션 레이어를 포함하는 초기 컨볼루션 신경 회로망을 생성하는 단계, 그리고 상기 학습 이미지로부터 상기 학습 목표 이미지가 추론되도록 상기 초기 컨볼루션 신경 회로망에 포함된 필터값을 가변하여 학습된 컨볼루션 신경 회로망을 생성하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 장치의 열화상 이미지 개선 방법으로서, 복수의 컨볼루션 블록과 하나의 컨볼루션 레이어를 포함하는 초기 컨볼루션 신경 회로망을 생성하는 단계, 그리고 학습 이미지로부터 학습 목표 이미지가 추론되도록 상기 초기 컨볼루션 신경 회로망에 포함된 필터값을 가변하여 학습된 컨볼루션 신경 회로망을 생성하는 단계를 포함하고, 각 컨볼루션 블록은 컨볼루션 레이어, 배치 정규화(Batch Normalization) 레이어 그리고 ReLU(Rectified Linear Unit) 레이어를 포함한다.
상기 열화상 이미지 개선 방법은 타겟 이미지를 상기 학습된 컨볼루션 신경 회로망에 입력하여 상기 타겟 이미지의 목표 이미지를 추출하는 단계, 그리고 상기 타겟 이미지와 상기 타겟 이미지의 목표 이미지를 합성하여 상기 타겟 이미지를 개선하는 하는 단계를 더 포함할 수 있다.
상기 학습 목표 이미지는 상기 학습 이미지로부터 추출한 개선 정보, 상기 학습 이미지와 기하학적으로 정렬된 이미지로부터 추출한 개선 정보, 상기 학습 이미지의 대조비를 개선한 이미지로부터 추출한 개선 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 실시예에 따르면 여러 장의 이미지 또는 이종 스펙트럼 이미지를 기초로 이미지를 개선할 필요 없이, 컨볼루션 신경 회로망을 이용하여 단일 열화상 이미지를 개선할 수 있다. 본 발명의 실시예에 따르면 가시광 이미지를 열화상 이미지와 동시에 촬영할 필요가 없으므로, 다양한 실내외 환경에 강인한 열화상 이미지의 특징을 그대로 누릴 수 있다. 본 발명의 실시예에 따르면 가시광 이미지를 열화상 이미지와 동시에 촬영할 필요가 없으므로, 움직이는 객체의 출력 이미지에서 고스트 효과가 발생하지 않는다.
본 발명의 실시예에 따르면 학습 단계의 컨볼루션 신경 회로망이 다양한 환경에서 최적화된 파라미터를 내포하므로, 필터 기반 개선 방법에 비해 파라미터 의존성을 낮출 수 있어(non-parametric) 환경에 강인하다. 본 발명의 실시예에 따르면 필터 기반 개선 방법과 같이 저주파 이미지와 고주파 이미지로 나누지 않고 동시에 영상 압축(Dynamic Range Compression)과 디테일 개선(Digital Detail Enhancement)을 할 수 있다. 즉, 본 발명의 실시예에 따르면 고명암비 이미지의 정보를 잃지 않으면서, 동시에 저명암비 이미지의 대조비를 얻을 수 있다.
도 1은 본 발명의 한 실시예에 따른 열화상 이미지 개선 장치의 구성도이다.
도 2부터 도 4는 본 발명의 한 실시예에 따른 학습 목표 이미지 생성 방법을 설명하는 도면이다.
도 5는 본 발명의 한 실시예에 따른 컨볼루션 신경 회로망의 구성도이다.
도 6은 본 발명의 한 실시예에 따른 학습 모델에 따라 개선된 열화상 이미지를 나타내는 도면이다.
도 7은 본 발명의 한 실시예에 따라 저명암비 원본 이미지를 개선한 이미지들의 예시이다.
도 8은 본 발명의 한 실시예에 따라 고명암비 원본 이미지를 개선한 이미지들의 예시이다.
도 9는 본 발명의 한 실시예에 따른 열화상 이미지 개선 방법의 흐름도이다.
도 10은 본 발명의 한 실시예에 따른 열화상 이미지 개선 방법의 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 한 실시예에 따른 열화상 이미지 개선 장치의 구성도이다.
도 1을 참고하면, 열화상 이미지 개선 장치(100)는 학습 이미지(training image)를 기초로 컨볼루션 신경 회로망(Convolution Neural Network, CNN)을 학습시킨다. 그리고, 열화상 이미지 개선 장치(100)는 컨볼루션 신경 회로망을 이용하여 개선 대상인 원본 열화상 이미지의 개선 정보를 포함하는 이미지를 추론한다. 열화상 이미지 개선 장치(100)는 원본 열화상 이미지와 추론된 이미지를 합성하여 개선된 열화상 이미지를 생성한다. 개선된 열화상 이미지는 원본 열화상 이미지보다 에지 디테일을 더 포함한다. 여기서, 원본 열화상 이미지는 열화상 이미지 개선 장치(100)에 의해 개선되기 전의 이미지를 의미하고, 학습 이미지에 대응되는 실험 이미지(test image)로 볼 수 있다. 한편, 개선 대상으로 열화상 이미지를 사용하기 때문에 열화상 이미지 개선 장치(100)라고 부르지만, 열화상 이미지만을 개선하는데 사용되는 것으로 한정되는 것은 아니고, 동일한 방법이 다른 스펙트럼 이미지를 개선하는데 사용될 수 있다.
열화상 이미지 개선 장치(100)는 적어도 하나의 프로세서에 의해 동작하고, 컨볼루션 신경 회로망(300)을 학습시키는 학습부(200), 이미지 수신부(110), 추론 이미지 획득부(130), 그리고 이미지 합성부(150)를 포함한다. 이미지 수신부(110), 추론 이미지 획득부(130), 그리고 이미지 합성부(150)를 간단히 개선부라고 부를 수 있다. 한편, 열화상 이미지 개선 장치(100)와 열화상 카메라(400)는 일체형 또는 분리형으로 구현될 수 있고, 설명을 위해 열화상 이미지 개선 장치(100)와 열화상 카메라(400)가 분리된 것으로 가정한다.
이미지 수신부(110)는 원본 열화상 이미지(10)를 수신한다. 원본 열화상 이미지(10)는 열화상 카메라(300)로부터 수신하거나, 원본 열화상 이미지(10)를 저장한 데이터베이스로부터 수신할 수 있다.
추론 이미지 획득부(130)는 학습부(200)에 의해 학습된 컨볼루션 신경 회로망(300)을 이용하여 원본 열화상 이미지에 대한 추론 이미지(12)를 획득한다. 추론 이미지는 입력 열화상 이미지에서 개선되어야 하는 정보를 포함한다. 구체적으로, 추론 이미지는 입력 열화상 이미지로부터 추론된 엣지 정보를 포함하는 레지듀얼(residual) 이미지일 수 있다. 본 발명에서는 학습 단계에서 두 이미지 사이의 차이에 해당하는 레지듀얼을 기초로 학습 목표 이미지를 생성하므로, 추론 이미지를 레지듀얼 이미지라고 부르나, 학습 목표 이미지에 따라 추론 이미지를 다르게 부를 수 있다. 앞으로, 추론 이미지 획득부(130)에서 추출되는 추론 이미지를 학습 단계에서 사용되는 레지듀얼 이미지와 구분하기 위해 추론 레지듀얼 이미지라고 부른다.
이미지 합성부(150)는 원본 열화상 이미지(10)와 추론 레지듀얼 이미지(12)를 합성(오버레이)하여 출력 이미지(14)를 생성한다. 출력 이미지(14)는 추론 레지듀얼 이미지(12)에 의해 원본 열화상 이미지(10)보다 엣지 정보가 추가되어 이미지 전체적으로 디테일이 개선된 이미지이다.
학습부(200)는 학습 이미지(20)로부터 추론되길 희망하는 학습 목표 이미지(22)를 생성한다. 그리고 학습부(200)는 입력인 학습 이미지(20)로부터 학습 목표 이미지(22)에 가장 가까운 이미지가 출력될 수 있도록 컨볼루션 신경 회로망(300)을 학습시킨다. 구체적으로 학습부(200)는 학습을 통해 컨볼루션 신경 회로망(300)의 최적의 필터값을 찾는다. 학습부(200)는 mean squared error(MSE)를 목적 함수로 사용할 수 있으나 이에 한정되는 것은 아니다. 학습된 컨볼루션 신경 회로망(300)은 추론 이미지 획득부(130)에서 원본 열화상 이미지(10)의 추론 레지듀얼 이미지(12)를 구할 때 사용된다.
학습 목표 이미지는 학습 이미지를 개선하기 위한 개선 정보를 포함하는 이미지로서, 개선 정보는 디테일한 엣지 정보일 수 있다. 이미지에 포함된 엣지 정보는 다양한 방법으로 추출될 수 있다. 예를 들면, 원본 이미지를 업-스케일링/다운-스케일링하여 변환된 이미지는 원본 이미지와 비교해 보면 엣지 부분에서 주로 차이가 발생한다. 따라서, 본 발명에서는 원본 이미지와 원본 이미지로부터 변환된 이미지의 차 이미지가 엣지 정보를 포함하므로, 원본 이미지와 변환된 이미지 사이의 잔여(residual) 정보를 포함하는 레지듀얼 이미지를 학습 목표 이미지로 사용할 수 있다.
학습부(200)는 학습 이미지(20)의 종류에 따른 다양한 학습 모델로 컨볼루션 신경 회로망을 학습시킬 수 있다. 학습부(200)는 데이터베이스에 저장된 학습 이미지(20)를 입력받는다. 학습 이미지(20)는 저명암비 이미지(예를 들면, 8비트 이미지) 또는 고명암비 이미지(예를 들면, 14비트나 16비트 이미지)일 수 있다. 고명암비 이미지는 저명암비 이미지로 압축된 후, 컨볼루션 신경 회로망 학습에 이용될 수 있다.
학습부(200)는 학습 이미지(20)로부터 추론되길 희망하는 학습 목표 이미지(22)를 생성하는데, 학습 목표 이미지(22)는 열화상 이미지인 학습 이미지(20)로부터 생성될 수 있다. 또는 학습 목표 이미지(22)는 학습 이미지(20)와 이종 스펙트럼인 가시광 이미지(RGB 이미지)로부터 생성될 수 있다. 이때, 학습 목표 이미지(22) 생성에 사용되는 가시광 이미지와 학습 이미지(20)인 열화상 이미지는 기하학적으로 정렬(align)된 이미지들이다. 즉, 서로 다른 센서로 동일 화면을 각각 촬영하여 기하학적으로 정렬된 가시광 이미지와 열화상 이미지를 획득할 수 있다.
도 2부터 도 4는 본 발명의 한 실시예에 따른 학습 목표 이미지 생성 방법을 설명하는 도면이다.
먼저, 도 1에서 학습부(200)는 학습 이미지(20)로부터 추론되길 희망하는 학습 목표 이미지(22)를 생성한다. 추론되길 희망하는 학습 목표 이미지(22)는 학습 이미지(20)의 개선 정보를 포함하는 레지듀얼 이미지일 수 있다. 앞에서 설명한 추론 레지듀얼 이미지와 구분하기 위해 학습 목표 이미지(22)를 학습 레지듀얼 이미지라고 부른다.
학습 레지듀얼 이미지[
Figure 112016076316846-pat00001
]는 수학식 1과 같이 멀티 스케일(multi-scale) 레지듀얼 이미지들의 합으로 계산될 수 있다. 수학식 1에서, I는 입력 이미지이고,
Figure 112016076316846-pat00002
(sigma)는 크기 변환을 위한 스케일링 변수(scaling factor)이며,
Figure 112016076316846-pat00003
는 입력 이미지(I)와 입력 이미지(I)를 스케일링 변수로 보간한 이미지의 차이 성분 또는 잔여 성분(residual)으로서, 레지듀얼 이미지라고 부른다.
Figure 112016076316846-pat00004
는 입력 이미지(x)를 스케일 변수(
Figure 112016076316846-pat00005
)로 업 샘플링한 업-스케일 이미지이며,
Figure 112016076316846-pat00006
는 입력 이미지(I)를 스케일 변수(
Figure 112016076316846-pat00007
)로 다운 샘플링한 다운-스케일 이미지이다.
Figure 112016076316846-pat00008
는 고등차수 보간(bicubic interpolation)으로 업 샘플링하는 것으로 설명하고 있으나 다양한 보간 방법을 사용할 수 있다.
Figure 112016076316846-pat00009
의 x는 입력 이미지(I)의 다운-스케일 이미지[
Figure 112016076316846-pat00010
]일 수 있다. 입력 이미지(I)와, 입력 이미지(I)의 다운-스케일 이미지[
Figure 112016076316846-pat00011
]를 다시 업 샘플링한 업-스케일 이미지[
Figure 112016076316846-pat00012
]의 차이가 크기 변환 변수(
Figure 112016076316846-pat00013
)에 대응되는 레지듀얼 이미지[
Figure 112016076316846-pat00014
]이다.
Figure 112016076316846-pat00015
도 2를 참고하면, 학습부(200)는 열화상 레지듀얼 학습 모델로 컨볼루션 신경 회로망(300)을 학습시킬 수 있다. 열화상 레지듀얼 학습 모델은 열화상 이미지로부터 생성된 학습 레지듀얼 이미지를 이용한 학습 모델을 의미한다. 이를 위해 학습부(200)는 열화상 이미지인 학습 이미지(30)를 입력 이미지(I)로 설정하고, 입력 이미지(I)로부터 멀티 스케일 레지듀얼 이미지들[
Figure 112016076316846-pat00016
]을 계산할 수 있다. 그리고, 학습부(200)는 멀티 스케일 레지듀얼 이미지들을 합산하여 학습 레지듀얼 이미지[
Figure 112016076316846-pat00017
](40)를 생성한다. 멀티 스케일 레지듀얼 이미지들을 생성하기 위한 스케일링 변수들은 다양하게 선택될 수 있다.
스케일링 변수가 21, 22, 23인 경우, 스케일링 변수에 대응되는 입력 이미지(I)의 학습 레지듀얼 이미지
Figure 112016076316846-pat00018
는 다음과 같이 생성된다.
Figure 112016076316846-pat00019
는 스케일링 변수(
Figure 112016076316846-pat00020
)에 대응되는 학습 레지듀얼 이미지이고, 입력 이미지(I)를 스케일링 변수 2로 다운 샘플링한 이미지를 고등차수 보간한 이미지(30a)와 입력 이미지(I)의 차 이미지이다.
Figure 112016076316846-pat00021
는 스케일링 변수(
Figure 112016076316846-pat00022
)에 대응되는 학습 레지듀얼 이미지이고 입력 이미지(I)를 스케일링 변수 4로 다운 샘플링한 이미지를 고등차수 보간한 이미지(30b)와 입력 이미지(I)의 차 이미지이다.
Figure 112016076316846-pat00023
는 스케일링 변수(
Figure 112016076316846-pat00024
)에 대응되는 학습 레지듀얼 이미지이고, 입력 이미지(I)를 스케일링 변수 8로 다운 샘플링한 이미지를 고등차수 보간한 이미지(30c)와 입력 이미지(I)의 차 이미지이다. 참고로, 특정 이미지를 스케일링 변수(
Figure 112016076316846-pat00025
)로 고등차수 보간하면, 특정 이미지의 가로 및 세로 해상도 각각을 2배로 업-스케일링(샘플링)하는 변환을　i번 수행하는 것을 의미한다.
도 3을 참고하면, 학습부(200)는 가시광 레지듀얼 학습 모델로 컨볼루션 신경 회로망(300)을 학습시킬 수 있다. 가시광 레지듀얼 학습 모델은 가시광 이미지로부터 생성된 학습 레지듀얼 이미지를 이용한 학습 모델을 의미한다. 이를 위해 학습부(200)는 열화상 이미지인 학습 이미지(30) 대신, 학습 이미지(30)와 기하학적으로 정렬된 가시광 이미지(RGB 이미지)(50)를 입력 이미지(I)로 설정하고, 입력 이미지(I)로부터 멀티 스케일 레지듀얼 이미지들[
Figure 112016076316846-pat00026
]을 계산할 수 있다. 그리고, 학습부(200)는 멀티 스케일 레지듀얼 이미지들을 합산하여 가시광 이미지로부터 획득한 학습 레지듀얼 이미지[
Figure 112016076316846-pat00027
](42)를 생성한다. 멀티 스케일 레지듀얼 이미지들을 계산하는 방법은 도 2와 동일하다. 다만, 가시광 이미지는 3채널을 가지기 때문에 1채널로 채널을 축소해야 한다. 학습부(200)는 가시광 이미지(50)에서 밝기 성분에 해당하는 채널만의 선택하여 1채널로 축소할 수 있다. 이미지 밝기 성분을 추출하는 방법은 다양하며, 예를 들면, YCbCr의 Y채널을 사용할 수 있다.
스케일링 변수가 21, 22, 23인 경우, 학습 레지듀얼 이미지
Figure 112016076316846-pat00028
각각은 입력 이미지(I)와 스케일링 변수 2/4/8로 고등차수 보간된 이미지(50a, 50b, 50c)의 차 이미지이다.
이와 같이, 가시광 레지듀얼 학습 모델은 학습 단계에서 가시광 이미지의 디테일한 엣지 정보를 포함하는 레지듀얼로 컨볼루션 신경 회로망(300)을 학습시킨다. 따라서, 원본 열화상 이미지와 가시광 이미지를 동시에 획득하지 않더라도(즉, 가시광 센서 없이도), 가시광 이미지의 디테일한 엣지 정보를 내포하는 레지듀얼 이미지를 컨볼루션 신경 회로망(300)으로 추론하여 원본 열화상 이미지를 개선할 수 있다.
도 4를 참고하면, 학습부(200)는 학습 이미지가 저명암비 이미지이거나 고명암비 이미지일 수 있다. 만약, 학습 이미지(32)가 고명암비 이미지인 경우, 학습부(200)는 학습 이미지(32)를 저명암비 이미지(34)로 변환한다. 그리고, 학습부(200)는 학습 이미지(32)의 저명암비 이미지(34)를 입력 이미지(I)로 설정하고, 입력 이미지(I)로부터 계산된 멀티 스케일 레지듀얼 이미지들[
Figure 112016076316846-pat00029
]을 합산하여 학습 레지듀얼 이미지[
Figure 112016076316846-pat00030
](44)를 생성한다.
고명암비 이미지에서 대조비가 향상된 저명암비 이미지를 생성하는 방법은 다양할 수 있다. 예를 들면, 학습부(200)는 히스토그램 평활화 방법을 통해 대조비가 향상된 저명암비 이미지(34)를 생성할 수 있다. 대조비 향상 방법은 히스토그램의 각 빈에 일정 이상의 픽셀 수가 들어가지 않도록 제한하여, 표현될 수 있는 모든 경우의 픽셀 값이 존재할 수 있도록 하는 방법이다. 여기서 일정 이상의 픽셀 수는 고정되지 않으며, 이미지의 히스토그램에 따라서 결정된다.
따라서, 열화상 이미지 개선 장치(100)는 대조비가 개선되지 않은 고명암비 이미지의 원본 열화상 이미지를 수신하더라도, 고명암비 이미지를 저명암비 이미지로 압축할 수 있고, 동시에 컨볼루션 신경 회로망(300)을 통해 추론한 레지듀얼 이미지를 기초로 디테일을 개선할 수 있다.
도 5는 본 발명의 한 실시예에 따른 컨볼루션 신경 회로망의 구성도이다.
도 5를 참고하면, 컨볼루션 신경 회로망(300)은 학습부(200)에 의한 반복적인 학습을 통해 도출된 최적의 필터값을 가진다. 최적의 필터값은 학습 이미지와 학습 목표 이미지인 학습 레지듀얼 이미지의 차이를 최소화하는 값으로 추출되고, 컨볼루션 레이어의 필터값으로 설정된다.
컨볼루션 신경 회로망(300)은 입력 이미지에 대한 개선 정보를 포함하는 레지듀얼 이미지를 출력하도록 학습되어 있으므로, 입력된 원본 열화상 이미지에 대한 개선 정보를 포함하는 레지듀얼 이미지를 추론하여 출력한다. 컨볼루션 신경 회로망(300)은 복수의 컨볼루션 블록과 하나의 컨볼루션 레이어로 구성될 수 있다. 예를 들면, 컨볼루션 신경 회로망(300)은 30개의 컨볼루션 블록과 하나의 컨볼루션 레이어를 포함할 수 있다. 컨볼루션 블록은 복수의 레이어가 쌍으로 구성될 수 있다. 각 컨볼루션 블록은 컨볼루션 레이어, 배치 정규화(Batch Normalization) 레이어 그리고 ReLU(Rectified Linear Unit) 레이어를 포함할 수 있다. 컨볼루션 레이어는 복수의 컨볼루션 블록에서 생성된 복수의 차원을 일차원으로 변환한다.
컨볼루션 레이어는 필터로 입력값을 컨볼루션하여 입력의 특징(feature)을 추출한다. 컨볼루션 레이어는 예를 들면, 3x3 크기의 필터를 사용하고, 64 크기의 차원을 가지도록 설정될 수 있다. 학습에 의해 최적의 필터값이 결정된다. 학습 시 사용하는 미니 배치(mini-batch)의 크기는 64일 수 있다. 배치 정규화 레이어는 배치의 평균이나 표준편차를 기초로 정규화된 출력값을 생성하는 레이어로서, 컨볼루션 신경 회로망의 안정성을 높일 수 있다. ReLU 레이어는 활성 함수(activation function)를 통해 다음 블록으로 보내는 값을 출력한다. 0 이상의 값만을 정류하여 출력[f(x)=max(0, x)]하는 활성 함수를 사용하므로 정류된 선형 유닛이라고 부른다.
각 블록의 레이어 구성 및 파라미터(d, f, s, p)는 수학식 2와 같이 표현될 수 있고, 파라미터의 종류와 설정값은 가변될 수 있다. 수학식 1에서 d는 차원(dimension) 크기, f는 필터 크기, s는 이동(stride) 그리고 p는 패딩(padding)을 의미한다.
Figure 112016076316846-pat00031
도 6은 본 발명의 한 실시예에 따른 학습 모델에 따라 개선된 열화상 이미지를 나타내는 도면이다.
도 6을 참고하면, 컨볼루션 신경 회로망(300)은 열화상 레지듀얼 학습 모델로 학습된 컨볼루션 신경 회로망(300a)과 가시광 레지듀얼 학습 모델로 학습된 컨볼루션 신경 회로망(300b) 중 적어도 하나를 포함할 수 있다.
열화상 이미지 개선 장치(100)는 컨볼루션 신경 회로망(300a)을 통해 원본 열화상 이미지(60)의 추론 레지듀얼 이미지를 획득하고, 획득한 추론 이미지를 원본 열화상 이미지(60)에 합성하여 엣지 디테일 등이 개선된 출력 이미지(62)를 생성할 수 있다.
또는 열화상 이미지 개선 장치(100)는 컨볼루션 신경 회로망(300b)을 통해 원본 열화상 이미지(60)의 추론 레지듀얼 이미지를 획득하고, 획득한 추론 이미지를 원본 열화상 이미지(60)에 합성하여 엣지 디테일 등이 개선된 출력 이미지(64)를 생성할 수 있다.
컨볼루션 신경 회로망(300b)은 열화상 이미지보다 훨씬 많은 특징 정보를 포함하는 가시광 이미지의 레지듀얼로 학습되므로, 컨볼루션 신경 회로망(300a)의 출력 이미지(62)보다 더 개선된 출력 이미지(64)를 생성할 수 있다.
도 7은 본 발명의 한 실시예에 따라 저명암비 원본 이미지를 개선한 이미지들의 예시이고, 도 8은 본 발명의 한 실시예에 따라 고명암비 원본 이미지를 개선한 이미지들의 예시이다.
도 7을 참고하면, 원본 열화상 이미지와 열화상 이미지 개선 장치(100)에 의해 개선된 이미지를 비교하면, 이미지를 구성하는 디테일 정보가 확연히 개선됨을 확인할 수 있다.
도 8을 참고하면, 고명암비의 원본 열화상 이미지 역시, 열화상 이미지 개선 장치(100)에 의해 이미지를 구성하는 디테일 정보가 확연히 개선됨을 확인할 수 있다.
도 9는 본 발명의 한 실시예에 따른 열화상 이미지 개선 방법의 흐름도이다.
도 9를 참고하면, 열화상 이미지 개선 장치(100)는 학습 이미지로부터 추론되길 희망하는 엣지 정보를 포함하는 학습 목표 이미지를 생성한다(S110). 학습 목표 이미지는 학습 이미지와 동종 스펙트럼 또는 이종 스펙트럼 이미지로부터 계산될 수 있다. 학습 목표 이미지는 수학식 1과 같이, 입력 이미지(I)에 대한 멀티 스케일 레지듀얼 이미지들의 합[
Figure 112016076316846-pat00032
]으로 계산될 수 있다. 각 스케일링 변수에 대한 레지듀얼 이미지[
Figure 112016076316846-pat00033
]는 입력 이미지(I)와 해당 스케일링 변수로 입력 이미지(I)를 가공한 이미지(예를 들면, 고등차수 보간 이미지)의 차 이미지로서, 엣지 정보가 포함된다. 학습 목표 이미지 계산에 사용되는 입력 이미지는 저명암비의 학습 이미지일 수 있다. 학습 목표 이미지 계산에 사용되는 입력 이미지는 고명암비의 학습 이미지로부터 변환된 저명암비의 열화상 이미지일 수 있다. 또는 학습 목표 이미지 계산에 사용되는 입력 이미지는 학습 이미지와 기하학적으로 정렬된 가시광 이미지일 수 있다.
열화상 이미지 개선 장치(100)는 학습 이미지와 학습 목표 이미지를 이용하여 컨볼루션 신경 회로망(300)을 학습시킨다(S120). 열화상 이미지 개선 장치(100)는 학습을 통해 컨볼루션 신경 회로망(300)의 최적의 필터값을 찾는다. 컨볼루션 신경 회로망(300)은 도 5와 같이 복수의 컨볼루션 블록과 하나의 컨볼루션 레이어로 구성되고, 각 컨볼루션 블록은 컨볼루션 레이어, 배치 정규화 레이어 그리고 ReLU 레이어로 구성될 수 있다.
열화상 이미지 개선 장치(100)는 원본 열화상 이미지를 수신한다(S130).
열화상 이미지 개선 장치(100)는 컨볼루션 신경 회로망(300)에서 원본 열화상 이미지의 엣지 정보를 포함하는 추론 이미지를 획득한다(S140). 컨볼루션 신경 회로망(300)은 학습 이미지로부터 학습 이미지의 엣지 정보를 포함하는 학습 목표 이미지가 추론되도록 학습되었으므로, 원본 열화상 이미지가 입력되면 원본 열화상 이미지의 엣지 정보를 포함하는 추론 이미지를 출력한다.
열화상 이미지 개선 장치(100)는 원본 열화상 이미지와 추론 이미지를 합성하여 출력 이미지를 생성한다(S150).
도 10은 본 발명의 한 실시예에 따른 열화상 이미지 개선 방법의 흐름도이다.
도 10을 참고하면, 열화상 이미지 개선 장치(100)는 고명암비 학습 이미지를 저명암비 이미지로 변환한다(S210). 저명암비 이미지는 대조비 향상된 이미지이다.
열화상 이미지 개선 장치(100)는 저명암비 이미지로부터 추론되길 희망하는 엣지 정보를 포함하는 학습 목표 이미지를 생성한다(S220). 학습 목표 이미지는 도 3을 참고로 설명한 바와 같이, 고명암비 학습 이미지 대신, 대조비 향상된 저명암비 이미지로부터 계산된 학습 레지듀얼 이미지이다.
열화상 이미지 개선 장치(100)는 고명암비 학습 이미지와 대조비 향상된 저명암비 학습 이미지로부터 추출된학습 목표 이미지를 이용하여 컨볼루션 신경 회로망(300)을 학습시킨다(S230).
열화상 이미지 개선 장치(100)는 고명암비의 원본 열화상 이미지를 수신한다(S240).
열화상 이미지 개선 장치(100)는 고명암비 학습 이미지로 학습된 컨볼루션 신경 회로망(300)에서 고명암비 원본 열화상 이미지의 엣지 정보를 포함하는 추론 이미지를 획득한다(S250). 추론 이미지는 대조비 향상된 저명암비 학습 이미지로 학습된 컨볼루션 신경 회로망(300)에서 추론되는 레지듀얼 이미지이므로, 명암비 향상 정보와 개선된 엣지 정보를 포함한다.
열화상 이미지 개선 장치(100)는 고명암비의 원본 열화상 이미지와 추론 이미지를 합성하여 출력 이미지를 생성한다(S260).
이와 같이, 열화상 이미지 개선 장치(100)는 단일 열화상 이미지로도 컨볼루션 신경 회로망으로 추론한 레지듀얼 이미지를 이용하여 개선할 수 있다. 열화상 이미지 개선 장치(100)는 가시광 이미지나 열화상 이미지의 고주파 성분에 포함되는 엣지 정보를 컨볼루션 신경 회로망을 추론할 수 있으므로, 가시광 이미지와 열화상 이미지와 동시에 촬영해야 하는 기술의 단점을 해소할 수 있고, 환경 변화에 강인하지 못한 필터 기반 개선 방법의 단점을 해소할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (19)

  1. 적어도 하나의 프로세서에 의해 동작하는 이미지 개선 장치로서,
    학습 이미지의 개선 정보를 포함하는 학습 목표 이미지를 생성하고, 상기 학습 이미지로부터 상기 학습 목표 이미지가 추론되도록 컨볼루션 신경 회로망을 학습시키는 학습부,
    상기 컨볼루션 신경 회로망을 이용하여, 입력된 원본 이미지에 대한 추론 이미지를 획득하는 획득부, 그리고
    상기 원본 이미지와 상기 추론 이미지를 합성하여 출력 이미지를 생성하는 합성부
    를 포함하며,
    상기 학습 이미지와 상기 원본 이미지는 열화상 이미지이고,
    상기 개선 정보는 엣지 정보를 포함하며,
    상기 추론 이미지는 상기 원본 이미지의 엣지 정보를 포함하는 이미지 개선 장치.
  2. 제1항에서,
    상기 학습부는
    상기 학습 이미지로부터 추출한 엣지 정보를 포함하는 이미지를 상기 학습 목표 이미지로 사용하는, 이미지 개선 장치.
  3. 제1항에서,
    상기 학습부는
    상기 학습 이미지와 기하학적으로 정렬된 이미지로부터 엣지 정보를 추출하고, 추출한 엣지 정보를 포함하는 이미지를 상기 학습 목표 이미지로 사용하는, 이미지 개선 장치.
  4. 제1항에서,
    상기 학습부는
    상기 학습 이미지의 대조비를 개선한 이미지로부터 엣지 정보를 추출하고, 추출한 엣지 정보를 포함하는 이미지를 상기 학습 목표 이미지로 사용하는, 이미지 개선 장치.
  5. 제1항에서,
    상기 학습부는
    기준 이미지와 상기 기준 이미지로부터 가공된 이미지의 차이를 나타내는 레지듀얼(residual) 이미지를 상기 학습 목표 이미지로 사용하고,
    상기 기준 이미지는 상기 학습 이미지, 상기 학습 이미지와 기하학적으로 정렬된 가시광 이미지, 그리고 상기 학습 이미지의 대조비를 개선한 이미지 중 어느 하나인 이미지 개선 장치.
  6. 제5항에서,
    상기 가공된 이미지는 상기 기준 이미지를 스케일링 변수(scaling factor)에 따라 고등차수 보간한 이미지(bicubic interpolation image)인 이미지 개선 장치.
  7. 제5항에서,
    상기 레지듀얼 이미지는
    복수의 스케일링 변수(scaling factor)에 따라 상기 기준 이미지로부터 가공된 이미지들 각각과 상기 기준 이미지의 차이를 합산한 이미지인 이미지 개선 장치.
  8. 제1항에서,
    상기 컨볼루션 신경 회로망은 복수의 컨볼루션 블록과 하나의 컨볼루션 레이어를 포함하고,
    각 컨볼루션 블록은 컨볼루션 레이어, 배치 정규화(Batch Normalization) 레이어 그리고 ReLU(Rectified Linear Unit) 레이어를 포함하는 이미지 개선 장치.
  9. 제8항에서,
    상기 학습부는
    상기 학습 이미지로부터 상기 학습 목표 이미지가 추론되도록 상기 컨볼루션 레이어의 필터값을 최적화하는 이미지 개선 장치.
  10. 제1항에서,
    상기 컨볼루션 신경 회로망은 상기 원본 이미지의 개선 정보를 포함하는 상기 추론 이미지를 출력하는 이미지 개선 장치.
  11. 적어도 하나의 프로세서에 의해 동작하는 장치의 열화상 이미지 개선 방법으로서,
    학습 이미지의 개선 정보를 포함하는 학습 목표 이미지를 생성하는 단계,
    상기 학습 이미지로부터 상기 학습 목표 이미지가 추론되도록 컨볼루션 신경 회로망을 학습시키는 단계,
    개선 대상인 원본 이미지를 상기 컨볼루션 신경 회로망에 입력하여 추론 이미지를 획득하는 단계, 그리고
    상기 원본 이미지와 상기 추론 이미지를 합성하여 출력 이미지를 생성하는 단계
    를 포함하며,
    상기 학습 이미지와 상기 원본 이미지는 열화상 이미지이고,
    상기 개선 정보는 엣지 정보를 포함하며,
    상기 추론 이미지는 상기 원본 이미지의 엣지 정보를 포함하는 열화상 이미지 개선 방법.
  12. 제11항에서,
    상기 학습 목표 이미지를 생성하는 단계는
    상기 학습 이미지로부터 추출한 개선 정보, 상기 학습 이미지와 기하학적으로 정렬된 이미지로부터 추출한 개선 정보, 상기 학습 이미지의 대조비를 개선한 이미지로부터 추출한 개선 정보 중 적어도 하나를 포함하는 상기 학습 목표 이미지를 생성하는 열화상 이미지 개선 방법.
  13. 제12항에서,
    상기 학습 이미지와 기하학적으로 정렬된 이미지는 가시광 이미지인, 열화상 이미지 개선 방법.
  14. 삭제
  15. 제11항에서,
    상기 학습 목표 이미지를 생성하는 단계는
    기준 이미지와 상기 기준 이미지로부터 가공된 이미지 사이의 차이를 나타내는 레지듀얼(residual) 이미지를 상기 학습 목표 이미지로 사용하고,
    상기 기준 이미지는 상기 학습 이미지, 상기 학습 이미지와 기하학적으로 정렬된 가시광 이미지, 그리고 상기 학습 이미지의 대조비를 개선한 이미지 중 어느 하나인 열화상 이미지 개선 방법.
  16. 제11항에서,
    상기 컨볼루션 신경 회로망을 학습시키는 단계는
    복수의 컨볼루션 블록과 하나의 컨볼루션 레이어를 포함하는 초기 컨볼루션 신경 회로망을 생성하는 단계, 그리고
    상기 학습 이미지로부터 상기 학습 목표 이미지가 추론되도록 상기 초기 컨볼루션 신경 회로망에 포함된 필터값을 가변하여 학습된 컨볼루션 신경 회로망을 생성하는 단계
    를 포함하는 열화상 이미지 개선 방법.
  17. 적어도 하나의 프로세서에 의해 동작하는 장치의 열화상 이미지 개선 방법으로서,
    복수의 컨볼루션 블록과 하나의 컨볼루션 레이어를 포함하는 초기 컨볼루션 신경 회로망을 생성하는 단계,
    학습 이미지로부터 학습 목표 이미지가 추론되도록 상기 초기 컨볼루션 신경 회로망에 포함된 필터값을 가변하여 학습된 컨볼루션 신경 회로망을 생성하는 단계,
    타겟 이미지를 상기 학습된 컨볼루션 신경 회로망에 입력하여 상기 타겟 이미지의 목표 이미지를 추출하는 단계, 그리고
    상기 타겟 이미지와 상기 타겟 이미지의 목표 이미지를 합성하여 상기 타겟 이미지를 개선하는 하는 단계를 포함하고,
    상기 학습 이미지와 상기 타겟 이미지는 열화상 이미지이며,
    상기 학습 목표 이미지는 상기 학습 이미지의 엣지 정보를 포함하고,
    상기 목표 이미지는 상기 타겟 이미지의 엣지 정보를 포함하며,
    각 컨볼루션 블록은 컨볼루션 레이어, 배치 정규화(Batch Normalization) 레이어 그리고 ReLU(Rectified Linear Unit) 레이어를 포함하는 열화상 이미지 개선 방법.
  18. 삭제
  19. 제17항에서,
    상기 학습 목표 이미지는
    상기 학습 이미지로부터 추출한 개선 정보, 상기 학습 이미지와 기하학적으로 정렬된 이미지로부터 추출한 개선 정보, 상기 학습 이미지의 대조비를 개선한 이미지로부터 추출한 개선 정보 중 적어도 하나를 포함하는 이미지인 열화상 이미지 개선 방법.
KR1020160100058A 2016-08-05 2016-08-05 열화상 이미지 개선 장치 및 방법 KR101821285B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160100058A KR101821285B1 (ko) 2016-08-05 2016-08-05 열화상 이미지 개선 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160100058A KR101821285B1 (ko) 2016-08-05 2016-08-05 열화상 이미지 개선 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101821285B1 true KR101821285B1 (ko) 2018-01-23

Family

ID=61070914

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160100058A KR101821285B1 (ko) 2016-08-05 2016-08-05 열화상 이미지 개선 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101821285B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190095901A (ko) * 2018-02-07 2019-08-16 울산과학기술원 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치
KR20200068062A (ko) * 2018-11-27 2020-06-15 (주)팍스메디 열화상이미지의 해상도 보정장치
WO2020122897A1 (en) * 2018-12-12 2020-06-18 Hewlett-Packard Development Company, L.P. Object manufacturing visualization
WO2021112280A1 (ko) * 2019-12-04 2021-06-10 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
WO2021251659A1 (en) * 2020-06-11 2021-12-16 Samsung Electronics Co., Ltd. Method and apparatus for performing artificial intelligence encoding and artificial intelligence decoding
KR20220017657A (ko) * 2020-08-05 2022-02-14 (주)이포즌 콘크리트 균열 탐지 장치 및 방법
WO2024043604A1 (ko) * 2022-08-22 2024-02-29 삼성전자 주식회사 신경망을 통해 이미지를 처리하는 방법 및 그 전자 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006140952A (ja) * 2004-11-15 2006-06-01 Toa Corp 画像処理装置および画像処理方法
JP2011160221A (ja) * 2010-02-01 2011-08-18 Casio Computer Co Ltd 画像処理装置、画像処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006140952A (ja) * 2004-11-15 2006-06-01 Toa Corp 画像処理装置および画像処理方法
JP2011160221A (ja) * 2010-02-01 2011-08-18 Casio Computer Co Ltd 画像処理装置、画像処理方法、及びプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102237288B1 (ko) 2018-02-07 2021-04-07 울산과학기술원 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치
KR20190095901A (ko) * 2018-02-07 2019-08-16 울산과학기술원 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치
KR20200068062A (ko) * 2018-11-27 2020-06-15 (주)팍스메디 열화상이미지의 해상도 보정장치
KR102140657B1 (ko) * 2018-11-27 2020-08-03 (주)팍스메디 열화상이미지의 해상도 보정장치
KR20210091772A (ko) * 2018-12-12 2021-07-22 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 객체 제조 시각화
WO2020122897A1 (en) * 2018-12-12 2020-06-18 Hewlett-Packard Development Company, L.P. Object manufacturing visualization
KR102439037B1 (ko) * 2018-12-12 2022-09-02 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 객체 제조 시각화
US11971689B2 (en) 2018-12-12 2024-04-30 Hewlett-Packard Development Company, L.P. Object manufacturing visualization
WO2021112280A1 (ko) * 2019-12-04 2021-06-10 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
WO2021251659A1 (en) * 2020-06-11 2021-12-16 Samsung Electronics Co., Ltd. Method and apparatus for performing artificial intelligence encoding and artificial intelligence decoding
US11270469B2 (en) 2020-06-11 2022-03-08 Samsung Electronics Co., Ltd. Method and apparatus for performing artificial intelligence encoding and artificial intelligence decoding
US11816872B2 (en) 2020-06-11 2023-11-14 Samsung Electronics Co., Ltd. Method and apparatus for performing artificial intelligence encoding and artificial intelligence decoding
KR20220017657A (ko) * 2020-08-05 2022-02-14 (주)이포즌 콘크리트 균열 탐지 장치 및 방법
KR102408407B1 (ko) 2020-08-05 2022-06-14 (주)이포즌 콘크리트 균열 탐지 장치 및 방법
WO2024043604A1 (ko) * 2022-08-22 2024-02-29 삼성전자 주식회사 신경망을 통해 이미지를 처리하는 방법 및 그 전자 장치

Similar Documents

Publication Publication Date Title
KR101821285B1 (ko) 열화상 이미지 개선 장치 및 방법
US10672112B2 (en) Method and system for real-time noise removal and image enhancement of high-dynamic range images
KR101831551B1 (ko) 높은 동적 범위의 이미지 생성 및 렌더링
US7529425B2 (en) Denoising method, apparatus, and program
TWI431549B (zh) Image processing apparatus and method and computer program product
Li et al. A multi-scale fusion scheme based on haze-relevant features for single image dehazing
US20240062530A1 (en) Deep perceptual image enhancement
JP2006508460A (ja) 画像信号処理方法
KR102567860B1 (ko) 개선된 역 톤 매핑 방법 및 대응하는 디바이스
CN109074637B (zh) 用于从多个相应的输入图像通道生成输出图像的方法和系统
US9113089B2 (en) Noise-constrained tone curve generation
JP5457652B2 (ja) 画像処理装置およびその方法
US11145032B2 (en) Image processing apparatus, method and storage medium for reducing color noise and false color
Bhairannawar Efficient medical image enhancement technique using transform HSV space and adaptive histogram equalization
CN109478316B (zh) 实时自适应阴影和高光增强
Liu et al. Enhancement of low illumination images based on an optimal hyperbolic tangent profile
CN110599418A (zh) 一种变换域融合的全局色调映射方法
JP5410378B2 (ja) 映像信号補正装置および映像信号補正プログラム
Lei et al. An investigation of retinex algorithms for image enhancement
Zeng et al. Review of image fusion algorithms for unconstrained outdoor scenes
JP4359662B2 (ja) カラー画像の露出補正方法
EP3054416B1 (en) Method, system and device for generating more natural images
JP2005182232A (ja) 輝度補正装置および輝度補正方法
JP4125191B2 (ja) 画像処理装置および方法
JP2007234034A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant