KR20210127591A - 이미지 처리 장치 및 그 방법 - Google Patents

이미지 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR20210127591A
KR20210127591A KR1020200159825A KR20200159825A KR20210127591A KR 20210127591 A KR20210127591 A KR 20210127591A KR 1020200159825 A KR1020200159825 A KR 1020200159825A KR 20200159825 A KR20200159825 A KR 20200159825A KR 20210127591 A KR20210127591 A KR 20210127591A
Authority
KR
South Korea
Prior art keywords
images
ldr
generating
deep learning
kernels
Prior art date
Application number
KR1020200159825A
Other languages
English (en)
Inventor
조남익
이상훈
정혜수
Original Assignee
에스케이하이닉스 주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사, 서울대학교산학협력단 filed Critical 에스케이하이닉스 주식회사
Priority to US17/123,421 priority Critical patent/US20210319542A1/en
Publication of KR20210127591A publication Critical patent/KR20210127591A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

실시예들은 서로 다른 노출들에서 촬영된 복수개의 LDR 이미지들을 이용하여 하나의 HDR 이미지를 생성하는 이미지 처리 장치 및 방법을 개시한다. 상기 이미지 처리 장치는, 서로 다른 노출 값에서 촬영된 복수개의 LDR 이미지들을 수신하고, 상기 복수개의 LDR 이미지들을 이용하여 정렬을 위한 커널들을 생성하며, 상기 커널들을 상기 복수개의 LDR 이미지들에 적용하여 정렬된 이미지들을 생성하고, 상기 정렬된 이미지들을 합성하여 HDR 이미지를 생성하는 딥 러닝 프레임워크;를 포함할 수 있다.

Description

이미지 처리 장치 및 그 방법{IMAGE PROCESSING APPARATUS AND METHOD THEREOF}
본 발명은 이미지 처리 장치 및 그 방법에 관한 것으로, 더 상세하게는 복수개의 LDR(low dynamic range) 이미지들을 이용하여 HDR(high dynamic range) 이미지를 생성하는 이미지 처리 장치 및 방법에 관한 것이다.
일반적으로 인간의 눈으로 지각되는 밝기의 동적 범위는 매우 넓다. 그러나, 일반적인 카메라에서 촬영되는 이미지들은 이미지 센서의 한계 때문에 제한된 동적 범위를 가진다. 종래 기술에 따른 이미지 처리 장치는 카메라의 동적 범위 밖의 영역에 대해서는 제대로 표현할 수 없다. 따라서, 현재의 디스플레이 환경 및 인간의 눈으로 지각되는 동적 범위를 고려하여 HDR 이미지를 제공하는 기술이 요구되고 있다.
특허문헌 1: KR 10-2015-0132605(2015.11.25) 특허문헌 2: KR 10-2016-0138685(2016.12.06)
본 발명이 해결하고자 하는 기술적 과제는 서로 다른 노출들에서 촬영된 복수개의 LDR 이미지들을 이용하여 하나의 HDR 이미지를 생성하는 이미지 처리 장치 및 방법을 제공하는데 있다.
일 실시예에 따른 이미지 처리 장치는, 서로 다른 노출들에서 촬영된 복수개의 LDR 이미지들을 수신하고, 상기 복수개의 LDR 이미지들을 이용하여 정렬을 위한 커널들을 생성하며, 상기 커널들을 상기 복수개의 LDR 이미지들에 적용하여 정렬된 이미지들을 생성하고, 상기 정렬된 이미지들을 합성하여 HDR 이미지를 생성하는 딥 러닝 프레임워크;를 포함할 수 있다.
일 실시예에 따른 이미지 처리 방법은, 서로 다른 노출들에서 촬영된 복수개의 LDR 이미지들을 수신하는 단계; 상기 복수개의 LDR 이미지들을 이용하여 정렬을 위한 커널들을 생성하는 단계; 상기 커널들을 상기 복수개의 LDR 이미지들에 적용하여 정렬된 이미지들을 생성하는 단계; 및 상기 정렬된 이미지들을 합성하여 HDR 이미지를 생성하는 단계;를 포함할 수 있다.
실시예들에 따르면, LDR 이미지들을 정렬하는 과정과 정렬된 이미지들을 합성하여 HDR 이미지를 생성하는 과정을 포함하는 하나의 딥 러닝 프레임워크를 구축함으로써 넓은 동적 범위를 가지는 HDR 이미지를 생성할 수 있다.
또한, 실시예들은 딥 러닝 프레임워크에서 피쳐(feature) 수준에서 정렬을 수행하므로 LDR 이미지들의 정보 손실을 최소화할 수 있다.
또한, 실시예들은 LDR 이미지들의 각 픽셀들에 대한 커널들을 생성하여 LDR 이미지들에 적용하므로 객체의 큰 움직임이 있는 경우에도 정교한 정렬이 가능하며 세부 정보도 잘 보존할 수 있다.
또한, 실시예들은 LDR 이미지들로부터 HDR 이미지를 생성하는 일련의 과정을 딥 러닝 프레임워크를 통해서 한번에 학습할 수 있다.
도 1은 일 실시예에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 2는 도 1에 도시된 정렬 모듈의 구조를 설명하기 위한 도면이다.
도 3은 도 1에 도시된 합성 모듈의 구조를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 이미지 처리 방법을 설명하기 위한 순서도이다.
이하, 첨부한 도면들을 참고하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예에 대하여 상세히 설명하기로 한다. 각 도면에 제시된 참조부호들 중 동일한 참조부호는 동일한 부재를 나타낸다.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
실시예들은 서로 다른 노출들에서 촬영된 다수의 LDR(low dynamic range) 이미지들을 정렬하고 정렬된 이미지들을 합성하여 넓은 동적 범위를 갖는 하나의 HDR(high dynamic range) 이미지를 생성하는 이미지 처리 장치 및 그 방법을 제공한다.
실시예에서, 딥 러닝 프레임 워크(10)는 입력되는 LDR 이미지들(X1, X2, X3)의 정보를 기반으로 이미지 처리 장치(100)에서 딥 러닝하는 네트워크로 정의될 수 있다.
실시예에서, 딥 러닝 프레임 워크(10)는 정렬을 위한 커널 예측 네트워크, 합성을 위한 합성 네트워크를 포함할 수 있다. 이러한 커널 예측 네트워크 및 합성 네트워크는 컨볼루션(convolution) 연산, 풀링(pooling) 연산, 이중선형 업샘플링 (bilinear upsampling) 연산, 및 가중 평균합 연산 중 적어도 하나를 수행하는 적어도 하나의 레이어들(layers)을 포함할 수 있다. 그리고, 커널 예측 네트워크 및 합성 네트워크는 스킵 커넥션(skip connection)을 통해서 각 레이어들을 연계(concatenate)할 수 있다. 여기서, 스킵 커넥션은 딥 러닝 동안 레이어들의 수를 최적으로 튜닝하기 위하여 유용하지 않은 레이어의 연산을 건너뛰는 동작으로 정의될 수 있다.
실시예에서, 커널들(K1, K2, K3)은 딥 러닝을 통해서 LDR 이미지들(X1, X2, X3)을 정렬하기 위한 필터로 정의될 수 있다. 이러한 커널들(K1, K2, K3)은 LDR 이미지들(X1, X2, X3) 각각의 픽셀들 각각에 대하여 생성될 수 있다. 일례로, 커널들(K1, K2, K3)은 LDR 이미지들(X1, X2, X3)의 픽셀들의 정보와 해당 픽셀들의 주변 픽셀들의 정보를 기반으로 학습되어 생성될 수 있다. 여기서, 픽셀들의 정보 및 주변 픽셀들의 정보는 RGB 값일 수 있다.
실시예에서, 커널들(K1, K2, K3)의 값은 LDR 이미지들(X1, X2, X3)의 픽셀들의 정보와 해당 픽셀의 주변 픽셀들의 정보에 따라 가변될 수 있다.
도 1은 일 실시예에 따른 이미지 처리 장치(100)를 설명하기 위한 블록도이다.
도 1을 참고하면, 이미지 처리 장치(100)는 LDR 이미지들(X1, X2, X3)을 이용하여 하나의 HDR 이미지를 생성하는 딥 러닝 프레임 워크(10)를 포함한다. 도 1은 설명의 편의를 위해 세 개의 LDR 이미지들(X1, X2, X3)을 수신하고, 이를 이용하여 하나의 HDR 이미지를 생성하는 것을 예시한다. 그러나, 본 발명은 이에 한정되는 것은 아니며, 하나의 HDR 이미지를 생성하기 위해 둘 이상의 LDR 이미지들이 이용될 수 있다.
본 실시예들은 물체의 움직임과 카메라 움직임으로 인한 오정렬(misalignment)의 문제와 고스팅 아티팩트(ghosting artifact)가 발생하는 문제를 해결하기 위해 딥 러닝을 통해서 LDR 이미지들을 정렬하고 합성하는 방식을 통해서 HDR 이미지를 생성할 수 있다.
딥 러닝 프레임워크(10)는 LDR 이미지들(X1, X2, X3)을 정렬하는 과정과 정렬된 이미지들을 합성하여 HDR 이미지를 생성하는 과정을 포함할 수 있다.
이러한 딥 러닝 프레임워크(10)는 서로 다른 노출들, 즉 서로 다른 노출 값에서 촬영된 복수개의 LDR 이미지들(X1, X2, X3)로부터 필요한 픽셀들의 RGB 값과 픽셀의 주변 픽셀들의 RGB 값을 가져오는 방식을 이용할 수 있고, 이를 기반으로 LDR 이미지들(X1, X2, X3)을 동일한 시간 및 위치에서 촬영한 것처럼 정렬 및 합성할 수 있다.
먼저, 딥 러닝 프레임워크(10)는 LDR 이미지들(X1, X2, X3)의 픽셀들의 RGB 값과 해당 픽셀의 주변 픽셀들의 RGB 값을 기반으로 딥 러닝을 수행하여 LDR 이미지들(X1, X2, X3)의 픽셀들 각각에 대하여 커널들(K1, K2, K3, 도 2에 도시)을 생성할 수 있다.
여기서, 딥 러닝 프레임워크(10)는 LDR 이미지들(X1, X2, X3)의 픽셀들 각각에 대하여 커널들(K1, K2, K3)을 생성할 수 있다. 커널들(K1, K2, K3)은 LDR 이미지들(X1, X2, X3)을 정렬하기 위한 필터의 역할을 하며, LDR 이미지들(X1, X2, X3)의 픽셀들의 RGB 값과 해당 픽셀의 주변 픽셀들의 RGB 값을 기반으로 학습되어 생성될 수 있으며, 픽셀들의 RGB 값과 주변 픽셀들의 RGB 값에 따라 가변될 수 있다.
그리고, 딥 러닝 프레임워크(10)는 LDR 이미지들(X1, X2, X3) 중 하나의 LDR 이미지를 기준으로 LDR 이미지들을 정렬할 수 있다. 일례로, LDR 이미지들(X1, X2, X3) 중 중간 노출 값에서 촬영된 LDR 이미지(X2)를 기준으로 정렬할 수 있다.
일례로, 딥 러닝 프레임워크(10)는 커널들(K1, K2, K3)을 LDR 이미지들(X1, X2, X3)에 적용하여 움직이는 객체의 피쳐(feature)를 추출할 수 있고, 중간 노출 값에서 촬영된 LDR 이미지(X2)의 움직이는 객체를 기준으로 각 LDR 이미지들(X1, X2, X3)의 배경을 정렬할 수 있다.
그리고, 딥 러닝 프레임워크(10)는 정렬된 이미지들의 정보를 기반으로 딥 러닝을 수행하여 가중치 맵을 생성할 수 있고, 가중치 맵을 이용하여 정렬된 이미지들을 가중 평균합하여 HDR 이미지를 생성할 수 있다.
이러한 딥 러닝 프레임 워크(10)는 정렬 모듈(20) 및 합성 모듈(30)를 포함할 수 있다. 여기서, 모듈은 특정 기능을 갖는 컴퓨터 시스템 또는 프로그램 단위로 정의될 수 있다.
정렬 모듈(20)는 서로 다른 노출 값에서 촬영된 복수개의 LDR 이미지들(X1, X2, X3)을 수신할 수 있고, 복수개의 LDR 이미지들(X1, X2, X3)을 동일한 시간 및 위치에서 촬영한 것처럼 정렬할 수 있다.
합성 모듈(30)은 정렬된 이미지들을 합성하여 넓은 동적 범위를 가지는 하나의 HDR 이미지를 생성할 수 있다. 정렬 모듈(20)은 도 2와 같이 구성될 수 있고, 합성 모듈(30)은 도 3과 같이 구성될 수 있다.
도 2는 도 1에 도시된 정렬 모듈(20)의 구조를 설명하기 위한 도면이다.
도 2를 참고하면, 정렬 모듈(20)은 LDR 이미지들(X1, X2, X3)을 이용하여 각 이미지들에 적용할 수 있는 커널들(K1, K2, K3)을 생성할 수 있다. 여기서, 정렬 모듈(20)은 딥 러닝을 이용하여 LDR 이미지들의 각 픽셀들마다 적응적으로 다르게 커널들(K1, K2, K3)을 생성할 수 있다.
일례로, 정렬 모듈(20)은 LDR 이미지들(X1, X2, X3)의 픽셀들의 정보와 상기 픽셀들의 주변 정보를 이용하여 딥 러닝을 수행할 수 있으며, 딥 러닝을 통하여 LDR 이미지들(X1, X2, X3)의 각 픽셀들에 대한 커널들(K1, K2, K3)을 생성할 수 있다.
그리고, 정렬 모듈(20)은 커널들(K1, K2, K3)을 LDR 이미지들의 대응되는 픽셀에 적용하여 정렬된 이미지들(Y1, Y2, Y3)을 생성할 수 있다. 이때 정렬 모듈(20)은 LDR 이미지들 중 중간 노출 값에서 촬영된 이미지를 기준으로 이미지들을 정렬할 수 있다.
일례로, 정렬 모듈(20)은 LDR 이미지들(X1, X2, X3) 중 중간 노출 값에서 촬영된 LDR 이미지(X2)를 기준으로 LDR 이미지들(X1, X2, X3)을 정렬하여 정렬된 이미지들(Y1, Y2, Y3)을 생성할 수 있다.
일례로, 정렬 모듈(20)은 커널들(K1, K2, K3)을 LDR 이미지들(X1, X2, X3)에 적용하여 움직이는 객체의 피쳐(feature)를 추출하고, 중간 노출 값에서 촬영된 LDR 이미지(X2)의 움직이는 객체를 기준으로 각 LDR 이미지들(X1, X2, X3)의 배경을 정렬할 수 있다.
이러한 정렬 모듈(20)은 커널 예측 네트워크를 포함할 수 있다. 커널 예측 네트워크는 LDR 이미지들(X1, X2, X3)의 픽셀들의 RGB 값과 해당 픽셀들의 주변 픽셀들의 RGB 값을 기반으로 컨볼루션(pooling) 연산과 평균 풀링(average pooling) 연산과 이중선형 업샘플링(bilinear upsampling) 연산 중 적어도 하나를 수행할 수 있다. 그리고, 커널 예측 네트워크는 연산 결과에 따라 스킵 커넥션을 통해서 각 레이어들을 연계(concatenate)할 수 있다. 즉, 커널 예측 네트워크는 딥 러닝 시 스킵 커넥션을 통하여 사용하지 않는 레이어들을 스킵하여 각 연산들을 수행하는 레이어들의 수를 최적으로 조정할 수 있다.
일례로, 커널 예측 네트워크는 컨볼루션 레이어(convolution layer), 평균 풀링 레이어(average pooling layer), 스킵 커넥션(skip connection), 이중선형 업샘플링 레이어(bilinear upsampling layer) 중 적어도 하나를 포함할 수 있다. 각 레이어들은 복수개로 구성될 수 있으며, 각 레이어들은 연산 결과에 따라 스킵 커넥션(skip connection)을 통해 스킵될 수 있다.
도 3은 도 1에 도시된 합성 모듈(30)의 구조를 설명하기 위한 도면이다.
도 3을 참고하면, 합성 모듈(30)은 정렬된 이미지들(Y1, Y2, Y3)을 가중 평균합하여 HDR 이미지를 생성할 수 있다.
이러한 합성 모듈(30)은 정렬된 이미지들(Y1, Y2, Y3)의 정보를 딥 러닝하여 가중치 맵(weight map)을 생성할 수 있고, 가중치 맵을 이용하여 정렬된 이미지들(Y1, Y2, Y3)을 가중 평균합 하여 HDR 이미지를 생성할 수 있다.
합성 모듈(30)은 딥 러닝을 통해 정렬된 이미지들(Y1, Y2, Y3)로부터 가중치 맵(weight map), 즉 각 정렬된 이미지들의 RGB 값을 얼마나 반영할 지를 학습할 수 있다. 합성 모듈(30)은 가중치 맵에 정렬된 이미지들(Y1, Y2, Y3)을 곱한 후 합산하는 가중 평균합 연산을 이용하여 최종 HDR 이미지를 생성할 수 있다.
일례로, 합성 모듈(30)은 머징(merging) 네트워크를 포함할 수 있다. 머징 네트워크는 가중 평균합 연산을 수행하는 레이어(32)를 적어도 하나 이상 포함할 수 있다.
이와 같이 실시예들은 서로 다른 노출 값에서 촬영된 LDR 이미지들(X1, X2, X3)을 수신할 수 있고, LDR 이미지들(X1, X2, X3)을 이용하여 정렬을 위한 커널들(K1, K2, K3)을 생성할 수 있다.
그리고, 실시예들은 LDR 이미지들(X1, X2, X3)에 커널들(K1, K2, K3)을 적용하여 정렬된 이미지들(Y1, Y2, Y3)을 생성할 수 있고, 정렬된 이미지들(Y1, Y2, Y3)을 가중 평균합하여 HDR 이미지를 생성할 수 있다.
도 4는 일 실시예에 따른 이미지 처리 방법을 설명하기 위한 순서도이다.
도 4를 참고하면, 딥 러닝 프레임 워크(10)는 서로 다른 노출 값에서 촬영된 LDR 이미지들(X1, X2, X3)을 수신할 수 있다(S10).
그리고, 딥 러닝 프레임 워크(10)는 LDR 이미지들(X1, X2, X3)의 픽셀들의 RGB 값과 대응하는 픽셀들의 주변 픽셀들의 RGB 값을 기반으로 딥 러닝을 수행하여 LDR 이미지들(X1, X2, X3)을 정렬하기 위한 커널들(K1, K2, K3)을 생성할 수 있다(S20). 여기서, 커널들(K1, K2, K3)은 딥 러닝을 통해서 LDR 이미지들(X1, X2, X3)의 각 픽셀들마다 다르게 생성될 수 있다.
그리고, 딥 러닝 프레임 워크(10)는 커널들(K1, K2, K3)을 LDR 이미지들(X1, X2, X3)에 적용하여 정렬된 이미지들(Y1, Y2, Y3)을 생성할 수 있다(S30). 일례로, 딥 러닝 프레임 워크(10)는 LDR 이미지들(X1, X2, X3)의 픽셀들의 값에 각 픽셀들에 대응하는 커널들(K1, K2, K3)의 값을 곱하여 정렬된 이미지들(Y1, Y2, Y3)을 생성할 수 있다.
그리고, 딥 러닝 프레임 워크(10)는 정렬된 이미지들(Y1, Y2, Y3)의 정보를 기반으로 딥 러닝을 수행하여 가중치 맵을 생성할 수 있다(S40).
그리고, 딥 러닝 프레임 워크(10)는 가중치 맵을 이용하여 정렬된 이미지들(Y1, Y2, Y3)을 가중 평균 합할 수 있다(S50).
그리고, 딥 러닝 프레임 워크(10)는 정렬된 이미지들(Y1, Y2, Y3)을 가중 평균 합하여 합성한 HDR 이미지를 출력할 수 있다(S60).
이와 같이 딥 러닝 프레임 워크(10)는 다수의 LDR 이미지들(X1, X2, X3)을 입력으로 주면 정렬을 위해 커널들(K1, K2, K3)을 학습하여 생성할 수 있고, 커널들(K1, K2, K3)을 LDR 이미지들(X1, X2, X3)에 적용하여 정렬된 이미지들(Y1, Y2, Y3)을 생성할 수 있다.
그리고, 딥 러닝 프레임 워크(10)는 정렬된 이미지들(Y1, Y2, Y3)에 대해 가중치 맵을 곱한 뒤 더하여 최종 HDR 이미지를 출력할 수 있다. 딥 러닝 프레임 워크(10)는 LDR 이미지들(X1, X2, X3)로부터 HDR 이미지를 생성하는 전체 과정을 딥 러닝을 통해 한번에 학습할 수 있다.
이러한 실시예들은 다수의 노출 값에서 LDR 이미지들(X1, X2, X3)을 촬영할 수 있는 모든 경우에 HDR 이미지를 생성해 낼 수 있고, 이미지 프로세싱 분야 전반에 이용될 수 있다.
한편, 호모그래피(homography) 변환이나 광학 흐름(optical flow)을 이용하여 LDR 이미지들을 사전에 정렬한 후 HDR 이미지를 합성할 수 있다. 그러나 호모그래피 변환을 이용하는 방법은 물체의 큰 움직임 문제를 해결하기 어렵고, 가장자리 부분의 정보 손실이 필연적으로 발생하는 단점이 있다. 그리고 광학 흐름을 이용하는 방법은 왜곡이나 추가적인 아티팩트를 야기할 수 있다.
본 실시예들은 호모그래피(homography) 변환이나 광학 흐름(optical flow)을 이용하는 방법들과는 달리 LDR 이미지들(X1, X2, X3)의 각 픽셀들에 대한 커널들(K1, K2, K3)을 생성하고, 커널들(K1, K2, K3)을 LDR 이미지들(X1, X2, X3)에 적용함으로써 LDR 이미지들(X1, X2, X3)을 정렬할 수 있으므로, 큰 물체의 움직임과 배경의 움직임으로 인한 오정렬이 존재하는 경우에도 왜곡이나 추가적인 아티팩트 없이 HDR 이미지를 생성할 수 있다.
또한, 실시예들은 정렬되지 않은 LDR 이미지들(X1, X2, X3)로부터 바로 HDR 이미지를 생성해 낼 수 있다. 즉, 각 LDR 이미지들(X1, X2, X3) 사이에 객체의 움직임이 있는 경우에도 사전 정렬 과정 없이 하나의 딥 러닝 프레임워크(10)를 통해 다수의 LDR 이미지들(X1, X2, X3)을 정렬하고 합성함으로써 HDR 이미지를 생성할 수 있다.
상술한 바와 같이, 실시예들은 LDR 이미지들(X1, X2, X3)을 정렬하는 과정과 정렬된 이미지들을 합성하여 HDR 이미지를 생성하는 과정을 포함하는 하나의 딥 러닝 프레임워크(10)를 구축함으로써 넓은 동적 범위를 가지는 HDR 이미지를 생성할 수 있다.
또한, 실시예들은 딥 러닝 프레임워크에서 피쳐(feature) 수준에서 정렬을 수행하므로 LDR 이미지들(X1, X2, X3)의 정보 손실을 최소화할 수 있다.
또한, 실시예들은 LDR 이미지들의 각 픽셀들에 대한 커널들을 생성하여 LDR 이미지들에 적용하므로 객체의 큰 움직임이 있는 경우에도 정교한 정렬이 가능하며 세부 정보도 잘 보존할 수 있다.
또한, 실시예들은 LDR 이미지들로부터 HDR 이미지를 생성하는 일련의 과정을 딥 러닝 프레임워크(10)를 통해서 한번에 학습할 수 있다.
100: 이미지 처리 장치 10: 딥 러닝 프레임 워크
20: 정렬 모듈 30: 합성 모듈
X1, X2, X3: LDR 이미지들 Y1, Y2, Y3: 정렬된 이미지들
HDR: HDR 이미지

Claims (14)

  1. 서로 다른 노출들에서 촬영된 복수개의 LDR(Low Dynamic Range) 이미지들을 수신하고, 상기 복수개의 LDR 이미지들을 이용하여 정렬을 위한 커널들을 생성하며, 상기 커널들을 상기 복수개의 LDR 이미지들에 적용하여 정렬된 이미지들을 생성하고, 상기 정렬된 이미지들을 합성하여 HDR(High Dynamic Range) 이미지를 생성하는 딥 러닝 프레임워크;
    를 포함하는 이미지 처리 장치.
  2. 제 1 항에 있어서,
    상기 딥 러닝 프레임워크는 상기 복수개의 LDR 이미지들의 픽셀들의 정보와 상기 픽셀들의 주변 픽셀들의 정보를 기반으로 딥 러닝을 수행하여 상기 커널들을 생성하는 이미지 처리 장치.
  3. 제 2 항에 있어서,
    상기 딥 러닝 프레임워크는 상기 복수개의 LDR 이미지들의 상기 픽셀들 각각에 대하여 상기 커널들을 생성하는 이미지 처리 장치.
  4. 제 1 항에 있어서,
    상기 딥 러닝 프레임워크는 상기 복수개의 LDR 이미지들 중 하나의 LDR 이미지를 기준으로 상기 복수개의 LDR 이미지들을 정렬하여 상기 정렬된 이미지들을 생성하는 이미지 처리 장치.
  5. 제 1 항에 있어서,
    상기 기준이 되는 상기 하나의 LDR 이미지는 서로 다른 노출들에서 촬영된 복수개의 LDR 이미지들 중 중간 노출에서 촬영된 이미지들 중 하나로 설정되는 이미지 처리 장치.
  6. 제 1 항에 있어서,
    상기 딥 러닝 프레임워크는 상기 정렬된 이미지들의 정보를 기반으로 딥 러닝을 수행하여 가중치 맵을 생성하는 이미지 처리 장치.
  7. 제 6 항에 있어서,
    상기 딥 러닝 프레임워크는 상기 가중치 맵을 이용하여 상기 정렬된 이미지들을 가중 평균합하여 상기 HDR 이미지를 생성하는 이미지 처리 장치.
  8. 제 1 항에 있어서, 상기 딥 러닝 프레임워크는,
    상기 복수개의 LDR 이미지들의 픽셀들의 정보와 상기 픽셀들의 주변 픽셀들의정보를 딥 러닝하여 상기 커널들을 생성하며 상기 커널들을 상기 복수개의 LDR 이미지들에 적용하여 상기 정렬된 이미지들을 생성하는 정렬 모듈; 및
    상기 정렬된 이미지들의 정보를 딥 러닝하여 가중치 맵을 생성하고 상기 가중치 맵을 이용하여 상기 정렬된 이미지들을 가중 평균합하여 상기 HDR 이미지를 생성하는 합성 모듈;을 포함하는 이미지 처리 장치.
  9. 서로 다른 노출들에서 촬영된 복수개의 LDR(Low Dynamic Range) 이미지들을 수신하는 단계;
    상기 복수개의 LDR 이미지들을 이용하여 정렬을 위한 커널들을 생성하는 단계;
    상기 커널들을 상기 복수개의 LDR 이미지들에 적용하여 정렬된 이미지들을 생성하는 단계; 및
    상기 정렬된 이미지들을 합성하여 HDR(High Dynamic Range) 이미지를 생성하는 단계;
    를 포함하는 이미지 처리 방법.
  10. 제 9 항에 있어서,
    상기 커널들을 생성하는 단계는 상기 복수개의 LDR 이미지들의 픽셀들의 정보와 상기 픽셀들의 주변 픽셀들의 정보를 기반으로 딥 러닝하여 상기 커널들을 생성하는 이미지 처리 방법.
  11. 제 10 항에 있어서,
    상기 커널들을 생성하는 단계는 상기 복수개의 LDR 이미지들의 상기 픽셀들 각각에 대하여 상기 커널들을 생성하는 이미지 처리 방법.
  12. 제 9 항에 있어서,
    상기 정렬된 이미지들을 생성하는 단계는, 상기 복수개의 LDR 이미지들 중 중간 노출에서 촬영된 하나의 LDR 이미지를 기준으로 상기 복수개의 LDR 이미지들을 정렬하는 단계를 포함하는 이미지 처리 방법.
  13. 제 9 항에 있어서,
    상기 HDR 이미지를 생성하는 단계는 상기 정렬된 이미지들의 정보를 기반으로 딥 러닝하여 가중치 맵을 생성하는 단계를 포함하는 이미지 처리 방법.
  14. 제 13 항에 있어서,
    상기 HDR 이미지를 생성하는 단계는 상기 가중치 맵을 이용하여 상기 정렬된 이미지들을 가중 평균합하여 상기 HDR 이지지를 생성하는 이미지 처리 방법.
KR1020200159825A 2020-04-14 2020-11-25 이미지 처리 장치 및 그 방법 KR20210127591A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/123,421 US20210319542A1 (en) 2020-04-14 2020-12-16 Image processing apparatus and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200045210 2020-04-14
KR1020200045210 2020-04-14

Publications (1)

Publication Number Publication Date
KR20210127591A true KR20210127591A (ko) 2021-10-22

Family

ID=78275995

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200159825A KR20210127591A (ko) 2020-04-14 2020-11-25 이미지 처리 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20210127591A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230076658A (ko) * 2021-11-24 2023-05-31 주식회사 유엑스팩토리 복합 센서 정보를 이용하여 영상 화질을 개선하는 통합 영상 처리 장치 및 그 방법
KR102656803B1 (ko) * 2023-05-22 2024-04-11 중앙대학교 산학협력단 하이 다이나믹 레인지 이미징 방법 및 그 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150132605A (ko) 2013-04-15 2015-11-25 퀄컴 인코포레이티드 고스트-프리 높은 동적 레인지 이미지들의 생성
KR20160138685A (ko) 2015-05-26 2016-12-06 에스케이하이닉스 주식회사 저 복잡도의 하이 다이나믹 레인지 이미지 생성 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150132605A (ko) 2013-04-15 2015-11-25 퀄컴 인코포레이티드 고스트-프리 높은 동적 레인지 이미지들의 생성
KR20160138685A (ko) 2015-05-26 2016-12-06 에스케이하이닉스 주식회사 저 복잡도의 하이 다이나믹 레인지 이미지 생성 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230076658A (ko) * 2021-11-24 2023-05-31 주식회사 유엑스팩토리 복합 센서 정보를 이용하여 영상 화질을 개선하는 통합 영상 처리 장치 및 그 방법
KR102656803B1 (ko) * 2023-05-22 2024-04-11 중앙대학교 산학협력단 하이 다이나믹 레인지 이미징 방법 및 그 장치

Similar Documents

Publication Publication Date Title
US10855966B2 (en) View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
Xiao et al. Deepfocus: Learned image synthesis for computational display
JP6929047B2 (ja) 画像処理装置、情報処理方法及びプログラム
CA2415115C (en) Processing techniques and equipment for superimposing images for projection
CN102143322B (zh) 摄像设备及其控制方法
CN111194458A (zh) 用于处理图像的图像信号处理器
US8040558B2 (en) Apparatus and method for shift invariant differential (SID) image data interpolation in fully populated shift invariant matrix
EP3253053A1 (en) Projection image correcting method and projection apparatus
US20090161982A1 (en) Restoring images
KR20210127591A (ko) 이미지 처리 장치 및 그 방법
WO2006079963A2 (en) Device for registering images
CN113632134B (zh) 用于生成高动态范围图像的方法、计算机可读存储介质和hdr相机
JP2021168048A (ja) 画像処理方法、画像処理装置、画像処理システム、およびプログラム
US10664960B1 (en) Image processing device and method to perform local contrast enhancement
CN115115516B (zh) 基于Raw域的真实世界视频超分辨率的构建方法
Sajadi et al. Image enhancement in projectors via optical pixel shift and overlay
CN113628134B (zh) 图像降噪方法及装置、电子设备及存储介质
CN114549383A (zh) 一种基于深度学习的图像增强方法、装置、设备及介质
CN109102463B (zh) 一种超分辨率图像重建方法及装置
US20210319542A1 (en) Image processing apparatus and method thereof
WO2011121563A1 (en) Detecting saliency in an image
CN106817542B (zh) 微透镜阵列的成像方法与成像装置
US20120114042A1 (en) In loop contrast enhancement for improved motion estimation
TW202121887A (zh) 影像感測器、攝影機模組及包含攝影機模組之光學設備
JP5906848B2 (ja) 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム