KR20230146974A - 영상의 밝기 개선 방법 및 장치 - Google Patents

영상의 밝기 개선 방법 및 장치 Download PDF

Info

Publication number
KR20230146974A
KR20230146974A KR1020220110974A KR20220110974A KR20230146974A KR 20230146974 A KR20230146974 A KR 20230146974A KR 1020220110974 A KR1020220110974 A KR 1020220110974A KR 20220110974 A KR20220110974 A KR 20220110974A KR 20230146974 A KR20230146974 A KR 20230146974A
Authority
KR
South Korea
Prior art keywords
image
lighting
brightness improvement
curve
map
Prior art date
Application number
KR1020220110974A
Other languages
English (en)
Inventor
박노갑
샤미르 아샤나
이범식
황문경
나태영
Original Assignee
에스케이텔레콤 주식회사
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사, 조선대학교산학협력단 filed Critical 에스케이텔레콤 주식회사
Publication of KR20230146974A publication Critical patent/KR20230146974A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

영상의 밝기 개선 방법 및 장치를 개시한다.
본 개시의 일 측면에 의하면, 영상의 밝기를 개선하기 위한 방법으로서, 상기 영상의 각 픽셀에 적용할 동적 범위 조절 곡선의 형태를 추정하는 과정; 상기 영상의 각 픽셀에 대응하는 조명 성분을 추정하는 과정; 및 상기 추정된 곡선 파라미터 및 상기 추정된 조명 성분을 기반으로, 상기 영상의 동적 범위 및 조도를 조절하는 과정을 포함하는 것을 특징으로 하는 밝기 개선 방법을 제공한다.

Description

영상의 밝기 개선 방법 및 장치{Method and Apparatus for Enhancing Brightness of Image}
본 개시는 영상의 밝기 개선 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
저조도 조건에서 촬영된 영상은, 낮은 대비(Contrast), 가시성(Visibility) 저하 및 높은 ISO 노이즈의 영향 등으로 인해 낮은 품질을 가지게 된다. 저조도의 영상은 인지에 어려움을 발생시키기 때문에 저조도 조건을 감지하고 이를 정상적인 조건으로 변환해주는 작업이 필요하다. 이러한 문제를 해결하기 위해 히스토그램 및 인지과학 기반 모델링, 패턴인식 및 DNN 기반 등 다양한 해결 방법이 제안되고 있다.
기존의 DNN-기반 저조도 향상 네트워크들은 픽셀 값의 동적 범위(dynamic range)가 큰 영상의 밝기를 개선하도록 설계 및 학습이 되어 있다. 때문에 픽셀 값의 동적 범위가 상대적으로 작은 영상에 기존의 저조도 향상 네트워크를 적용하면, 변환과정에서 과다 노출이 발생하게 된다는 문제점이 있다.
이와 같이 동적 범위가 상대적으로 작은 저조도 영상의 일 예로는, 과거에 촬영된 고전영상이 있다. 고전영상은 장비 및 기술의 한계로 인해 현재 시점에 촬영되는 영상과 비교하여 상대적으로 명암이 낮고 픽셀 값의 동적 범위가 작다는 특징을 가진다. 고전영상에 기존의 저조도 향상 네트워크를 적용하는 경우, 객체 일부가 과다하게 노출되는 현상과 영상의 색상이 전반적으로 왜곡되는 현상이 나타나는 것을 확인할 수 있는데, 이는 고전영상의 협소한 동적 범위와 밝기 특성을 고려하지 않은 네트워크 구조의 문제 때문인 것으로 볼 수 있다.
본 개시는, 영상의 동적 범위 및 밝기 특성을 고려한 영상의 밝기 개선 방법 및 장치를 제공하는 데 주된 목적이 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 측면에 의하면, 영상의 밝기를 개선하기 위한 방법으로서, 상기 영상의 각 픽셀에 적용할 동적 범위 조절 곡선의 형태를 결정하는 곡선 파라미터를 추정하는 과정; 상기 영상의 각 픽셀에 대응하는 조명 성분을 추정하는 과정; 및 상기 추정된 곡선 파라미터 및 상기 추정된 조명 성분을 기반으로, 상기 영상의 동적 범위 및 조도를 조절하는 과정을 포함하는 것을 특징으로 하는 밝기 개선 방법을 제공한다.
본 개시의 다른 측면에 의하면, 영상의 각 픽셀에 적용할 동적 범위 조절 곡선의 형태를 결정하는 곡선 파라미터를 추정하는 곡선 근사모듈; 상기 영상의 각 픽셀에 대응하는 조명 성분을 추정하는 조도 측정모듈; 및 상기 추정된 곡선 파라미터 및 상기 추정된 조명 성분을 기반으로 상기 영상의 동적 범위 및 조도를 조절하는 조절모듈을 포함하는 것을 특징으로 하는 밝기 개선 장치를 제공한다.
본 개시의 다른 측면에 의하면, 전술한 밝기 개선 방법이 포함하는 각 과정을 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램을 제공한다.
본 개시의 일 실시예에 의하면, 영상의 동적 범위 및 밝기 특성을 고려하여, 영상의 밝기를 개선할 수 있다는 효과가 있다.
본 개시의 일 실시예에 의하면, 영상의 동적 범위 및 밝기 특성을 이용하여 밝기 개선 모델을 학습시킴으로써, 기존의 밝기 개선 모델들에서 발생하는 과다 노출 및 색상 왜곡 현상을 해결할 수 있다는 효과가 있다.
본 개시의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 밝기 개선 장치를 개략적으로 나타낸 블록구성도이다.
도 2는 본 개시의 일 실시예에 따른 곡선 근사모듈의 네트워크 구조를 나타내는 예시도이다.
도 3은 본 개시의 일 실시예에 따른 깊이별 가분 컨볼루션 블록의 구조를 나타내는 예시도이다.
도 4는 본 개시의 제1 실시예에 따른 조도 측정모듈의 네트워크 구조를 나타내는 예시도이다.
도 5는 본 개시의 제2 실시예에 따른 조도 측정모듈을 개략적으로 나타낸 블록구성도이다.
도 6은 본 개시의 일 실시예에 따른 관심유도 조도 측정모듈의 네트워크 구조를 나타내는 예시도이다.
도 7은 본 개시의 일 실시예에 따른 채널 어텐션 블록의 구조를 나타내는 예시도이다.
도 8은 본 개시의 일 실시예에 따른 밝기 개선 모델을 학습시키는 방법을 설명하기 위한 예시도이다.
도 9는 본 개시의 일 실시예에 따른 밝기 개선 방법을 나타내는 순서도이다.
도 10a 내지도 10d는 본 개시의 제1 실시예에 따른 조도 측정모듈을 이용한 밝기 개선 모델 및 비교 실시예에 따른 밝기 개선 모델들의 밝기 개선 결과를 비교하기 위한 예시도이다.
도 11a 내지도 11e는 본 개시의 제2 실시예에 따른 조도 측정모듈을 이용한 밝기 개선 모델 및 비교 실시예에 따른 밝기 개선 모델들의 밝기 개선 결과를 비교하기 위한 예시도이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 이용해 상세하게 설명한다. 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면 상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 개시에 따른 실시예의 구성요소를 설명하는 데 있어서, 제1, 제2, i), ii), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 부호에 의해 해당 구성요소의 본질 또는 차례나 순서 등이 한정되지 않는다. 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 개시의 예시적인 실시형태를 설명하고자 하는 것이며, 본 개시가 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
본 개시에서 영상이라는 용어는, 정지 영상(still image)과 동영상(video)을 모두 포괄하는 의미로 사용될 수 있다.
도 1은 본 개시의 일 실시예에 따른 밝기 개선 장치를 개략적으로 나타낸 블록구성도이다.
도 1에 도시되듯이, 본 개시의 일 실시예에 따른 밝기 개선 장치(10)는 곡선 근사모듈(100), 조도 측정모듈(120) 및 조절모듈(140)을 전부 또는 일부 포함할 수 있다. 도 1에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 밝기 개선 장치(10)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다. 밝기 개선 장치(10) 및 이의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고, 하나 이상의 프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
본 개시의 일 실시예에 따른 밝기 개선 장치(10)는, 입력 영상으로부터 밝기가 개선된 영상을 출력한다. 여기서, 입력 영상은, 조도 조건 및/또는 노출 조건에 의해 너무 어둡거나 또는 너무 밝은 영상일 수 있다. 예컨대, 입력 영상은, 과거 시점에 촬영된 고전 영상으로, 저조도 조건에 의해 밝기가 어두운 영상일 수 있으나 이에 한정되는 것은 아니다. 다른 실시예에서 밝기 개선 장치(10)는 일반적인 영상의 밝기를 개선하기 위해 이용될 수도 있다.
밝기 개선 장치(10)는 입력 영상의 동적 범위 및 조도를 조절하여, 출력 영상을 생성할 수 있다.
크기가 H×W이고, RGB 3개의 컬러 채널을 갖는 입력 영상은, 수학식 1과 같이 H×W×3개의 픽셀의 집합으로 정의될 수 있다.
Figure pat00001
입력 영상의 동적 범위 조절은, 입력 영상의 각 픽셀 값 I(x,y,c)을 변경시키는 것을 의미한다. 임의의 픽셀 (x,y,c)에 대해 픽셀 값 I(x,y,c)을 최적화시키기 위한 동적 범위 조절 곡선을 F(x,y,c)라 할 때, 동적 범위 조절을 통해 개선된 영상의 픽셀 값은 수학식 2와 같이 표현될 수 있다.
Figure pat00002
입력 영상에서 각 픽셀 값이
Figure pat00003
의 조건을 만족한다고 할 때, 수학식 2에 따라 계산되는 개선된 영상의 픽셀 값도 동일하게
Figure pat00004
의 조건을 만족해야 한다.
이를 위해, 본 개시에서는 동적 범위 조절 곡선 F(x,y,c)을 수학식 3과 같이 정의한다.
Figure pat00005
즉, 동적 범위 조절 곡선 F(x,y,c)은 2차 다항식 형태의 곡선 (I(x,y,c)-I2(x,y,c)) 이며, 비선형 함수 A(x,y,c)는 각 픽셀 (x,y,c)에 대해 2차 다항식 (I(x,y,c)-I2(x,y,c))에 곱해질, -1과 1 사이의 곡선 파라미터를 구하는 함수이다.
곡선 근사모듈(100)은 영상에 적용할 동적 범위 조절 곡선의 형태를 추정할 수 있다. 구체적으로, 곡선 근사모듈(100)은 입력 영상으로부터, 동적 범위 조절 곡선의 형태를 결정하는 곡선 파라미터를 추정할 수 있다.
즉, 곡선 근사모듈(100)은 크기가 H×W×3인 입력 영상을 기초로 H×W×3개의 곡선 파라미터를 추정할 수 있다. 이러한 곡선 근사모듈(100)은
Figure pat00006
과 같은 비선형 벡터함수로 표현될 수 있다.
한편, 입력 영상의 조도 조절은, 입력 영상에서 조명의 영향을 감소시켜 화질을 개선하는 것을 의미한다.
인간이 인지하는 영상 I(x,y)는 수학식 4와 같이 반사 성분 R(x,y)과 조명 성분 L(x,y)의 곱으로 표현될 수 있다.
Figure pat00007
인간이 눈을 통해 대상체를 인지할 때 대뇌에서 주변 조명의 영향을 제거하고 대상체의 본래 색상만을 인지한다는 레티넥스(retina+cortex, retinex) 이론에 따르면, 인간이 인지하는 최적 영상은 반사 성분 R(x,y)에 가깝다고 가정할 수 있다. 이러한 최적 영상은 수학식 5와 같이 표현될 수 있다.
Figure pat00008
여기서, L-1(x,y)은 조명 성분의 역변환을 의미한다.
본 개시에서는, 입력 영상의 각 픽셀에 대해 수학식 6과 같이 조명 성분을 제거함으로써 영상의 조도를 개선할 수 있다.
Figure pat00009
여기서, 비선형 함수 L(x,y)는 영상의 각 픽셀 (x,y)에 대해 0과 1 사이의 값을 갖는 조명 성분을 구하는 함수이다.
조도 측정모듈(120)은 입력 영상의 각 픽셀에 대응하는 조명 성분을 추정할 수 있다. 즉, 조도 측정모듈(120)은 크기가 H×W×3인 입력 영상을 기초로 H×W 개의 조명 성분을 추정할 수 있다. 이러한 조도 측정모듈(120)은
Figure pat00010
과 같은 비선형 벡터함수로 표현될 수 있다.
조절모듈(140)은 추정된 곡선 파라미터 및 추정된 조명 성분을 기반으로 입력 영상의 동적 범위 및 조도를 조절할 수 있다. 예컨대, 조절모듈(140)은 추정된 조명 성분을 기반으로 입력 영상의 조명 성분을 제거하고, 입력 영상의 각 픽셀 값 및 추정된 곡선 파라미터를 기반으로, 조명 성분이 제거된 영상의 각 픽셀 값을 변경할 수 있다.
이러한, 동적 범위 및 조도 조절을 통한 밝기 개선은 수학식 7과 같이 정의될 수 있다.
Figure pat00011
한편, 본 개시의 일 실시예에 따르면, 곡선 근사모듈(100) 및/또는 조도 측정모듈(120)은 신경망(neural network)으로 구현될 수 있다. 예컨대, 곡선 근사모듈(100) 및 조도 측정모듈(120)은 복수의 레이어들을 포함하는 심층 신경망(deep neural network, DNN)으로 구현될 수 있다. 이때, 곡선 근사모듈(100), 조도 측정모듈(120) 및 조절모듈(140)은 밝기 개선 모델로 통칭될 수 있다.
이하에서는, 도 2 내지 도 7을 참조하여, 곡선 근사모듈(100) 및 조도 측정모듈(120)의 네트워크 구조를 설명하도록 한다.
도 2는 본 개시의 일 실시예에 따른 곡선 근사모듈의 네트워크 구조를 나타내는 예시도이다.
도 2에 도시된 바와 같이, 본 개시의 일 실시예에 따른 곡선 근사모듈(100)은 다수의 컨볼루션 레이어(convolution layer)를 기반으로 하는 심층 신경망인, 합성곱 신경망(Convolutional Neural Network, CNN)으로 구현될 수 있다. 곡선 근사모듈(100)은 입력 영상을 기반으로, 각 픽셀의 채널별 곡선 파라미터를 포함하는 곡선 파라미터 맵(curve parameter map)을 생성할 수 있다. 즉, 곡선 근사모듈(100)은 크기가 H×W×3인 입력 영상으로부터 크기가 H×W×3인 곡선 파라미터 맵을 생성할 수 있으며, 곡선 파라미터 맵의 각 픽셀의 값은, 입력 영상 내의 동일한 위치의 픽셀에 대한 곡선 파라미터를 나타낼 수 있다.
이를 위해, 곡선 근사모듈(100)은 하나 이상의 컨볼루션 레이어(200 및 260), 하나 이상의 깊이별 가분 컨볼루션 블록들(DSC: depth-wise separable convolution block, 220), 병합 레이어(concatenation layer, 240) 및 하나 이상의 활성화 레이어(activation layer, 280)의 전부 또는 일부를 포함할 수 있다.
제1 컨볼루션 레이어(200) 및 깊이별 가분 컨볼루션 블록들(220)은, 입력 영상에 대해 컨볼루션 연산을 수행하여, 입력 영상과 동일한 크기를 갖는 제1 특징맵을 추출할 수 있다.
병합 레이어(240)는 제1 특징맵과 입력 영상을 채널방향으로 병합할 수 있다.
제2 컨볼루션 레이어(260)는 병합된 특징맵에 대해 컨볼루션 연산을 수행하여, 입력 영상과 동일한 크기를 갖는 제2 특징맵을 추출할 수 있다.
활성화 레이어(280)는 제2 특징맵에 활성화 함수를 적용하여, 제2 특징맵에 포함된 각각의 특징값을 기설정된 범위 내의 값으로 변환한 곡선 파라미터 맵을 생성할 수 있다. 일 실시예에서, 활성화 레이어(280)는 활성화 함수로서 하이퍼볼릭 탄젠트(Hyperbolic Tangent, tanh) 함수를 이용할 수 있다. 이에 따라, 곡선 파라미터 맵에 포함된 각각의 곡선 파라미터가 -1과 1 사이의 값을 가질 수 있다.
한편, 도 2에서는 도시되지 않았으나, 제1 컨볼루션 레이어(200) 및 깊이별 가분 컨볼루션 블록들(220) 각각의 출력 측에도 활성화 레이어가 더 포함될 수 있다. 일 실시예에서, 제1 컨볼루션 레이어(200) 및 깊이별 가분 컨볼루션 블록들(220) 각각의 출력 측에 위치하는 활성화 레이어들은 활성화 함수로서 ReLU 함수를 이용할 수 있다.
본 개시의 일 실시예에 따른 곡선 근사모듈(100)의 구체적인 네트워크 구조는 표 1과 같을 수 있으나 이러한 예시에 한정되는 것은 아니다. 예를 들어, 도 2 및 표 1에서는 곡선 근사모듈(100)이 2개의 컨볼루션 레이어 및 9개의 깊이별 가분 컨볼루션 블록을 포함하는 것으로 나타내고 있으나, 반드시 이에 한정하는 것은 아니며, 곡선 근사모듈(100)의 연산 속도와 추정의 정확도 등을 절충하여 적절한 개수가 설정될 수 있다.
입력 채널 출력 채널 활성화 함수
Conv 1 3 16 ReLU
DSC 1 16 32 ReLU
DSC 2 32 64 ReLU
DSC 3 64 128 ReLU
DSC 4 128 256 ReLU
DSC 5 256 128 ReLU
DSC 6 128 64 ReLU
DSC 7 64 32 ReLU
DSC 8 32 16 ReLU
DSC 9 16 3 ReLU
Conv 2 6 3 Tanh
도 3은 본 개시의 일 실시예에 따른 깊이별 가분 컨볼루션 블록의 구조를 나타내는 예시도이다.
도 3에 도시된 바와 같이, 본 개시의 일 실시예에 따른 깊이별 가분 컨볼루션 블록은 2개의 컨볼루션 레이어(300 및 320) 및 활성화 레이어(340)의 전부 또는 일부를 포함할 수 있다.
표 2는 깊이별 가분 컨볼루션 블록의 입력 채널 수가 32개이고 출력 채널 수가 64개인 경우에, 컨볼루션 레이어들의 구조를 예시한 표이다.
입력 채널 출력 채널 필터 스트라이드 패딩 그룹
Conv 1 32 32 3×3 1 1 32
Conv 2 32 64 1×1 1 0 1
표 2에 나타나듯이, 제1 컨볼루션 레이어(300)는 입력된 특징맵을 채널별로 그룹을 나누어 공간 방향의 컨볼루션 연산을 수행하고, 제2 컨볼루션 레이어(320)는 제1 컨볼루션 레이어(320)가 출력하는 특징맵에 대해 채널 방향의 컨볼루션 연산을 수행한다.
활성화 레이어(340)는 제2 컨볼루션 레이어(320)가 출력하는 특징맵에 활성화 함수를 적용한다. 활성화 함수는 예컨대, ReLU(Rectified Linear Unit) 함수일 수 있다.
도 4는 본 개시의 제1 실시예에 따른 조도 측정모듈의 네트워크 구조를 나타내는 예시도이다.
도 4에 도시된 바와 같이, 본 개시의 제1 실시예에 따른 조도 측정모듈(120)은 다수의 컨볼루션 레이어를 기반으로 하는 심층 신경망인, 합성곱 신경망으로 구현될 수 있다. 조도 측정모듈(120)은 입력 영상을 기반으로, 각 픽셀의 조명 성분을 포함하는 조명 맵(illumination map)을 생성할 수 있다. 즉, 조도 측정모듈(120)은 크기가 H×W×3인 입력 영상으로부터 크기가 H×W×1인 조명 맵을 생성할 수 있으며, 조명 맵의 각 픽셀의 값은, 입력 영상 내의 동일한 위치의 픽셀에 대한 조명 성분을 나타낼 수 있다.
이를 위해, 조도 측정모듈(120)은 하나 이상의 컨볼루션 레이어(400 및 420) 및 하나 이상의 활성화 레이어(440)의 전부 또는 일부를 포함할 수 있다.
하나 이상의 컨볼루션 레이어(400 및 420)는, 입력 영상에 대해 컨볼루션 연산을 수행하여, 특징맵을 추출할 수 있다.
활성화 레이어(440)는 특징맵에 활성화 함수를 적용하여, 특징맵에 포함된 각각의 특징값을 기설정된 범위 내의 값으로 변환한 조명 맵을 생성할 수 있다. 일 실시예에서, 활성화 레이어(440)는 활성화 함수로서 시그모이드(Sigmoid) 함수를 이용할 수 있다. 이에 따라, 조명 맵에 포함된 각각의 조명 성분 값이 0과 1 사이의 값을 가질 수 있다.
한편, 도 4에서는 도시되지 않았으나, 최종 단의 컨볼루션 레이어(420)를 제외한 다른 컨볼루션 레이어(400) 각각의 출력 측에도 활성화 레이어들이 더 포함될 수 있다. 일 실시예에서, 다른 컨볼루션 레이어(400) 각각의 출력 측에 위치하는 활성화 레이어들은 활성화 함수로서 ReLU 함수를 이용할 수 있다.
본 개시의 일 실시예에 따른 조도 측정모듈(120)의 구체적인 네트워크 구조는 표 3과 같을 수 있으나 이러한 예시에 한정되는 것은 아니다. 예를 들어, 도 4 및 표 3에서는 조도 측정모듈(120)이 5개의 컨볼루션 레이어를 포함하는 것으로 나타내고 있으나, 반드시 이에 한정하는 것은 아니며, 조도 측정모듈(120)의 연산 속도와 추정의 정확도 등을 절충하여 적절한 개수가 설정될 수 있다.
입력 채널 출력 채널 활성화 함수
Conv 1 3 16 ReLU
Conv 2 16 32 ReLU
Conv 3 32 64 ReLU
Conv 4 64 32 ReLU
Conv 5 32 1 Sigmoid
도 5는 본 개시의 제2 실시예에 따른 조도 측정모듈을 개략적으로 나타낸 블록구성도이다.
영상은 일반적으로 RGB 색공간으로 표현된다. 이는 인간의 시각 시스템이 R(빨강), G(초록), 및 B(파랑)의 변화에 반응하는 3색 추상체(three color receptor cone)로 구성되어 있고, 이를 기반으로 카메라의 디지털 센서 또한 비슷하게 설계되었기 때문이다. YCbCr 색공간은 RGB 색공간에서 조도 성분(Y)과 색차 성분들(Cb 및 Cr)을 분리하여 표현하는 모델이다. 디지털 영상에서 조도 성분(Y) 및 색차 성분들(Cb 및 Cr)은 각각 0에서 255 사이의 값을 가지며 조도 성분(Y)의 값이 커지면 영상이 전체적으로 밝아지고 조도 성분(Y)의 값이 작아지면 전체적으로 어두워진다.
인간의 시각 시스템은 밝기 차에는 민감하지만 색차에는 상대적으로 둔감하다. 이러한 점을 고려하여, 본 개시의 제2 실시예에 따른 조도 측정모듈(120)은 각각 RBG 색공간 뿐만아니라 YCbCr 색공간으로 표현된 입력 영상을 이용하여, 입력 영상의 조도 성분을 추정할 수 있다.
본 개시의 제2 실시예에 따른 조도 측정모듈(120)은, 도 5에 도시된 바와 같이, 색공간 변환모듈(500), 병합모듈(520) 및 관심유도 조도 측정모듈(attention-guided illuminance estimation module, 540)을 전부 또는 일부 포함할 수 있다. 도 5에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 조도 측정모듈(120)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다.
색공간 변환모듈(500)은 제1 색공간으로 표현된 입력 영상을 제2 색공간으로 표현되는 변환 영상으로 변환할 수 있다. 여기서, 제1 색공간은 RBG 색공간이고, 제2 색공간은 YCbCr 색공간일 수 있다. RBG 색공간 및 YCbCr 색공간 사이의 색공간 변환 방법은 해당 분야에서 잘 알려져 있으므로 구체적인 설명은 생략하도록 한다.
병합모듈(520)은 입력 영상 및 변환 영상을 채널방향으로 병합할 수 있다.
관심유도 조도 측정모듈(540)은 병합된 영상으로부터, 입력 영상의 각 픽셀에 대응하는 조명 성분을 추정할 수 있다. 즉, 관심유도 조도 측정모듈(540)은 너비 및 높이가 H×W이고, R, B, G, Y, Cb 및 Cr의 6개의 채널을 갖는 병합 영상을 기초로 H×W 개의 조명 성분을 추정할 수 있다. 이러한 관심유도 조도 측정모듈(540)은
Figure pat00012
과 같은 비선형 벡터함수로 표현될 수 있다.
일 실시예에서, 관심유도 조도 측정모듈(540)은 신경망(neural network)으로 구현될 수 있다. 예컨대, 관심유도 조도 측정모듈(540)은 복수의 레이어들을 포함하는 심층 신경망으로 구현될 수 있다. 이하에서는, 도 6 및 도 7을 참조하여, 본 개시의 일 실시예에 따른 관심유도 조도 측정모듈(540)의 네트워크 구조를 설명하도록 한다.
도 6은 본 개시의 일 실시예에 따른 관심유도 조도 측정모듈의 네트워크 구조를 나타내는 예시도이다.
도 7은 본 개시의 일 실시예에 따른 채널 어텐션 블록의 구조를 나타내는 예시도이다.
영상은 아주 다양한 조명 조건에서 촬영되기 때문에, 모든 영상이 동일한 조도 조건을 가질 수 없다. 따라서 영상의 촬영 조건에 상관 없이 동일한 최적의 조도 조건으로 보정하는 것이 필요하다. 예를 들어 노출이 작아 어두운 영상의 영역에선 종종 디테일이 부족하고 물체나 피사체가 영상의 그림자 속에 함께 섞이게 되어 구분이 어려워진다. 이와 같은 현상이 관찰되는 경우 물체의 디테일을 살리고, 그림자의 영향을 줄임으로써 물체의 인지에 크게 도움을 줄 수 있다. 반대로 노출이 과다하여 아주 밝은 영역의 경우, 밝기가 물체의 모든 구별되는 세부 사항을 압도하게 되고, 그림자가 존재하지 않으며 영역 전체에 하이라이트가 사라져 영상이 전체적으로 뿌옇게 보이게 된다. 이와 같이 다양한 조건에서 촬영되는 영상의 밝기 개선을 위해서는, 영상에서 노출이 비정상적인 영역을 찾아내고 그 부분에 집중하여 알맞은 보정 또는 생성을 해주는 것이 필요하다.
이러한 점을 고려하여, 본 개시의 일 실시예에서는, 관심유도 조도 측정모듈(540)이, 유용한 정보를 학습하는데 집중하고 중요하지 않은 정보는 폐기할 수 있도록 하는 네트워크 구조를 제안한다.
도 6을 참조하면, 본 개시의 일 실시예에 따른 관심유도 조도 측정모듈(540)은 다수의 컨볼루션 레이어를 기반으로 하는 심층 신경망인 합성곱 신경망으로 구현될 수 있다. 관심유도 조도 측정모듈(540)은 각각 RGB 색공간 및 YCbCr 색공간에서의 입력 영상이 병합된 병합 영상을 기반으로, 각 픽셀의 조명 성분을 포함하는 조명 맵을 생성할 수 있다. 즉, 관심유도 조도 측정모듈(540)은 크기가 H×W×6인 병합 영상으로부터 크기가 H×W×1인 조명 맵을 생성할 수 있으며, 조명 맵의 각 픽셀의 값은, 입력 영상 내의 동일한 위치의 픽셀에 대한 조명 성분을 나타낼 수 있다.
이를 위해, 관심유도 조도 측정모듈(540)은, 복수의 컨볼루션 레이어(600 및 640), 하나 이상의 채널 어텐션 블록(channel attention block, 620) 및 하나 이상의 활성화 레이어(660)의 전부 또는 일부를 포함할 수 있다. 일 실시예에서, 채널 어텐션 블록(620) 각각은, 2개의 컨볼루션 레이어들 사이에 위치할 수 있다.
복수의 컨볼루션 레이어(600 및 640) 및 하나 이상의 채널 어텐션 블록(620)들은 입력 영상에 대해 컨볼루션 연산 및 채널 어텐션 연산을 교번적으로 수행하여, 특징맵을 추출할 수 있다. 여기서, 각 컨볼루션 레이어(600 및 640)는, 입력 영상 또는 선행하는 채널 어텐션 블록(620)의 출력에 대해 컨볼루션 연산을 수행하여 제1 특징맵을 추출할 수 있다. 각 채널 어텐션 블록(620)은 선행하는 컨볼루션 레이어(600)가 출력하는 제1 특징맵에 대해 채널 어텐션 연산을 수행하여, 제2 특징맵을 추출할 수 있다.
이를 위해, 채널 어텐션 블록(620)은, 도 7에 도시된 바와 같이, 전역 평균 풀링 레이어(global average pooling layer, 700), 하나 이상의 완전 연결 레이어(FC layer: fully connected layer, 720 및 740) 및 곱셈기(760)의 전부 또는 일부를 포함할 수 있다.
전역 평균 풀링 레이어(700)는 선행하는 컨볼루션 레이어(600)가 출력하는 제1 특징맵 내의 각 채널의 특징값들에 대해 전역평균풀링을 수행하여, 각 채널의 정보를 표현하는 벡터를 추출할 수 있다. 즉, 전역 평균 풀링 레이어(700)는 크기가 h×w×n인 입력 특징맵으로부터 크기가 1×1×n인 제1 벡터를 생성할 수 있다.
하나 이상의 완전 연결 레이어(720 및 740)는, 제1 벡터로부터 각 채널의 중요도를 표현하는 제2 벡터를 추출할 수 있다. 예를 들어, n/r개의 뉴런을 갖는 제1 완전 연결 레이어(720)에 의해 제1 벡터의 정보가 1×1×(n/r)의 크기로 압축될 수 있으며, n개의 뉴런을 갖는 제2 완전 연결 레이어(740)에 의해 크기가 1×1×n인 벡터가 추출될 수 있다.
각 완전 연결 레이어(720 및 740)의 출력단에는 활성화 레이어(722 및 742)들이 구비될 수 있다. 일 실시예에서, 마지막 완전 연결 레이어(740)의 출력단에 위치한 활성화 레이어(742)는, 활성화 함수로서 시그모이드(Sigmoid) 함수를 이용할 수 있다. 이에 따라, 활성화 레이어(742)는, 제1 특징맵 내의 채널들 사이의 상대적인 중요도가 0과 1 사이의 값으로 표현된 제2 벡터를 출력할 수 있다. 한편, 마지막 완전 연결 레이어(740)를 제외한 다른 완전 연결 레이어(720) 각각의 출력 측에 위치하는 활성화 레이어(722)들은 활성화 함수로서 ReLU 함수를 이용할 수 있다.
곱셈기(760)는 제2 벡터를 기초로, 제1 특징맵에 포함된 각각의 특징값을 스케일링하여 제2 특징맵을 생성할 수 있다. 예를 들어, 곱셈기(760)는 제1 특징맵의 각 채널의 특징값들을 제2 벡터의 동일 채널의 특징값으로 스케일링하여, 제2 특징맵을 생성할 수 있다.
이에 따라, 채널 어텐션 블록(620)은 제1 특징맵 내에서 상대적으로 중요한 채널의 특징값들은 강조되고 덜 중요한 채널의 특징값들은 억제된 제2 특징맵을 생성할 수 있다.
다시 도 6을 참조하면, 활성화 레이어(660)는, 선행하는 컨볼루션 레이어(640)가 출력하는 특징맵에 활성화 함수를 적용하여, 특징맵에 포함된 각각의 특징값을 기설정된 범위 내의 값으로 변환한 조명 맵을 생성할 수 있다. 일 실시예에서, 활성화 레이어(660)는 활성화 함수로서 시그모이드(Sigmoid) 함수를 이용할 수 있다. 이에 따라, 조명 맵에 포함된 각각의 조명 성분 값이 0과 1 사이의 값을 가질 수 있다.
한편, 도 6에는 도시되지 않았으나, 관심유도 조도 측정모듈(540)의 최종 단의 컨볼루션 레이어(640)를 제외한 다른 컨볼루션 레이어(600) 각각의 출력 측에도 활성화 레이어들이 더 포함될 수 있다. 일 실시예에서, 다른 컨볼루션 레이어(600) 각각의 출력 측에 위치하는 활성화 레이어들은 활성화 함수로서 ReLU 함수를 이용할 수 있다.
본 개시의 일 실시예에 따른 관심유도 조도 측정모듈(540)의 구체적인 네트워크 구조는 표 4와 같을 수 있으나 이러한 예시에 한정되는 것은 아니다. 예를 들어, 도 6 및 표 4에서는 관심유도 조도 측정모듈(540)이 6개의 컨볼루션 레이어 및 5개의 채널 어텐션 블록을 포함하는 것으로 나타내고 있으나, 반드시 이에 한정하는 것은 아니며, 관심유도 조도 측정모듈(540)의 연산 속도와 추정의 정확도 등을 절충하여 적절한 개수가 설정될 수 있다.
입력 채널 출력 채널 활성화 함수
Conv 1 6 16 ReLU
CAB 1 16 16
Conv 2 16 32 ReLU
CAB 2 32 32
Conv 3 32 64 ReLU
CAB 3 64 64
Conv 4 64 32 ReLU
CAB 4 32 32
Conv 5 32 16 ReLU
CAB 5 16 16
Conv 6 16 1 Sigmoid
본 개시의 일 실시예에 따른 관심유도 조도 측정모듈(540)은, 채널 어텐션 블록(620)을 사용함으로써, 입력 영상 내에서 노출이 비정상적인 영역을 찾아내도록 훈련될 수 있다. 이에 따라, 관심유도 조도 측정모듈(540)을 이용하는 밝기 개선 모델은 비정상 노출 영역에 집중하여 알맞은 화질 개선을 수행하도록 훈련될 수 있다.
도 8은 본 개시의 일 실시예에 따른 밝기 개선 모델을 학습시키는 방법을 설명하기 위한 예시도이다.
본 개시의 일 실시예에 따른 밝기 개선 모델의 학습과정은, 학습장치에 의해 실행되고, 학습장치는 컴퓨팅 디바이스 상에서 실행될 수 있다. 학습장치는, 컴퓨팅 디바이스가 가용할 수 있는 하나 이상의 프로세서에 의해 각 기능을 수행하고, 이러한 프로세서와 연결되어 내부에 저장된 명령어들을 가지는 컴퓨터 판독가능 스토리지를 포함할 수 있다.
학습장치는 입력 영상(I)과 타겟 영상(Y)의 짝을 학습 데이터로 이용하여 밝기 개선 모델을 학습시킬 수 있다. 여기서, 타겟 영상은, 인간이 인지하기에 최적인 노출 상태에서 촬영된 영상을 의미할 수 있다. 입력 영상은 정상 상태에서 벗어난 노출에 의해 어둡거나 또는 너무 밝은 영상을 의미할 수 있다. 일 실시예에서, 학습장치는, 노출 시간이나 ISO 감도를 달리하여 동일한 대상체를 촬영한 영상들 중에서 밝기가 가장 최적인 것으로 선택된 영상을 타겟 영상으로 이용하고, 타겟 영상 대비 어둡거나 밝은 영상을 입력 영상으로 이용할 수 있다. 다른 실시예에서, 학습장치는, 원본 영상을 입력 영상으로 이용하고, 입력 영상의 밝기를 개선한 영상을 타겟 영상으로 이용할 수 있다. 밝기의 개선에는, 전문 편집자에 의한 인위적인 수정(retouch), MEF(Multi-Exposure image Fusion, MEF) 기법 또는 HDR(High Dynamic Range) 기법 등이 이용될 수 있으나, 이에 한정되는 것은 아니다. 또 다른 실시예에서, 학습장치는 원본 영상을 타겟 영상으로 이용하고, 타겟 영상의 밝기를 저하시켜 입력 영상을 생성할 수 있다. 영상의 밝기 저하에는, 감마 보정(gamma correction) 기법, 타겟 영상에 랜덤한 조명 성분을 곱하는 기법 또는 신경망을 이용한 영상 합성(synthesis) 기법 등이 이용될 수 있으나 이에 한정되는 것은 아니다.
학습장치는 입력 영상을 밝기 개선 모델에 입력하여, 곡선 파라미터 맵 및 예측 영상을 획득할 수 있다.
학습장치는 곡선 파라미터 맵으로부터 수학식 8과 같은 제1 손실함수를 산출할 수 있다.
Figure pat00013
여기서, ▽x 및 ▽y는 각각 수평 및 수직 그레디언트 연산자를 의미한다. 이러한 제1 손실함수는 인접 픽셀 간의 단조 증감(monotonicity) 관계를 유지해주는 효과를 가져올 수 있다. 즉, 제1 손실함수를 통해 인접 픽셀 간에 픽셀 값이 급격히 바뀌는 것을 방지할 수 있다.
학습장치는 예측 영상과 타겟 영상으로부터 제2 손실함수를 산출할 수 있다. 예컨대, 제2 손실함수는 수학식 9와 같이 예측 영상과 타겟 영상 간의 최소 제곱 오차를 기초로 산출될 수 있다.
Figure pat00014
학습장치는 제1 손실함수 및 제2 손실함수의 합
Figure pat00015
으로부터 역전파(Back-Propagation)를 통해 밝기 개선 모델을 학습시킬 수 있다. 여기서, 밝기 개선 모델의 학습은, 밝기 개선 모델의 가중치를 갱신하는 것을 포함할 수 있다.
도 9는 본 개시의 일 실시예에 따른 밝기 개선 방법을 나타내는 순서도이다.
도 9에 도시된 방법은, 전술한 밝기 개선 모델 및/또는 이를 포함하는 밝기 개선 장치(10)에 의해 수행될 수 있으므로, 중복되는 설명에 대해서는 생략한다.
밝기 개선 장치(10)는 영상에 적용할 동적 범위 조절 곡선의 형태를 결정하는 곡선 파라미터를 추정한다(S900).
일 실시예에서, 밝기 개선 장치(10)는 영상을 기반으로, 각 픽셀의 채널별 곡선 파라미터를 포함하는 곡선 파라미터 맵을 생성할 수 있다. 예컨대, 밝기 개선 장치(10)는 영상에 적어도 하나의 컨볼루션 연산 및 적어도 하나의 깊이별 가분 컨볼루션 연산을 수행하여, 영상과 동일한 크기를 갖는 제1 특징맵을 추출하고, 영상과 제1 특징맵을 채널방향으로 병합하고, 병합된 특징맵에 적어도 하나의 컨볼루션 연산을 수행하여 영상과 동일한 크기를 갖는 제2 특징맵을 추출하며, 제2 특징맵에 포함된 각각의 특징값을 기설정된 범위 내의 값으로 변환함으로써 곡선 파라미터 맵을 생성할 수 있다.
밝기 개선 장치(10)는 영상의 각 픽셀에 대응하는 조명 성분을 추정한다(S920).
일 실시예에서, 밝기 개선 장치(10)는 영상을 기반으로, 적어도 하나의 컨볼루션 연산을 수행하여 픽셀별 조명 성분을 포함하는 조명 맵을 생성할 수 있다. 예컨대, 밝기 개선 장치(10)는 영상에 적어도 하나의 컨볼루션 연산을 수행하여 특징맵을 추출하고, 특징맵에 포함된 각각의 특징값을 기설정된 범위 내의 값으로 변환함으로써, 조명 맵을 생성할 수 있다.
다른 실시예에서, 밝기 개선 장치(10)는, 영상을 제1 색공간에서 제2 색공간으로 변환한 변환 영상을 획득하여 영상 및 변환 영상을 채널방향으로 병합하고, 병합된 영상으로부터 영상의 픽셀별 조명 성분을 포함하는 조명 맵을 생성할 수 있다. 여기서, 제1 색공간은 RGB 색공간이고, 제2 색공간은 YCbCr 색공간일 수 있다. 밝기 개선 장치(10)는 병합된 영상에 대해, 적어도 하나의 컨볼루션 연산 및 적어도 하나의 채널 어텐션 연산을 수행하여, 영상과 너비 및 높이가 동일하고 채널이 하나인 특징맵을 추출하고, 특징맵에 포함된 각각의 특징값을 기설정된 범위 내의 값으로 변환함으로써, 조명 맵을 생성할 수 있다. 여기서, 채널 어텐션 연산은, 선행된 컨볼루션 연산의 결과인 입력 특징맵으로부터 각 채널의 중요도를 표현하는 벡터를 추출하고, 추출된 벡터를 기초로 입력 특징맵에 포함된 각각의 특징값을 스케일링하는 연산을 포함할 수 있다.
밝기 개선 장치(10)는 추정된 곡선 파라미터 및 추정된 조명 성분을 기반으로, 영상의 동적 범위 및 조도를 조절한다(S930).
예컨대, 밝기 개선 장치(10)는 추정된 조명 성분을 기반으로 영상의 조명 성분을 제거하고, 영상의 각 픽셀 값 및 상기 추정된 곡선 파라미터를 기반으로 조명 성분이 제거된 영상의 각 픽셀 값을 변경할 수 있다.
도 10a 내지 도 10d는 본 개시의 제1 실시예에 따른 조도 측정 모듈을 이용한 밝기 개선 모델 및 비교 실시예에 따른 밝기 개선 모델들의 밝기 개선 결과를 비교하기 위한 예시도이다.
도 11a 내지 도 11e는 본 개시의 제2 실시예에 따른 조도 측정모듈을 이용한 밝기 개선 모델 및 비교 실시예에 따른 밝기 개선 모델들의 밝기 개선 결과를 비교하기 위한 예시도이다.
도 10a 내지 도 11e에 도시된 바와 같이, 비교 실시예에 따른 밝기 개선 모델의 밝기 개선 결과들(Enlighten GAN, RUAS, StableLLVE, Zero-DCE, Zero-DCE++ 및/또는 KinD++)에서는 과다 노출 및 색상 왜곡 현상들이 발생하는 반면, 본 개시에 따른 밝기 개선 모델들의 밝기 개선 결과(Proposed)에서는 이러한 현상 없이 밝기가 자연스럽게 향상된 것을 확인할 수 있다.
표 5는 제1 실시예에 따른 조도 측정 모듈을 이용한 밝기 개선 모델 및 제2 실시예에 따른 조도 측정모듈을 이용한 밝기 개선 모델의 정량적 비교 결과를 보여준다.
PSNR SSIM LPIPS
입력 영상 16.10 0.770 0.148
제1 실시예 25.05 0.957 0.057
제2 실시예 28.33 0.974 0.040
표 5를 참조하면, 제2 실시예에 따른 조도 측정모듈을 이용한 밝기 개선 모델을 이용하는 경우에, 제1 실시예에 따른 조도 측정모듈을 이용한 밝기 개선 모델 대비 PSNR이 3dB 이상 개선되는 것을 확인할 수 있다.
본 발명에 따른 장치 또는 방법의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 디지털 전자 회로, 집적회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍가능 시스템 상에서 실행 가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 이들에게 데이터 및 명령들을 전송하도록 결합되는 적어도 하나의 프로그래밍가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는 기록매체"에 저장된다.
컴퓨터가 읽을 수 있는 기록매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비일시적인(non-transitory) 매체일 수 있으며, 또한 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.
본 명세서의 흐름도/타이밍도에서는 각 과정들을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 개시의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 개시의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 흐름도/타이밍도에 기재된 순서를 변경하여 실행하거나 각 과정들 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 흐름도/타이밍도는 시계열적인 순서로 한정되는 것은 아니다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 밝기 개선 장치

Claims (10)

  1. 영상의 밝기를 개선하기 위한 방법으로서,
    상기 영상에 적용할 동적 범위 조절 곡선의 형태를 결정하는 곡선 파라미터를 추정하는 과정;
    상기 영상의 각 픽셀에 대응하는 조명 성분을 추정하는 과정; 및
    상기 추정된 곡선 파라미터 및 상기 추정된 조명 성분을 기반으로, 상기 영상의 동적 범위 및 조도를 조절하는 과정
    을 포함하는 것을 특징으로 하는 밝기 개선 방법.
  2. 제1항에 있어서,
    상기 곡선 파라미터를 추정하는 과정은,
    상기 영상을 기반으로, 각 픽셀의 채널별 곡선 파라미터를 포함하는 곡선 파라미터 맵을 생성하는 과정
    을 포함하는 것을 특징으로 하는 밝기 개선 방법.
  3. 제2항에 있어서,
    상기 곡선 파라미터 맵을 생성하는 과정은,
    상기 영상에 대해, 적어도 하나의 컨볼루션 연산 및 적어도 하나의 깊이별 가분 컨볼루션 연산을 수행하여, 상기 영상과 동일한 크기를 갖는 제1 특징맵을 추출하는 과정;
    상기 영상과 상기 제1 특징맵을 채널방향으로 병합하고, 적어도 하나의 컨볼루션 연산을 수행하여 상기 영상과 동일한 크기를 갖는 제2 특징맵을 추출하는 과정; 및
    상기 제2 특징맵에 포함된 각각의 특징값을 기설정된 범위 내의 값으로 변환하여 상기 곡선 파라미터 맵을 생성하는 과정
    을 포함하는 것을 특징으로 하는 밝기 개선 방법.
  4. 제1항에 있어서,
    상기 조명 성분을 추정하는 과정은,
    상기 영상을 기반으로, 적어도 하나의 컨볼루션 연산을 수행하여 픽셀별 조명 성분을 포함하는 조명 맵을 생성하는 과정
    을 포함하는 것을 특징으로 하는 밝기 개선 방법.
  5. 제1항에 있어서,
    상기 조명 성분을 추정하는 과정은,
    상기 영상을, 제1 색공간에서 제2 색공간으로 변환한 변환 영상을 획득하는 과정;
    상기 영상 및 상기 변환 영상을 채널방향으로 병합하는 과정;
    병합된 영상으로부터, 상기 영상의 픽셀별 조명 성분을 포함하는 조명 맵을 생성하는 과정
    을 포함하는 것을 특징으로 하는 밝기 개선 방법.
  6. 제5항에 있어서,
    상기 조명 맵을 생성하는 과정은,
    상기 병합된 영상에 대해, 적어도 하나의 컨볼루션 연산 및 적어도 하나의 채널 어텐션 연산을 수행하여, 상기 영상과 너비 및 높이가 동일하고 채널이 하나인 특징맵을 추출하는 과정; 및
    상기 특징맵에 포함된 각각의 특징값을 기설정된 범위 내의 값으로 변환하여 상기 조명 맵을 생성하는 과정
    을 포함하는 것을 특징으로 하는 밝기 개선 방법.
  7. 제6항에 있어서,
    상기 채널 어텐션 연산은,
    선행된 컨볼루션 연산의 결과인 입력 특징맵으로부터 각 채널의 중요도를 표현하는 벡터를 추출하고, 상기 벡터를 기초로 상기 입력 특징맵에 포함된 각각의 특징값을 스케일링하는 것을 특징으로 하는 밝기 개선 방법.
  8. 제1항에 있어서,
    상기 조절하는 과정은,
    상기 추정된 조명 성분을 기반으로 상기 영상의 조명 성분을 제거하는 과정; 및
    상기 영상의 각 픽셀 값 및 상기 추정된 곡선 파라미터를 기반으로, 상기 조명 성분이 제거된 영상의 각 픽셀 값을 변경하는 과정
    을 포함하는 것을 특징으로 하는 밝기 개선 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 따른 밝기 개선 방법이 포함하는 각 과정을 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램.
  10. 영상에 적용할 동적 범위 조절 곡선의 형태를 결정하는 곡선 파라미터를 추정하는 곡선 근사모듈;
    상기 영상의 각 픽셀에 대응하는 조명 성분을 추정하는 조도 측정모듈; 및
    상기 추정된 곡선 파라미터 및 상기 추정된 조명 성분을 기반으로 상기 영상의 동적 범위 및 조도를 조절하는 조절모듈
    을 포함하는 것을 특징으로 하는 밝기 개선 장치.
KR1020220110974A 2022-04-12 2022-09-01 영상의 밝기 개선 방법 및 장치 KR20230146974A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220045299 2022-04-12
KR1020220045299 2022-04-12

Publications (1)

Publication Number Publication Date
KR20230146974A true KR20230146974A (ko) 2023-10-20

Family

ID=88514650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220110974A KR20230146974A (ko) 2022-04-12 2022-09-01 영상의 밝기 개선 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230146974A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690062A (zh) * 2024-02-02 2024-03-12 武汉工程大学 一种矿内矿工异常行为检测方法
CN117893413A (zh) * 2024-03-15 2024-04-16 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690062A (zh) * 2024-02-02 2024-03-12 武汉工程大学 一种矿内矿工异常行为检测方法
CN117690062B (zh) * 2024-02-02 2024-04-19 武汉工程大学 一种矿内矿工异常行为检测方法
CN117893413A (zh) * 2024-03-15 2024-04-16 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法
CN117893413B (zh) * 2024-03-15 2024-06-11 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法

Similar Documents

Publication Publication Date Title
CN109658341B (zh) 增强图像对比度的方法及其装置
CN109791688B (zh) 曝光相关的亮度变换
KR20230146974A (ko) 영상의 밝기 개선 방법 및 장치
CA2563520C (en) Methods and systems for converting images from low dynamic range to high dynamic range
US8923612B2 (en) Image processing apparatus and method, and program
JP5389903B2 (ja) 最適映像選択
CN104717432A (zh) 处理一组输入图像的方法、图像处理设备和数字照相机
US10521887B2 (en) Image processing device and image processing method
CN112085673A (zh) 一种强鬼影去除多曝光图像融合方法
Steffens et al. Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing
CN112785534A (zh) 一种动态场景下去鬼影多曝光图像融合方法
CN113039576A (zh) 图像增强系统和方法
US20180025476A1 (en) Apparatus and method for processing image, and storage medium
KR20200092492A (ko) 의미 인식 기반의 이미지 보정 방법 및 그를 위한 장치
CN113706393A (zh) 视频增强方法、装置、设备及存储介质
CN110175967B (zh) 图像去雾处理方法、系统、计算机设备和存储介质
US10863103B2 (en) Setting apparatus, setting method, and storage medium
EP3363193B1 (en) Device and method for reducing the set of exposure times for high dynamic range video imaging
US20210125318A1 (en) Image processing method and apparatus
KR20130058972A (ko) 자동 영상보정을 위한 영상 처리 장치 및 방법
US20230146016A1 (en) Method and apparatus for extreme-light image enhancement
KR101585187B1 (ko) Cielab 색 공간에서의 통합된 멀티 스케일 레티넥스를 수행하는 이미지 처리 방법 및 장치
Zabaleta et al. Photorealistic style transfer for video
CN107292829B (zh) 图像处理方法及装置
CN116977190A (zh) 图像处理方法、装置、设备、存储介质及程序产品