KR102338877B1 - 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법 - Google Patents

Abstract

본 발명은 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법에 관한 것으로, (a) 어텐션 네트워크(Attention Network)를 통해 입력 영상으로부터 전경 영역과 배경 영역을 분리하는 단계; (b) 상기 어텐션 네트워크(Attention Network)를 통해 상기 전경 영역과 상기 배경 영역에 대한 밝기 보상 값을 추출하는 단계; 및 (c) ISP 네트워크를 통해 상기 밝기 보상 값을 상기 전경 영역과 상기 배경 영역에 각각 적용하여 고화질 RGB 영상을 복원하는 단계;를 포함한다.

Description

딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법{SELF SHOOTING IMAGE QUALITY IMPROVEMENT METHOD USING DEEP LAERNING}

본 발명은 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법에 관한 것이다.

카메라의 물리적 한계로 인하여, 특히 저렴한 카메라 또는 스마트폰 카메라에서 촬영된 영상은 블러, 노이즈 등의 열화로부터 취약하며 실제 장면의 색을 충분히 담아 내지 못한다. 이러한 한계를 화질 개선 소프트웨어 알고리즘을 통해 극복하고자 하는 연구가 지속적으로 수행되고 있다.

최근 화질 개선에 딥러닝 기술을 적용하는 연구가 활발하게 수행되고 있다. 딥러닝 신경망 네트워크를 이용하여 저화질 영상을 고화질 영상으로 만들어 내는 방식으로 다양한 기존의 시도가 있었다. 대다수의 기존 기술은 카메라 ISP를 거친 RGB 영상을 입출력 영상의 포맷으로 사용하였다.

최근 카메라 ISP를 거치지 않은, 센서의 Bayern pattern만을 통과한 RAW 영상 영역에서 딥러닝 기술을 활용한 화질 개선 연구 사례가 발표된 바 있다(예 "Learning to See in the Dark"- CVPR 2018, "Towards Real Scene Super-Resolution with RAW Images" - CVPR 2019).

이러한 딥러닝 네트워크 학습을 위해서는 양질의 데이터베이스(이하 DB) 확보가 필수적이다. 기존의 RAW 영역 딥러닝 기술들은 대부분 직접 촬영된 영상으로 구성된 DB를 이용하였다. 그러므로 영상 촬영의 시간, 공간적 제약에 따라 DB에 포함된 장면의 종류가 많지 않으며 대부분 배경 영상으로 구성되어 있다.

그러나, 실제 카메라 사용자는 인물을 촬영하는 경우가 대부분이며 또한 빈번하게 셀프 카메라(이하 셀카) 영상을 촬영하므로 셀카 영상에 특화된 딥러닝 기반 화질 개선 기술이 요구되고 있다.

본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 셀카로 촬영된 영상의 화질을 높이기 위하여, 저조도 환경에서 촬영된 셀카 영상의 화질을 개선하여, 전경인 사용자와 배경이 모두 고화질로 표현되는 영상을 제공하고자 한다.

본 발명에 따른 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법은, (a) 어텐션 네트워크(Attention Network)를 통해 입력 영상으로부터 전경 영역과 배경 영역을 분리하는 단계; (b) 상기 어텐션 네트워크(Attention Network)를 통해 상기 전경 영역과 상기 배경 영역에 대한 밝기 보상 값을 추출하는 단계; 및 (c) ISP 네트워크를 통해 상기 밝기 보상 값을 상기 전경 영역과 상기 배경 영역에 각각 적용하여 고화질 RGB 영상을 복원하는 단계;를 포함한다.

본 발명의 다른 일실시예에 따르면, 상기 (c) 단계는, 상기 ISP 네트워크를 통해 상기 밝기 보상 값을 상기 전경 영역과 상기 배경 영역에 각각 적용하여 전경 영상과 배경 영상을 생성하는 단계; 및 상기 전경 영상과 상기 배경 영상을 이용하여 고화질 RGB 영상을 복원하는 단계;를 포함할 수 있다.

본 발명의 다른 일실시예에 따르면, 상기 (a) 단계는 세그먼테이션 네트워크(Segmentation Network)를 통해 입력 영상으로부터 전경 영역과 배경 영역을 추출할 수 있다.

본 발명의 다른 일실시예에 따르면, 상기 (b) 단계는 증폭 비율 추정 네트워크(Amplification Ratio Estimation Network)를 통해 상기 전경 영역과 상기 배경 영역에 대한 밝기 보상 값을 추출할 수 있다.

본 발명의 다른 일실시예에 따르면, 상기 (a) 단계 이전에, 전경 RGB 영상과 배경 RGB 영상을 이용해 RAW 영상을 생성하는 딥러닝 네트워크에 의해 생성되는 데이터베이스를 생성하는 단계; 및 상기 데이터베이스를 이용해 상기 어텐션 네트워크(Attention Network)와 상기 ISP 네트워크를 학습시키는 단계;를 더 포함할 수 있다.

본 발명의 다른 일실시예에 따르면, 상기 데이터베이스를 생성하는 단계는, 상기 전경 RGB 영상과 상기 배경 RGB 영상에 딥러닝 네트워크를 적용하여 각각 전경 RAW 영상과 배경 RAW 영상을 생성하는 단계; 및 상기 전경 RAW 영상과 상기 배경 RAW 영상을 합성하여 RAW 영상을 생성하고, 상기 RAW 영상을 포함하는 데이터베이스를 구성하는 단계;를 포함할 수 있다.

본 발명의 실시예에 따르면, 저조도 환경에서 촬영된 셀카 영상의 화질을 개선하여, 전경인 사용자와 배경이 모두 고화질로 표현되는 영상을 생성함으로써, 셀카로 촬영된 영상의 화질을 보다 향상시켜 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일실시예에 따른 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법을 설명하기 위한 도면이다.
도 3 및 도 4는 본 발명의 일실시예에 따른 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법의 학습 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 어텐션 네트워크(Attention Network)를 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 ISP 네트워크(Network)를 설명하기 위한 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하나 이상의 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있음을 의미한다.

본 발명에 따른 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법은 저조도 영상으로 제한되는 것은 아니나, 저조도에서 촬영된 영상에서 기술적 효과가 가장 크게 나타날 수 있다. 본 발명에 따른 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법은 셀카 영상에 특화된 기술이므로 입력 영상에는 한 명 또는 복수의 인물이 존재하며, 인물 영역(이하 전경)이 영상에서 큰 영역을 차지하는 경우에 더욱 효과적이다. 제안 기술의 입력 영상의 포맷은 카메라 ISP를 거치지 않은 RAW 영상(Bayer RAW RGB 영상)이며 출력 영상의 포맷은 RGB 영상이다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 일실시예에 따른 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법을 설명하기 위한 흐름도이고, 도 2는 본 발명의 일실시예에 따른 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법을 설명하기 위한 도면이다.

이후부터는 도 1 및 도 2를 참조하여 본 발명의 일실시예에 따른 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법을 설명하기로 한다.

본 발명의 일실시예에 따른 본 발명의 딥러닝을 이용한 자가 촬영 영상의 화질 개선 시스템에서는, 고화질 영상 생성을 위하여 두 개의 딥러닝 네트워크로서 어텐션 네트워크(Attention Network)와 ISP 네트워크가 사용된다.

먼저, 본 발명의 일실시예에 따르면 어텐션 네트워크(Attention Network)를 통해 입력 영상으로부터 전경 영역과 배경 영역을 분리하고(S110), 상기 전경 영역과 상기 배경 영역에 대한 밝기 보상 값을 추출한다(S120).

이때, 어텐션 네트워크(Attention Network)는 영상으로부터 전경과 배경 영역을 추출하고, 화질 개선을 위하여 전경과 배경 영역에 적용될 밝기 보상 값을 추출한다.

또한, 어텐션 네트워크(Attention Network)는 전경과 배경 영역에 각각 다른 밝기 보상 값이 곱해진 두 장의 RAW 영상을 출력한다.

이후, ISP 네트워크를 통해 상기 밝기 보상 값을 상기 전경 영역과 상기 배경 영역에 각각 적용하여 고화질 RGB 영상을 복원한다(S130).

ISP 네트워크는 두 장의 RAW 영상을 입력으로 받아 고화질의 RGB 영상 한 장을 생성하는 네트워크이다.

즉, 상기 ISP 네트워크를 통해 상기 밝기 보상 값을 상기 전경 영역과 상기 배경 영역에 각각 적용하여 전경 영상과 배경 영상을 생성하고, 상기 전경 영상과 상기 배경 영상을 이용하여 고화질 RGB 영상을 복원할 수 있다.

이때, ISP 네트워크는 일반적인 카메라 ISP에서 수행하는 demosaicing, denoising, tone mapping 등을 내부적으로 수행할 수 있다.

본 발명에 따르면, 개념적으로 어텐션 네트워크(Attention Network)와 ISP 네트워크로서 두 개의 네트워크로 나누어 져 있으나, 한 장의 RAW 영상을 입력으로 받아 한 장의 RGB 영상을 만들어 낸다는 측면에서, 기존의 일반적인 ISP와 입출력이 동일하나, 출력 영상을 생성하는 방식이 다르다.

도 3 및 도 4는 본 발명의 일실시예에 따른 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법의 학습 방법을 설명하기 위한 도면이다.

어텐션 네트워크(Attention Network)와 ISP 네트워크(Network)의 학습을 위해서는 충분한 수의 영상으로 구성된 DB가 필요하다.

특히, 영상에는 다양한 배경과 다양한 인물을 포함하여야 하며 저화질의 RAW 영상(입력)과 고화질의 RGB 영상(출력)이 같이 필요하기 때문에, 직접적인 촬영을 통하여 충분한 데이터베이스(DB)를 생성하기 어렵다. 그러므로 본 발명의 일실시예에서는 도 3 및 도 4에 기재된 방식을 사용하여 DB를 생성한다.

도 3은 RGB 영상을 입력으로 RAW 영상을 만드는 네트워크(이하 r2rNet)를 도시하고 있다.

일반적인 카메라 ISP가 RAW 영상을 입력으로 RGB 영상을 만들기 때문에 그 반대 방향으로 동작하는 네트워크에 해당한다.

셀카가 아닌 영상에 대해서는 고화질의 RAW와 RGB 영상이 쌍으로 존재하는 DB가 존재하므로 r2rNet의 학습이 가능하다. r2rNe은 RGB를 입력, RAW를 출력으로 하는 신경망 네트워크이다.

인물 영상 분할(human body segmentation, facial region segmentation)과 같은 분야에서 인물 영역을 정교하게 분할한 정보를 제공하는 다양한 DB가 존재한다. 그러므로 도 4에 도시된 방식을 통하여 본 발명에 필요한 DB를 생성할 수 있다.

즉, 각각의 배경 RGB 영상과 전경 RGB 영상 (인물 영역 만을 포함한 영상)에 대하여 r2rNet을 이용하여 RAW 영상을 생성하여 데이터베이스(DB)를 구성하고, 상기 데이터베이스를 이용해 상기 어텐션 네트워크(Attention Network)와 상기 ISP 네트워크를 학습시킬 수 있다.

보다 구체적으로, 전경 RAW 영상과 배경 RAW 영상에 대하여 각각 다양한 밝기 보정 값 (0-1 사이의 실수)를 곱하여 다양한 조도에서 촬영된 RAW 영상을 시뮬레이션 할 수 있다. 특히 저조도 환경에서 카메라 설정에 따라 배경이 밝게 찍히고 얼굴은 어둡게 찍히거나, 반대로 얼굴은 밝게 찍히나 배경은 거의 보이지 않는 경우가 빈번하게 발생한다. 이러한 영상들을 RAW 블렌딩(blending) 단계에서 합성을 통하여 생성할 수 있다.

이렇게 합성을 통하여 생성된 RAW 영상이 본 발명의 딥러닝을 이용한 자가 촬영 영상의 화질 개선 시스템에 입력될 수 있다.

또한, 4의 RAW 영상 합성 시 이용된 전경 RGB 영상과 배경 RGB 영상을 RGB 영역에서 정교하게 합성(object composition) 한 후, 그 결과 합성 영상을 ISP 네트워크를 학습하기 위한 목표 영상(ground-truth image)으로 사용할 있다.

즉, 본 발명의 일실시예에 따르면 전경 RGB 영상과 배경 RGB 영상을 이용해 RAW 영상을 생성하는 딥러닝 네트워크에 의해 생성되는 데이터베이스(DB)를 생성하며, 이때 상기 전경 RGB 영상과 상기 배경 RGB 영상에 딥러닝 네트워크를 적용하여 각각 전경 RAW 영상과 배경 RAW 영상을 생성하고, 상기 전경 RAW 영상과 상기 배경 RAW 영상을 합성하여 RAW 영상을 생성하고, 상기 RAW 영상을 포함하는 데이터베이스(DB)를 구성하며, 상기 데이터베이스(DB)를 이용해 상기 어텐션 네트워크(Attention Network)와 상기 ISP 네트워크를 학습하도록 할 수 있다.

도 3 및 도 4에 도시된 데이터베이스(DB) 생성 방식은 본 발명의 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법에서 네트워크를 학습하는데 필요한 DB가 없거나 부족할 경우에 합성을 통하여 DB를 생성하는 방식이다. 그러므로 직접 촬영을 통하여 생성된 충분한 DB(인물과 배경을 포함하는 저화질 RAW 영상과 이와 똑 같은 배경/전경에서의 고화질 RGB 영상으로 구성된 DB)가 있는 경우 이를 이용하도록 구성될 수 있다.

도 5는 본 발명의 일실시예에 따른 어텐션 네트워크(Attention Network)를 설명하기 위한 도면이다.

어텐션 네트워크(Attention Network)에는 전경과 배경이 포함된 RAW 영상이입력되며, 전경과 배경에 해당하는 밝기 보정 수치 값이 출력된다.

어텐션 네트워크(Attention Network)는 내부의 세그먼테이션 네트워크(Segmentation Network)를 통해 전경과 배경 영역을 추출한다.

도 3 및 도 4에 도시된 방식을 통해 생성된 데이터베이스(DB)를 이용하면, 전경을 배경에 합성할 경우 세그먼트(segmentation)의 정확한 정답을 알고 있기 때문에 세그먼테이션 네트워크(segmentation network)가 이를 추정하도록 학습시킬 수 있다.

세그먼테이션 네트워크(segmentation network)의 전경 및 배경 추정 결과와 RAW 영상을 입력으로 하여, 증폭 비율 추정 네트워크(Amplification Ratio Estimation Network)에서 전경과 배경에 해당하는 밝기 보정 수치 값을 추출할 수 있다.

도 3 및 도 4에 도시된 방식을 통해 RAW 영상을 합성하였을 경우, RAW 합성(blending) 단계에서 전경과 배경에 적용한 밝기 보정 값이 정답에 해당한다. 그러므로 증폭 비율 추정 네트워크(Amplification Ratio Estimation Network)가 정답에 최대한 가까운 밝기 보정 수치 값을 추정하도록 학습시킬 수 있다.

도 6은 본 발명의 일실시예에 따른 ISP 네트워크(Network)를 설명하기 위한 도면이다.

어텐션 네트워크(Attention Network)에서 취득한 전경 영역에 대하여 전경 영역 밝기 보정 값의 역수를 곱하여 전경에 대한 밝기가 보정된 영상을 생성할 수 있다.

마찬가지로 배경 영역에 대하여 밝기가 보정된 영상을 생성할 수 있다.

ISP 네트워크는 이와 같은 방식으로 생성된 두 장의 영상을 입력으로 하여 하나의 고화질 RGB 영상을 출력으로 생성한다.

이때, DB에 포함된 고화질 RGB 영상을 ISP 네트워크가 출력하도록 네트워크를 학습시킬 수 있으며, 본 발명에서는 ISP 네트워크의 세부적인 구조를 한정하지 않으나, RAW 영상으로부터 RGB 영상을 생성하기 때문에 ISP 네트워크에서 내부적으로 demosaicing과 denoising 및 tone mapping 등을 수행할 수 있다.

본 발명의 일실시예에 따른 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법에 의하면, 밝기 보정 값이나 전배경 영역 추출 결과는 내부적으로만 계산이 되며 고화질로 복원된 영상만이 결과 영상으로서 사용자에게 제공될 수 있다.

또한, 본 발명의 일실시예에 따르면 생성한 영상에 대하여 sharpness enhancement, tone mapping, color correction 등이 후처리 기술이 보조적으로 적용될 수도 있다.

이와 같이 본 발명에 따르면, 저조도 환경에서 촬영된 셀카 영상의 화질을 개선하여, 전경인 사용자와 배경이 모두 고화질로 표현되는 영상을 생성함으로써, 셀카로 촬영된 영상의 화질을 보다 향상시켜 제공할 수 있다.

이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.

Claims (6)

1. (a) ISP(Image signal processing)을 거치지 않은 RAW 영상(Bayer Raw RGB 영상)을 딥 러닝 영상 분류 모델인 어텐션 네트워크(Attention Network)에 입력하여, 상기 입력된 RAW 영상을 전경 영역과 배경 영역으로 분리하는 단계;
   (b) 상기 전경 영역과 상기 배경 영역에 각각 적용될 밝기 보상 값을 추출하고, 상기 전경 영역과 상기 배경 영역에 상기 추출된 각각의 밝기 보상 값을 곱함으로써, 상기 RAW 영상 입력에 따른 상기 어텐션 네트워크의 출력으로서 상기 전경 영역 및 상기 배경 영역 각각에 대한 개별 RAW 영상을 획득하는 단계;
   (c) 상기 획득된 상기 전경 영역 및 상기 배경 영역 각각에 대한 개별 RAW 영상을 ISP 네트워크에 입력하여, 상기 개별 RAW 영상에 관한 상기 ISP 네트워크의 출력으로서 단일의 고화질 RGB 영상을 획득하는 단계-여기서, 상기 ISP 네트워크는 카메라의 ISP(Image signal processing)에 상응하는 화소 보간(demosaicing), 노이즈 제거(denoising), 톤 맵핑(tone mapping)을 처리하도록 학습된 딥 러닝 영상 처리 모델임-;를 포함하고,
   상기 (a) 단계 이전에, 상기 어텐션 네트워크와 상기 ISP 네트워크를 학습시키기 위한 학습 데이터베이스를 생성하는 단계를 포함하되,
   상기 학습 데이터베이스를 생성하는 단계는,
   다수의 사전 획득된 RGB 영상-RAW 영상 쌍을 대상으로 한 딥 러닝을 통해서, RGB 영상을 입력으로 하여 RAW 영상을 출력하도록 학습된 소정의 딥 러닝 네트워크를 이용하여, 입력된 RGB 영상에 관한 배경 RGB 영상에 대응되는 배경 RAW 영상과 전경 RGB 영상에 대응되는 배경 RAW 영상을 획득하고, 획득된 배경 RAW 영상 및 전경 RGB 영상에 각각 0~1 사이의 실수 값으로 결정되는 다수의 밝기 보정 값을 적용하여, 적용된 밝기 보정 값에 상응하는 RAW 영상을 생성함으로써, 상기 어텐션 네트워크와 상기 ISP 네트워크를 학습시키기 위한 학습 데이터베이스로서의 RGB 영상 및 RAW 영상을 획득하는 것을 특징으로 하는, 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법.
   
2. 삭제
3. 청구항 1에 있어서,
   상기 (a) 단계에서,
   상기 어텐션 네트워크 내에서 영상 분할을 담당하는 세그먼테이션 네트워크(Segmentation Network)를 통해 입력된 RAW 영상으로부터 상기 전경 영역과 상기 배경 영역이 추출되는 것을 특징으로 하는, 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법.
   
4. 청구항 1에 있어서,
   상기 (b) 단계에서,
   상기 어텐션 네트워크 내에서 밝기 보상 값 추출을 담당하는 증폭 비율 추정 네트워크(Amplification Ratio Estimation Network)를 통해 상기 전경 영역과 상기 배경 영역에 대한 밝기 보상 값이 추출되는 것을 특징으로 하는, 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법.
   
5. 삭제
6. 삭제

Images