KR20200092492A

KR20200092492A - 의미 인식 기반의 이미지 보정 방법 및 그를 위한 장치

Info

Publication number: KR20200092492A
Application number: KR1020190003662A
Authority: KR
Inventors: 김선주; 남성현
Original assignee: 연세대학교 산학협력단
Priority date: 2019-01-11
Filing date: 2019-01-11
Publication date: 2020-08-04
Also published as: KR102192016B1

Abstract

의미 인식 기반의 이미지 보정 방법 및 그를 위한 장치를 개시한다.
본 발명의 실시예에 따른 이미지 보정장치는 입력 이미지에 대한 색상 특징 맵을 추출하는 색상 추출부; 컨볼루션 레이어를 이용하여 상기 입력 이미지에 대한 적어도 하나의 컨볼루션 특징 맵을 추출하는 특징 맵 추출부; 상기 적어도 하나의 컨볼루션 특징 맵을 기반으로 의미 보정 맵(SAM: Semantic Adjustment Map)을 생성하는 의미 보정 맵 생성부; 및 상기 의미 보정 맵 및 상기 색상 특징 맵을 기반으로 색 변환에 대한 색상 매핑 정보를 생성하여 이미지 보정에 대한 출력 색상을 예측하는 색 변환 처리부를 포함할 수 있다.

Description

의미 인식 기반의 이미지 보정 방법 및 그를 위한 장치{Method and Apparatus for Image Adjustment Based on Semantics-Aware}

본 발명은 객체의 의미를 인식하여 이미지를 보정하는 방법 및 그를 위한 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

아마추어 이미지 작가는 점점 더 많은 디지털 카메라로 이미지를 어디서나 쉽게 찍을 수 있습니다.

디지털 카메라로 누구나 이미지를 촬영할 수 있다 하지만, 촬영된 이미지는 시각적으로 만족스럽지 않을 수 있다. 이에 따라, 많은 사람들은 촬영된 이미지의 색조와 색상을 보정하여 시각적으로 더욱 인상적이고 스타일화 된 결과물을 얻기를 원한다.

하지만, 이미지 보정은 이미지 편집에 대한 전문 지식이 없는 아마추어 사용자에게는 어려운 작업이다. 또한, 많은 양의 이미지를 보정하기 위해서는 많은 인력이 필요로 한다.

이러한 이유로, 자동 이미지 보정을 위한 많은 기술이 연구되고 있다. 자동 이미지 보정 기술은 이미지의 색조와 색상을 자동으로 향상시켜 사람이 개입하지 않아도 시각적으로 더욱 인상적이고 스타일화 된 결과물을 출력할 수 있다.

일반적으로 자동 이미지 보정 기술은 전문적인 품질을 제공하기 위하여 전문가의 이미지 보정 스타일을 모방하며, 이미지의 낮은 레벨의 색상 히스토그램, 밝기 및 대비를 기반으로 이미지의 대비 / 밝기 및 색상 / 채도를 조정하는 등 여러가지 방법이 적용되고 있다.

하지만, 이러한 방법은 이미지의 모든 픽셀에 동일한 색상 매핑을 적용하여 이미지의 색을 전체적으로 보정함에 따라 과도한 색 보정이 이루어지게 되고, 객체 별 의미와 무관하게 균일한 방식으로 색 보정이 이루어지게 된다.

본 발명은 입력 이미지의 컨볼루션 특징 맵 및 공간 특징 맵을 기반으로 의미 보정 맵을 생성하고, 입력 이미지의 색상 특징 맵 및 의미 보정 맵을 기반으로 색상 매핑 정보를 생성하여 이미지 보정에 대한 출력 색상을 예측하는 의미 인식 기반의 이미지 보정 방법 및 그를 위한 장치를 제공하는 데 주된 목적이 있다.

본 발명의 일 측면에 의하면, 상기 목적을 달성하기 위한 이미지 보정장치는 입력 이미지에 대한 색상 특징 맵을 추출하는 색상 추출부; 컨볼루션 레이어를 이용하여 상기 입력 이미지에 대한 적어도 하나의 컨볼루션 특징 맵을 추출하는 특징 맵 추출부; 상기 적어도 하나의 컨볼루션 특징 맵을 기반으로 의미 보정 맵(SAM: Semantic Adjustment Map)을 생성하는 의미 보정 맵 생성부; 및 상기 의미 보정 맵 및 상기 색상 특징 맵을 기반으로 색 변환에 대한 색상 매핑 정보를 생성하여 이미지 보정에 대한 출력 색상을 예측하는 색 변환 처리부를 포함할 수 있다.

또한, 본 발명의 다른 측면에 의하면, 상기 목적을 달성하기 위한 의미 인식 기반의 이미지 보정 방법은 입력 이미지를 획득하는 이미지 획득단계; 상기 입력 이미지에 대한 색상 특징 맵을 추출하는 색상 추출단계; 컨볼루션 레이어를 이용하여 상기 입력 이미지에 대한 적어도 하나의 컨볼루션 특징 맵을 추출하는 특징 맵 추출단계; 상기 적어도 하나의 컨볼루션 특징 맵을 기반으로 의미 보정 맵(SAM: Semantic Adjustment Map)을 생성하는 의미 보정 맵 생성단계; 및 상기 의미 보정 맵 및 상기 색상 특징 맵을 기반으로 색 변환에 대한 색상 매핑 정보를 생성하여 이미지 보정에 대한 출력 색상을 예측하는 색 변환 처리단계를 포함할 수 있다.

이상에서 설명한 바와 같이, 본 발명은 사진 전문가와 동일한 방식으로 이미지 색 보정을 자동으로 수행할 수 있는 효과가 있다.

또한, 본 발명은 아핀 모델(Affine Model) 대신에 쌍선형 색 변환 네트워크를 적용함으로써, 비선형 특성을 반영하여 이미지 색 보정을 수행할 수 있는 효과가 있다.

또한, 본 발명은 의미 보정 맵(SAM)을 생성함으로써, 픽셀 단위의 문맥 특징을 학습할 수 있는 효과가 있다.

또한, 본 발명은 수작업으로 설계된 기능이나 광범위한 사전 처리가 필요하지 않고, 모든 기능은 종단 간 방식으로 자동 학습할 수 있는 효과가 있다.

또한, 본 발명은 다중 스케일 컨볼루션 신경망(CNN) 기능을 이용하여 픽셀 단위의 문맥 상의 특징을 학습할 수 있는 효과가 있다.

도 1은 종래기술 및 본 발명의 보정 결과를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 의미 인식 기반의 이미지 보정장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 의미 인식 기반의 이미지 보정장치의 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 의미 인식 기반의 이미지 보정 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 실시예에 따른 이미지 보정 샘플 이미지를 나타낸 예시도이다.
도 6은 본 발명의 실시예에 따른 이미지 보정 결과물의 질을 비교한 샘플 이미지를 나타낸 예시도이다.
도 7a 및 도 7b는 본 발명의 실시예에 따른 의미 인식 기반의 이미지 보정 방식을 적용한 샘플 이미지를 나타낸다.
도 8a 및 도 8b는 본 발명의 실시예에 따른 이미지 보정 결과물의 비교 및 순환신경망의 적용 여부에 따른 결과물을 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 이미지 보정장치의 쌍선형 변환 동작을 시각화한 도면을 나타낸다.
도 10은 본 발명의 실시예에 따른 이미지 보정장치의 비선형 색상 특징 맵을 나타낸 예시도이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다. 이하에서는 도면들을 참조하여 본 발명에서 제안하는 의미 인식 기반의 이미지 보정 방법 및 그를 위한 장치에 대해 자세하게 설명하기로 한다.

도 2는 본 발명의 실시예에 따른 의미 인식 기반의 이미지 보정장치를 개략적으로 나타낸 블록 구성도이고, 도 3은 본 발명의 실시예에 따른 의미 인식 기반의 이미지 보정장치의 동작을 설명하기 위한 도면이다.

본 실시예에 따른 이미지 보정장치(200)는 특징 맵 추출부(210), 색상 추출부(220), 의미 보정 맵 생성부(230), 색 변환 처리부(240) 및 이미지 색 보정부(260)를 포함한다. 도 1의 이미지 보정장치(200)는 일 실시예에 따른 것으로서, 도 1에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 이미지 보정장치(200)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다.

일반적으로 전문가의 이미지 보정 방법은 근본적인 색 매핑이 공간적으로 다양하고, 장면의 객체에 의존적이기 때문에 이미지의 의미를 이해해야만 보정이 가능하다. 이러한 방법으로 인해 기존에는 수작업으로 생성된 특징값(Features)을 전처리하는 단계에 크게 의존하고, 특징값의 과잉으로 인해 공간적으로 일관성이 없는 픽셀 단위의 아핀 변환(affine transform)을 사용하여 이미지 보정을 수행하였다.

본 실시예에 따른 이미지 보정장치(200)는 전문가의 이미지 보정 방법을 학습하고, 학습된 이미지 보정 스타일을 적용하여 입력 이미지를 자동으로 보정하는 동작을 수행한다.

이미지 보정장치(200)는 엔드 투 엔드(end-to-end) 심층 신경 네트워크(deep neural network)를 기반으로 전문가의 이미지 보정 스타일로 이미지를 정확하게 변환한다.

이미지 보정장치(200)는 전문가의 이미지 보정 스타일에 대한 의미 보정 맵(SAM: Semantic Adjustment Map)을 생성하여 학습한다. 여기서, 의미 보정 맵은 전문가의 이미지 보정 스타일을 적용한 이미지의 장면을 파싱(parsing)하여 생성된 맵을 의미한다. 이미지 보정장치(200)는 공간적으로 일관된 색상 매핑이 적용된 의미 보정 맵을 생성하여 학습한다.

이미지 보정장치(200)는 의미론적 영역 내에서 단일 비선형 색 변환(single non-linear color transform)을 학습하기 위하여 아핀 모델(affine transform)을 대신 쌍선형 색 변환 방법(bilinear color transform)을 사용한다. 여기서, 의미론적 영역은 이미지 내의 객체를 소정의 기준으로 구분하여 유사한 의미를 갖는 영역을 말한다.

본 실시예에 따른 이미지 보정장치(200)는 전문가의 이미지 보정 스타일을 적용하여 이미지 색 보정을 자동으로 수행함에 따라 양적 및 질적으로 효율적인 이미지 보정 결과물을 생성할 수 있다. 또한, 이미지 보정장치(200)는 사용자 간 상호작용을 위한 이미지 양식을 제공하는 분야에 확장 적용될 수 있다.

이하, 본 실시예에 따른 이미지 보정장치(200)에 포함된 구성요소 각각에 대해 설명하도록 한다.

특징 맵 추출부(210)는 입력 이미지에 대한 적어도 하나의 특징 맵을 추출한다. 특징 맵 추출부(210)는 입력 이미지에서 프레임별 또는 시간 주기별로 특정 이미지들을 추출하고, 추출된 특정 이미지들의 메타 데이터에 따라 필터링하여 특징 맵을 추출하기 위한 복수의 레이어를 포함한다. 여기서, 특징 맵은 특정 이미지에서 추출된 적어도 하나의 특징 값을 포함하여 구성될 수 있다.

특징 맵 추출부(210)는 적어도 하나의 컨볼루션 필터를 포함하는 컨볼루션 레이어부(212) 및 순환 신경망(RNN) 레이어를 적용하여 공간 특징 맵을 추출하는 순환 신경망 레이어부(214)를 포함한다.

컨볼루션 레이어부(212)는 적어도 하나의 컨볼루션 필터(310, 320, 322, 324)를 포함하고, 적어도 하나의 컨볼루션 필터(310, 320, 322, 324) 각각에 대한 컨볼루션 특징 맵을 추출한다.

컨볼루션 레이어부(212)는 입력 이미지의 비선형 특징을 추출하기 위한 초기 컨볼루션 필터(310)를 적용하여 비선형 특징 맵을 추출한다. 초기 컨볼루션 필터(310)를 통해 추출된 비선형 특징 맵은 색상 추출부(220)로 전달된다.

컨볼루션 레이어부(212)는 초기 컨볼루션 필터(310)의 결과물에서 에지(Edge) 정보를 추출하기 위한 제1 컨볼루션 필터(320)를 적용하여 제1 컨볼루션 특징 맵을 추출한다. 여기서, 에지 정보는 전경 객체, 배경 객체 등에 대한 경계선에 대한 특징값을 의미하며, HOG(Histogram of Oriented Gradients), Canny 에지 검출, LoG, 라플라시안 등 다양한 추출 방식 중 하나를 이용하여 추출될 수 있다. 제1 컨볼루션 필터(320)를 통해 추출된 제1 컨볼루션 특징 맵은 의미 보정 맵 생성부(230)로 전달된다.

컨볼루션 레이어부(212)는 제1 컨볼루션 필터(320)의 결과물에서 객체의 일부분 각각에 대한 객체 분할정보를 추출하기 위한 제2 컨볼루션 필터(322)를 적용하여 제2 컨볼루션 특징 맵을 추출한다. 예를 들어, 제2 컨볼루션 필터(322)는 사람 객체에서 머리, 팔, 다리, 몸통 등 객체의 일부분 각각에 대한 특징값을 포함하는 제2 컨볼루션 특징 맵을 추출한다. 제2 컨볼루션 필터(322)를 통해 추출된 제2 컨볼루션 특징 맵은 의미 보정 맵 생성부(230)로 전달된다.

컨볼루션 레이어부(212)는 제2 컨볼루션 필터(322)의 결과물에서 객체 각각에 대한 객체 형상정보를 추출하기 위한 제3 컨볼루션 필터(324)를 적용하여 제3 컨볼루션 특징 맵을 추출한다. 예를 들어, 제3 컨볼루션 필터(324)는 사람, 강아지 등의 객체 각각의 전체 형상에 대한 특징값을 포함하는 제3 컨볼루션 특징 맵을 추출한다. 제3 컨볼루션 필터(324)를 통해 추출된 제3 컨볼루션 특징 맵은 의미 보정 맵 생성부(230)로 전달된다.

순환 신경망 레이어부(214)는 컨볼루션 레이어부(212)의 뒷단에 연결되며, 객체 위치 관계정보에 대한 공간 특징 맵을 추출한다. 순환 신경망 레이어부(214)는 제3 컨볼루션 필터(324)의 결과물에서 객체 위치 관계정보를 추출하기 위한 순환 신경망(RNN) 레이어(330, 332, 334)를 적용하여 공간 특징 맵을 추출한다. 여기서, 순환 신경망 레이어부(214)는 4 방향 공간 RNN 레이어(330, 332)와 공간 컨볼루션 필터(334)를 포함하여 구성될 수 있다. 여기서, 공간 컨볼루션 필터(334)는 1 × 1 컨볼루션으로 구성될 수 있으며, 추가적인 컨볼루션 레이어가 추가될 수도 있다. 예를 들어, 순환 신경망 레이어부(214)는 사람, 강아지 등의 객체가 존재하는 경우 사람 객체는 이미지의 제1 영역에 위치하고, 강아지 객체는 이미지의 제2 영역에 위치하는 것에 대한 객체 위치 관계정보를 추출할 수 있다. 순환 신경망 레이어부(214)에서 추출된 공간 특징 맵은 의미 보정 맵 생성부(230)로 전달된다.

색상 추출부(220)는 입력 이미지에 대한 색상 특징 맵을 추출하는 동작을 수행한다.

색상 추출부(220)는 상기 색상 특징 맵을 포함하는 색상 특징 블록을 생성한다. 색상 추출부(220)는 입력 이미지에 대한 입력 색상 맵을 포함하는 입력 색 특징 블록(350) 및 컨볼루션 레이어부(212)의 초기 컨볼루션 필터를 통해 추출된 비선형 특징 맵을 포함하는 비선형 특징 블록(352)을 생성한다. 색상 추출부(220)는 입력 이미지에 대한 입력 색상 맵에 비선형 특징 맵을 결합한 색상 특징 맵을 포함하는 색상 특징 블록(354)을 생성한다.

색상 추출부(220)는 입력 색 특징 블록(350) 및 비선형 특징 블록(352)을 소정의 컨볼루션 필터를 적용하여 색상 특징 맵을 포함하는 색상 특징 블록(354)으로 변환한다.

의미 보정 맵 생성부(230)는 적어도 하나의 특징 맵을 기반으로 의미 보정 맵(SAM: Semantic Adjustment Map)을 생성한다.

의미 보정 맵 생성부(230)는 적어도 하나의 컨볼루션 필터 각각에 대한 컨볼루션 특징 맵 각각을 포함하는 적어도 하나의 레지듀얼 블록(340, 341, 342)과 공간 특징 맵을 포함하는 공간 순환 신경망 블록(343)을 생성한다.

의미 보정 맵 생성부(230)는 적어도 하나의 레지듀얼 블록(340, 341, 342) 및 공간 순환 신경망 블록(343)을 특정 크기로 축소 샘플링 처리하여 의미 보정 맵(346)을 생성할 수 있다. 구체적으로, 의미 보정 맵 생성부(230)는 적어도 하나의 레지듀얼 블록 및 공간 순환 신경망 블록을 업샘플링하여 보간 처리한 후 결합한 블록(340, 341, 342, 343)을 특정 크기 블록(344)로 축소 샘플링 처리하여 의미 보정 맵(346)을 생성한다.

색 변환 처리부(240)는 의미 보정 맵 및 색상 특징 맵을 기반으로 색 변환에 대한 색상 매핑 정보를 생성하여 이미지 보정에 대한 출력 색상을 예측한다.

색 변환 처리부(240)는 의미 보정 맵 및 색상 특징 맵을 쌍선형 풀링(Bilinear Pooling) 처리하여 색상 매칭 정보를 생성한다. 구체적으로, 색 변환 처리부(240)는 의미 보정 맵 및 상기 색상 특징 맵을 쌍선형 풀링 처리하여 객체별 색 변환정보를 생성하고, 객체별 색 변환정보에 근거하여 객체별 고유색상에 대한 색상 매칭 정보를 생성한다.

이미지 색 보정부(260)는 입력 이미지에 색상 매핑 정보를 기반으로 색 보정을 수행하여 출력 이미지를 생성한다. 이미지 색 보정부(260)는 입력 이미지의 의미에 따라 서로 다른 색상 매핑을 적용하여 색 보정을 수행할 수 있다.

이하, 이미지 보정장치(200)의 동작을 구체적으로 설명하도록 한다.

이미지 보정장치(200)는 입력 이미지에 포함된 입력 픽셀에 포함된 의미론적 문맥(context)에 따라 색 보정을 위한 입력 컬러(x)에서 출력 컬러(y)로의 색상 매핑의 회귀적 모델(regression model)을 학습한다. 이미지 보정장치(200)는 의미 인식 기반의 색상 매핑을 위하여 심층 신경 네트워크(deep neural network)를 적용할 수 있다.

본 실시예에 따른 이미지 보정장치(200)는 컨볼루션 신경 네트워크(CNN: Convolutional Neural Network)를 기반으로 제안된 심층 신경 네트워크(deep neural network)를 적용하여 색 매핑에 따른 출력 색상을 예측할 수 있다. 여기서, 이미지 보정장치(200)는 컨볼루션 신경 네트워크(CNN: Convolutional Neural Network) 중 ResNet을 이용하여 동작하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.

이미지 보정장치(200)는 전처리 학습을 수행할 수 있으며, 입력 이미지의 색상, 객체, 의미 등을 나타내는 다양한 수준의 특징(Features)을 적용하여 학습을 수행할 수 있다.

본 실시예에 따른 이미지 보정장치(200)는 입력 이미지의 전반적인 합성정보를 필수적으로 분석한다. 즉, 이미지 보정장치(200)는 입력 이미지 중 색 보정을 수행하는 부분과 나머지 부분과의 관계 및 구성에 대한 전반적인 합성정보를 분석한다.

하지만, 컨볼루션 신경 네트워크(CNN) 기반의 컨볼루션 특징 맵은 픽셀 레벨에서 입력 이미지의 전반적인 합성정보를 인코딩 처리하기는 어렵다. 이에 따라 이미지 보정장치(200)는 컨볼루션 신경 네트워크(CNN)의 뒷단에 공간 순환신경망(Spatial Recurrent neural network)를 추가로 적용할 수 있다.

공간 순환신경망(Spatial RNN)은 상하좌우에 대한 4 방향 공간 RNN 레이어들로 구성되며, 공간 RNN 레이어의 뒷단에 컨볼루션 필터가 추가로 구성된다. 여기서, 컨볼루션 필터는 1 × 1 컨볼루션으로 구성될 수 있으며, 추가적인 컨볼루션 레이어가 추가될 수도 있다.

이미지 보정장치(200)는 공간 순환신경망(Spatial RNN)을 적용함으로써, 적은 자원을 이용하여 공간 해상도를 잃지 않으면서 특징 맵을 추출할 수 있다. 만약, 이미지 보정장치(200)는 공간 순환신경망(Spatial RNN) 대신 컨볼루션 신경 네트워크(CNN)를 추가로 적용하는 경우, 컨볼루션 레이어를 위한 메모리 공간과 학습 가능한 가중치가 필요하다.

이미지 보정장치(200)는 다양한 방식 중 적어도 하나의 기법을 통해 픽셀 단위의 특징값을 추출한다. 예를 들어, 이미지 보정장치(200)는 스파스 하이퍼컬럼 훈련방법(sparse hypercolumn training method)을 통해 픽셀 단위의 특징을 추출할 수 있다. 여기서, 스파스 하이퍼컬럼 훈련방법은 특징적인　로컬 영역(local region)에 대한 하이퍼컬럼 특징값(Hyper-column Feature)을 추출하여 처리하는 기법으로서, 훈련 시간에 신경망 네트워크는 backpropagation을 위해 이미지로부터 희소 픽셀을 무작위로 샘플링하여 많은 훈련 신호를 생성할 수 있다. 스파스 하이퍼컬럼 훈련방법은 기존의 디컨볼루션(deconvolutional) 접근법보다 훨씬 적은 파라미터를 필요로 한다.

이미지 보정장치(200)는 입력 이미지에 대한 소정의 데이터가 주어지면 스파스 하이퍼컬럼 훈련방법을 적용하여 로우 레벨에서 하이 레벨의 다양한 특징값을 추출할 수 있다. 이미지 보정장치(200)는 컨볼루션 레이어를 통해 추출된 특징값들을 포함하는 특징 맵을 저장하기 위한 레지듀얼 블록을 생성한다. 여기서, 레지듀얼 블록은 각각 256, 512 및 1024 채널 등을 사용하는 형태로 생성될 수 있다.

또한, 이미지 보정장치(200)는 공간 RNN 레이어를 통해 추출된 공간 특징 맵을 포함하는 공간 순환 신경망 블록을 추가로 생성한다. 여기서, 공간 순환 신경망 블록은 1024 채널을 사용하는 형태로 생성될 수 있다.

이미지 보정장치(200)는 컨볼루션 특징 맵 및 공간 특징 맵을 정규화 처리한다. 여기서, 특징 맵은 가중치 제곱의 합에 비례하여 가중치에 페널티를 주는 정규화 유형(L2 정규화)을 통해 정규화될 수 있다.

이미지 보정장치(200)는 정규화 처리된 특징 맵에 대한 레지듀얼 블록 및 공간 순환 신경망 블록을 연결한 후 특정 크기로 축소 샘플링 처리하여 의미 보정 맵을 생성할 수 있다. 예를 들어, 이미지 보정장치(200)는 1 × 1 컨볼루션 필터를 사용하여 512 채널의 크기로 축소 샘플링 처리할 수 있다.

본 실시예에 따른 이미지 보정장치(200)는 쌍선형 색 변환 네트워크(Bilinear color transform network)를 기반으로 입력 이미지에 대한 색상 특징 맵 및 의미 보정 맵(SAM)을 생성하고, 색상 특징 맵 및 의미 보정 맵을 이용하여 출력 색상을 예측한다. 이하, 쌍선형 색 변환 네트워크 기반의 이미지 보정장치(200)에 대해 구체적으로 설명하도록 한다.

컨볼루션 레이어부(212)는 적어도 하나의 컨볼루션 필터를 포함하고, 적어도 하나의 컨볼루션 필터 각각에 대한 컨볼루션 특징 맵을 추출한다.

컨볼루션 레이어부(212)는 입력 이미지의 비선형 특징을 추출하기 위한 초기 컨볼루션 필터를 적용하여 비선형 특징 맵을 추출한다. 초기 컨볼루션 필터를 통해 추출된 비선형 특징 맵은 색상 추출부(220)로 전달된다.

컨볼루션 레이어부(212)는 초기 컨볼루션 필터의 결과물에서 에지(Edge) 정보를 추출하기 위한 제1 컨볼루션 필터를 적용하여 제1 컨볼루션 특징 맵을 추출한다. 제1 컨볼루션 필터를 통해 추출된 제1 컨볼루션 특징 맵은 의미 보정 맵 생성부(230)로 전달된다.

컨볼루션 레이어부(212)는 제1 컨볼루션 필터의 결과물에서 객체의 일부분 각각에 대한 객체 분할정보를 추출하기 위한 제2 컨볼루션 필터를 적용하여 제2 컨볼루션 특징 맵을 추출한다. 제2 컨볼루션 필터를 통해 추출된 제2 컨볼루션 특징 맵은 의미 보정 맵 생성부(230)로 전달된다.

컨볼루션 레이어부(212)는 제2 컨볼루션 필터의 결과물에서 객체 각각에 대한 객체 형상정보를 추출하기 위한 제3 컨볼루션 필터를 적용하여 제3 컨볼루션 특징 맵을 추출한다. 제3 컨볼루션 필터를 통해 추출된 제3 컨볼루션 특징 맵은 의미 보정 맵 생성부(230)로 전달된다.

의미 보정 맵 생성부(230)는 적어도 하나의 특징 맵을 기반으로 의미 보정 맵(SAM)을 생성한다. 여기서, 시맨틱 조정 맵 (SAM)은 K-채널 2D 세그멘틱 분할 맵을 의미한다.

의미 보정 맵 생성부(230)는 전문가의 보정 스타일과 같이, 이미지 컨텍스트 또는 영역에 따라 K 개의 다른 색상 작업으로 구성하기 위하여 시맨틱 조정 맵 (SAM)은 각 픽셀에 대해 특성 교차를 수행한다. 여기서, 특성 교차는 원-핫 인코딩(one-hot encoding)인 것이 바람직하나 반드시 이에 한정되는 것은 아니다.

의미 보정 맵 생성부(230)는 각 픽셀에 대해 범주형 확률 변수(categorical random variable)에 따른 원-핫 벡터(f^SAM)를 생성한다. 원-핫 벡터(f^SAM)는 [수학식 1]과 같이 정의된다.

여기서, m은 범주형 확률 밀도 함수 p(m_k = 1|x)로부터 샘플링된 원-핫 벡터이다. p(m_k = 1|x)는 k 번째 색상 매핑을 사용하여 픽셀 x를 보정할 확률을 의미한다. Cat()은 픽셀 x를 보정할 확률들을 결합하여 원-핫 벡터로 출력하는 함수를 의미한다.

의미 보정 맵 생성부(230)는 자율 훈련을 통해 각 픽셀을 처리하여 의미 영역 내에서 공간적으로 균일한 색상 매핑을 처리할 수 있다.

의미 보정 맵 생성부(230)는 의미 보정 맵을 생성하기 위해 색상 매핑을 수행하는 과정에서 이산 색상 매핑(discrete color mapping)에 따른 경계 주위에서 갑작스러운 색상 변경이 유발될 수 있다. 이에, 의미 보정 맵 생성부(230)는 경계를 부드럽게 하기 위하여 f^SAM에 가이드 필터링을 적용할 수 있다.

의미 보정 맵 생성부(230)는 회귀 손실 log p(y|x)에 따라 분산 하향식 기법을 적용하여 f^SAM에 가이드 필터링을 적용할 수 있다.여기서, 분산 하향식 기법(L)은 [수학식 2]로 정의될 수 있다.

여기서, L은 회귀 손실, E: 손실 함수를 의미한다. 일반적으로 픽셀이 서로 독립적이라고 가정하면, 의미 보정 맵 생성부(230)에서 사용되는 K(채널 수)는 매우 작기 때문에 특정 맵에 대한 정확한 기대치를 계산하기 어렵다.

의미 보정 맵 생성부(230)는 실제적으로 발생하는 모든 보정 스타일을 하나 또는 두 개의 클래스로 분류하여 K 가 작아서 발생하는 문제를 해소할 수 있다.

예를 들어, 이미지 최적화는 하늘, 땅 등과 같은 몇 가지 큰 클래스에 의해 지배된다. 종래에는 클래스 균형 분류를 위해 클래스 재조정 트릭을 사용하였지만, 본 발명의 의미 보정 맵 생성부(230)에서는 K 가 부족한 문제를 완화하기 위하여 K 개의 손실 기간마다 다른 가중치를 곱한다. 여기서, 가중치는 의미 보정 맵 생성부(230)에 의해 처리되는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 특징 맵 추출부(210)에서 처리될 수도 있다.

의미 보정 맵 생성부(230)는 상대적으로 작은 트레이닝 신호에도 불구하고 작은 클래스가 쉽게 발견될 수 있도록 저주파 클래스의 손실 기간에 작은 가중치를 곱한다. 여기서, 가중치는 [수학식 3]과 같이 정의될 수 있다.

여기서, w_t는 가중치를 의미하고, α는 a의 손실에 대한 가중치의 기여도를 제어하는 변수를 의미한다. a_t 는 K 개의 클래스의 정규화된 소프트 주파수의 이동 평균을 의미한다. 여기서, K 클래스는 [수학식 4]와 같이 정의된 t 트레이닝 배치에서 계산된다.

여기서,

는 t 번째 배치의 모든 픽셀에 대한 p_t (m_k = 1|x)의 평균을 의미한다.

의미 보정 맵 생성부(230)에서 산출된 이미지 보정장치(200)의 최종 회귀 손실은 [수학식 5]와 같이 계산된다.

여기서, L은 최종 회귀 손실, E: 손실 함수, p(m_k = 1|x)는 k 번째 색상 매핑을 사용하여 픽셀 x를 보정할 확률, w_t는 가중치를 의미한다.

의미 보정 맵 생성부(230)는 최종 회귀 손실에 근거하여 의미 보정 맵을 생성할 수 있다.

색 변환 처리부(240)는 의미 보정 맵을 기반으로 쌍선형 색 변환을 분석하여 색 보정을 위한 색상 매핑 정보를 생성한다.

색 변환 처리부(240)는 의미 보정 맵 생성부(230)에서 생성된 의미 보정 맵을 이용하여 의미 보정 맵의 각 채널에 대한 전반적인 색상 변환 및 비선형 색상 변환을 찾는다.

색 변환 처리부(240)는 입력 색상 기반의 색상 특징맵(f^color) 및 의미 보정 맵(f^SAM)을 쌍선형 풀링(bilinear pooling)에 기반한 쌍선형 변환을 사용하여 색상 매핑 정보를 생성한다. 여기서, 색상 매핑 정보는 쌍선형 변환에 대한 모델을 의미한다. 쌍선형 변환에 대한 모델은 요소 쌍의 곱셈을 유도하는 선형 행렬을 가진 두 벡터의 외적을 통해 산출될 수 있으며, 쌍선형 변환에 대한 모델은 [수학식 6]과 같이 정의될 수 있다.

여기서, a_j는 쌍선형 변환 모델, f^color ∈ R^I는 색 특징을 의미한다 또한, f^SAM ∈ R^K는 의미 보정 맵(SAM)이고, W_j는 두 벡터 간의 상호 작용을 결정하는 변수를 의미한다.

색 변환 처리부(240)는 쌍선형 변환에 대한 모델을 통해 비선형 색 변환(non-linear color transform)을 학습하기 위해 색상 추출부(220)로부터 비선형 특징 맵을 추가로 반영한 색상 특징 맵을 획득할 수 있다. 여기서, 비선형 특징은 이미지에서 소정의 기준에 따라 선형적으로 도출되지 않는 결과물에 대한 특징을 의미하며, 일반적인 낮은 순위 쌍선형 풀링 방법을 기반으로 도출된 비선형 특징일 수 있다.

색 변환 처리부(240)는 쌍선형 변환에 따른 색상 매핑 정보를 도출하여 출력 색상(y^)을 예측할 수 있다. 출력 컬러(y^)는 [수학식 7]과 같이 표현될 수 있다.

여기서, P ∈ R^d×c, U ∈ R^I×d, V ∈ R^K×d는 W의 분해 값, b ∈ R^d, c ∈ R^d, d ∈ R^c는 추가 편향 값이다. ˚는 요소 단위의 곱셈이며, 비선형 함수 σ는 tanh를 사용한다.

색 변환 처리부(240)는 추가 개선을 위해 색상 특징 맵(f ^color)에 비선형 특성을 추가할 수 있다. 색 변환 처리부(240)는 특징 맵 추출부(210)의 초기 컨볼루션 필터를 통한 비선형 특징 맵을 획득하고, 비선형 특징 맵과 입력 이미지에 대한 입력 색상 맵을 결합하여 비선형 특성이 포함된 색상 특징 맵을 이용할 수 있다.

색 변환 처리부(240)는 입력 색상을 원래의 색상 공간에서 비선형 공간으로 변환하고, 비선형 변환을 통해 색상 매핑이 쉽게 모델링되어 색상 매핑 정보를 생성할 수 있다.

이미지 색 보정부(260)는 입력 이미지에 색상 매핑 정보를 기반으로 색 보정을 수행하여 출력 이미지를 생성한다. 여기서, 이미지 색 보정부(260)는 보정 과정에서 부정확 한 세분화로 인해 객체 경계 주변에 일부 이상치가 존재할 수 있다. 그러므로, 이미지 색 보정부(260)는 손실에 대한 최적화를 수행한다.

이미지 색 보정부(260)는 후버 손실(Huber loss) 방식을 이용하여 이상치에 대한 손실을 최소화할 수 있다. 이러한 방식은 [수학식 8]을 통해 정의될 수 있다.

여기서, Lhuber()는 후버 손실값을 의미하고, e는 오차(이상치)를 의미하고, δ는 두 손실 함수 사이의 변화점을 의미한다. 기 설정된 기준에 따라 손실은 작은 오차 | e | ≤ δ 에 대해 2 차이고, 큰 오차 | e | > δ에 대해 선형이다. 선형 함수의 기울기가 항상 δ이므로 최적화에서 이상치의 기여도가 감소하게 된다.

도 4는 본 발명의 실시예에 따른 의미 인식 기반의 이미지 보정 방법을 설명하기 위한 순서도이다.

이미지 보정장치(200)는 입력 이미지 획득하고(S410), 이미지 보정장치(200)는 입력 이미지에 대한 색상 특징 맵을 추출한다(S420).

이미지 보정장치(200)는 컨볼루션 레이어를 통해 컨볼루션 특징 맵 추출한다(S430).

이미지 보정장치(200)는 순환신경망 레이어를 통해 순환신경망 특징 맵 추출한다(S440).

이미지 보정장치(200)는 컨볼루션 특징 맵 및 순환신경망 특징 맵을 보간 처리하여 의미 보정 맵을 생성한다(S450).

이미지 보정장치(200)는 색상 특징 맵 및 의미 보정 맵을 이용하여 색상 매핑 정보를 생성한다(S460).

이미지 보정장치(200)는 색상 매핑 정보를 기반으로 사진 보정에 대한 출력 색상을 예측한다(S470).

이미지 보정장치(200)는 색 보정을 위한 신규 입력 이미지가 존재하는지 여부를 확인한다(S480). 신규 입력 이미지가 존재하는 경우 이미지 보정장치(200)는 출력 색상을 적용하여 신규 입력 이미지에 대한 색 보정을 수행한다(S490).

도 4에서는 각 단계를 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.

도 4에 기재된 본 실시예에 따른 이미지 보정 방법은 애플리케이션(또는 프로그램)으로 구현되고 단말장치(또는 컴퓨터)로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 이미지 보정 방법을 구현하기 위한 애플리케이션(또는 프로그램)이 기록되고 단말장치(또는 컴퓨터)가 읽을 수 있는 기록매체는 컴퓨팅 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치 또는 매체를 포함한다.

도 5는 본 발명의 실시예에 따른 이미지 보정 샘플 이미지를 나타낸 예시도이다.

도 5는 의미 인식 이미지를 보정하는 예시 결과물을 나타낸다. 도 5의 (a)는 입력 이미지이고, 도 5의 (b)는 의미 보정 맵(SAM)을 나타낸다. 또한, 도 5의 (c)는 의미 보정 맵(SAM)의 각 영역(510, 520)에 대한 색 변환을 분석한 색상 매칭 정보를 통해 보정된 출력 이미지를 나타낸다.

도 5의 예시에서는, 전경 객체 영역(520)을 포화 상태로 만들고, 배경 객체 영역(510)을 불포화 상태로 만든 의미 보정 맵(SAM)을 이용하여 색 보정을 수행한다.

본 실시예에 따른 이미지 보정장치(200)는 전문가가 전경 및 배경을 구분하여 객체의 의미에 따라 이미지의 색조와 색을 조정하는 방식과 같이, 전경 객체 영역(520)은 포화 상태가되고 배경 객체 영역(510)은 불포화 상태로 구분하여 색 보정을 수행할 수 있다. 이미지 보정장치(200)는 각각의 의미를 인식한 영역에 대해 각 영역 내의 모든 픽셀의 색 변환은 균일하게 이루어진다.

도 6은 본 발명의 실시예에 따른 이미지 보정 결과물의 질을 비교한 샘플 이미지를 나타낸 예시도이다.

도 6은 의미 인식 이미지의 보정하는 질적인 결과물을 나타낸다. 도 6의 (a)는 입력 이미지를 나타내고, (b)는 일반적인 보정 방식(Zhu et al.) 기반의 보정 결과물을 나타낸다. 도 6의 본 발명의 보정 결과물을 나타내고, (d)는 실제 전경을 나타낸다.

도 6의 각 행에는 전경 팝 아웃(1, 2 행), 로컬 Xpro(3, 4 행) 및 수채화(5, 6 행)와 같은 3 가지 유형의 사진 조정 스타일이 적용된 결과물을 나타내며, 본 발명에 따른 이미지 보정장치(200)의 결과물인 도 6의 (c)가 공간적으로 변하는 픽셀 색상을 더 정확하게 추정하는 것을 확인할 수 있다.

도 7a 및 도 7b는 본 발명의 실시예에 따른 의미 인식 기반의 이미지 보정 방식을 적용한 샘플 이미지를 나타낸다.

도 7a 및 도 7b는 본 발명에 따른 이미지 보정 방식에서 추출된 의미 보정 맵(SAM)을 나타낸다.

도 7의 (a)는 입력 이미지를 나타내고, (b)는 실제 전경을 나타낸다. 도 7의 (c)는 본 발명의 보정 결과물을 나타내고, (d)는 본 발명의 의미 보정 맵(SAM)을 나타낸다.

도 7의 각 행에는 전경 팝 아웃(도 7a의 1, 2 행), 로컬 Xpro(도 7a의 3, 4 행), 수채화(도 7b의 1, 2 행) 및 골든(도 7b의 3, 4 행)과 같은 4 가지 유형의 사진 조정 스타일이 적용된 결과물을 나타낸다.

본 발명에 따른 이미지 보정장치(200)는 고유한 색 변환을 효과적으로 발견할 수 있다. 이산 SAM은 경계 주위에서 색상이 갑자기 변경 될 수 있으나, 이러한 문제는 유도된 페더링을 SAM에 적용함으로써 효과적으로 완화시킬 수 있다.

도 8a 및 도 8b는 본 발명의 실시예에 따른 이미지 보정 결과물의 비교 및 순환신경망의 적용 여부에 따른 결과물을 나타낸 도면이다.

도 8a은 본원발명의 색 보정 결과물, Zhu et al.의 보정 결과물, 및 Gharbi et al.의 보정 결과물에 대한 선호도 조사 결과를 나타내며, 본원발명의 결과물은 대부분의 사용자가 선호하는 이미지를 보정하는 것을 확인할 수 있다. 여기서, Zhu et al.의 보정 결과물은 “Exemplar-based image and video stylization using fully convolutional semantic features(F. Zhu, Z. Yan, J. Bu, Y. Yu)”에 기재된 방식의 결과물을 의미하며, Gharbi et al.의 보정 결과물은 “Deep bilateral learning for real-time image enhancement(M. Gharbi, J. Chen, J. T. Barron, S. W. Hasinoff, F. Durand)” 에 기재된 방식의 결과물을 의미한다.

도 8b는 공간 RNN 레이어의 효과를 나타내는 도면으로써, 도 8b의 (a)는 입력 영상, (b)는 공간 RNN 레이어가 적용되지 않은 의미 보정 맵(SAM)을 나타낸다. 또한, 도 8b의 (c)는 공간 RNN 레이어가 적용된 의미 보정 맵(SAM)을 나타낸다.

도 8b의 (c)에서는 입력 영상의 사람 객체가 단일 클러스터로 분류되는 것을 확인할 수 있다. 즉, 하나의 사람 객체에 동일한 색상 매핑이 적용되어 균일한 색 보정 결과물을 생성할 수 있다. 이에 비해, 도 8b의 (b)에서는 입력 영상의 사람 객체가 여러 개의 클러스터로 분류되어 있다. 이러한 경우, 하나의 사람 객체에 서로 다른 색상 매핑이 적용되어 균일하지 않은 색 보정 결과물이 생성된다.

도 9는 본 발명의 실시예에 따른 이미지 보정장치의 쌍선형 변환 동작을 시각화한 도면을 나타낸다.

도 9는 쌍선형 색 변환을 시각화하여 나타낸 도면이다. 도 9의 (a)는 입력 이미지, 의미 보정 맵(SAM) 및 출력 이미지를 나타낸다.

도 9의 (b), (c), (d)는 (a)의 의미 보정 영역(A, B, C) 각각의 색상 매핑을 나타낸다. 도 9의 (b), (c), (d) 각각에 표시된 파란점은 실제 색상 매핑값을 의미하고, 빨간점은 본 발명의 색 보정 방식에 따른 출력 색 예측 결과를 의미한다.

본 발명에 따른 이미지 보정장치(200)의 의미 보정 맵(SAM) 및 쌍선형 모델은 색 변환을 정확히 예측할 수 있으며, 색 보정 정확도를 향상 시킬 수 있다.

도 10은 본 발명의 실시예에 따른 이미지 보정장치의 비선형 색상 특징 맵을 나타낸 예시도이다.

도 10의 (a)는 2 차 색 기반의 t-SNE 임베딩을 보여 주며, (b)는 본 발명의 비선형 색 특성에 대한 t-SNE 임베딩을 나타낸다. 도 10의 빨강, 초록 및 파랑 점은 각각 도 9의 (a)의 클러스터 A, B 및 C에 속하는 픽셀이다.

본 발명에 따른 이미지 보정장치(200)는 의미 보정 맵(SAM)과 함께 쌍선형 색 변환 모델의 원래 색 공간에서 비선형 색 특징(f^color)을 학습한다. 본 발명에 따른 이미지 보정장치(200)는 의미(semantic) 정보 없이 표현된 색을 의미적으로 인식하여 학습함으로써, 효과적인 쌍선형 색 변환이 가능하다.

이상의 설명은 본 발명의 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 실시예들은 본 발명의 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

200: 이미지 보정장치
210: 특징 맵 추출부 220: 색상 추출부
230: 의미 보정 맵 생성부 240: 색 변환 처리부
250: 출력 색 예측부 260: 이미지 색 보정부

Claims

입력 이미지에 대한 색상 특징 맵을 추출하는 색상 추출부;
컨볼루션 레이어를 이용하여 상기 입력 이미지에 대한 적어도 하나의 컨볼루션 특징 맵을 추출하는 특징 맵 추출부;
상기 적어도 하나의 컨볼루션 특징 맵을 기반으로 의미 보정 맵(SAM: Semantic Adjustment Map)을 생성하는 의미 보정 맵 생성부; 및
상기 의미 보정 맵 및 상기 색상 특징 맵을 기반으로 색 변환에 대한 색상 매핑 정보를 생성하여 이미지 보정에 대한 출력 색상을 예측하는 색 변환 처리부
를 포함하는 것을 특징으로 하는 의미 인식 기반의 이미지 보정장치.
제1항에 있어서,
상기 색상 추출부는,
상기 색상 특징 맵을 포함하는 색상 특징 블록을 생성하며,
상기 색상 특징 블록은 상기 입력 이미지에 대한 입력 색상 맵에 비선형 특징 맵을 결합한 상기 색상 특징 맵을 포함하는 것을 특징으로 하는 의미 인식 기반의 이미지 보정장치.
제1항에 있어서,
상기 특징 맵 추출부는,
적어도 하나의 컨볼루션 필터를 포함하는 컨볼루션 레이어부를 포함하고, 상기 컨볼루션 레이어부는 상기 적어도 하나의 컨볼루션 필터 각각에 대한 컨볼루션 특징 맵을 추출하는 것을 특징으로 하는 의미 인식 기반의 이미지 보정장치.
제3항에 있어서,
상기 컨볼루션 레이어부는,
상기 입력 이미지의 초기 컨볼루션 필터에서 에지(Edge) 정보를 추출하여 제1 컨볼루션 특징 맵을 생성하는 제1 컨볼루션 필터;
상기 제1 컨볼루션 특징 맵에서 객체의 일부분 각각에 대한 객체 분할정보를 추출하여 제2 컨볼루션 특징 맵을 생성하는 제2 컨볼루션 필터; 및
상기 제2 컨볼루션 특징 맵에서 객체 각각에 대한 객체 형상정보를 추출하여 제3 컨볼루션 특징 맵을 생성하는 제3 컨볼루션 필터
를 포함하는 것을 특징으로 하는 의미 인식 기반의 이미지 보정장치.
제3항에 있어서,
상기 특징 맵 추출부는,
순환 신경망(RNN) 레이어를 적용하여 객체 위치 관계정보에 대한 공간 특징 맵을 추출하는 순환 신경망 레이어부를 추가로 포함하는 것을 특징으로 하는 의미 인식 기반의 이미지 보정장치.
제5항에 있어서,
상기 의미 보정 맵 생성부는,
상기 적어도 하나의 컨볼루션 필터 각각에 대한 컨볼루션 특징 맵 각각을 포함하는 적어도 하나의 레지듀얼 블록; 및
상기 공간 특징 맵을 포함하는 공간 순환 신경망 블록을 포함하며,
상기 적어도 하나의 레지듀얼 블록 및 상기 공간 순환 신경망 블록을 특정 크기로 축소 샘플링 처리하여 상기 의미 보정 맵을 생성하는 것을 특징으로 하는 의미 인식 기반의 이미지 보정장치.
제6항에 있어서,
상기 의미 보정 맵 생성부는,
상기 적어도 하나의 레지듀얼 블록 및 상기 공간 순환 신경망 블록을 업샘플링하여 보간 처리한 후 결합한 블록을 상기 특정 크기로 축소 샘플링 처리하여 상기 의미 보정 맵을 생성하는 것을 특징으로 하는 의미 인식 기반의 이미지 보정장치.
제1항에 있어서,
상기 색 변환 처리부는,
상기 의미 보정 맵 및 상기 색상 특징 맵을 쌍선형 풀링(Bilinear Pooling) 처리하여 상기 색상 매칭 정보를 생성하는 것을 특징으로 하는 의미 인식 기반의 이미지 보정장치.
제8항에 있어서,
상기 색 변환 처리부는,
상기 의미 보정 맵 및 상기 색상 특징 맵을 상기 쌍선형 풀링 처리하여 객체별 색 변환정보를 생성하고, 상기 객체별 색 변환정보에 근거하여 객체별 고유색상에 대한 상기 색상 매칭 정보를 생성하는 것을 특징으로 하는 의미 인식 기반의 이미지 보정장치.
이미지 보정장치에서 이미지를 색을 보정하는 방법에 있어서,
입력 이미지를 획득하는 이미지 획득단계;
상기 입력 이미지에 대한 색상 특징 맵을 추출하는 색상 추출단계;
컨볼루션 레이어를 이용하여 상기 입력 이미지에 대한 적어도 하나의 컨볼루션 특징 맵을 추출하는 특징 맵 추출단계;
상기 적어도 하나의 컨볼루션 특징 맵을 기반으로 의미 보정 맵(SAM: Semantic Adjustment Map)을 생성하는 의미 보정 맵 생성단계; 및
상기 의미 보정 맵 및 상기 색상 특징 맵을 기반으로 색 변환에 대한 색상 매핑 정보를 생성하여 이미지 보정에 대한 출력 색상을 예측하는 색 변환 처리단계
를 포함하는 것을 특징으로 하는 의미 인식 기반의 이미지 보정 방법.
제10항에 있어서,
상기 특징 맵 추출단계는,
적어도 하나의 컨볼루션 필터를 포함하는 컨볼루션 레이어 단계를 포함하고, 상기 컨볼루션 레이어 단계는 상기 적어도 하나의 컨볼루션 필터 각각에 대한 컨볼루션 특징 맵을 추출하는 것을 특징으로 하는 의미 인식 기반의 이미지 보정 방법.
제11항에 있어서,
상기 컨볼루션 레이어 단계는,
상기 입력 이미지의 초기 컨볼루션 필터에서 에지(Edge) 정보를 추출하여 제1 컨볼루션 특징 맵을 생성하는 제1 컨볼루션 필터 단계;
상기 제1 컨볼루션 특징 맵에서 객체의 일부분 각각에 대한 객체 분할정보를 추출하여 제2 컨볼루션 특징 맵을 생성하는 제2 컨볼루션 필터 단계; 및
상기 제2 컨볼루션 특징 맵에서 객체 각각에 대한 객체 형상정보를 추출하여 제3 컨볼루션 특징 맵을 생성하는 제3 컨볼루션 필터 단계
를 포함하는 것을 특징으로 하는 의미 인식 기반의 이미지 보정장치.
제11항에 있어서,
상기 특징 맵 추출단계는,
순환 신경망(RNN) 레이어를 적용하여 객체 위치 관계정보에 대한 공간 특징 맵을 추출하는 순환 신경망 레이어 단계를 추가로 포함하는 것을 특징으로 하는 의미 인식 기반의 이미지 보정장치.
컴퓨터에 제10항 내지 제13항 중 어느 한 항에 따른 의미 인식 기반의 이미지 보정 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
입력 이미지에 대한 비선형 특징을 포함하는 색상 특징 맵을 추출하는 색상 추출부;
복수의 컨볼루션 레이어를 이용하여 상기 입력 이미지에 대한 적어도 하나의 컨볼루션 특징 맵을 추출하는 특징 맵 추출부;
상기 적어도 하나의 컨볼루션 특징 맵을 기반으로 의미 보정 맵(SAM: Semantic Adjustment Map)을 생성하는 의미 보정 맵 생성부;
상기 의미 보정 맵 및 상기 색상 특징 맵을 기반으로 색 변환에 대한 색상 매핑 정보를 생성하여 이미지 보정에 대한 출력 색상을 예측하는 색 변환 처리부; 및
상기 입력 이미지에 포함된 객체마다 상기 색상 매핑 정보에 근거하여 예측된 상기 출력 색상을 적용하여 이미지 색을 보정하는 이미지 색 보정부
를 포함하는 것을 특징으로 하는 의미 인식 기반의 이미지 보정장치.