KR102467062B1 - 흑백 이미지 자동 채색 시스템 및 방법 - Google Patents

흑백 이미지 자동 채색 시스템 및 방법 Download PDF

Info

Publication number
KR102467062B1
KR102467062B1 KR1020210059216A KR20210059216A KR102467062B1 KR 102467062 B1 KR102467062 B1 KR 102467062B1 KR 1020210059216 A KR1020210059216 A KR 1020210059216A KR 20210059216 A KR20210059216 A KR 20210059216A KR 102467062 B1 KR102467062 B1 KR 102467062B1
Authority
KR
South Korea
Prior art keywords
color
image
black
pixel
white image
Prior art date
Application number
KR1020210059216A
Other languages
English (en)
Inventor
김수형
트란응우옌퀸트램
두누따이
오아란
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020210059216A priority Critical patent/KR102467062B1/ko
Application granted granted Critical
Publication of KR102467062B1 publication Critical patent/KR102467062B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 흑백 이미지 자동 채색 시스템 및 방법에 관한 것으로, 이미지 특징맵 생성부가 흑백 이미지를 입력으로 기 학습된 색상 가중치를 흑백 이미지에 적용하여 예상 컬러 이미지에 대한 이미지 특징맵을 생성하고, 색상 도출부가 상기 생성된 이미지 특징맵을 딥러닝으로 학습하여 흑백 이미지의 각 픽셀에 대한 색상을 예측하고 예측된 색상과 예상 컬러 이미지의 색상 차이를 최소화하도록 색상 가중치를 조절하되, 각 픽셀의 위치 정보를 도출하여 도출된 위치에 따라 배경, 사물, 및 인물 중 어느 하나로 픽셀을 세분화하며, 채색부가 상기 세분화된 픽셀의 색상에 대한 색상 가중치를 흑백 이미지 픽셀에 적용하여 컬러 이미지를 도출하는 구성으로 흑백의 이미지를 자동으로 채색함에 따라 과거 흑백 이미지에 대한 시각적인 정보의 전달을 장려하며, 색상 회귀, 픽셀 세분화, 및 색상 분포를 통해 픽셀 단위별 의미를 명확하게 하여 객체에 대한 가장자리의 색상 표현을 향상시킬 수 있다.

Description

흑백 이미지 자동 채색 시스템 및 방법{AUTOMATIC COLORING SYSTEM AND METHOD}
본 발명은 흑백 이미지 자동 채색 시스템 및 방법에 관한 것으로, 흑백 이미지를 자동으로 채색할 수 있도록 한 기술에 관한 것이다.
오래된 흑백 사진에 역사적인 장면을 재현하기 위해 색칠을 하는 것은 많은 문화적 및 기념비적 가치를 시간의 폐허로부터 구할 수 있고, 현대인을 과거에 더 가깝게 만들 수 있다. 채색화는 인터넷의 많은 색상 가이드에서 보여주듯이 이미지 편집 소프트웨어 사용자들 사이에서 가장 흥미로운 주제 중 하나이다. 그러나 이미지 편집 소프트웨어를 사용한 채색화는 비용과 시간이 많이 소요된다.
지난 수년 동안 컴퓨터 연구원들은 이러한 유형의 채색화와 관련된 다양한 채색 응용 프로그램을 개발했다. 먼저, 첫 번째 종류는 이미지의 색상 주석을 사용하는 낙서 기반이고, 두 번째 종류는 참조 이미지에서 색상을 얻어 대상 이미지에 적용하고, 세 번째 종류는 딥러닝을 기반으로 한 자동 채색화이다.
각각의 접근 방식은 더 나은 채색 결과를 도출하기 위해 각각의 장점들을 채용하는 연구가 활발히 진행되었으나 각각의 채색 알고리즘을 연결하기 위해서는 여전히 해결해야할 과제가 남아있다.
먼저, 자동 색채화에는 관찰자를 속일 수 있는 적절하고 선명한 색상을 예측하는 모델이 필요하지만, 이러한 결과는 종종 우리 눈의 세포 94%가 밝기를 결정하기 때문에 흑백 및 불포화 결과에 직면한다. 색상은 6%만 흑백조 이미지이고, 컬러 레이어보다 훨씬 더 선명하다. 평균 효과 상태는 다중 모델 문제라고 불리는 다양한 색상을 가진 일부 개체에 대해서도 발생한다.
또한, 자동 색채화의 또 다른 문제는 희귀한 색상이 없다는 것이다. 예측된 색상은 거의 모든 이미지를 지배하고 있는 구름, 포장 도로, 흙, 및 벽과 같은 배경이 많이 나타나기 때문에 강하게 편향되어 있다.
그리고, 모든 종류의 이미지에 색을 입히려면 시스템이 장면의 의미 구성인 얼굴, 자동차, 식물 등을 분석하고, 객체를 지역화 해야하는 어려운 문제가 있다.
따라서, 이러한 문제를 해결하기 위한 흑백 이미지의 자동 채색 기술 개발이 시급하다.
본 발명은, 흑백 영상에 SMTCN(Semantic Multi-Task Colorization Network)를 사용하여 흑백 이미지와 오래된 사진을 자동으로 채색할 수 있는 흑백 이미지 자동 채색 시스템 및 방법을 제공할 수 있다.
흑백 이미지를 자동으로 채색하는 흑백 이미지 자동 채색 시스템은 흑백 이미지를 입력으로 기 학습된 색상 가중치를 흑백 이미지에 적용하여 예상 컬러 이미지에 대한 이미지 특징맵을 생성하는 이미지 특징맵 생성부; 상기 생성된 이미지 특징맵을 딥러닝으로 학습하여 흑백 이미지의 각 픽셀에 대한 색상을 예측하고 예측된 색상과 예상 컬러 이미지의 색상 차이를 최소화하도록 색상 가중치를 조절하되, 각 픽셀의 위치 정보를 도출하여 도출된 위치에 따라 배경, 사물, 및 인물 중 어느 하나로 픽셀을 세분화하는 색상 도출부; 및 상기 세분화된 픽셀의 색상에 대한 색상 가중치를 흑백 이미지 픽셀에 적용하여 컬러 이미지를 도출하는 채색부를 포함할 수 있다.
바람직하게는, 상기 이미지 특징맵 생성부는 기 학습된 색상 가중치로 적어도 하나의 예상 컬러 이미지에 대한 확률값을 도출하고 도출된 확률값 중 가장 높은 확률의 예상 컬러 이미지를 정규화할 수 있다.
바람직하게는, 상기 색상 도출부는 흑백 이미지의 각 픽셀에 대한 색상을 색좌표계(CIE Coordinate)에서 예상 컬러 이미지의 색상과 유사한 적어도 하나의 색상을 도출할 수 있다.
바람직하게는, 상기 색상 도출부는 선택된 적어도 하나의 색상에 대하여 가우시안 분포(Gaussian distribution)로 정규화할 수 있다.
바람직하게는, 상기 색상 도출부는 흑백 이미지의 픽셀 위치 정보에 대한 적어도 하나의 확률값을 도출하고 도출된 확률값을 정규화하여 레이블 스무딩(Label smoothing)기법으로 배경, 사물, 및 인물 중 어느 하나로 픽셀의 위치를 세분화할 수 있다.
바람직하게는, 상기 채색부는 상기 도출된 픽셀 각각에 대한 색상 손실함수를 도출하여 도출된 손실함수에 따라 세분화된 픽셀의 색상을 학습할 수 있다.
본 발명의 다른 측면에 따른 흑백 이미지 자동 채색 방법은 흑백 이미지를 입력으로 상기 학습된 색상 가중치로 적어도 하나의 예상 컬러 이미지에 대한 확률값을 도출하고 도출된 확률값 중 가장 높은 확률의 예상 컬러 이미지를 정규화하여 예상 컬러 이미지에 대한 이미지 특징맵을 생성하는 이미지 특징맵 생성 단계; 상기 생성된 이미지 특징맵을 딥러닝으로 학습하여 흑백 이미지의 각 픽셀에 대한 색상을 색좌표계(CIE Coordinate)에서 예상 컬러 이미지의 색상과 유사한 적어도 하나의 색상을 선택하는 색상 예측 단계; 상기 선택된 적어도 하나의 색상에 대하여 가우시안 분포(Gaussian distribution)로 정규화하여 흑백 이미지의 각 픽셀에 대한 색상을 정규화하는 색상 정규화 단계; 상기 도출된 색상과 예상 컬러 이미지의 색상 차이를 최소화하는 색상 회귀 단계; 상기 흑백 이미지의 픽셀 위치 정보에 대한 적어도 하나의 확률값을 도출하고 도출된 확률값을 정규화하여 레이블 스무딩(Label smoothing)기법으로 배경, 사물, 및 인물 중 어느 하나로 픽셀의 위치를 세분화하는 세분화 단계; 및 상기 세분화된 픽셀에 대한 색상을 흑백 이미지 픽셀에 적용하여 컬러 이미지를 도출하는 채색 단계를 포함할 수 있다.
본 발명에 따르면, 흑백의 이미지를 자동으로 채색함에 따라 과거 흑백 이미지에 대한 시각적인 정보의 전달을 장려하며, 색상 회귀, 픽셀 세분화, 및 색상 분포를 통해 픽셀 단위별 의미를 명확하게 하여 객체에 대한 가장자리의 색상 표현을 향상시킬 수 있다.
도 1은 일 실시예에 따른 흑백 이미지 자동 채색 시스템의 구성도이다.
도 2는 일 실시예에 따른 흑백 이미지 자동 채색 시스템의 상세도이다.
도 3은 일 실시예에 따른 흑백 이미지의 픽셀에 대한 색상 도출 과정을 나타낸 모식도이다.
도 4는 일 실시예에 따른 흑백 이미지 자동 채색 방법을 나타낸 순서도이다.
이하에서는 본 발명에 따른 흑백 이미지 자동 채색 시스템 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
도 1은 일 실시예에 따른 흑백 이미지 자동 채색 시스템의 구성도이다.
도 1에서 나타낸 바와 같이, 일 실시예에 따른 흑백 이미지(10) 자동 채색 시스템의 구성은 이미지 특징맵 생성부(100), 색상 도출부(300), 및 채색부(500)를 포함할 수 있다.
이미지 특징맵 생성부(100)는 흑백 이미지(10)를 입력으로 기 학습된 색상 가중치를 흑백 이미지(10)에 적용하여 예상 컬러 이미지(11)에 대한 이미지 특징맵을 생성할 수 있다. 이때, 기 학습된 색상 가중치로 적어도 하나의 예상 컬러 이미지(11)에 대한 확률값을 도출하고 도출된 확률값 중 가장 높은 확률의 예상 컬러 이미지(11)를 정규화할 수 있다.
색상 도출부(300)는 생성된 이미지 특징맵을 딥러닝으로 학습하여 흑백 이미지(10)의 각 픽셀에 대한 색상을 예측하고 예측된 색상과 예상 컬러 이미지(11)의 색상 차이를 최소화하도록 색상 가중치를 조절하되, 각 픽셀의 위치 정보를 도출하여 도출된 위치에 따라 배경, 사물, 및 인물 중 어느 하나로 픽셀을 세분화할 수 있다.
여기서, 색상 도출부(300)는 흑백 이미지(10)의 각 픽셀에 대한 색상을 색좌표계(CIE Coordinate)에서 예상 컬러 이미지(11)의 색상과 유사한 적어도 하나의 색상을 도출할 수 있고, 선택된 적어도 하나의 색상에 대하여 가우시안 분포(Gaussian distribution)로 정규화할 수 있다.
또한, 색상 도출부(300)는 흑백 이미지(10)의 픽셀 위치 정보에 대한 적어도 하나의 확률값을 도출하고 도출된 확률값을 정규화하여 레이블 스무딩(Label smoothing)기법으로 배경, 사물, 및 인물 중 어느 하나로 픽셀의 위치를 세분화할 수 있다.
채색부(500)는 세분화된 픽셀의 색상에 대한 색상 가중치를 흑백 이미지(10) 픽셀에 적용하여 컬러 이미지를 도출할 수 있다. 이때, 상기 도출된 픽셀 각각에 대한 색상 손실함수를 도출하여 도출된 손실함수에 따라 세분화된 픽셀의 색상을 학습할 수 있다.
더욱 상세하게는, 도 2의 흑백 이미지 자동 채색하는 시스템 모식도를 참조하여 설명하도록 한다.
도 2는 일 실시예에 따른 흑백 이미지 자동 채색 시스템의 상세도이다.
도 2에서 나타낸 바와 같이, 일 실시예에 따른 흑백 이미지 자동 채색 시스템은 흑백 이미지(10)가 컬러 이미지로 변환되는 과정을 모사한 것이다.
딥러닝을 이용한 자동 채색 작업은 흑백 이미지에 대한 적절한 색상을 예측할 수 있는 모델을 필요로하며, 예측된 색상을 흑백 이미지(10)의 픽셀 수준에서 각각의 객체를 구분하여 컬러 이미지로 변환되어야 한다.
하지만, 대부분 흑백 이미지(10)를 컬러 이미지로 변환하는 과정에서 색상의 대부분이 구름, 포장 도로, 흙 및 벽과 같은 배경에 의해 편향되어 나타나기 때문에 흑백 이미지(10) 내 표현된 모든 객체에 대한 정보(이미지 안에 존재하는 것: 얼굴, 자동차, 식물, 하늘, 나무 등)를 픽셀 수준에서 세분화해야 한다.
흑백 이미지(10) 자동 채색 시스템은 SMTCN(Semantic Multi-Task Colorization Network)을 사용하여 흑백 이미지(10)를 채색할 수 있다. 이러한 방식은 흑백 이미지(10)를 채색하기 위해 장면-컨텍스트(Scene-Context)와 픽셀-레벨(Pixel-level)을 분할을 사용하는 U-net 아키텍처를 사용할 수 있다.
이때, 장면-컨텍스트는 Places365 데이터 세트에서 사전 훈련된 색상 가중치를 얻을 수 있고, 훈련 과정 중 장면 간의 관계와 불확실성을 처리하기 위해 레이블 스무딩(Label smoothing)으로 장면-컨텍스트의 분류를 수행할 수 있다.
이때, 픽셀 수준 의미론의 경우 회귀 분기의 평균 색상, 소프트 인코딩(12) 분기의 색상 분포, 및 세분화 분기의 픽셀 의미에 대하여 딥러닝으로 학습하여 상호 이익을 통합한 컬러 이미지를 도출할 수 있다. 이때, 최종 컬러 이미지는 소프트 인코딩(12) 분기에서 도출된 채색결과를 컬러 이미지로 변환할 수 있다.
더욱 상세하게는, U-net 아키텍처 모델은 계약 결로와 동일한 깊이 수준에서 확장 경로 사이의 연결을 통해 이미지의 소멸을 방지할 수 있으며, 흑백 이미지(10)에서 배경(Global context) 및 객체(Local context)의 상호 이익, 색상의 정확도 및 색 편향을 학습하기 위한 4가지 출력을 구성할 수 있다.
먼저, 흑백 이미지(10)
Figure 112021053087235-pat00001
의 픽셀을 p라고 가정하면 p에 대한 좌표는
Figure 112021053087235-pat00002
일 수 있다. 여기서,
Figure 112021053087235-pat00003
는 흑백 이미지(10)의 높이이고,
Figure 112021053087235-pat00004
는 흑백 이미지(10)의 넓이이다. 흑백 이미지(10)
Figure 112021053087235-pat00005
를 컬러 이미지
Figure 112021053087235-pat00006
로 변환하기 위해서 CIE 색좌표계(Color coordinate)에서 흑백 이미지(10)에 대한 색상을 선택할 수 있다. 이때, CIE 색좌표계에는 L, a, 및 b의 채널이 존재할 수 있고, L채널은 밝기와 흑백 정도를 표현하고, a와 b채널은 색상 정보를 표현할 수 있다.
기본적인 흑백 이미지(10)의 각 픽셀에 대하여 색상 ab를 예측하기 위해서는 다음 수학식에서 나타낸 바와 같이, 2차원 공간의 색상을 도출하고 2차원 색상을 1차원 색상 벡터로 표현하여 색상을 도출할 수 있다.
[수학식 1]
Figure 112021053087235-pat00007
수학식 1에서,
Figure 112021053087235-pat00008
은 흑백 이미지(10)이고,
Figure 112021053087235-pat00009
는 회귀 함수이고,
Figure 112021053087235-pat00010
는 흑백 이미지(10)의 픽셀에 대하여 예측된 색상 ab이다. 여기서, 소프트 인코딩(12)
Figure 112021053087235-pat00011
를 적용하여 흑백 이미지(10)의 픽셀에 대한 색상 2차원 색상 분포
Figure 112021053087235-pat00012
를 도출할 수 있고, 도출된 2차원 색상 분포에 10 크기의 그리드를 적용하여 1차원 색상 벡터
Figure 112021053087235-pat00013
로 변환할 수 있다. 여기서,
Figure 112021053087235-pat00014
는 313 개의 감마 레벨이며, 1차원에서의 색상 벡터는 다음 수학식으로 표현될 수 있다.
[수학식 2]
Figure 112021053087235-pat00015
한편, CIE 색좌표에서 직접 1차원 색상 벡터
Figure 112021053087235-pat00016
를 선택하여 2차원의 색상 분포
Figure 112021053087235-pat00017
로 도출하므로, 다음 수학식으로 표현될 수 있다.
[수학식 3]
Figure 112021053087235-pat00018
Figure 112021053087235-pat00019
수학식 3에서,
Figure 112021053087235-pat00020
는 소프트 인코딩(12) 함수
Figure 112021053087235-pat00021
의 역함수이다.
이때, 픽셀
Figure 112021053087235-pat00022
는 공간적 일관성 및 배경과 객체에 대한 픽셀 의미의 영향을 받기 때문에 픽셀 수준에서 배경과 객체에 대한 정의를 확정할 필요가 있다.
따라서, 흑백 이미지(10)의 픽셀이 가지는 의미론적 세분화와 불확실성에 대한 정의를 설정하기 위해 다음 수학식으로 표현된 4가지 분기로 이루어진 과정을 거칠 수 있다.
[수학식 4]
Figure 112021053087235-pat00023
Figure 112021053087235-pat00024
Figure 112021053087235-pat00025
Figure 112021053087235-pat00026
수학식 4에서,
Figure 112021053087235-pat00027
은 흑백 이미지(10)이고,
Figure 112021053087235-pat00028
와
Figure 112021053087235-pat00029
는 인코딩(12)과 인코딩(13)이고,
Figure 112021053087235-pat00030
와
Figure 112021053087235-pat00031
는 분할 수와 장면 클래스 수이며,
Figure 112021053087235-pat00032
,
Figure 112021053087235-pat00033
,
Figure 112021053087235-pat00034
,
Figure 112021053087235-pat00035
는 각각 색상 분포 매핑(Color distribution mapping), 회귀 색상 매핑(Regression colorization mapping), 분할을 위한 컨볼루션 블록(The convolution blocks for segmentation), 및 분류 블록(The classification block)이다.
여기서,
Figure 112021053087235-pat00036
함수는 예측된 색상 ab와 예상 컬러 이미지(11)의 색상 사이의 차이를 최소화할 수 있다. 이를 위해서,
Figure 112021053087235-pat00037
함수에서 도출되는 흑백 이미지(10)에 대한 장면 분류는 기 학습된 색상 가중치가 있는 VGG16 모델을 사용하여 길이가 이미지 길이가 365인 장면 확률 벡터
Figure 112021053087235-pat00038
를 예측할 수 있다. 즉,
Figure 112021053087235-pat00039
함수를 적용하는 과정에서 흑백 이미지(10)에 기 학습된 색상 가중치를 적용하여 예상 컬러 이미지(11)에 대한 적어도 하나의 확률 벡터
Figure 112021053087235-pat00040
를 도출할 수 있다. 여기서, 확률이 가장 높은 예상 컬러 이미지(11)를 1로 정규화하고, 나머지를 0으로 설정할 수 있다. 이는 네트워크 분류 문제에 대해 모델이 예상 컬러 이미지(11)에 대해 과도하게 확신하는 것을 방지할 수 있다.
Figure 112021053087235-pat00041
는 색상 균형을 재조정하여 희귀 색상을 장려할 수 있고,
Figure 112021053087235-pat00042
는 흑백 이미지(10)의 객체 또는 배경에 대한 의미를 부여하여 더 정확한 가장자리 색상 표현으로 이어질 수 있다.
흑백 이미지(10)를 인코딩(12)한
Figure 112021053087235-pat00043
는 인코딩(12) 기능
Figure 112021053087235-pat00044
를 도출하고, 도출된
Figure 112021053087235-pat00045
를 인코딩(13)한
Figure 112021053087235-pat00046
는 이미지 특징맵
Figure 112021053087235-pat00047
을 도출할 수 있다. 도출된 이미지 특징맵
Figure 112021053087235-pat00048
은 2차원 색상 분포로 흑백 이미지(10)에 대한 색상 ab를 예측한 결과를 도출할 수 있다. 즉, 흑백 이미지(10)의 각 픽셀에 대한 색상 정보를 인코딩(12) 및 인코딩(13)을 통해 1차원 색상 벡터인 색상 ab에 대한 양자화 데이터를 2차원 색상 분포로 도출할 수 있으며, 이는 다음 수학식으로 표현될 수 있다.
[수학식 5]
Figure 112021053087235-pat00049
흑백 이미지(10)의 색상을 예측하는 과정에서 픽셀
Figure 112021053087235-pat00050
의 위치를 정의하여 각각의 픽셀을 세분화할 수 있다. 이때,
Figure 112021053087235-pat00051
함수의 정규화 인자를 통해 적절한 색상을 도출할 수 있도록 하며,
Figure 112021053087235-pat00052
함수를 통해 픽셀
Figure 112021053087235-pat00053
에 대한 객체를 정의할 수 있다.
픽셀 세분화 과정은 배경과 객체에 대한 세분화가 이루어질 수 있다. 이때,
Figure 112021053087235-pat00054
함수를 통해 예측된 흑백 이미지(10) 픽셀의 색상에 대해 가중치를 설정할 수 있다. 다시 말해, 흑백 이미지(10)의 픽셀에 대한 색상은 CIE 색좌표계에서 선택될 수 있는데, CIE 색좌표계는 a좌표와 b좌표가 각각의 축으로서 색상을 표현하고, 각각의 좌표마다 0~313까지 양자화되어 있다. 이때, a좌표는 녹색과 빨간색에 대한 색상을 표현할 수 있고, b좌표는 파란색과 노란색에 대한 색상을 표현할 수 있으나, 반드시 각각의 좌표에 대한 색상이 상술한 색상에 한정되는 것은 아니다.
도 3은 일 실시예에 따른 흑백 이미지의 픽셀에 대한 색상 도출 과정을 나타낸 모식도이다.
도 3에서 나타낸 바와 같이, 일 실시예에 따른 흑백 이미지(10)의 픽셀에 대한 색상 도출 과정은 CIE 색좌표계에서 선택된 a좌표와 b좌표의 양자화 데이터는 앞선 상술한 예상 컬러 이미지(11)의 색상과 유사한 적어도 하나의 색상이 선택될 수 있는데 이때, 예상 컬러 이미지(11)의 색상과 가장 유사한 색상을 1로 정규화하여 흑백 이미지(10) 픽셀에 대한 색상을 도출할 수 있다.
그러나, 각각의 픽셀에 대하여 색상을 예측하였다 하더라도 이미지에 표현된 객체 즉, 하늘, 나무, 사람, 풀 등에 대한 정의가 불분명하기 때문에 예측된 색상을 적용하기에 어려움이 있다.
이를 해결하기 위해, 흑백 이미지(10)의 각 픽셀이 속한 위치 정보를 도출하여 픽셀의 색상을 더욱 정확하게 표현할 수 있다.
각 픽셀을 세분화하기 위해서는 도출된 색상에 대한 색상 가중치
Figure 112021053087235-pat00055
를 도출하여 가중치에 따라 색상을 변경할 수 있다. 여기서, 색상 가중치
Figure 112021053087235-pat00056
는 평활도 사전 분포(Smoothness prior distribution)
Figure 112021053087235-pat00057
사용하여 픽셀에 대한 색상 가중치를 도출할 수 있고, 이는 다음 수학식으로 표현될 수 있다.
[수학식 6]
Figure 112021053087235-pat00058
Figure 112021053087235-pat00059
Figure 112021053087235-pat00060
수학식 6에서,
Figure 112021053087235-pat00061
와
Figure 112021053087235-pat00062
는 색상 가중치
Figure 112021053087235-pat00063
의 발생 수와 훈련 데이터 세트의 픽셀 수이다. 여기서,
Figure 112021053087235-pat00064
는 보간 연산자
Figure 112021053087235-pat00065
를 적용하여 계산하고, 가우스 커널(Gaussian kernel)
Figure 112021053087235-pat00066
를 컨볼루션 연잘자 *로 계산하여 평활화한 다음, 1로 정규화한다.
즉, 흑백 이미지(10)의 픽셀에 대한 색상의 색상 가중치
Figure 112021053087235-pat00067
는 다음 수학식으로 표현될 수 있다.
[수학식 7]
Figure 112021053087235-pat00068
Figure 112021053087235-pat00069
수학식 7에서,
Figure 112021053087235-pat00070
은
Figure 112021053087235-pat00071
의 조정값이고,
Figure 112021053087235-pat00072
는 색상 가중치에 대한 인덱스의 수이다. 즉, 색상 가중치를 적어도 하나의 확률값으로 도출하고, 도출된 적어도 하나의 색상 가중치 중에서 가장 높은 확률의 색상 가중치를 1로 정규화하여
Figure 112021053087235-pat00073
를 도출할 수 있다.
이때, 색좌표계로부터 도출된 흑백 이미지(10)의 각 픽셀에 대한 색상은 313개의 양자화 데이터로부터 획득되므로 313 확률의 색상 가중치
Figure 112021053087235-pat00074
를 획득할 수 있고, 이는 다음 수학식으로 표현될 수 있다.
[수학식 8]
Figure 112021053087235-pat00075
수학식 8에서, 획득된 흑백 이미지(10)의 각 픽셀에 대한 색상의 색상 가중치는 각 필셀에 할당된 색상에 적용되어 더욱 선명한 색상을 도출할 수 있다. 그러나, 색상화 작업에는 평균 어닐링(The mean value) 작업을 거치게 되어 흑백 또는 불포화 색상으로 나타날 수 있다. 따라서, 다음 수학식을 통해 흑백 또는 불포화에 대한 색상을 조정할 수 있다.
[수학식 9]
Figure 112021053087235-pat00076
Figure 112021053087235-pat00077
수학식 9에서,
Figure 112021053087235-pat00078
는 색상 분포를 조정하는 색온도이고,
Figure 112021053087235-pat00079
가 1일때는 강한 피크를 나타내고,
Figure 112021053087235-pat00080
가 0일때는 변경하지 않는다. 이를 통해, 픽셀
Figure 112021053087235-pat00081
에 대한 색상
Figure 112021053087235-pat00082
는 어닐링 평균 분포의 예측값인
Figure 112021053087235-pat00083
일 수 있고, 다음 수학식으로 표현될 수 있다.
[수학식 10]
Figure 112021053087235-pat00084
여기서,
Figure 112021053087235-pat00085
가 1이면 흑백 또는 불포화 색상이 도출될 수 있고,
Figure 112021053087235-pat00086
가 0이면 색상 변경없이 입력과 똑같은 색상의 이미지가 도출될 수 있다. 따라서, 바람직한
Figure 112021053087235-pat00087
의 값은 0.2~0.8 사이의 값이 선택될 수 있다.
픽셀 세분화에서 가장 중요한 객체에 대한 픽셀의 의미는 각 픽셀이 어떠한 객체의 정보를 가지고 있는가를 보여주는 것이다. 픽셀이 어떠한 객체 정보를 가지고 있는지를 알면 픽셀이 가져야할 색상에 대한 추론이 가능하여 색상 분포과정에서 가장자리를 더욱 선명하게 표현할 수 있다.
여기서, 각 흑백 이미지(10)에 대한 적어도 하나의 예상 컬러 이미지(11)를 확률값으로 도출하고 도출된 적어도 확률값 중 가장 높은 확률의 예상 컬러 이미지(11)를 정규화하여 기 학습된 색상 가중치로 흑백 이미지(10)에 대한 색상을 도출할 수 있다. 이때, 레이블 스무딩(Label smoothing) 기법을 사용하여 각 픽셀의 위치를 세분화할 수 있다. 즉, 각 픽셀의 위치를 배경이면 축구 경기장, 골프장, 공원, 등의 형태로 저장할 수 있고, 사물이나 인물이면 사람, 나무, 잔디, 구름 등으로 구분하여 저장할 수 있으나, 반드시 상술한 레이블에 한정되는 것은 아니다.
이러한 레이블 스무딩 기법은 픽셀의 위치에 대한 색상 정보를 보다 확실하게 한다.
이러한 채색화 과정에는 각 과정마다 확률값을 도출하고 도출된 확률을 정규화하는 과정을 거친다. 이때, 각각의 확률값을 통해 도출된 색상을 흑백 이미지(10)에 적용하여 원본 컬러 이미지와 유사하도록 표현하기 위해서는 반복 학습이 필요로 한다. 반복 학습에는 멀티손실 함수(Multi-loss function)를 도출하는 과정을 포함할 수 있고, 이는 다음 수학식으로 표현될 수 있다.
[수학식 11]
Figure 112021053087235-pat00088
수학식 11에서,
Figure 112021053087235-pat00089
는 중요성을 조정하는데 사용되는 가중치이다. 여기서, 도출된 색상과 실측값 사이의 손실을 최소화하기 위해
Figure 112021053087235-pat00090
의 교차 엔트로피(Cross entropy) 손실을 계산할 수 있고, 이는 다음 수학식으로 표현될 수 있다.
[수학식 12]
Figure 112021053087235-pat00091
수학식 12에서,
Figure 112021053087235-pat00092
는
Figure 112021053087235-pat00093
이고,
Figure 112021053087235-pat00094
는 흑백 이미지(10)의 픽셀
Figure 112021053087235-pat00095
에 대한 예상 컬러 이미지(11)/도출된 색상이고,
Figure 112021053087235-pat00096
는 도출된 색상 확률에 대한 색상 가중치이고,
Figure 112021053087235-pat00097
는 가장 높은 확률의 색상
Figure 112021053087235-pat00098
에 대한 색상 가중치이고,
Figure 112021053087235-pat00099
는 희귀 색상을 도출하는 인자이다.
정규화과정에서는
Figure 112021053087235-pat00100
의 손실함수
Figure 112021053087235-pat00101
는 예측 색상과 실측 색상 간의 수렴을 측정하는데 사용되는 평균 제곱 오차의 손실을 도출할 수 있고, 이는 다음 수학식으로 표현될 수 있다.
[수학식 13]
Figure 112021053087235-pat00102
수학식 13에서,
Figure 112021053087235-pat00103
와
Figure 112021053087235-pat00104
는 입력되는 흑백 이미지(10)의 높이와 넓이이다.
각 픽셀에 대한 세분화 과정에서의 손실함수
Figure 112021053087235-pat00105
는 다음 수학식으로 표현될 수 있다.
[수학식 14]
Figure 112021053087235-pat00106
마지막으로, 장면 분류의 역할인 예상 컬러 이미지(11)를 도출하기 위한 손실함수
Figure 112021053087235-pat00107
는 다음 수학식으로 표현될 수 있다.
[수학식 15]
Figure 112021053087235-pat00108
수학식 15에서, C는 장면 회수이고,
Figure 112021053087235-pat00109
는 예상 컬러 이미지(11)/도출된 장면에 대한 확률값이다.
즉, 이러한 손실함수를 도합한 멀티 손실 함수
Figure 112021053087235-pat00110
에 따라
Figure 112021053087235-pat00111
,
Figure 112021053087235-pat00112
,
Figure 112021053087235-pat00113
,
Figure 112021053087235-pat00114
의 상호 이익을 학습하여 흑백 이미지(10)를 컬러 이미지로 도출할 수 있다.
도 4는 일 실시예에 따른 흑백 이미지 자동 채색 방법을 나타낸 순서도이다.
도 4에서 나타낸 바와 같이, 일 실시예에 따른 흑백 이미지 자동 채색 방법은 이미지 특징맵 생성 단계(S100), 색상 예측 단계(S200), 색상 정규화 단계(S300), 색상 회귀 단계(S400), 세분화 단계(S500), 및 채색 단계(S600)를 포함할 수 있다.
이미지 특징맵 생성 단계(S100)는 흑백 이미지(10)를 입력으로 기 학습된 색상 가중치로 적어도 하나의 예상 컬러 이미지(11)에 대한 확률값을 도출하고 도출된 확률값 중 가장 높은 확률의 예상 컬러 이미지(11)를 정규화하여 예상 컬러 이미지(11)에 대한 이미지 특징맵을 생성할 수 있다.
색상 예측 단계(S200)는 상기 생성된 이미지 특징맵을 딥러닝으로 학습하여 흑백 이미지(10)의 각 픽셀에 대한 색상을 색좌표계(CIE Coordinate)에서 예상 컬러 이미지(11)의 색상과 유사한 적어도 하나의 색상을 예측할 수 있다.
색상 정규화 단계(S300)는 상기 선택된 적어도 하나의 색상에 대하여 가우시안 분포(Gaussian distribution)로 정규화하여 흑백 이미지(10)의 각 픽셀에 대한 색상을 정규화할 수 있다.
색상 회귀 단계(S400)는 상기 도출된 색상과 예상 컬러 이미지(11)의 색상 차이를 최소화할 수 있다.
세분화 단계(S500)는 상기 흑백 이미지(10)의 픽셀 위치 정보에 대한 적어도 하나의 확률값을 도출하고 도출된 확률값을 정규화하여 레이블 스무딩(Label smoothing)기법으로 배경, 사물, 및 인물 중 어느 하나로 픽셀의 위치를 세분화할 수 있다.
채색 단계(S600)는 상기 세분화된 픽셀에 대한 색상을 흑백 이미지(10) 픽셀에 적용하여 컬러 이미지를 도출할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
100: 이미지 특징맵 생성부 300: 색상 도출부
500: 채색부
10: 흑백 이미지 11: 예상 컬러 이미지
12: 인코딩 13: 디코딩
51: 컬러 이미지

Claims (7)

  1. 흑백 이미지를 자동으로 채색하는 흑백 이미지 자동 채색 시스템에 있어서,
    흑백 이미지를 입력으로 기 학습된 색상 가중치를 흑백 이미지에 적용하여 예상 컬러 이미지에 대한 이미지 특징맵을 생성하는 이미지 특징맵 생성부;
    상기 생성된 이미지 특징맵을 딥러닝으로 학습하여 흑백 이미지의 각 픽셀에 대한 색상을 예측하고 예측된 색상과 예상 컬러 이미지의 색상 차이를 최소화하도록 색상 가중치를 조절하되, 각 픽셀의 위치 정보를 도출하여 도출된 위치에 따라 배경, 사물, 및 인물 중 어느 하나로 픽셀을 세분화하는 색상 도출부; 및
    상기 세분화된 픽셀의 색상에 대한 색상 가중치를 흑백 이미지 픽셀에 적용하여 컬러 이미지를 도출하는 채색부를 포함하는 흑백 이미지 자동 채색 시스템.
  2. 제1항에 있어서,
    상기 이미지 특징맵 생성부는 기 학습된 색상 가중치로 적어도 하나의 예상 컬러 이미지에 대한 확률값을 도출하고 도출된 확률값 중 가장 높은 확률의 예상 컬러 이미지를 정규화하는 것을 특징으로 하는 흑백 이미지 자동 채색 시스템.
  3. 제1항에 있어서,
    상기 색상 도출부는 흑백 이미지의 각 픽셀에 대한 색상을 색좌표계(CIE Coordinate)에서 예상 컬러 이미지의 색상과 유사한 적어도 하나의 색상을 도출하는 것을 특징으로 하는 흑백 이미지 자동 채색 시스템.
  4. 제3항에 있어서,
    상기 색상 도출부는 선택된 적어도 하나의 색상에 대하여 가우시안 분포(Gaussian distribution)로 정규화하는 것을 특징으로 하는 흑백 이미지 자동 채색 시스템.
  5. 제1항에 있어서,
    상기 색상 도출부는 흑백 이미지의 픽셀 위치 정보에 대한 적어도 하나의 확률값을 도출하고 도출된 확률값을 정규화하여 레이블 스무딩(Label smoothing)기법으로 배경, 사물, 및 인물 중 어느 하나로 픽셀의 위치를 세분화하는 것을 특징으로 하는 흑백 이미지 자동 채색 시스템.
  6. 제1항에 있어서,
    상기 채색부는 상기 도출된 픽셀 각각에 대한 색상 손실함수를 도출하여 도출된 손실함수에 따라 세분화된 픽셀의 색상을 학습하는 것을 특징으로 하는 흑백 이미지 자동 채색 시스템.
  7. 제1항의 흑백 이미지 자동 채색 시스템에서 수행되는 흑백 이미지 자동 채색 방법에 있어서,
    흑백 이미지를 입력으로 기 학습된 색상 가중치로 적어도 하나의 예상 컬러 이미지에 대한 확률값을 도출하고 도출된 확률값 중 가장 높은 확률의 예상 컬러 이미지를 정규화하여 예상 컬러 이미지에 대한 이미지 특징맵을 생성하는 이미지 특징맵 생성 단계;
    상기 생성된 이미지 특징맵을 딥러닝으로 학습하여 흑백 이미지의 각 픽셀에 대한 색상을 색좌표계(CIE Coordinate)에서 예상 컬러 이미지의 색상과 유사한 적어도 하나의 색상을 선택하는 색상 예측 단계;
    상기 선택된 적어도 하나의 색상에 대하여 가우시안 분포(Gaussian distribution)로 정규화하여 흑백 이미지의 각 픽셀에 대한 색상을 정규화하는 색상 정규화 단계;
    상기 도출된 색상과 예상 컬러 이미지의 색상 차이를 최소화하는 색상 회귀 단계;
    상기 흑백 이미지의 픽셀 위치 정보에 대한 적어도 하나의 확률값을 도출하고 도출된 확률값을 정규화하여 레이블 스무딩(Label smoothing)기법으로 배경, 사물, 및 인물 중 어느 하나로 픽셀의 위치를 세분화하는 세분화 단계; 및
    상기 세분화된 픽셀에 대한 색상을 흑백 이미지 픽셀에 적용하여 컬러 이미지를 도출하는 채색 단계를 포함하는 자동 채색 방법.
KR1020210059216A 2021-05-07 2021-05-07 흑백 이미지 자동 채색 시스템 및 방법 KR102467062B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210059216A KR102467062B1 (ko) 2021-05-07 2021-05-07 흑백 이미지 자동 채색 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210059216A KR102467062B1 (ko) 2021-05-07 2021-05-07 흑백 이미지 자동 채색 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102467062B1 true KR102467062B1 (ko) 2022-11-14

Family

ID=84043141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210059216A KR102467062B1 (ko) 2021-05-07 2021-05-07 흑백 이미지 자동 채색 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102467062B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050014072A (ko) * 2003-07-30 2005-02-07 한국과학기술원 색분포 학습을 통한 얼굴영역 추출 방법
JP2012186738A (ja) * 2011-03-07 2012-09-27 Ricoh Co Ltd 色推定装置、画像形成装置、色推定方法、色推定プログラム、及び記録媒体
KR101887216B1 (ko) * 2017-11-24 2018-08-09 한태재 이미지 재구성 서버 및 방법
KR20200052438A (ko) * 2018-10-29 2020-05-15 전자부품연구원 딥러닝 기반 웹툰 자동 채색 프로그램 및 애플리케이션
KR20200064591A (ko) * 2018-11-29 2020-06-08 (주)아이디어 콘서트 딥러닝 기반 웹툰의 채색 커스터마이징 프로그램 및 애플리케이션

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050014072A (ko) * 2003-07-30 2005-02-07 한국과학기술원 색분포 학습을 통한 얼굴영역 추출 방법
JP2012186738A (ja) * 2011-03-07 2012-09-27 Ricoh Co Ltd 色推定装置、画像形成装置、色推定方法、色推定プログラム、及び記録媒体
KR101887216B1 (ko) * 2017-11-24 2018-08-09 한태재 이미지 재구성 서버 및 방법
KR20200052438A (ko) * 2018-10-29 2020-05-15 전자부품연구원 딥러닝 기반 웹툰 자동 채색 프로그램 및 애플리케이션
KR20200064591A (ko) * 2018-11-29 2020-06-08 (주)아이디어 콘서트 딥러닝 기반 웹툰의 채색 커스터마이징 프로그램 및 애플리케이션

Similar Documents

Publication Publication Date Title
US7035451B2 (en) Image conversion and encoding techniques
CN106920243B (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
CA3043621C (en) Method and system for color representation generation
CN112884682B (zh) 一种基于匹配与融合的立体图像颜色校正方法及系统
WO2021248966A1 (zh) 点云质量评估方法、编码器、解码器及存储介质
CN112991371B (zh) 一种基于着色溢出约束的图像自动着色方法及系统
Hussain et al. Color constancy algorithm for mixed-illuminant scene images
CN115082450A (zh) 基于深度学习网络的路面裂缝检测方法和系统
JP7463186B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN116543227A (zh) 基于图卷积网络的遥感图像场景分类方法
Mishra Contrast limited adaptive histogram equalization (CLAHE) approach for enhancement of the microstructures of friction stir welded joints
Jacob et al. Colorization of grayscale images and videos using a semiautomatic approach
Liu et al. Progressive complex illumination image appearance transfer based on CNN
KR102467062B1 (ko) 흑백 이미지 자동 채색 시스템 및 방법
Nie et al. Optimization based grayscale image colorization
Pitié Advances in colour transfer
KR101071952B1 (ko) 3차원 렌더링 이미지의 인터랙티브 조명 효과 편집 방법 및 장치
Fadia et al. Image Colorization
Srivastava et al. An approach to pseudocoloring of grey scale image using deep learning technique
Zhou et al. Saliency preserving decolorization
Cheng et al. Image Haze Removal Using Dark Channel Prior Technology with Adaptive Mask Size.
CN114926353B (zh) 一种水下图像复原方法、装置、设备及存储介质
Abbadi et al. Automatic image colorization based on SVD and lab color space
CN113763496B (zh) 图像着色的方法、装置及计算机可读存储介质
Sauvaget et al. Comics stylization from photographs

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant