KR102591594B1 - 인공신경망을 이용한 채색 이미지 보정 방법 및 그 장치 - Google Patents

인공신경망을 이용한 채색 이미지 보정 방법 및 그 장치 Download PDF

Info

Publication number
KR102591594B1
KR102591594B1 KR1020210060331A KR20210060331A KR102591594B1 KR 102591594 B1 KR102591594 B1 KR 102591594B1 KR 1020210060331 A KR1020210060331 A KR 1020210060331A KR 20210060331 A KR20210060331 A KR 20210060331A KR 102591594 B1 KR102591594 B1 KR 102591594B1
Authority
KR
South Korea
Prior art keywords
image
neural network
artificial neural
color
colored
Prior art date
Application number
KR1020210060331A
Other languages
English (en)
Other versions
KR20220152864A (ko
Inventor
이광진
주재걸
김응엽
이상현
박정훈
최소미
Original Assignee
네이버웹툰 유한회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버웹툰 유한회사, 한국과학기술원 filed Critical 네이버웹툰 유한회사
Priority to KR1020210060331A priority Critical patent/KR102591594B1/ko
Priority to PCT/KR2022/006668 priority patent/WO2022240145A1/ko
Publication of KR20220152864A publication Critical patent/KR20220152864A/ko
Application granted granted Critical
Publication of KR102591594B1 publication Critical patent/KR102591594B1/ko
Priority to US18/506,520 priority patent/US20240193741A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

채색 이미지 보정 방법 및 그 장치가 제공 된다. 본 발명의 일 실시예에 따른 채색 이미지 보정 방법은 스케치 이미지를 제1인공신경망에 입력하여 채색 이미지를 획득하는 단계, 상기 채색 이미지 중 타겟 영역에 대한 사용자 입력 데이터를 수신하는 단계 및 상기 스케치 이미지 및 상기 사용자 입력 데이터를 제2인공신경망에 입력하여 상기 타겟 영역의 채색 상태가 변경된 보정 이미지를 획득하는 단계를 포함한다.

Description

인공신경망을 이용한 채색 이미지 보정 방법 및 그 장치{METHOD AND APPARATUS FOR CORRECTING A COLORED IMAGE USING AN ARTIFICIAL NEURAL NETWORK}
본 발명은 인공신경망을 이용하여 채색 이미지에 발생한 색 번짐 현상을 보정하는 방법 및 그 장치에 관한 것이다.
인공지능 기술의 발전에 따라 흑백 사진을 컬러 사진으로 자동 채색하는 이미지 채색 모델이 개발되었다. 하지만, 인공신경망을 이용하여 이미지를 채색하는 방법은 페인트 툴과 유사하게 동작하므로, 이미지의 경계가 불명확한 경우 색 번짐(color bleeding)이 발생한다는 문제가 존재한다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명의 실시예들은 인공신경망을 이용하여 색 번짐 현상이 발생한 채색 이미지를 보정하는 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 채색 이미지 보정 방법은 스케치 이미지를 제1인공신경망에 입력하여 채색 이미지를 획득하는 단계, 상기 채색 이미지 중 타겟 영역에 대한 사용자 입력 데이터를 수신하는 단계 및 상기 스케치 이미지 및 상기 사용자 입력 데이터를 제2인공신경망에 입력하여 상기 타겟 영역의 채색 상태가 변경된 보정 이미지를 획득하는 단계를 포함할 수 있다.
일 실시예에서 상기 채색 이미지는, 색 번짐 현상이 발생한 적어도 일부 영역을 포함하고, 상기 타겟 영역의 변경된 채색 상태는, 상기 타겟 영역이 상기 일부 영역에 대응되는 경우, 상기 일부 영역에 발생한 색 번짐 현상이 완화된 상태일 수 있다.
일 실시예에서 상기 채색 이미지를 획득하는 단계는, 상기 스케치 이미지 및 상기 스케치 이미지의 색상 정보를 제1인공신경망에 입력하고, 상기 제1인공신경망으로부터 출력된 채색 이미지를 획득하는 단계를 포함하고, 상기 제1인공신경망은, 상기 색상 정보를 기초로 상기 스케치 이미지에 포함된 개별 영역에 대한 채색 상태를 결정할 수 있다.
일 실시예에서 상기 사용자 입력 데이터를 수신하는 단계는, 상기 타겟 영역에 대한 스크리블(scribble)입력 데이터를 수신하는 단계를 포함할 수 있다.
일 실시예에 따른 채색 이미지 보정 방법은 상기 스케치 이미지를 기초로 생성된 복수의 채색 이미지의 경계선을 검출하여 가상의 사용자 입력 데이터를 생성하는 단계 및 상기 가상의 사용자 입력 데이터 및 상기 스케치 이미지를 이용하여 상기 제2인공신경망을 학습시키는 단계를 더 포함할 수 있다.
일 실시예에서 상기 가상의 사용자 입력 데이터를 생성하는 단계는, 상기 스케치 이미지를 기초로 생성된 복수의 채색 이미지 중 색 번짐 현상이 발생한 제1채색 이미지의 경계선 및 색 번짐 현상이 발생하지 않은 제2채색 이미지의 경계선을 검출하는 단계 및 상기 제1채색 이미지의 경계선 및 상기 제2채색 이미지의 경계선을 비교하여 가상의 사용자 입력 데이터를 생성하는 단계를 포함할 수 있다.
일 실시예에서 상기 가상의 사용자 입력 데이터를 생성하는 단계는, 상기 제1채색 이미지의 경계선과 상기 제2채색 이미지의 경계선 간 상이한 경계선 영역을 검출하는 단계, 검출된 경계선 영역에 대응되는 소벨 필터 마스크(mask) 데이터를 생성하는 단계를 포함할 수 있다.
일 실시예에서 상기 제2인공신경망을 학습시키는 단계는, 상기 스케치 이미지 및 상기 가상의 사용자 입력 데이터를 입력 데이터로 이용하고, 상기 제2채색 이미지를 목표 데이터로 이용하여 상기 제2인공신경망을 학습시키는 단계를 포함할 수 있다.
일 실시예에서 상기 제2인공신경망을 학습시키는 단계는, 상기 제1채색 이미지의 경계선과 상기 제2채색 이미지의 경계선 간 간극을 줄이는 목적함수를 이용하여, 상기 간극을 최소화 하는 방향으로 상기 제2인공신경망을 학습시키는 단계를 포함할 수 있다.
일 실시예에서 상기 가상의 사용자 입력 데이터를 생성하는 단계는, 소벨 필터(sobel filter)를 이용하여 상기 복수의 채색 이미지에 대한 경계선을 검출하는 단계를 포함할 수 있다.
일 실시예에서 상기 제2인공신경망은, 상기 스케치 이미지 및 상기 사용자 입력 데이터가 입력되는 컨벌루션 레이어 및 상기 제1인공신경망의 적어도 일부 레이어를 포함하고, 상기 컨벌루션 레이어의 출력 데이터는 상기 제1인공신경망의 적어도 일부 레이어의 입력 데이터일 수 있다.
본 발명의 다른 실시예에 따른 채색 이미지 보정 장치는 프로세서를 포함하고, 상기 프로세서는, 스케치 이미지를 제1인공신경망에 입력하여 채색 이미지를 획득하고, 상기 채색 이미지 중 타겟 영역에 대한 사용자 입력 데이터를 수신하고, 상기 스케치 이미지 및 상기 사용자 입력 데이터를 제2인공신경망에 입력하여 상기 타겟 영역의 채색 상태가 변경된 보정 이미지를 획득할 수 있다.
일 실시예에서 상기 프로세서는, 상기 스케치 이미지 및 상기 스케치 이미지의 색상 정보를 제1인공신경망에 입력하고, 상기 제1인공신경망으로 부터 출력된 채색 이미지를 획득하고, 상기 제1인공신경망은, 상기 색상 정보를 기초로 상기 스케치 이미지에 포함된 개별 영역에 대한 채색 상태를 결정할 수 있다.
일 실시예에서 상기 프로세서는, 상기 스케치 이미지를 기초로 생성된 복수의 채색 이미지의 경계선을 검출하여 가상의 사용자 입력 데이터를 생성하고, 상기 가상의 사용자 입력 데이터 및 상기 스케치 이미지를 이용하여 상기 제2인공신경망을 학습시킬 수 있다.
일 실시예에서 상기 프로세서는, 상기 스케치 이미지를 기초로 생성된 복수의 채색 이미지 중 색 번짐 현상이 발생한 제1채색 이미지의 경계선 및 색 번짐 현상이 발생하지 않은 제2채색 이미지의 경계선을 검출하고, 상기 제1채색 이미지의 경계선 및 상기 제2채색 이미지의 경계선을 비교하여 가상의 사용자 입력 데이터를 생성할 수 있다.
일 실시예에서 상기 프로세서는, 상기 스케치 이미지 및 상기 가상의 사용자 입력 데이터를 입력 데이터로 이용하고, 상기 제2채색 이미지를 목표 데이터로 이용하여 상기 제2인공신경망을 학습시킬 수 있다.
일 실시예에서 상기 프로세서는, 상기 제1채색 이미지의 경계선과 상기 제2채색 이미지의 경계선 간 간극을 줄이는 목적함수를 이용하여, 상기 간극을 최소화 하는 방향으로 상기 제2인공신경망을 학습시킬 수 있다.
일 실시예에서 상기 프로세서는, 소벨 필터(sobel filter)를 이용하여 상기 복수의 채색 이미지에 대한 경계선을 검출할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
도 1은 본 발명의 일 실시예에 따른 채색 이미지 보정 장치의 디스플레이의 GUI 일 예시를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 채색 이미지 보정 장치의 내부 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 프로세서의 내부 구성을 나타낸 것이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 채색 이미지 보정 방법의 순서도이다.
도 6은 흑백 이미지를 채색하는 인공신경망을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 보정된 채색 이미지를 생성하는 인공신경망을 설명하기 위한 도면이다.
도 8 내지 도 10은 본 발명의 일 실시예에 따른 사용자 입력 데이터를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 사용자 입력 데이터를 생성하는 방법을 설명하기 위한 도면이다.
본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들 전반에 걸친 내용을 토대로 정의되어야 한다.
본 실시예들은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 일부 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 실시예들을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 실시예들의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용한 용어들은 단지 실시예들의 설명을 위해 사용된 것으로, 본 실시예들을 한정하려는 의도가 아니다.
본 실시예들에 사용되는 용어들은 다르게 정의되지 않는 한, 본 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 실시예들에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
본 발명에서 개시하는 인공 지능(artificial intelligence, AI)은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미할 수 있고, 기계 학습(machine learning)은 인공지능 기술의 한 분야로서 컴퓨팅 장치가 데이터를 통해 학습하여 특정 대상 혹은 조건을 이해할 수 있게 하거나 데이터의 패턴을 찾아내 분류하는 기술적 방식으로써 컴퓨터가 데이터를 분석할 수 있게 하는 알고리즘일 수 있다. 본 발명에서 개시하는 기계 학습은 인공지능 모델을 학습하기 위한 동작 방법을 포함하는 의미로서 이해될 수 있다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 채색 이미지 보정 장치의 디스플레이의 GUI 일 예시를 도시한 도면이다.
도시된 바를 참조할 때, 채색 이미지 보정 장치(100)의 디스플레이에는 보정이 수행 될 대상 채색 이미지(10) 및 보정이 수행 된 보정 이미지(20)가 표시될 수 있고, 다른 몇몇 실시예에서 채색을 수행하기 위한 UI 객체(30) 및/또는 보정을 수행하기 위한 UI 객체(40)가 더 표시될 수 있다. 일 실시예에서 채색 이미지 보정 장치(100)는 외부 서버로부터 대상 채색 이미지(10)를 획득할 수 있다. 또는 다른 실시예에서 채색 이미지 보정 장치(100)는 스케치 이미지에 대한 채색을 수행할 수 있고, 그 결과로 상술한 대상 채색 이미지(10)를 획득할 수 있다. 몇몇 실시예에 따른 채색 이미지 보정 장치(100)는 인공신경망을 이용하여 채색된 대상 채색 이미지(10)를 획득할 수 있다. 이 경우 스케치 이미지 및/또는 흑백 이미지를 채색하는 인공신경망의 종류 및 구조는 한정되지 않으며, 예를 들어 상술한 인공신경망은 CNN(Convolutional Neural Network)기반의 모델일 수 있다.
도시된 대상 채색 이미지(10)를 참조할 때 색 번짐 현상이 발생한 경우, 인접한 다른 영역의 색상에 의해 각 영역의 적어도 일부가 채색될 수 있다. 채색 이미지 보정 장치(100)는 입출력 인터페이스 또는 별도의 입출력 장치를 통해 색 번짐이 발생한 영역에 대한 사용자 입력을 수신할 수 있다.
일 실시예에서 채색 이미지 보정 장치(100)는 색 번짐이 발생한 대상 채색 이미지(10)를 획득할 수 있다. 도시된 바를 참조하면 11 영역의 색상이 12 영역의 일부에 채색되어 있고, 14 영역의 색상이 13 영역의 일부에 채색되어 있다. 사용자는 대상 채색 이미지(10)에서 색 번짐이 발생한 영역을 확인할 수 있다. 이 경우 채색 이미지 보정 장치(100)는 색 번역 영역을 선택하는 사용자 입력(30A, 30B)을 수신할 수 있다.
이후, 채색 이미지 보정 장치(100)는 사용자 입력에 응답하여 색 번짐이 완화되도록 대상 채색 이미지(10)를 보정할 수 있다. 그리고 채색 이미지 보정 장치(100)는 색 번짐이 완화된 보정 이미지(20)를 디스플레이 할 수 있다. 보다 상세한 설명은 이하 관련 도면에서 후술한다.
이하 도 2를 참조하여 채색 이미지 보정 장치에 대하여 상세히 설명한다.
일 실시예에서 채색 이미지 보정 장치(100)는 메모리(101), 프로세서(102), 통신 모듈(103) 및 입출력 인터페이스(104)를 포함할 수 있다.
일 실시예에서 메모리(101)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(101)에는 채색 이미지 보정 장치(100)를 제어하기 위한 프로그램 코드 및 설정, 카메라 영상, 그리고 물체의 포즈 데이터가 일시적 또는 영구적으로 저장될 수 있다.
프로세서(102)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(101) 또는 통신 모듈(103)에 의해 프로세서(102)로 제공될 수 있다. 예를 들어 프로세서(102)는 메모리(101)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 모듈(103)은 네트워크를 통해 외부 서버와 통신하기 위한 기능을 제공할 수 있다. 일례로, 채색 이미지 보정 장치(100)의 프로세서(102)가 메모리(101)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(103)의 제어에 따라 네트워크를 통해 외부 서버로 전달될 수 있다. 역으로, 외부 서버의 프로세서의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 네트워크를 거쳐 통신 모듈(103)을 통해 채색 이미지 보정 장치(100)로 수신될 수 있다. 예를 들어 통신 모듈(103)을 통해 수신된 외부 서버의 제어 신호나 명령 등은 프로세서(102)나 메모리(101)로 전달될 수 있고, 컨텐츠나 파일 등은 채색 이미지 보정 장치(100)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.
또한, 통신 모듈(103)은 외부 서버와 네트워크를 통해 통신할 수 있다. 통신 방식은 제한되지 않지만, 네트워크는 근거리 무선통신망일 수 있다. 예를 들어, 네트워크는 블루투스(Bluetooth), BLE(Bluetooth Low Energy), Wifi 통신망일 수 있다.
입출력 인터페이스(104)는 입출력 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(104)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 채색 이미지 보정 장치(100)의 프로세서(102)는 메모리(101)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(104)를 통해 디스플레이에 표시될 수 있다.
또한, 다른 실시예들에서 채색 이미지 보정 장치(100)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 채색 이미지 보정 장치(100)는 채색 이미지 보정 장치의 내부 구성요소들에 전력을 공급하는 배터리 및 충전 장치를 포함할 수 있고, 상술한 입출력 장치 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
이하 도 3을 참조하여 본 발명의 일 실시예에 따른 채색 이미지 보정 장치의 프로세서(102) 내부 구성에 대하여 상세히 검토한다. 후술되는 프로세서는 이해의 용이를 위하여 도 2에 도시된 채색 이미지 보정 장치(100)의 프로세서(102)임을 가정하고 설명하나, 일 실시예에서 상기 채색 이미지 보정이 외부 서버에서 수행되는 경우 후술되는 프로세서는 상술한 외부 서버의 프로세서일 수 있음에 유의한다.
본 발명의 일 실시예에 따른 채색 이미지 보정 장치의 프로세서(102)는 채색 이미지 획득부(111), 사용자 입력 데이터 수신부(112) 및 보정 이미지 획득부(113)를 포함한다. 몇몇 실시예에 따라 프로세서(102)의 구성요소들은 선택적으로 프로세서(102)에 포함되거나 제외될 수도 있다. 또한, 몇몇 실시예에 따라 프로세서(102)의 구성요소들은 프로세서(102)의 기능의 표현을 위해 분리 또는 병합될 수도 있다.
이러한 프로세서(102) 및 프로세서(102)의 구성요소들은 도 4 의 채색 이미지 보정 방법이 포함하는 단계들(S110 내지 S130)을 수행하도록 채색 이미지 보정 장치(100)를 제어할 수 있다. 예를 들어, 프로세서(102) 및 프로세서(102)의 구성요소들은 메모리(101)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(102)의 구성요소들은 채색 이미지 보정 장치(100)에 저장된 프로그램 코드가 제공하는 명령에 따라 프로세서(102)에 의해 수행되는 프로세서(102)의 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서(102)의 내부 구성 및 구체적인 동작에 대해서는 도 4 및 도 5의 채색 이미지 보정 방법 및 도 6 내지 도 11 의 실시예를 참조하여 설명하기로 한다.
도 4 는 본 발명의 일 실시예에 따른 채색 이미지 보정 방법을 시계열적으로 나타낸 도면이다.
단계 S110에서 채색 이미지 보정 장치는 스케치 이미지를 제1인공신경망에 입력하여 채색 이미지를 획득할 수 있다.
일 실시예에서 채색 이미지는 색 번짐 현상이 발생한 적어도 일부 영역을 포함할 수 있다. 색 번짐 현상은 채색 이미지의 채색 결과 관찰되는 이미지의 경계선 부분에서 색이 경계를 뚫고 번지는 현상(color bleeding)이다.
일 실시예에서 채색 이미지 보정 장치는 상기 스케치 이미지 및 상기 스케치 이미지의 색상 정보를 제1인공신경망에 입력하고, 상기 제1인공신경망으로부터 출력된 채색 이미지를 획득할 수 있다. 이 경우 상술한 제1인공신경망은 복수의 스케치 이미지 및 상기 복수의 스케치 이미지 각각에 대응되는 채색 이미지를 기초로 학습된 CNN(Convolutional Neural Network)기반의 인공신경망일 수 있다. 또한, 제1인공신경망은 상기 색상 정보를 기초로 상기 스케치 이미지에 포함된 개별 영역에 대한 채색 상태를 결정할 수 있다.
단계 S120에서 채색 이미지 보정 장치는 채색 이미지 중 타겟 영역에 대한 사용자 입력 데이터를 수신할 수 있다.
채색 이미지 보정 장치는 채색 이미지가 표시된 영역 중 적어도 일부 영역에 대한 스크리블(scribble) 입력 데이터를 수신할 수 있다. 스크리블 입력 데이터는 선 또는 영역을 지정하기 위한 다양한 종류의 사용자 입력 데이터를 포함할 수 있고, 예를 들어, 드래그(Drag) 입력, 핀치 인(Pinch-in) 또는 핀치 아웃(Pinch-out) 입력과 유사할 수 있다. 일 실시예에서 채색 이미지 보정 장치는 사용자 입력을 스크리블링(scribbling)할 수 있는 인터페이스를 포함할 수 있다. 이 경우 채색 이미지 보정 장치는 인터페이스를 통해 상기 일부 영역을 스크리블링하는 사용자 입력을 수신할 수 있다. 예를 들어 채색 이미지 보정 장치는 터치스크린을 통해 스크리블 입력 데이터를 수신하거나, 마우스 또는 트랙패드를 통해 스크리블 입력 데이터를 수신할 수도 있고, 네트워크 통신을 수행하는 별도의 단말을 이용하여 스크리블 입력 데이터를 수신할 수도 있다.
단계 S130에서 채색 이미지 보정 장치는 스케치 이미지 및 사용자 입력 데이터를 제2인공신경망에 입력하여 타겟 영역의 채색 상태가 변경된 보정 이미지를 획득할 수 있다. 일 실시예에서 상술한 사용자 입력 데이터가 수신된 타겟 영역이 색 번짐 현상이 발생한 영역에 대응되는 경우, 채색 이미지 보정 장치는 색 번짐 현상이 완화된 상태의 보정 이미지를 획득할 수 있다. 본 발명의 몇몇 실시예에 따른 채색 이미지 보정 장치는 제2인공신경망을 학습시키기 위해 가상의 사용자 입력 데이터를 생성할 수 있다. 보다 상세한 설명은 이하 도 5에서 후술한다.
도 5를 참조하여 채색 이미지를 보정하는 인공신경망을 학습시키는 방법을 설명한다.
단계 S210에서 채색 이미지 보정 장치는 스케치 이미지를 기초로 생성된 복수의 채색 이미지 획득할 수 있다. 상술한 복수의 채색 이미지는 인공신경망의 학습에 이용되는 학습 데이터일 수 있다. 따라서 복수의 채색 이미지가 생성되는 방법 또는 복수의 채색 이미지를 획득하는 방법은 다양할 수 있다. 예를 들어 채색 이미지는 스케치 이미지를 인공신경망에 입력하여 획득한 이미지일 수 있다. 이 경우 상술한 인공신경망은 복수의 스케치 이미지 및 상기 복수의 스케치 이미지 각각에 대응되는 채색 이미지를 기초로 학습된 CNN(Convolutional Neural Network)기반의 인공신경망일 수 있다. 또는 다른 몇몇 실시예에서 채색 이미지 보정 장치는 외부 서버로부터 채색 이미지를 획득할 수도 있다. 예를 들어, 채색 이미지는 사진이나 작가가 그린 작품일 수도 있다. 또는 채색 이미지는 그림판의 페인트 툴을 이용하여 채색된 이미지일 수도 있다. 페인트 툴은 스케치 이미지에서 그림의 스케치 라인 및 경계 라인을 인식하여 채색 영역이 지정된다. 따라서 이미지의 스케치 라인이나 경계 라인이 불명확한 경우 색 번짐이 발생할 수 있다.
단계 S220에서 채색 이미지 보정 장치는 복수의 채색 이미지의 경계선을 검출할 수 있다. 채색 이미지의 경계선을 검출하는 방법은 한정되지 않으나, 본 발명의 일 실시예에 따른 채색 이미지 보정 장치는 소벨 필터(sobel filter)를 이용하여 상기 복수의 채색 이미지에 대한 경계선을 검출할 수 있다. 그리고, 단계 S230에서 채색 이미지 보정 장치는 가상의 사용자 입력 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따른 채색 이미지 보정 장치는 복수의 채색 이미지 중 색 번짐 현상이 발생한 제1채색 이미지의 경계선 및 색 번짐 현상이 발생하지 않은 제2채색 이미지의 경계선을 검출하고, 상기 제1채색 이미지의 경계선 및 상기 제2채색 이미지의 경계선을 비교하여 가상의 사용자 입력 데이터를 생성할 수 있다.
또한 일 실시예에서 채색 이미지 보정 장치는 제1채색 이미지의 경계선과 제2채색 이미지의 경계선 간 상이한 경계선 영역을 검출하고, 검출된 경계선 영역에 대응되는 소벨 필터 마스크(mask) 데이터를 생성할 수도 있다.
그리고, 단계 S240에서 채색 이미지 보정 장치는 상술한 가상의 사용자 입력 데이터 및 스케치 이미지를 이용하여 제2인공신경망을 학습시킬 수 있다.
보다 구체적으로 채색 이미지 보정 장치는 스케치 이미지 및 가상의 사용자 입력 데이터를 입력 데이터로 이용하고, 상술한 색 번짐 현상이 발생하지 않은 제2채색 이미지를 목표 데이터로 이용하여 상기 제2인공신경망을 학습 시킬 수 있다.
또한 본 발명의 일 실시예에 따른 채색 이미지 보정 장치는 색 번짐 현상이 발생한 제1채색 이미지의 경계선과 색 번짐 현상이 발생하지 않은 제2채색 이미지의 경계선 간 간극을 줄이는 목적함수를 이용하여, 상기 간극을 최소화 하는 방향으로 상기 제2인공신경망을 학습시킬 수도 있다.
이 경우, 제2인공신경망의 구조는 한정되지 않으나, 본 발명의 몇몇 실시예에 따르면 상술한 제2인공신경망은 스케치 이미지 및 사용자 입력 데이터가 입력되는 컨벌루션 레이어와 자동 채색 인공신경망인 제1인공신경망의 적어도 일부 레이어를 포함하도록 구성될 수 있다. 또한 이 경우, 상술한 컨벌루션 레이어의 출력 데이터는 상기 제1인공신경망의 적어도 일부 레이어의 입력 데이터로 이용될 수 있다. 보다 상세한 설명은 이하 관련 도면에서 후술한다.
이하 도 6 및 도 7을 참조하여 본 발명의 일 실시예에 따른 제1인공신경망 및 제2인공신경망에 대하여 상세히 설명한다.
도 6은 스케치 이미지 또는 흑백 이미지를 채색하는 제1인공신경망 구조의 일 예시를 도시한다. 본 발명의 몇몇 실시예에 따르면 채색 이미지 보정 장치는 채색 이미지의 색 번짐 현상을 보정하기 전, 스케치 이미지 또는 흑백 이미지(210)를 인공신경망(200)에 입력하여 자동 채색이 완료된 채색 이미지(220)를 획득할 수 있다. 이 경우 획득된 채색 이미지(220)는 색 번짐(color bleeding)현상이 발생한 적어도 일부 영역을 포함할 수 있다. 한편, 도 7을 참조할 때 채색 이미지 보정 장치가 색 번짐 현상 완화를 위한 사용자 입력을 수신한 경우, 채색 이미지 보정 장치는 스케치 이미지 또는 흑백 이미지(311) 및 사용자 입력 데이터(312)를 제2인공신경망(300)에 입력하여 색 번짐 현상이 완화된 보정 이미지(320)를 획득할 수 있다.
이하, 도 8을 참조하여 보정 이미지를 생성하는 제2인공신경망에 대하여 구체적으로 설명한다.
본 발명의 몇몇 실시예에 따른 제2인공신경망(302)은 제1인공신경망에 포함된 제1레이어(301)의 출력 데이터 및 사용자 입력 데이터(312)를 입력 데이터로 이용할 수 있다. 그 결과 제2인공신경망(302)은 시맨틱 엣지(semantic edge) 정보가 향상된 출력 데이터를 제1인공신경망에 포함된 제2레이어(303)에 입력할 수 있다. 즉, 스케치 이미지 또는 흑백 이미지(311)의 자동 채색을 수행하는 제1인공신경망은 사용자 입력 데이터가 수신된 위치에서의 경계선에서 발생한 색 번짐 현상(color-bleeding effect)이 완화된 보정 이미지를 생성할 수 있다.
도 9 및 도 10을 참조할 때, 본 발명의 몇몇 실시예에 따른 채색 이미지 보정 장치는 제2인공신경망의 학습을 위해 소벨 필터를 이용할 수 있다. 도 9는 가상의 사용자 입력 데이터(312)를 기초로 소벨 필터 마스크(313)를 생성한 경우를 도시하며, 도 10은 제2인공신경망이 학습되는 과정의 일 예시를 도시한다. 본 발명의 몇몇 실시예에 따르면 채색 이미지 보정 장치는 제2인공신경망을 학습시키기 위해 제1인공신경망을 통해 생성된 색 번짐 효과가 발생한 제1채색 이미지(Iab)와 색 번짐 현상이 발생하지 않은 제2채색 이미지(Igt, ab)간의 경계선 정보의 간극을 줄이는 목적함수를 설정할 수 있다. 도 10을 참조하면 채색 이미지 보정 장치는 상술한 제1채색 이미지(Iab) 및 제2채색 이미지(Igt,ab) 채널에 소벨 필터(Sobel filter)를 이용하여 경계선 정보를 추출할 수 있다. 이후 추출한 경계선 간 차이를 최소화 하는 방향으로 제2인공신경망 모델을 학습시킬 수 있다. 도시된 바를 참조하면 Lc 는 색상 차이 손실 값이고, 픽셀 및 피처 수준 모두에서 불필요한 섭동을 방지하기 위해 LPI 는 픽셀 레벨 관성 손실 값 및 LFI는 피쳐 레벨 관성 손실 값으로 하기 [수식 1] 내지 [수식 5]를 통해 연산할 수 있다.
[수식 1] 및 [수식 2] 는 색상 차 손실 값을 획득하는 수식이다.
[수식 1]
[수식 2]
[수식 3]은 피쳐 레벨 관성 손실 값을 획득하는 수식이고, 수식 4는 픽셀 레벨 관성 손실 값을 획득하는 수식이다.
[수식 3]
[수식 4]
이를 통해 획득한 목적 함수는 수식 5와 같다.
[수식 5]
이하, 도 11을 참조하여 가상의 사용자 입력 데이터를 생성하는 방법에 대하여 설명한다.
본 발명의 몇몇 실시예에 따른 채색 이미지 보정 장치는 색 번짐 현상을 완화하는 자동 채색 모델을 학습시키기 위해 가상의 사용자 입력 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따른 채색 이미지 보정 장치는 복수의 채색 이미지 중 색 번짐 현상이 발생한 제1채색 이미지(402)의 경계선(412) 및 색 번짐 현상이 발생하지 않은 제2채색 이미지(401)의 경계선(411)을 검출하고, 상기 제1채색 이미지의 경계선 및 상기 제2채색 이미지의 경계선을 비교(420)하여 가상의 사용자 입력 데이터(430)를 생성할 수 있다.
예를 들어 채색 이미지 보정 장치는 사용자가 주는 인터랙션과 유사한 형태의 입력 데이터를 학습 데이터로 사용하고자, 가상의 스크리블 입력 데이터(pseudo-scribble)를 생성할 수 있다. 이를 통해 채색 이미지 보정 장치는 상술한 스크리블 입력 데이터와 대응되는 영역 내에서 두 이미지의 경계선 정보의 차이를 최소화하도록 학습될 수 있다.
본 발명의 일 실시예에 따른 채색 이미지 보정 방법은 색 번짐 효과(Color bleeding)를 보다 객관적으로 평가하기 위한 새로운 지표로서 클러스터 불일치 비율(Cluster discrepancy ratio)를 이용할 수 있다. 이는 슈퍼 픽셀(Super-pixel) 개념을 도입하여, 같은 색과 질감을 갖는 픽셀들을 상위 클러스터로 묶고, 원래 이미지와 생성 이미지에서의 클러스터의 형태가 다른 정도를 측정한다. 이를 통해서 특정 컬러에 국한되지 않고 테두리를 경계로 컬러가 얼마나 잘 구분되어 있는지 평가할 수 있다.
기존 채색 모델의 성능을 평가했던 두 지표인 PSNR과 LPIPS는 multi-modal한 채색 태스크의 성능을 제대로 반영하기 힘든 측면을 가지고 있다. 구체적으로는, 원래 이미지와 다른 색을 가졌지만 사실적인 테두리를 가진 생성 이미지에 대해 두 메져는 이미지의 컬러를 기반으로 좋지 않은 성능이라고 평가하게 된다.
또한, 본 발명의 일 실시예에 따른 채색 이미지 보정 방법은 인공신경망의 성능을 평가하기 위하여 ImageNet 2012, Coco-stuff, Place205 데이터셋에 대한 정성 및 정량 평가를 이용할 수 있다. 이를 통해 기존 채색 모델들이 겪고 있는 색 번짐(Color-bleeding) 현상을 효과적으로 완화함을 보일 수 있다. 또한, 흑백 이미지에 대한 자동 채색뿐 아니라 스케치 이미지에 대한 자동 채색에도 적용하여 우수한 정성 및 정량 평가를 보일 수 있다.
한편, 본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 컴퓨팅 장치에 의해 수행되는 채색 이미지 보정 방법에 있어서,
    스케치 이미지를 제1인공신경망에 입력하여 채색 이미지를 획득하는 단계;
    상기 채색 이미지 중 타겟 영역에 대한 사용자 입력 데이터를 수신하는 단계; 및
    상기 스케치 이미지 및 상기 사용자 입력 데이터를 제2인공신경망에 입력하여 상기 타겟 영역의 채색 상태가 변경된 보정 이미지를 획득하는 단계;를 포함하는,
    채색 이미지 보정 방법.
  2. 제1항에 있어서,
    상기 채색 이미지는,
    색 번짐 현상이 발생한 적어도 일부 영역을 포함하고,
    상기 타겟 영역의 변경된 채색 상태는,
    상기 타겟 영역이 상기 일부 영역에 대응되는 경우, 상기 일부 영역에 발생한 색 번짐 현상이 완화된 상태인,
    채색 이미지 보정 방법.
  3. 제1항에 있어서,
    상기 채색 이미지를 획득하는 단계는,
    상기 스케치 이미지 및 상기 스케치 이미지의 색상 정보를 제1인공신경망에 입력하고, 상기 제1인공신경망으로부터 출력된 채색 이미지를 획득하는 단계를 포함하고,
    상기 제1인공신경망은,
    상기 색상 정보를 기초로 상기 스케치 이미지에 포함된 개별 영역에 대한 채색 상태를 결정하는,
    채색 이미지 보정 방법.
  4. 제1항에 있어서,
    상기 사용자 입력 데이터를 수신하는 단계는,
    상기 타겟 영역에 대한 스크리블(scribble)입력 데이터를 수신하는 단계를 포함하는,
    채색 이미지 보정 방법.
  5. 제1항에 있어서,
    상기 스케치 이미지를 기초로 생성된 복수의 채색 이미지의 경계선을 검출하여 가상의 사용자 입력 데이터를 생성하는 단계; 및
    상기 가상의 사용자 입력 데이터 및 상기 스케치 이미지를 이용하여 상기 제2인공신경망을 학습시키는 단계;를 더 포함하는,
    채색 이미지 보정 방법.
  6. 제5항에 있어서,
    상기 가상의 사용자 입력 데이터를 생성하는 단계는,
    상기 스케치 이미지를 기초로 생성된 복수의 채색 이미지 중 색 번짐 현상이 발생한 제1채색 이미지의 경계선 및 색 번짐 현상이 발생하지 않은 제2채색 이미지의 경계선을 검출하는 단계; 및
    상기 제1채색 이미지의 경계선 및 상기 제2채색 이미지의 경계선을 비교하여 가상의 사용자 입력 데이터를 생성하는 단계;를 포함하는,
    채색 이미지 보정 방법.
  7. 제6항에 있어서,
    상기 가상의 사용자 입력 데이터를 생성하는 단계는,
    상기 제1채색 이미지의 경계선과 상기 제2채색 이미지의 경계선 간 상이한 경계선 영역을 검출하는 단계;
    검출된 경계선 영역에 대응되는 소벨 필터 마스크(mask) 데이터를 생성하는, 단계를 포함하는,
    채색 이미지 보정 방법.
  8. 제6항에 있어서,
    상기 제2인공신경망을 학습시키는 단계는,
    상기 스케치 이미지 및 상기 가상의 사용자 입력 데이터를 입력 데이터로 이용하고, 상기 제2채색 이미지를 목표 데이터로 이용하여 상기 제2인공신경망을 학습시키는 단계를 포함하는,
    채색 이미지 보정 방법.
  9. 제6항에 있어서,
    상기 제2인공신경망을 학습시키는 단계는,
    상기 제1채색 이미지의 경계선과 상기 제2채색 이미지의 경계선 간 간극을 줄이는 목적함수를 이용하여, 상기 간극을 최소화 하는 방향으로 상기 제2인공신경망을 학습시키는 단계를 포함하는,
    채색 이미지 보정 방법.
  10. 제6항에 있어서,
    상기 경계선을 검출하는 단계는,
    소벨 필터(sobel filter)를 이용하여 상기 복수의 채색 이미지에 대한 경계선을 검출하는 단계를 포함하는,
    채색 이미지 보정 방법.
  11. 제1항에 있어서,
    상기 제2인공신경망은,
    상기 스케치 이미지 및 상기 사용자 입력 데이터가 입력되는 컨벌루션 레이어 및 상기 제1인공신경망의 적어도 일부 레이어를 포함하고, 상기 컨벌루션 레이어의 출력 데이터는 상기 제1인공신경망의 적어도 일부 레이어의 입력 데이터인,
    채색 이미지 보정 방법.
  12. 프로세서;를 포함하고,
    상기 프로세서는,
    스케치 이미지를 제1인공신경망에 입력하여 채색 이미지를 획득하고, 상기 채색 이미지 중 타겟 영역에 대한 사용자 입력 데이터를 수신하고, 상기 스케치 이미지 및 상기 사용자 입력 데이터를 제2인공신경망에 입력하여 상기 타겟 영역의 채색 상태가 변경된 보정 이미지를 획득하는,
    채색 이미지 보정 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 스케치 이미지 및 상기 스케치 이미지의 색상 정보를 제1인공신경망에 입력하고, 상기 제1인공신경망으로부터 출력된 채색 이미지를 획득하고,
    상기 제1인공신경망은,
    상기 색상 정보를 기초로 상기 스케치 이미지에 포함된 개별 영역에 대한 채색 상태를 결정하는,
    채색 이미지 보정 장치.
  14. 제12항에 있어서,
    상기 프로세서는,
    상기 스케치 이미지를 기초로 생성된 복수의 채색 이미지의 경계선을 검출하여 가상의 사용자 입력 데이터를 생성하고, 상기 가상의 사용자 입력 데이터 및 상기 스케치 이미지를 이용하여 상기 제2인공신경망을 학습시키는,
    채색 이미지 보정 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 스케치 이미지를 기초로 생성된 복수의 채색 이미지 중 색 번짐 현상이 발생한 제1채색 이미지의 경계선 및 색 번짐 현상이 발생하지 않은 제2채색 이미지의 경계선을 검출하고, 상기 제1채색 이미지의 경계선 및 상기 제2채색 이미지의 경계선을 비교하여 가상의 사용자 입력 데이터를 생성하는,
    채색 이미지 보정 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 제1채색 이미지의 경계선과 상기 제2채색 이미지의 경계선 간 상이한 경계선 영역을 검출하고, 검출된 경계선 영역에 대응되는 소벨 필터 마스크(mask) 데이터를 생성하는,
    채색 이미지 보정 장치.
  17. 제15항에 있어서,
    상기 프로세서는,
    상기 스케치 이미지 및 상기 가상의 사용자 입력 데이터를 입력 데이터로 이용하고, 상기 제2채색 이미지를 목표 데이터로 이용하여 상기 제2인공신경망을 학습시키는,
    채색 이미지 보정 장치.
  18. 제15항에 있어서,
    상기 프로세서는,
    상기 제1채색 이미지의 경계선과 상기 제2채색 이미지의 경계선 간 간극을 줄이는 목적함수를 이용하여, 상기 간극을 최소화 하는 방향으로 상기 제2인공신경망을 학습시키는,
    채색 이미지 보정 장치.
  19. 제14항에 있어서,
    상기 프로세서는,
    소벨 필터(sobel filter)를 이용하여 상기 복수의 채색 이미지에 대한 경계선을 검출하는,
    채색 이미지 보정 장치.
  20. 컴퓨터를 이용하여 제1항 내지 제11항 중 어느 한 항의 방법을 실행시키기 위하여 기록 매체에 저장된 컴퓨터 프로그램.
KR1020210060331A 2021-05-10 2021-05-10 인공신경망을 이용한 채색 이미지 보정 방법 및 그 장치 KR102591594B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210060331A KR102591594B1 (ko) 2021-05-10 2021-05-10 인공신경망을 이용한 채색 이미지 보정 방법 및 그 장치
PCT/KR2022/006668 WO2022240145A1 (ko) 2021-05-10 2022-05-10 인공신경망을 이용한 채색 이미지 보정 방법 및 그 장치
US18/506,520 US20240193741A1 (en) 2021-05-10 2023-11-10 Method for correcting colored image using artificial neural network, and device therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210060331A KR102591594B1 (ko) 2021-05-10 2021-05-10 인공신경망을 이용한 채색 이미지 보정 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20220152864A KR20220152864A (ko) 2022-11-17
KR102591594B1 true KR102591594B1 (ko) 2023-10-19

Family

ID=84028605

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210060331A KR102591594B1 (ko) 2021-05-10 2021-05-10 인공신경망을 이용한 채색 이미지 보정 방법 및 그 장치

Country Status (3)

Country Link
US (1) US20240193741A1 (ko)
KR (1) KR102591594B1 (ko)
WO (1) WO2022240145A1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110017274A (ko) * 2009-08-13 2011-02-21 엘지이노텍 주식회사 이미지 보정 방법
US9251572B2 (en) * 2013-07-26 2016-02-02 Qualcomm Incorporated System and method of correcting image artifacts
BR112020008021A2 (pt) * 2017-10-24 2020-10-27 L'ORéAL S.A. dispositivos de computação, método para gerar uma cnn treinada para processar imagens e métodos para processar uma imagem
KR102255212B1 (ko) * 2019-07-18 2021-05-24 네이버웹툰 유한회사 스케치 이미지의 채색 장치 및 방법

Also Published As

Publication number Publication date
KR20220152864A (ko) 2022-11-17
US20240193741A1 (en) 2024-06-13
WO2022240145A1 (ko) 2022-11-17

Similar Documents

Publication Publication Date Title
US10997752B1 (en) Utilizing a colorization neural network to generate colorized images based on interactive color edges
CN109670558B (zh) 使用深度学习的数字图像完成
US9978003B2 (en) Utilizing deep learning for automatic digital image segmentation and stylization
US10453204B2 (en) Image alignment for burst mode images
US10032258B2 (en) Automatically suggesting regions for blur kernel estimation
US9552656B2 (en) Image-based color palette generation
US9177391B1 (en) Image-based color palette generation
US9401032B1 (en) Image-based color palette generation
US9311889B1 (en) Image-based color palette generation
Benard et al. Interactive video object segmentation in the wild
US10573044B2 (en) Saliency-based collage generation using digital images
US9466096B2 (en) Deblurring images having spatially varying blur
CN107451976B (zh) 一种图像处理方法及装置
US9576220B2 (en) Automatically determining the size of a blur kernel
US11501413B2 (en) Kernel reshaping-powered splatting-based efficient image space lens blur
CN111738265A (zh) Rgb-d图像的语义分割方法、系统、介质及电子设备
CN112085663A (zh) 利用上下文感知传感器和多维姿势输入生成增强数字图像
US20130182943A1 (en) Systems and methods for depth map generation
KR102591594B1 (ko) 인공신경망을 이용한 채색 이미지 보정 방법 및 그 장치
CN105354833B (zh) 一种阴影检测的方法和装置
KR102547288B1 (ko) 색 번짐이 발생한 채색 이미지 보정 방법 및 그 장치
CN112766481B (zh) 神经网络模型的训练方法、装置及图像检测的方法
US9632679B2 (en) User interface for managing blur kernels
Jin et al. SPOID: a system to produce spot-the-difference puzzle images with difficulty
KR102527900B1 (ko) 스케치 이미지에 대한 자동 채색 모델 관리 방법 및 그 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant