KR20200054355A

KR20200054355A - 이미지의 채색 완성 방법, 장치 및 컴퓨터 프로그램과 인공 신경망 학습 방법, 장치 및 컴퓨터 프로그램

Info

Publication number: KR20200054355A
Application number: KR1020180133842A
Authority: KR
Inventors: 강성민; 장재혁
Original assignee: 네이버웹툰 주식회사
Priority date: 2018-11-02
Filing date: 2018-11-02
Publication date: 2020-05-20
Also published as: KR102171269B1; WO2020091207A1; JP7328331B2; US20210248795A1; JP2022506493A; US11887224B2

Abstract

본 발명의 일 실시예에 따른 이미지 내의 색상 미지의 영역에 대한 질의 및 상기 질의에 대한 답변에 기초하여 상기 이미지의 채색을 완성하는 방법은, 인공 신경망을 이용하여, 제1 차 이미지의 내의 적어도 하나의 미 채색된 영역이 채색된 제1 중간 이미지를 생성하는 단계; 상기 인공 신경망을 이용하여, 제1 차 이미지 내의 적어도 하나의 색상 미지의 영역에 대한 제1 색상 질의를 생성하는 단계; 및 상기 제1 색상 질의, 상기 제1 색상 질의에 대한 제1 답변 및 상기 제1 중간 이미지 중 적어도 하나에 기초하여 제2 차 이미지를 생성하는 단계;를 포함할 수 있다.

Description

이미지의 채색 완성 방법, 장치 및 컴퓨터 프로그램과 인공 신경망 학습 방법, 장치 및 컴퓨터 프로그램{Method, apparatus and computer program for coloring of image, Method, apparatus and computer program for learning of artificial neural network}

본 발명은 이미지 내의 색상 미지의 영역에 대한 질의 및 상기 질의에 대한 답변에 기초하여 상기 이미지의 채색을 완성하는 방법, 장치 및 컴퓨터 프로그램과, 이미지 내의 색상 미지의 영역 중 적어도 일부 영역을 채색하고, 상기 미지의 영역 중 상기 일부 영역을 제외한 나머지 영역의 색상에 대한 질의를 생성하는 인공 신경망을 학습하는 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.

컴퓨터를 비롯한 다양한 스마트기기가 보급됨에 따라 현대에는 온라인망을 이용한 서비스, 특히 온라인을 통해 콘텐츠를 제공하는 서비스가 제공되고 있다.

온라인으로 만화 콘텐츠를 제공하는 웹툰 서비스가 이러한 서비스 들의 대표적인 예시이다.

종래기술에 따르면, 이러한 만화 콘텐츠의 제작을 위해 제작자가 모든 장면을 개별적으로 작성하였다. 그러나 오늘날 이러한 방식에 따른 콘텐츠 제작 속도는 온라인 콘텐츠 시장의 확대 속도 및 이에 따른 사용자 수의 증가 속도를 따라가지 못하여 원활한 콘텐츠의 공급을 방해하는 요소로써 작용한다.

따라서 보다 효율적인 웹툰 콘텐츠의 제작 방법의 필요성이 대두되고 있다.

본 발명은 온라인 콘텐츠를 보다 효율적으로 제작할 수 있도록 하고자 한다.

특히 본 발명은 웹툰과 같은 사용자의 채색이 필요한 콘텐츠의 제작에 있어서, 사용자가 채색에 사용하는 시간을 절감시킴으로써 콘텐츠를 보다 빠른 시간 내에 제작할 수 있도록 하고자 한다.

또한 본 발명은 사용자에 의하지 않은 이미지의 자동 채색에 있어서, 보다 정확한 채색을 통하여 사용자의 수정에 따른 작업 시간을 절감시키고자 한다.

나아가 본 발명은 사용자에 의하지 않은 이미지의 자동 채색에 있어서, 색상이 확실하지 않은 부분의 색상을 사용자에게 질의함으로써, 자동 채색의 단점을 보완하고자 한다.

상기 이미지의 채색을 완성하는 방법은 상기 제2 차 이미지를 생성하는 단계 이후에, 상기 인공 신경망을 이용하여, 상기 제2 차 이미지의 내의 적어도 하나의 미 채색된 영역이 채색된 제2 중간 이미지를 생성하는 단계; 상기 인공 신경망을 이용하여, 제2 차 이미지 내의 적어도 하나의 색상 미지의 영역에 대한 제2 색상 질의를 생성하는 단계; 및 상기 제1 차 이미지, 상기 제2 색상 질의, 상기 제2 색상 질의에 대한 제2 답변, 상기 제2 중간 이미지 중 적어도 하나에 기초하여 제3 차 이미지를 생성하는 단계;를 더 포함할 수 있다.

상기 제1 답변은 상기 제1 색상 질의에 대응하는 사용자의 입력에 기초하여 결정되고, 상기 제2 답변은 상기 제2 색상 질의에 대응하는 상기 사용자의 입력에 기초하여 결정될 수 있다.

상기 인공 신경망은 상기 제2 차 이미지 내의 적어도 하나의 색상 미지의 영역에 각각에 대한 미지의 정도를 생성하고, 상기 제2 색상 질의를 생성하는 단계는 상기 제2 차 이미지 내의 적어도 하나의 색상 미지의 영역 중 상기 미지의 정도가 소정의 조건을 만족하는 미지의 영역의 색상에 대한 질의를 제2 색상 질의로 생성할 수 있다.

상기 이미지의 채색을 완성하는 방법은 제2 시점에서의 제2 차 이미지를 상기 제2 시점 이전의 제1 시점에서의 제3 차 이미지와 동일하게 생성하여, 상기 제2 중간 이미지를 생성하는 단계, 상기 제2 색상 질의를 생성하는 단계 및 상기 제3 차 이미지를 생성하는 단계를 반복하여 수행하여 모든 영역이 채색된 완성 이미지를 생성할 수 있다.

상기 인공 신경망은 제1 영역이 채색되지 않은 입력 이미지와, 상기 제1 영역이 채색된 출력 이미지의 대응관계를 학습한 신경망일 수 있다.

상기 인공 신경망은 상기 입력 이미지, 상기 입력 이미지의 채색된 제2 영역에 대한 제3 색상 질의 및 상기 제3 색상 질의에 대한 제3 답변과 상기 출력 이미지 및 상기 출력 이미지에 대한 제4 색상 질의의 대응관계를 더 학습한 신경망일 수 있다. 이때 제2 영역은 상기 입력 이미지의 상기 제3 색상 질의 및 상기 제3 답변에 의해서 채색된 영역일 수 있다.

본 발명의 일 실시예에 따른 이미지 내의 색상 미지의 영역 중 적어도 일부 영역을 채색하고, 상기 미지의 영역 중 상기 일부 영역을 제외한 나머지 영역의 색상에 대한 질의를 생성하는 인공 신경망을 학습하는 방법은, 제1 영역이 채색되지 않은 입력 이미지 및 상기 입력 이미지에서 상기 제1 영역이 제1 색상으로 채색된 출력 이미지를 이용하여, 상기 제1 영역과 상기 제1 색상의 대응관계가 반영되도록 상기 인공 신경망을 학습시키는 제1 학습 단계; 상기 입력 이미지, 상기 입력 이미지의 채색된 제2 영역에 대한 제3 색상 질의, 상기 제3 색상 질의에 대한 제3 답변, 상기 출력 이미지 및 상기 출력 이미지에 대한 제4 색상 질의의 대응관계가 더 반영되도록 상기 인공 신경망을 학습시키는 제2 학습 단계;를 포함할 수 있다.

상기 제3 답변은 상기 입력 이미지의 상기 제2 영역의 평균 색상에 기초하여 결정될 수 있다.

본 발명의 일 실시예에 따른 이미지 내의 색상 미지의 영역에 대한 질의 및 상기 질의에 대한 답변에 기초하여 상기 이미지의 채색을 완성하는 장치에 있어서, 상기 장치는 프로세서를 포함하고, 상기 프로세서는 인공 신경망을 이용하여, 제1 차 이미지의 내의 적어도 하나의 미 채색된 영역이 채색된 제1 중간 이미지를 생성하고, 상기 인공 신경망을 이용하여, 제1 차 이미지 내의 적어도 하나의 색상 미지의 영역에 대한 제1 색상 질의를 생성하고, 상기 제1 색상 질의, 상기 제1 색상 질의에 대한 제1 답변 및 상기 제1 중간 이미지 중 적어도 하나에 기초하여 제2 차 이미지를 생성할 수 있다.

상기 프로세서는 상기 인공 신경망을 이용하여, 상기 제2 차 이미지의 내의 적어도 하나의 미 채색된 영역이 채색된 제2 중간 이미지를 생성하고, 상기 인공 신경망을 이용하여, 제2 차 이미지 내의 적어도 하나의 색상 미지의 영역에 대한 제2 색상 질의를 생성하고, 상기 제1 차 이미지, 상기 제2 색상 질의, 상기 제2 색상 질의에 대한 제2 답변, 상기 제2 중간 이미지 중 적어도 하나에 기초하여 제3 차 이미지를 생성할 수 있다.

상기 인공 신경망은 상기 제2 차 이미지 내의 적어도 하나의 색상 미지의 영역에 각각에 대한 미지의 정도를 생성하고, 상기 프로세서는 상기 제2 차 이미지 내의 적어도 하나의 색상 미지의 영역 중 상기 미지의 정도가 소정의 조건을 만족하는 미지의 영역의 색상에 대한 질의를 제2 색상 질의로 생성할 수 있다.

상기 프로세서는 제2 시점에서의 제2 차 이미지를 상기 제2 시점 이전의 제1 시점에서의 제3 차 이미지와 동일하게 생성하여, 상기 제2 중간 이미지를 생성하는 단계, 상기 제2 색상 질의를 생성하는 단계 및 상기 제3 차 이미지를 생성하는 단계를 반복하여 수행하여 모든 영역이 채색된 완성 이미지를 생성할 수 있다.

상기 인공 신경망은 상기 입력 이미지, 상기 입력 이미지의 채색된 제2 영역에 대한 제3 색상 질의 및 상기 제3 색상 질의에 대한 제3 답변과 상기 출력 이미지 및 상기 출력 이미지에 대한 제4 색상 질의의 대응관계를 더 학습한 신경망일 수 있다. 이때 상기 제2 영역은 상기 입력 이미지의 상기 제3 색상 질의 및 상기 제3 답변에 의해서 채색된 영역일 수 있다.

본 발명의 일 실시예에 따른 이미지 내의 색상 미지의 영역 중 적어도 일부 영역을 채색하고, 상기 미지의 영역 중 상기 일부 영역을 제외한 나머지 영역의 색상에 대한 질의를 생성하는 인공 신경망을 학습하는 장치에 있어서, 상기 장치는 프로세서를 포함하고, 상기 프로세서는, 제1 영역이 채색되지 않은 입력 이미지 및 상기 입력 이미지에서 상기 제1 영역이 제1 색상으로 채색된 출력 이미지를 이용하여, 상기 제1 영역과 상기 제1 색상의 대응관계가 반영되도록 상기 인공 신경망을 학습시키고, 상기 입력 이미지, 상기 입력 이미지의 채색된 제2 영역에 대한 제3 색상 질의, 상기 제3 색상 질의에 대한 제3 답변, 상기 출력 이미지 및 상기 출력 이미지에 대한 제4 색상 질의의 대응관계가 더 반영되도록 상기 인공 신경망을 학습시킬 수 있다.

본 발명에 따르면, 온라인 콘텐츠를 보다 효율적으로 제작할 수 있다. 특히 웹툰과 같은 사용자의 채색이 필요한 콘텐츠의 제작에 있어서, 사용자가 채색에 사용하는 시간을 절감시킴으로써 콘텐츠를 보다 빠른 시간 내에 제작할 수 있도록 한다.

또한 사용자에 의하지 않은 이미지의 자동 채색에 있어서, 보다 정확한 채색을 통하여 사용자의 수정에 따른 작업 시간을 절감시킬 수 있으며, 나아가 색상이 확실하지 않은 부분의 색상을 사용자에게 질의함으로써, 자동 채색의 단점을 보완할 수 있다.

도 1은 본 발명의 일 실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 있어서 사용자 단말(100) 및 서버(200)의 내부 구성을 설명하기 위한 블록도이다.
도 3은 프로세서(212)에 의해 학습된 예시적인 인공 신경망의 구조를 설명하기 위한 도면이다.
도 4는 제1 차 이미지의 예시를 도시한 도면이다.
도 5는 프로세서(212)가 도 4의 제1 차 이미지로부터 생성한 제1 중간 이미지의 예시를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 프로세서(212)가 도 4의 제1 차 이미지로부터 생성한 제1 색상 질의의 예시를 도시한 도면이다.
도 7은 사용자가 사용자 단말(100)에 입력한 제1 답변의 예시를 도시한 도면이다.
도 8은 제2 차 이미지의 예시를 도시한 도면이다.
도 9는 모든 영역의 채색된 완료된 완성 이미지의 예시를 도시한 도면이다.
도 10은 프로세서(212)가 완성 이미지를 생성하는 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 프로세서(212)가 입력 이미지로부터 완성 이미지를 생성하는 일련의 과정 중 생성되는 이미지 및 답변을 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 서버(200)에 의해 수행되는 이미지의 채색을 완성하는 방법을 설명하기 위한 흐름도이다.
도 13은 본 발명의 일 실시예에 따른 서버(200)에 의해 수행되는 인공 신경망 학습 방법을 설명하기 위한 흐름도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 네트워크 환경의 예를 도시한 도면이다.

도 1의 네트워크 환경은 복수의 사용자 단말들(101, 102, 103, 104), 서버(200) 및 네트워크(300)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 사용자 단말의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다.

복수의 사용자 단말들(101, 102, 103, 104)은 사용자의 조작에 따라 채색을 완성하고자 아는 이미지를 서버(200)에 전송하고, 서버(200)로부터 채색과 관련된 질의, 일부분이 채색된 이미지 및 채색이 완료된 이미지를 수신할 수 있다.

복수의 사용자 단말들(101, 102, 103, 104)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 사용자 단말들(101, 102, 103, 104)의 예를 들면, 스마트폰, 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 테블릿 PC 등이 있다.

복수의 사용자 단말들(101, 102, 103, 104)은 무선 또는 유선 통신 방식을 이용하여 네트워크(300)를 통해 복수의 사용자 단말들(101, 102, 103, 104) 상호간에 및/또는 서버(200)와 통신할 수 있다.

한편 복수의 사용자 단말들(101, 102, 103, 104)의 통신 방식은 제한되지 않으며, 네트워크(300)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다.

예를 들어, 네트워크(300)는 PAN(Personal Area Network), LAN(Local Area Network), CAN(Campus Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network), BBN(Broad Band Network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다.

또한, 네트워크(300)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(Hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.

이하에서는 설명의 편의를 위하여 복수의 사용자 단말들(101, 102, 103, 104)을 사용자 단말(100)로 명명하여 설명한다.

서버(200)는 전술한 사용자 단말(100)로부터 채색하고자 하는 이미지를 수신하고, 학습된 인공 신경망을 이용하여 이미지를 채색할 수 있다. 또한 서버(200)는 이미지의 채색 과정 중 이미지 내의 색상 미지의 영역에 대한 질의를 생성하여 사용자 단말(100)로 전송할 수도 있다. 이에 대한 상세한 설명은 후술한다.

서버(200)는 네트워크(300)를 통하여 사용자 단말(100)에 명령, 코드, 파일, 콘텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다.

도 2 는 본 발명의 일 실시예에 있어서 사용자 단말(100) 및 서버(200)의 내부 구성을 설명하기 위한 블록도이다.

사용자 단말(100)과 서버(200)는 메모리(111, 211), 프로세서(112, 212), 통신 모듈(113, 213) 그리고 입출력 인터페이스(114, 214)를 포함할 수 있다.

메모리(111, 211)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(Random Access Memory), ROM(Read Only Memory) 및 디스크 드라이브와 같은 비소명성 대용량 기록장치(Permanent Mass Storage Device)를 포함할 수 있다.

또한, 메모리(111, 211)에는 운영체제와 적어도 하나의 프로그램 코드(일례로 사용자 단말(100)에 설치되어 서버(200)와 데이터 송수신을 통하여 이미지를 채색하는 프로그램을 위한 코드)가 저장될 수 있다.

이러한 소프트웨어 구성요소들은 드라이브 메커니즘(Drive Mechanism)을 이용하여 메모리(111, 211)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다.

다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신 모듈(113, 213)을 통해 메모리(111, 211)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로 상술한 서버(200))이 네트워크(300)를 통해 제공하는 파일들에 의해 설치되는 프로그램에 기반하여 메모리(111, 211)에 로딩될 수 있다.

프로세서(112, 212)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(111, 211) 또는 통신 모듈(113, 213)에 의해 프로세서(112, 212)로 제공될 수 있다. 예를 들어 프로세서(112, 212)는 메모리(111, 211)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.

통신 모듈(113, 213)은 네트워크(300)를 통해 사용자 단말(100)과 서버(200)가 서로 통신하기 위한 기능을 제공할 수 있으며, 다른 사용자 단말(미도시) 또는 다른 서버(미도시)와 통신하기 위한 기능을 제공할 수 있다. 일례로, 사용자 단말(100)의 프로세서(112)가 메모리(111)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(113)의 제어에 따라 네트워크(300)를 통해 서버(200)로 전달될 수 있다. 역으로, 서버(200) 프로세서(212)의 제어에 따라 제공되는 제어 신호나 명령, 콘텐츠, 파일 등이 통신 모듈(213)과 네트워크(300)를 거쳐 사용자 단말(100)의 통신 모듈(113)을 통해 사용자 단말(100)로 수신될 수 있다.

입출력 인터페이스(114, 214)는 입출력 장치(115)와의 인터페이스를 위한 수단일 수 있다. 이때 입력 장치는 예를 들어 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 이미지를 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(114, 214)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다.

또한, 다른 실시예들에서 사용자 단말(100) 및 서버(200)는 도 2 의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 사용자 단말(100)은 상술한 입출력 장치(115) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(Transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.

본 발명의 일 실시예에 따른 서버(200)의 프로세서(212)는 인공 신경망을 이용하여 이미지 내의 색상 미지의 영역에 대한 색상을 결정하거나, 색상 미지의 영역에 대한 질의를 생성할 수 있다.

본 발명에서 '인공 신경망'은 채색이 완료되지 않은 이미지를 채색하기 위해 학습된 신경망으로, 머신 러닝(Machine Learning) 또는 딥러닝(Deep Learning) 기법에 의해 학습된 것 일 수 있다.

도 3은 프로세서(212)에 의해 학습된 예시적인 인공 신경망의 구조를 설명하기 위한 도면이다.

본 발명의 일 실시예에 따른 인공 신경망은 합성 곱 신경망(CNN: Convolutional Neural Network) 모델에 따른 신경망일 수 있다. 이때 CNN 모델은 복수의 연산 레이어(Convolutional Layer, Pooling Layer)를 번갈아 수행하여 최종적으로는 입력 데이터의 특징을 추출하는 데 사용되는 계층 모델일 수 있다.

본 발명의 일 실시예에 따른 프로세서(212)는 학습 데이터를 지도학습(Supervised Learning) 기법에 따라 처리하여 신경망 모델을 구축하거나 학습시킬 수 있다. 이때, 학습 데이터에는 제1 영역이 채색되지 않은 입력 이미지, 입력 이미지에서 채색된 제2 영역에 대한 제3 색상 질의, 이러한 제3 색상 질의에 대한 답변, 입력 이미지에서 제1 영역이 채색된 출력 이미지 및 출력 이미지의 색상이 채색되지 않은 영역의 색상에 대한 질의인 제4 색상 질의를 포함할 수 있다. 따라서 프로세서(212)는 채색하고자 하는 영역이 채색되지 않은 이미지와 해당 영역이 채색된 이미지를 포함하는 학습 데이터에 기초하여 인공 신경망을 학습시킬 수 있다. 이러한 학습 데이터에 기초하여 학습된 인공 신경망은 후술하는 제1 중간 이미지 및/또는 제2 중간 이미지의 생성에 사용될 수 있다.

또한 프로세서(212)는 이미지 내에서 이미 채색된 영역의 채색에 사용된 색상 질의와 그에 대한 답변과 이미지 내의 다른 영역에 대한 색상 질의를 포함하는 학습 데이터에 기초하여 인공 신경망을 학습시킬 수 있다. 이러한 학습 데이터에 기초하여 학습된 인공 신경망은 후술하는 출력 이미지에 대한 제4 색상 질의를 생성하는데 사용될 수 있다.

도 3에는 프로세서(212)가 학습 데이터를 이용하여 구축한 신경망 모델의 예시적인 구조가 도시되어 있다. 프로세서(212)는 학습 데이터에 포함되는 입력 이미지, 입력 이미지의 채색된 제2 영역에 대한 제3 색상 질의 및 제3 색상 질의에 대한 제3 답변 각각의 특징 값을 추출하기 위한 컨볼루션 레이어(Convolution layer)와, 추출된 특징 값을 결합하여 특징 맵을 구성하는 풀링 레이어(pooling layer)를 생성할 수 있다.

또한 프로세서(212)는 생성된 특징 맵을 결합하여, 입력 이미지 내의 색상 미지의 영역 각각에 대한 미지의 정도를 추정하고, 입력 이미지 내의 적어도 일부 영역에 대한 색상을 결정하고, 입력 이미지 내의 또 다른 일부 영역에 대한 질의를 생성하는 준비를 하는 풀리 커넥티드 레이어(Fully Conected Layer)를 생성할 수 있다.

마지막으로 프로세서(212)는 입력 이미지 내의 미지의 영역 각각에 대한 미지의 정도, 입력 이미지 내의 적어도 일부 영역에 대한 색상 및 입력 이미지 내의 또 다른 일부 영역에 대한 질의를 포함하는 아웃풋 레이어(Output Layer)를 산출할 수 있다.

도 3에 도시된 예시에서는, 입력 이미지가 5X7 형태의 블록으로 나누어지며, 컨볼루션 레이어의 생성에 5X3 형태의 단위 블록이 사용되고, 풀링 레이어의 생성에 1X4 또는 1X2 형태의 단위 블록이 사용되는 것으로 도시되었지만, 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다. 따라서 각 레이어의 생성에 사용되는 이미지 블록의 크기는 다양하게 설정될 수 있다.

이와 같은 인공 신경망은 전술한 메모리(211)에 인공 신경망을 구성하는 적어도 하나의 노드의 계수, 노드의 가중치 및 인공 신경망을 구성하는 복수의 레이어 간의 관계를 정의하는 함수의 계수들의 형태로 저장될 수 있다. 물론 인경 신경망의 구조 또한 메모리(211)에 소스코드 및/또는 프로그램의 형태로 저장될 수 있다.

프로세서(212)가 학습 데이터를 이용하여 전술한 신경망을 학습시키는 과정을 보다 상세히 살펴보면, 프로세서(212)는 제1 영역이 채색되지 않은 입력 이미지 및 이러한 입력 이미지에서 제1 영역이 제1 색상으로 채색된 출력 이미지를 이용하여 제1 영역과 제1 색상의 대응관계가 반영되도록 인공 신경망을 학습(이하 제1 학습)시킬 수 있다. 이때 입력 이미지와 출력 이미지는 모두 학습 데이터에 하나의 트레이닝 세트(Training Set)로써 포함되는 이미지들일 수 있다. 또한 제1 영역은 입력 이미 내에서 채색이 되지 않은 임의의 영역을 의미할 수 있다.

바꾸어 말하면 프로세서(212)는 채색이 완료된 이미지와 채색이 완료되지 않은 이미지를 이용하여, 소정의 형태 특징과 소정의 색상이 대응되도록 인공 신경망을 학습시킬 수 있다.

한편 본 발명에서 인공 신경망을 '학습 시키는 것'은 인공 신경망을 구성하는 적어도 하나의 노드의 계수, 노드의 가중치 및/또는 인공 신경망을 구성하는 복수의 레이어 간의 관계를 정의하는 함수의 계수들을 갱신하는 것을 의미할 수 있다.

프로세서(212)는 입력 이미지, 입력 이미지의 채색된 제2 영역에 대한 제3 색상 질의, 제3 색상 질의에 대한 제3 답변, 입력 이미지에서 제1 영역이 제1 색상으로 채색된 출력 이미지 및 출력 이미지에 대한 제4 색상 질의간의 대응관계가 더 반영되도록 인공 신경망을 학습(이하 제2 학습)시킬 수 있다. 이때 입력 이미지, 제3 색상 질의, 출력 이미지 및 제4 색상 질의는 모두 학습 데이터에 하나의 트레이닝 세트(Training Set)로써 포함되는 것 일 수 있다. 한편 프로세서(212)는 입력 이미지의 제2 영역의 평균 색상에 기초하여 제3 답변을 결정할 수 있다.

바꾸어 말하면 프로세서(212)는 적어도 일부가 더 채색된 이미지의 색상 미지의 영역에 대한 질의와 적어도 일부가 덜 채색된 이미지의 채색된 영역의 채색에 사용된 질의 및 그에 대한 답변을 대응시키도록 인공 신경망을 학습시킬 수 있다.

한편 전술한 제1 학습과 제2 학습은 설명의 편의를 위하여 선후관계를 구분한 것에 불과하므로, 프로세서(212)에 의해 제2 학습이 제1 학습보다 선행하여 수행될 수도 있고, 제1 학습과 제2 학습이 동시에 수행될 수도 있다.

이하에서는 여태까지 설명한 인공 신경망이 프로세서(212)에 의해 학습되어 있음을 전제로, 프로세서(212)가 이미지의 채색을 완성하는 방법에 대해서 설명한다.

본 발명의 일 실시예에 따른 프로세서(212)는 채색하고자 하는 이미지를 획득할 수 있다. 가령 프로세서(212)는 전술한 사용자 단말(100)로부터 채색하고자 하는 제1 차 이미지를 수신할 수도 있고, 서버(200) 내의 메모리(211)로부터 채색하고자 하는 제1 차 이미지를 독출할 수도 있다.

본 발명에서 '채색하고자 하는 이미지', '제1 차 이미지' 또는 '입력 이미지'는 적어도 일부 영역이 채색되지 않아, 채색되지 않은 영역에 채색이 필요한 이미지를 의미할 수 있다. 가령 채색하고자 하는 이미지는 윤곽선(또는 스케치)만 포함하는 이미지로, 채색된 영역을 전혀 포함하지 않는 이미지 일 수 있다.

도 4는 제1 차 이미지의 예시를 도시한 도면이다.

전술한 바와 같이 제1 차 이미지는 적어도 일부 영역이 채색되지 않아 채색이 필요한 이미지를 의미할 수 있다. 이러한 제1 차 이미지는 도 4에 도시된 바와 같이 만화의 한 장면일 수도 있고, 포스터, 일러스트 등 다양한 종류의 이미지일 수도 있다. 이하에서는 설명의 편의를 위하여 도 4에 도시된 이미지를 제1 차 이미지의 예시로써 사용하여 설명한다.

본 발명의 일 실시예에 따른 프로세서(212)는 전술한 인공 신경망을 이용하여, 제1 차 이미지의 내의 적어도 하나의 미 채색된 영역이 채색된 제1 중간 이미지를 생성할 수 있다.

전술한 바와 같이 인공 신경망은 채색이 완료된 이미지와 채색이 완료되지 않은 이미지를 이용하여, 소정의 형태 특징과 소정의 색상이 대응되도록 학습될 수 있다. 따라서 프로세서(212)는 이러한 인공 신경망을 이용하여 제1 차 이미지의 적어도 일부 영역을 채색할 수 있다.

도 5는 프로세서(212)가 도 4의 제1 차 이미지로부터 생성한 제1 중간 이미지의 예시를 도시한 도면이다.

프로세서(212)는 도 5에 도시된 바와 같이 도 4의 제1 차 이미지의 일부 영역(311, 312)이 채색된 제1 중간 이미지를 생성할 수 있다.

본 발명의 일 실시예에 따른 프로세서(212)는 제1 차 이미지를 복수의 영역으로 구분하고, 각 영역이 복수의 색상 각각으로 채색될 확률을 산출할 수 있다. 가령 프로세서(212)는 제1 차 이미지에서 윤곽선 성분을 검출하여, 윤곽선을 기준으로 제1 차 이미지를 복수의 영역으로 구분하고 각 영역이 복수의 색상 각각으로 채색될 확률을 산출할 수 있다.

프로세서(212)는 각 영역이 복수의 색상 각각으로 채색될 확률을 산출함에 있어서 전술한 인공 신경망을 사용할 수 있다. 가령 프로세서(212)는 영역(312)에 대해서, 해당 영역(312)이 파란색으로 채색될 확률을 95%, 빨간색으로 채색될 확률을 13%, 녹색으로 채색될 확률을 32% 등으로 산출할 수 있다.

프로세서(212)는 특정 영역에 특정 색상을 채색할 확률이 소정의 임계 확률 이상인 경우, 해당 영역을 해당 색상으로 채색하는 것으로 결정할 수 있다. 가령 임계 확률이 90%이고, 영역(312)이 파란색으로 채색될 확률이 95%인 경우, 프로세서(212)는 영역(312)을 파란색으로 채색하도록 결정할 수 있다.

다만 전술한 색상의 종류 및 임계 확률은 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.

선택적 실시예에서, 프로세서(212)는 각 영역이 복수의 색상 각각으로 채색될 확률에 기초하여 각 영역에 대한 색상 미지의 정도를 산출할 수 있다. 가령 프로세서(212)는 가장 높은 채색 확률을 갖는 색상의 확률에 대응되도록 해당 영역의 색상 미지의 정도를 산출할 수 있다. 물론 프로세서(212)는 전부 또는 일부 색상의 채색 확률의 평균값에 대응되도록 해당 영역의 색상 미지의 정도를 산출할 수도 있다. 산출된 색상 미지의 정도는 전술한 제1 중간 이미지를 생성하는데 사용될 수도 있고, 후술하는 제1 색상 질의를 생성하는데 사용될 수도 있다.

프로세서(212)는 인공 신경망을 이용하여 제1 차 이미지 내의 적어도 하나의 색상 미지의 영역에 대한 제1 색상 질의를 생성할 수 있다. 가령 프로세서(212)는 제1 차 이미지 내의 복수의 영역 중 어느 하나의 영역을 선택하는 방식으로 질의를 생성할 수 있다.

도 6은 본 발명의 일 실시예에 따른 프로세서(212)가 도 4의 제1 차 이미지로부터 생성한 제1 색상 질의의 예시를 도시한 도면이다.

가령 프로세서(212)가 영역(321)이 색상 미지의 영역이라고 판단한 경우, 프로세서(212)는 도 6과 같은 질의 이미지를 생성할 수 있다.

프로세서(212)에 의해 생성된 질의 이미지는 전술한 사용자 단말(100)로 전달 되어 사용자에게 답변을 요청하는데 사용될 수 있다.

사용자는 질의 이미지를 참조하여, 해당 영역(321)의 색상에 대한 답변, 즉 제1 답변을 사용자 단말(100)에 입력할 수 있다. 가령 사용자는 복수의 색상 중 어느 하나의 색상을 선택하는 방식으로 제1 답변을 사용자 단말(100)에 입력할 수 있다. 사용자 단말(100)에 입력된 제1 답변은 서버(200)로 전송되어 후술하는 제2 차 이미지를 생성하는데 사용될 수 있다.

도 7은 사용자가 사용자 단말(100)에 입력한 제1 답변의 예시를 도시한 도면이다.

가령, 프로세서(212)가 도 6과 같은 질의 이미지를 생성하여 사용자 단말(100)로 전송한 경우, 사용자는 질의에 대상이 되는 영역(321)의 색상을 도 7과 같이 선택할 수 있다. 사용자에 의해 선택된 색상, 즉 제1 답변은 전술한 바와 같이 서버(200)로 전송되어 제2 차 이미지를 생성하는데 사용될 수 있다.

한편 본 발명의 일 실시예에 따른 프로세서(212)는 전술한 바와 같이 제1 차 이미지 내의 각 영역이 복수의 색상 각각으로 채색될 확률에 기초하여 각 영역에 대한 색상 미지의 정도를 산출할 수 있다. 프로세서(212)는 제1 차 이미지 내의 적어도 하나의 색상 미지의 영역 중 산출된 미지의 정도가 소정의 조건을 만족하는 색상 미지의 영역을 선택하고, 선택된 영역의 색상에 관한 질의를 제1 색상 질의로 생성할 수 있다. 가령 프로세서(212)는 색상 미지의 정도가 최대인 영역을 선택하고, 해당 영역의 색상에 관한 질의를 제1 색상 질의로 생성할 수 있다.

본 발명의 일 실시예에 따른 프로세서(212)는 전술한 과정에 의해서 생성된 제1 색상 질의, 사용자 단말(100)로부터 수신한 제1 색상 질의에 대한 제1 답변 및 제1 중간 이미지 중 적어도 하나에 기초하여 제2 차 이미지를 생성할 수 있다.

가령 프로세서(212)는 제1 차 이미지를 포함하는 레이어, 제1 색상 질의에 대응하여 제1 답변에 의해 채색될 영역의 정보를 포함하는 레이어, 제1 답변에 대응하여 채색되는 영역의 채색 정보를 포함하는 레이어 및 제1 중간 이미지를 포함하는 레이어 각각을 생성할 수 있다. 또한 프로세서(212)는 생성된 레이어들을 병합함으로써 제2 차 이미지를 생성할 수 있다.

이때 프로세서(212)는 전술한 레이어 간의 가중치를 반영하여 병합할 수도 있고, 레이어 간의 우선순위를 반영하여 병합할 수도 있다. 가중치 또는 우선순위는 인공 신경망에 의해 결정되는 것 일 수 있다.

도 8은 제2 차 이미지의 예시를 도시한 도면이다.

도 8에 도시된 바와 같이, 도 5 내지 도 7에서 설명한 과정에 따라 제2 차 이미지 내의 일부 영역(311, 312, 321)이 채색될 수 있고, 나머지 일부 영역(331, 332, 333, 334, 335)은 채색이 되지 않은 상태일 수 있다.

본 발명의 일 실시예에 따른 프로세서(212)는 도 4 내지 도 8에서 설명한 방법을 도 8의 제2 차 이미지에 대해서 반복적으로 수행함으로써, 도 9와 같이 모든 영역(311, 312, 321, 331, 332, 333, 334, 335)이 채색된 완성 이미지를 생성할 수 있다.

이하에서는 도 10을 참조하여 프로세서(212)가 완성 이미지를 생성하는 과정을 다시 한번 설명한다.

제1 차 이미지로부터 제2 차 이미지를 생성하는 과정

본 발명의 일 실시예에 따른 프로세서(212)는 인공 신경망을 이용하여, 제1 차 이미지의 내의 적어도 하나의 미 채색된 영역이 채색된 제1 중간 이미지를 생성할 수 있다.(도 5 참조)

또한 프로세서(212)는 인공 신경망을 이용하여 제1 차 이미지 내의 적어도 하나의 색상 미지의 영역에 대한 제1 색상 질의를 생성할 수 있다.(도 6 참조)

프로세서(212)에 의해 생성된 질의(또는 질의 이미지)는 전술한 사용자 단말(100)로 전달 되어 사용자에게 답변을 요청하는데 사용될 수 있다. 사용자 단말(100)에 입력된 제1 답변은 서버(200)로 전송되어 제2 차 이미지를 생성하는데 사용될 수 있다.(도 7 참조)

가령 프로세서(212)는 제1 차 이미지를 포함하는 레이어, 제1 색상 질의에 대응하여 제1 답변에 의해 채색될 영역의 정보를 포함하는 레이어, 제1 답변에 대응하여 채색되는 영역의 채색 정보를 포함하는 레이어 및 제1 중간 이미지를 포함하는 레이어 각각을 생성할 수 있다. 또한 프로세서(212)는 생성된 레이어들을 병합함으로써 제2 차 이미지를 생성할 수 있다.(도 8 참조)

제2 차 이미지로부터 제3 차 이미지를 생성하는 과정

본 발명의 일 실시예에 따른 프로세서(212)는 인공 신경망을 이용하여, 제2 차 이미지의 내의 적어도 하나의 미 채색된 영역이 채색된 제2 중간 이미지를 생성할 수 있다. 가령 프로세서(212)는 도 8에 도시된 제2 차 이미지에서 채색되지 않은 영역인 영역(331)이 더 채색된 제2 중간 이미지를 생성할 수 있다.

또한 프로세서(212)는 인공 신경망을 이용하여 제2 차 이미지 내의 적어도 하나의 색상 미지의 영역에 대한 제2 색상 질의를 생성할 수 있다. 가령 프로세서(212)는 도 8에 도시된 제2 차 이미지에서 채색되지 않은 영역인 영역(334)에 대한 제2 색상 질의를 생성할 수 있다.

프로세서(212)에 의해 생성된 질의(또는 질의 이미지)는 전술한 사용자 단말(100)로 전달 되어 사용자에게 답변을 요청하는데 사용될 수 있다. 사용자 단말(100)에 입력된 제2 답변은 서버(200)로 전송되어 제3 차 이미지를 생성하는데 사용될 수 있다.

본 발명의 일 실시예에 따른 프로세서(212)는 제1 차 이미지, 전술한 과정에 의해서 생성된 제2 색상 질의, 사용자 단말(100)로부터 수신한 제2 색상 질의에 대한 제2 답변 및 제2 중간 이미지 중 적어도 하나에 기초하여 제3 차 이미지를 생성할 수 있다.

가령 프로세서(212)는 제1 차 이미지를 포함하는 레이어, 제2 색상 질의에 대응하여 제2 답변에 의해 채색될 영역의 정보를 포함하는 레이어, 제2 답변에 대응하여 채색되는 영역의 채색 정보를 포함하는 레이어 및 제2 중간 이미지를 포함하는 레이어 각각을 생성할 수 있다. 또한 프로세서(212)는 생성된 레이어들을 병합함으로써 제3 차 이미지를 생성할 수 있다.

완성 이미지를 생성하는 과정

본 발명의 일 실시예에 따른 프로세서(212)는 생성된 제3 차 이미지에 대해서 전술한 과정을 반복하여 수행함으로써 모든 영역이 채색된 완성 이미지를 생성할 수 있다. 가령 프로세서(212)는 제2 시점에서의 제2 차 이미지를, 제2 시점 이전의 제1 시점에서의 제3 차 이미지와 동일하게 생성할 수 있다. 바꾸어 말하면 프로세서(212)는 이전 시점의 제3 차 이미지를 현재 시점의 제2 차 이미지로 간주할 수 있다.

이어서 프로세서(212)는 이러한 제2 차 이미지에 대해서 전술한 제2 중간 이미지를 생성하는 과정, 제2 색상 질의를 생성하는 과정 및 제3 차 이미지를 생성하는 과정을 반복하여 수행함으로써, 도 9와 같이 모든 영역(311, 312, 321, 331, 332, 333, 334, 335) 이 채색된 완성 이미지를 생성할 수 있다.

한편 본 발명의 일 실시예에 따른 프로세서(212)는 전술한 반복 수행의 횟수를 소정의 임계 횟수 미만으로 설정할 수 있다. 가령 프로세서(212)는 반복 수행의 횟수를 5회로 설정할 수 있다.

설정된 임계 반복 횟수 조건의 충족은 프로세서(212)가 인공 신경망의 출력에 기초하여 특정 영역을 자동으로 채색할 지 여부를 결정하는 임계 확률 및/또는 색상 미지의 영역에 대한 색상 질의를 수행할지 여부를 결정하는 소정의 조건을 적절히 조절함으로써 달성될 수 있다.

도 11은 본 발명의 일 실시예에 따른 프로세서(212)가 입력 이미지로부터 완성 이미지를 생성하는 일련의 과정 중 생성되는 이미지 및 답변을 도시한 도면이다.

설명의 편의를 위하여 t=1인 시점에 입력 이미지(또는 제1 차 이미지)가 입력되었으며, 1 단위로 시점이 증가한다고 가정한다.

전술한 가정하에, t=1인 시점에 본 발명의 일 실시예에 따른 프로세서(212)는 제1 차 이미지에 대한 제1 색상 질의 이미지를 생성할 수 있고, 이에 대한 제1 답변을 획득할 수 있다. 프로세서(212)는 제1 차 이미지, 제1 색상 질의, 제1 색상 질의에 대한 제1 답변 및 제1 중간 이미지 중 적어도 하나에 기초하여 제2 차 이미지를 생성할 수 있다.

t=2인 시점에 본 발명의 일 실시예에 따른 프로세서(212)는 생성된 제2 차 이미지에 대한 제2 색상 질의 이미지를 생성할 수 있고, 이에 대한 제2 답변을 획득할 수 있다. 프로세서(212)는 제1 차 이미지, 제2 색상 질의, 제2 색상 질의에 대한 제2 답변 및 제2 중간 이미지 중 적어도 하나에 기초하여 제3 차 이미지를 생성할 수 있다.

t=3인 시점에 본 발명의 일 실시예에 따른 프로세서(212)는 t=2인 시점에서의 제3 차 이미지를 제2 차 이미지로 하여, 이러한 제2 차 이미지에 대한 제2 색상 질의 이미지를 생성할 수 있고, 이에 대한 제2 답변을 획득할 수 있다. 프로세서(212)는 제1 차 이미지, 제2 색상 질의, 제2 색상 질의에 대한 제2 답변 및 제2 중간 이미지 중 적어도 하나에 기초하여 새로운 제3 차 이미지를 생성할 수 있다.

프로세서(212)는 이러한 제2 차 이미지에 대해서 전술한 제2 중간 이미지를 생성하는 단계, 제2 색상 질의를 생성하는 단계 및 제3 차 이미지를 생성하는 단계를 반복하여 수행함으로써, 도 9와 같이 모든 영역(311, 312, 321, 331, 332, 333, 334, 335) 이 채색된 완성 이미지를 생성할 수 있다.

한편 프로세서(212)는 제2 색상 질의 내용이 더 이상 존재하지 않는 경우 전술한 반복을 중단할 수 있다. 가령 프로세서(212)는 t=6인 시점의 질의 이미지와 같이, 질의에 아무런 내용이 포함되어 있지 않은 경우 이미지의 채색이 완성된 것으로 판단하여 전술한 반복 수행을 중단할 수 있다.

이로써 본 발명은 이미지의 채색에 있어서 사용자의 노력을 경감시킬 수 있다.

도 12는 본 발명의 일 실시예에 따른 서버(200)에 의해 수행되는 이미지의 채색을 완성하는 방법을 설명하기 위한 흐름도이다. 이하에서는 도 1 내지 도 11을 함께 참조하여 설명하되, 도 1 내지 도 11에서 설명한 내용과 중복되는 내용의 설명은 생략한다.

본 발명의 일 실시예에 따른 서버(200)는 인공 신경망을 이용하여, 제1 차 이미지의 내의 적어도 하나의 미 채색된 영역이 채색된 제1 중간 이미지(도 5 참조)를 생성할 수 있다.(S81),

또한 서버(200)는 인공 신경망을 이용하여 제1 차 이미지 내의 적어도 하나의 색상 미지의 영역에 대한 제1 색상 질의(도 6 참조)를 생성하고, 제1 색상 질의에 대한 답변(도 7 참조)을 획득할 수 있다.(S82) 이를 보다 상세히 살펴보면, 서버(200)에 의해 생성된 질의(또는 질의 이미지)는 전술한 사용자 단말(100)로 전달 되어 사용자에게 답변을 요청하는데 사용될 수 있다. 사용자 단말(100)에 입력된 제1 답변은 서버(200)로 전송되어 후술하는 제2 차 이미지의 생성에 사용될 수 있다.

본 발명의 일 실시예에 따른 서버(200)는 전술한 과정에 의해서 생성된 제1 색상 질의, 사용자 단말(100)로부터 수신한 제1 색상 질의에 대한 제1 답변 및 제1 중간 이미지 중 적어도 하나에 기초하여 제2 차 이미지(도 8 참조)를 생성할 수 있다.(S83)

가령 서버(200)는 제1 차 이미지를 포함하는 레이어, 제1 색상 질의에 대응하여 제1 답변에 의해 채색될 영역의 정보를 포함하는 레이어, 제1 답변에 대응하여 채색되는 영역의 채색 정보를 포함하는 레이어 및 제1 중간 이미지를 포함하는 레이어 각각을 생성할 수 있다. 또한 서버(200)는 생성된 레이어들을 병합함으로써 제2 차 이미지를 생성할 수 있다.

이때 서버(200)는 전술한 레이어 간의 가중치를 반영하여 병합할 수도 있고, 레이어 간의 우선순위를 반영하여 병합할 수도 있다. 가중치 또는 우선순위는 인공 신경망에 의해 결정되는 것 일 수 있다.

본 발명의 일 실시예에 따른 서버(200)는 인공 신경망을 이용하여, 제2 차 이미지의 내의 적어도 하나의 미 채색된 영역이 채색된 제2 중간 이미지를 생성할 수 있다.(S84) 가령 서버(200)는 도 8에 도시된 제2 차 이미지에서 채색되지 않은 영역인 영역(331)이 더 채색된 제2 중간 이미지를 생성할 수 있다.

또한 서버(200)는 인공 신경망을 이용하여 제2 차 이미지 내의 적어도 하나의 색상 미지의 영역에 대한 제2 색상 질의를 생성하고, 제2 색상 질의에 대한 답변을 획득할 수 있다.(S85) 가령 서버(200)는 도 8에 도시된 제2 차 이미지에서 채색되지 않은 영역인 영역(334)에 대한 제2 색상 질의를 생성할 수 있다.

단계 S82와 마찬가지로, 서버(200)에 의해 생성된 질의(또는 질의 이미지)는 전술한 사용자 단말(100)로 전달 되어 사용자에게 답변을 요청하는데 사용될 수 있다. 사용자 단말(100)에 입력된 제2 답변은 서버(200)로 전송될 수 있다.

본 발명의 일 실시예에 따른 서버(200)는 제1 차 이미지, 전술한 과정에 의해서 생성된 제2 색상 질의, 사용자 단말(100)로부터 수신한 제2 색상 질의에 대한 제2 답변 및 제2 중간 이미지 중 적어도 하나에 기초하여 제3 차 이미지를 생성할 수 있다.(S86)

가령 서버(200)는 제1 차 이미지를 포함하는 레이어, 제2 색상 질의에 대응하여 제2 답변에 의해 채색될 영역의 정보를 포함하는 레이어, 제2 답변에 대응하여 채색되는 영역의 채색 정보를 포함하는 레이어 및 제2 중간 이미지를 포함하는 레이어 각각을 생성할 수 있다. 또한 서버(200)는 생성된 레이어들을 병합함으로써 제3 차 이미지를 생성할 수 있다.

본 발명의 일 실시예에 따른 서버(200)는 제3 차 이미지에 채색되지 않은 영역이 존재하는지 여부를 확인할 수 있다.(S87) 이와 같은 확인은 제3 차 이미지에 대한 질의가 내용을 포함하는지 여부를 확인함으로써 수행될 수 있다. 가령 제3 차 이미지에 대한 질의가 아무런 내용을 포함하지 않은 경우, 제3 차 이미지에 채색되지 않은 영역이 존재하지 않는 것으로 판단할 수 있다. 서버(200)는 제3 차 이미지에 채색되지 않은 영역이 존재하지 않는 경우, 채색을 종료할 수 있다.

한편 서버(200)는 제3 차 이미지에 채색되지 않은 영역이 존재하는 경우, 제3 차 이미지에 대해서 단계 S84 내지 단계 S87의 과정을 반복하여 수행함으로써 채색을 완료할 수 있다. 가령 서버(200)는 제2 시점에서의 제2 차 이미지를, 제2 시점 이전의 제1 시점에서의 제3 차 이미지와 동일하게 생성할 수 있다. 바꾸어 말하면 서버(200)는 이전 시점의 제3 차 이미지를 현재 시점의 제2 차 이미지로 간주하여 단계 S84 내지 S87을 반복적으로 수행할 수 있다.

한편 본 발명의 일 실시예에 따른 서버(200)는 전술한 반복 수행의 횟수를 소정의 임계 횟수 미만으로 설정할 수 있다. 가령 서버(200)는 반복 수행의 횟수를 5회로 설정할 수 있다.

설정된 임계 반복 횟수 조건의 충족은 서버(200)가 인공 신경망의 출력에 기초하여 특정 영역을 자동으로 채색할 지 여부를 결정하는 임계 확률 및/또는 색상 미지의 영역에 대한 색상 질의를 수행할지 여부를 결정하는 소정의 조건을 적절히 조절함으로써 달성될 수 있다.

도 13은 본 발명의 일 실시예에 따른 서버(200)에 의해 수행되는 인공 신경망 학습 방법을 설명하기 위한 흐름도이다.

본 발명의 일 실시예에 따른 서버(200)는, 제1 영역이 채색되지 않은 입력 이미지 및 이러한 입력 이미지에서 제1 영역이 제1 색상으로 채색된 출력 이미지를 이용하여 제1 영역과 제1 색상의 대응관계가 반영되도록 인공 신경망을 학습(제1 학습)시킬 수 있다.(S91) 이때 입력 이미지와 출력 이미지는 모두 학습 데이터에 하나의 트레이닝 세트(Training Set)로써 포함되는 이미지들일 수 있다. 또한 제1 영역은 입력 이미 내에서 채색이 되지 않은 임의의 영역을 의미할 수 있다. 바꾸어 말하면 서버(200)는 채색이 완료된 이미지와 채색이 완료되지 않은 이미지를 이용하여, 소정의 형태 특징과 소정의 색상이 대응되도록 인공 신경망을 학습시킬 수 있다.

이어서 서버(200)는 입력 이미지, 입력 이미지의 채색된 제2 영역에 대한 제3 색상 질의, 제3 색상 질의에 대한 제3 답변, 입력 이미지에서 제1 영역이 제1 색상으로 채색된 출력 이미지 및 출력 이미지에 대한 제4 색상 질의간의 대응관계가 더 반영되도록 인공 신경망을 학습(제2 학습)시킬 수 있다.(S92) 이때 입력 이미지, 제3 색상 질의, 출력 이미지 및 제4 색상 질의는 모두 학습 데이터에 하나의 트레이닝 세트(Training Set)로써 포함되는 것 일 수 있다. 한편 서버(200)는 입력 이미지의 제2 영역의 평균 색상에 기초하여 제3 답변을 결정할 수 있다.

바꾸어 말하면 서버(200)는 적어도 일부가 더 채색된 이미지의 색상 미지의 영역에 대한 질의와 적어도 일부가 덜 채색된 이미지의 채색된 영역의 채색에 사용된 질의 및 그에 대한 답변을 대응시키도록 인공 신경망을 학습시킬 수 있다.

본 발명의 다른 실시예에서, 상술한 이미지의 채색 완성 방법 및/또는 인공신경망 학습 방법은 사용자 단말(100) 및/또는 사용자 단말(100)의 프로세서(112)에 의해 수행될 수도 있다.

이러한 경우 사용자의 입력은 사용자 단말(100)의 입출력 장치(115) 및 입출력 인터페이스(114)를 통하여 획득될 수 있다. 가령 사용자는 사용자 단말(100)의 출력 장치(미도시)에 표시된 질의 이미지를 참조하여, 해당 영역(321)의 색상에 대한 답변, 즉 제1 답변을 입출력 장치(115)를 통하여 입력할 수 있고, 입력된 답변은 프로세서(112)가 제2 차 이미지를 생성하는데 사용될 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

100: 사용자 단말
101, 102, 103, 104: 사용자 단말
111: 메모리
112: 프로세서
113: 통신 모듈
114: 입출력 인터페이스
115: 입출력 장치
200: 서버
211: 메모리
212: 프로세서
213: 통신 모듈
214: 입출력 인터페이스
300: 네트워크

Claims

이미지 내의 색상 미지의 영역에 대한 질의 및 상기 질의에 대한 답변에 기초하여 상기 이미지의 채색을 완성하는 방법에 있어서,
인공 신경망을 이용하여, 제1 차 이미지의 내의 적어도 하나의 미 채색된 영역이 채색된 제1 중간 이미지를 생성하는 단계;
상기 인공 신경망을 이용하여, 제1 차 이미지 내의 적어도 하나의 색상 미지의 영역에 대한 제1 색상 질의를 생성하는 단계; 및
상기 제1 색상 질의, 상기 제1 색상 질의에 대한 제1 답변 및 상기 제1 중간 이미지 중 적어도 하나에 기초하여 제2 차 이미지를 생성하는 단계;를 포함하는, 이미지의 채색 완성 방법.
제1 항에 있어서
상기 이미지의 채색을 완성하는 방법은
상기 제2 차 이미지를 생성하는 단계 이후에,
상기 인공 신경망을 이용하여, 상기 제2 차 이미지의 내의 적어도 하나의 미 채색된 영역이 채색된 제2 중간 이미지를 생성하는 단계;
상기 인공 신경망을 이용하여, 제2 차 이미지 내의 적어도 하나의 색상 미지의 영역에 대한 제2 색상 질의를 생성하는 단계; 및
상기 제1 차 이미지, 상기 제2 색상 질의, 상기 제2 색상 질의에 대한 제2 답변, 상기 제2 중간 이미지 중 적어도 하나에 기초하여 제3 차 이미지를 생성하는 단계;를 더 포함하는, 이미지의 채색 완성 방법.
제2 항에 있어서
상기 제1 답변은 상기 제1 색상 질의에 대응하는 사용자의 입력에 기초하여 결정되고,
상기 제2 답변은 상기 제2 색상 질의에 대응하는 상기 사용자의 입력에 기초하여 결정되는, 이미지의 채색 완성 방법.
제2 항에 있어서
상기 인공 신경망은
상기 제2 차 이미지 내의 적어도 하나의 색상 미지의 영역에 각각에 대한 미지의 정도를 생성하고,
상기 제2 색상 질의를 생성하는 단계는
상기 제2 차 이미지 내의 적어도 하나의 색상 미지의 영역 중 상기 미지의 정도가 소정의 조건을 만족하는 미지의 영역의 색상에 대한 질의를 제2 색상 질의로 생성하는, 이미지의 채색 완성 방법.
제2 항에 있어서
상기 이미지의 채색을 완성하는 방법은
제2 시점에서의 제2 차 이미지를 상기 제2 시점 이전의 제1 시점에서의 제3 차 이미지와 동일하게 생성하여, 상기 제2 중간 이미지를 생성하는 단계, 상기 제2 색상 질의를 생성하는 단계 및 상기 제3 차 이미지를 생성하는 단계를 반복하여 수행하여 모든 영역이 채색된 완성 이미지를 생성하는, 이미지의 채색 완성 방법.
제1 항에 있어서
상기 인공 신경망은
제1 영역이 채색되지 않은 입력 이미지와, 상기 제1 영역이 채색된 출력 이미지의 대응관계를 학습한 신경망인, 이미지의 채색 완성 방법.
제6 항에 있어서
상기 인공 신경망은
상기 입력 이미지, 상기 입력 이미지의 채색된 제2 영역에 대한 제3 색상 질의 및 상기 제3 색상 질의에 대한 제3 답변과 상기 출력 이미지 및 상기 출력 이미지에 대한 제4 색상 질의의 대응관계를 더 학습한 신경망이고,
상기 제2 영역은
상기 입력 이미지의 상기 제3 색상 질의 및 상기 제3 답변에 의해서 채색된 영역인, 이미지의 채색 완성 방법.
이미지 내의 색상 미지의 영역 중 적어도 일부 영역을 채색하고, 상기 미지의 영역 중 상기 일부 영역을 제외한 나머지 영역의 색상에 대한 질의를 생성하는 인공 신경망을 학습하는 방법에 있어서,
제1 영역이 채색되지 않은 입력 이미지 및 상기 입력 이미지에서 상기 제1 영역이 제1 색상으로 채색된 출력 이미지를 이용하여, 상기 제1 영역과 상기 제1 색상의 대응관계가 반영되도록 상기 인공 신경망을 학습시키는 제1 학습 단계;
상기 입력 이미지, 상기 입력 이미지의 채색된 제2 영역에 대한 제3 색상 질의, 상기 제3 색상 질의에 대한 제3 답변, 상기 출력 이미지 및 상기 출력 이미지에 대한 제4 색상 질의의 대응관계가 더 반영되도록 상기 인공 신경망을 학습시키는 제2 학습 단계;를 포함하는, 인공 신경망 학습 방법.
제8 항에 있어서,
상기 제3 답변은
상기 입력 이미지의 상기 제2 영역의 평균 색상에 기초하여 결정되는, 인공 신경망 학습 방법.
컴퓨터를 이용하여 제1 항 내지 제9 항 중 어느 한 항의 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램.
이미지 내의 색상 미지의 영역에 대한 질의 및 상기 질의에 대한 답변에 기초하여 상기 이미지의 채색을 완성하는 장치에 있어서, 상기 장치는 프로세서를 포함하고, 상기 프로세서는
인공 신경망을 이용하여, 제1 차 이미지의 내의 적어도 하나의 미 채색된 영역이 채색된 제1 중간 이미지를 생성하고,
상기 인공 신경망을 이용하여, 제1 차 이미지 내의 적어도 하나의 색상 미지의 영역에 대한 제1 색상 질의를 생성하고,
상기 제1 색상 질의, 상기 제1 색상 질의에 대한 제1 답변 및 상기 제1 중간 이미지 중 적어도 하나에 기초하여 제2 차 이미지를 생성하는, 이미지의 채색 완성 장치.
제11 항에 있어서
상기 프로세서는
상기 인공 신경망을 이용하여, 상기 제2 차 이미지의 내의 적어도 하나의 미 채색된 영역이 채색된 제2 중간 이미지를 생성하고,
상기 인공 신경망을 이용하여, 제2 차 이미지 내의 적어도 하나의 색상 미지의 영역에 대한 제2 색상 질의를 생성하고,
상기 제1 차 이미지, 상기 제2 색상 질의, 상기 제2 색상 질의에 대한 제2 답변, 상기 제2 중간 이미지 중 적어도 하나에 기초하여 제3 차 이미지를 생성하는, 이미지의 채색 완성 장치.
제12 항에 있어서
상기 제1 답변은 상기 제1 색상 질의에 대응하는 사용자의 입력에 기초하여 결정되고,
상기 제2 답변은 상기 제2 색상 질의에 대응하는 상기 사용자의 입력에 기초하여 결정되는, 이미지의 채색 완성 장치.
제12 항에 있어서
상기 인공 신경망은
상기 제2 차 이미지 내의 적어도 하나의 색상 미지의 영역에 각각에 대한 미지의 정도를 생성하고,
상기 프로세서는
상기 제2 차 이미지 내의 적어도 하나의 색상 미지의 영역 중 상기 미지의 정도가 소정의 조건을 만족하는 미지의 영역의 색상에 대한 질의를 제2 색상 질의로 생성하는, 이미지의 채색 완성 장치.
제12 항에 있어서
상기 프로세서는
제2 시점에서의 제2 차 이미지를 상기 제2 시점 이전의 제1 시점에서의 제3 차 이미지와 동일하게 생성하여, 상기 제2 중간 이미지를 생성하는 단계, 상기 제2 색상 질의를 생성하는 단계 및 상기 제3 차 이미지를 생성하는 단계를 반복하여 수행하여 모든 영역이 채색된 완성 이미지를 생성하는, 이미지의 채색 완성 장치.
제11 항에 있어서
상기 인공 신경망은
제1 영역이 채색되지 않은 입력 이미지와, 상기 제1 영역이 채색된 출력 이미지의 대응관계를 학습한 신경망인, 이미지의 채색 완성 장치.
제16 항에 있어서
상기 인공 신경망은
상기 입력 이미지, 상기 입력 이미지의 채색된 제2 영역에 대한 제3 색상 질의 및 상기 제3 색상 질의에 대한 제3 답변과 상기 출력 이미지 및 상기 출력 이미지에 대한 제4 색상 질의의 대응관계를 더 학습한 신경망이고,
상기 제2 영역은
상기 입력 이미지의 상기 제3 색상 질의 및 상기 제3 답변에 의해서 채색된 영역인, 이미지의 채색 완성 장치.
이미지 내의 색상 미지의 영역 중 적어도 일부 영역을 채색하고, 상기 미지의 영역 중 상기 일부 영역을 제외한 나머지 영역의 색상에 대한 질의를 생성하는 인공 신경망을 학습하는 장치에 있어서, 상기 장치는 프로세서를 포함하고,
상기 프로세서는,
제1 영역이 채색되지 않은 입력 이미지 및 상기 입력 이미지에서 상기 제1 영역이 제1 색상으로 채색된 출력 이미지를 이용하여, 상기 제1 영역과 상기 제1 색상의 대응관계가 반영되도록 상기 인공 신경망을 학습시키고,
상기 입력 이미지, 상기 입력 이미지의 채색된 제2 영역에 대한 제3 색상 질의, 상기 제3 색상 질의에 대한 제3 답변, 상기 출력 이미지 및 상기 출력 이미지에 대한 제4 색상 질의의 대응관계가 더 반영되도록 상기 인공 신경망을 학습시키는, 인공 신경망 학습 장치.
제18 항에 있어서,
상기 제3 답변은
상기 입력 이미지의 상기 제2 영역의 평균 색상에 기초하여 결정되는, 인공 신경망 학습 장치.