KR102090280B1

KR102090280B1 - 스크리블 아트 기법

Info

Publication number: KR102090280B1
Application number: KR1020190001096A
Authority: KR
Inventors: 문성훈
Original assignee: 문성훈
Priority date: 2019-01-04
Filing date: 2019-01-04
Publication date: 2020-03-17

Abstract

스크리블 아트 기법이 제공되며, 사용자 단말로부터 사진 데이터가 업로드되는 경우, 사진 데이터에 포함된 노출값 중 대비값을 기 설정된 기준값에 대응하도록 증감시키는 단계, 조정된 사진 데이터를 흑백 데이터로 변환하여 기준 이미지를 생성하는 단계, 기준 이미지를 이루는 적어도 하나의 선을 제 1 두께로 처리하여 변환하는 단계, 기준 이미지인 2D 데이터로부터 깊이 정보를 추출하여 원근감 데이터를 생성하고, 원근감 데이터에 기반하여 기준 이미지를 이루는 선 중 원근감 데이터가 포함된 영역의 선을 제 2 두께로 변환하는 단계, 증감된 대비값으로 대비차가 기 설정된 대비값 이상인 선을 포함한 영역에 제 3 두께를 적용하여 변환하는 단계, 및 변환이 완료된 기준 이미지를 무광택 용지를 이용하여 프린팅하도록 사용자 단말과 연동된 프린터를 제어하는 단계를 포함한다.

Description

스크리블 아트 기법{METHOD FOR PROVIDING SCRIBBLE ART SERVICE}

본 발명은 스크리블 아트 기법에 관한 것으로, 사진으로부터 그림으로 변환할 때 선의 두께를 원근감 및 대비영역에 대응되도록 조절함으로써 실제로 그린 그림을 출력하는 것과 같은 방법을 제공한다.

양방향을 기반으로 하는 디지털미디어 환경은 이용자를 콘텐츠의 단순한 이용자에서 생산자의 위치로 전환시키고 있으며 이러한 이용자의 역할 확장 흐름에 따라 능동적 생산의 측면이 부각되고 있다. 이러한 인터넷 이용은 보다 많은 인지적 노력을 필요로 하기 때문에 관여의 정도가 높을 수밖에 없고 이러한 관여는 플로우 경험과 연결될 가능성이 높다고 논의하고 있다. 특히, 능동적 수용자의 콘텐츠 생산은 적극적 수용자의 미디어 경험이라는 점에서 플로우를 느낄 개연성이 더욱 높다고 할 수 있는데, 포토샵 프로그램은 가장 폭 넓게 활용되는 시각 편집도구로서 컴퓨터상에서 여러 이미지를 합성하거나 변형시켜 그것을 작품의 결과물로 제시하기도 한다. 포토샵 프로그램은 디지털 매체에 익숙한 사용자에게 더욱 친숙한 매체가 될 수 있으며 작품의 구도를 잡아보는 등 작품 제작 과정의 수단으로 사용하기도 한다.

이때, 포토샵과 같은 프로그램을 이용하여 사진을 드로잉과 같은 그림으로 변환해주는 기술이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국등록특허 제10-1011194호(2011년01월26일 공고)에는, 드로잉이나 사진 편집 대상이 되는 사진 선택신호를 입력하고, 선택한 사진을 화면 출력하고, 사진의 외각선 및 내부 테두리를 따라 드로잉한 입력신호를 수신받고, 선택한 사진데이터를 흑백 드로잉 변환처리하고, 드로잉신호를 나타내기 위한 신규 레이어를 생성하여 드로잉신호를 수신하여 신규 레이어에 표시하고, 사진데이터가 변환된 흑백 드로잉데이터 및 신규 레이어에 표시된 드로잉데이터를 저장하고, 사진데이터의 테두리 및 그림자를 따라서 드로잉할 수 있도록 별도의 레이어를 생성하여 드로잉되는 데이터를 처리하는 구성이 개시되어 있다.

다만, 사진데이터를 단순히 드로잉데이터로 변환만 하는 경우, 원근감이나 강한 이미지 부분을 살리지 못하여 직접 손으로 그린 것과 같은 효과가 나지 않고, 프로그램으로 변환된 드로잉이라는 것이 드러나게 된다. 이에 따라, 많은 사용자들이 변환 프로그램이나 포토샵을 이용하지만, 이를 예술적인 작품이나 아트라고 표현하기에는 무리가 있기 때문에 상업화하는 것이 어렵다. 이에, 작업자들은 변환된 드로잉을 다시 사람이 그린 것과 같은 느낌을 주기 위하여 후처리를 해야 하고, 이에 따라 그 작업비용이 상승하고 사람의 손을 거치기 때문에 시간이 길어지는 등의 문제점이 있었다.

본 발명의 일 실시예는, 사진 데이터의 노출값 중 대비값을 이용하여 강한 이미지를 표현하고, 흑백으로 전환하여 선처리가 가능하도록 하며, 흑백으로 전환되어 이루어지는 선의 두께를 서로 달리함으로써 원근감, 밀도의 강약 및 강한 효과를 주어야 하는 부분을 구분하고, 구분된 영역에 선의 두께를 서로 달리 적용함으로써 흑백으로 처리된 선의 두께를 변형시키고, 변형이 완료된 드로잉 데이터를 무광택 용지에 출력함으로써 실제로 연필로 그림을 그린 것과 같은 작품을 생성할 수 있고, 시간 및 작업비용의 소모없이도 고품질의 드로잉이 출력될 수 있으며, 이에 따라 고객의 감성 품질을 높일 수 있는, 스크리블 아트 기법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 사용자 단말로부터 사진 데이터가 업로드되는 경우, 사진 데이터에 포함된 노출값 중 대비값을 기 설정된 기준값에 대응하도록 증감시키는 단계, 조정된 사진 데이터를 흑백 데이터로 변환하여 기준 이미지를 생성하는 단계, 기준 이미지를 이루는 적어도 하나의 선을 제 1 두께로 처리하여 변환하는 단계, 기준 이미지인 2D 데이터로부터 깊이 정보를 추출하여 원근감 데이터를 생성하고, 원근감 데이터에 기반하여 기준 이미지를 이루는 선 중 원근감 데이터가 포함된 영역의 선을 제 2 두께로 변환하는 단계, 증감된 대비값으로 대비차가 기 설정된 대비값 이상인 선을 포함한 영역에 제 3 두께를 적용하여 변환하는 단계, 및 변환이 완료된 기준 이미지를 무광택 용지를 이용하여 프린팅하도록 사용자 단말과 연동된 프린터를 제어하는 단계를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사진 데이터의 노출값 중 대비값을 이용하여 강한 이미지를 표현하고, 흑백으로 전환하여 선처리가 가능하도록 하며, 흑백으로 전환되어 이루어지는 선의 두께를 서로 달리함으로써 원근감, 밀도의 강약 및 강한 효과를 주어야 하는 부분을 구분하고, 구분된 영역에 선의 두께를 서로 달리 적용함으로써 흑백으로 처리된 선의 두께를 변형시키고, 변형이 완료된 드로잉 데이터를 무광택 용지에 출력함으로써 실제로 연필로 그림을 그린 것과 같은 작품을 생성할 수 있고, 시간 및 작업비용의 소모없이도 고품질의 드로잉이 출력될 수 있으며, 이에 따라 고객의 감성 품질을 높일 수 있다.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반 스크리블 아트 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 스크리블 아트 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반 스크리블 아트 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 1의 인공지능 기반 스크리블 아트 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 스크리블 아트 기법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반 스크리블 아트 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 인공지능 기반 스크리블 아트 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 스크리블 아트 서비스 제공 서버(300), 적어도 하나의 고객 단말(400)을 포함할 수 있다. 다만, 이러한 도 1의 인공지능 기반 스크리블 아트 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 스크리블 아트 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 스크리블 아트 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 고객 단말(400)과 연결될 수 있다. 또한, 적어도 하나의 고객 단말(400)은, 네트워크(200)를 통하여 스크리블 아트 서비스 제공 서버(300)와 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

적어도 하나의 사용자 단말(100)은, 인공지능 기반 스크리블 아트 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 사진을 스크리블 아트인 그림으로 바꾸고, 이를 종이, 티셔츠, 열쇠고리 등에 프린팅하는 사용자의 단말일 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 사진을 받아 작업을 한 후 고객에게 물품을 배송하는 판매자의 단말일 수도 있고, 고객이 직접 작업을 한 후 자신의 프린터로 프린팅하는 하는 경우에는 고객의 단말일 수도 있지만, 본 발명의 일 실시예에서는 사용자 단말(100)을 작업을 전문적으로 하여 판매하는 판매자의 역할로 한정하기로 한다. 물론, 상술한 바와 같이 고객의 역할을 수행하는 것을 배제하는 것은 아니다. 그리고, 적어도 하나의 사용자 단말(100)은, 스크리블 아트 서비스 제공 서버(300)에서 제공하는 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 사진을 그림으로 변환하는 작업을 수행하되, 해당 프로그램이나 애플리케이션은 사용자 단말(100) 내에 설치하지 않고 IaaSinfrastructure-as-a-service), PaaS(platform-as-a-service), SaaS(software-as-a-service, SaaS)를 이용하여 작업을 수행하는 단말일 수도 있다. 그리고, 적어도 하나의 사용자 단말(100)은 사진으로부터 그림으로 변환하는 과정을 수행하기에 기 설정된 컴퓨팅 자원 및 네트워킹 자원을 만족하지 못하는 경우에는, 해당 과정을 스크리블 아트 서비스 제공 서버(300)에서 구동되도록 하고, 그 과정(입출력)을 사용자 단말(100)에서 수행되도록 하는 단말일 수도 있다. 또한, 적어도 하나의 사용자 단말(100)은, 각 과정에서 사용자의 개입이 요구되는 경우, 사용자의 입력값을 기반으로 사진을 그림으로 변환하는 단말일 수 있다. 그리고, 적어도 하나의 사용자 단말(100)은 사진이 변환과정을 거쳐 그림으로 완성된 경우, 바로 연결 또는 연동된 프린터기에 완성된 드로잉 데이터를 전송하여 출력하거나, 그 전에 고객 단말(400)로 전송하여 컨펌을 요청하는 단말일 수도 있다. 또한, 적어도 하나의 사용자 단말(100)은 프린팅이 완료된 종이, 티셔츠, 열쇠고리 등의 물품을 고객 단말(400)의 배송지로 배송하기 위한 발주를 출력하고, 고객 단말(400)에서 수취확인이 된 경우, 스크리블 아트 서비스 제공 서버(300)로부터 정산을 받거나, 중개가 없이 직거래를 하는 경우에는 고객 단말(400)의 결제 방식에 따라 제3의 신뢰기관 등으로부터 결제를 받거나 직접 결제를 받는 단말일 수 있다.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

스크리블 아트 서비스 제공 서버(300)는, 인공지능 기반 스크리블 아트 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 스크리블 아트 서비스 제공 서버(300)는, 사용자 단말(100)로부터 사진 데이터를 수집하는 경우, 인공지능 딥러닝을 이용하여 화질을 업스케일링하는 과정과 원근감을 살리기 위하여 2D를 3D 데이터로 변환하는 과정을 선택적으로 진행하는 서버일 수 있다. 또한, 스크리블 아트 서비스 제공 서버(300)는 사용자 단말(100)에서 사진 데이터를 드로잉 데이터(그림 데이터)로 변환하기 위한 애플리케이션, 플랫폼 등을 PaaS, SaaS, IaaS 등으로 제공하는 서버일 수 있다. 그리고, 스크리블 아트 서비스 제공 서버(300)는 사용자 단말(100)의 네트워킹 자원 또는 컴퓨팅 자원이 기 설정된 조건을 만족하지 않는 경우, 사용자 단말(100)에서는 사용자 인터페이스로 입출력만 가능하도록 하고, 실제적인 구동은 스크리블 아트 서비스 제공 서버(300)에서 진행되도록 하는 서버일 수 있다. 또한, 스크리블 아트 서비스 제공 서버(300)는 사진 데이터의 대비값을 조정하고, 흑백처리한 후 생성되는 기준 이미지를 이용하여 사용자 단말(100)에서 선택하는 선의 굵기로 객체의 윤곽을 처리하되, 원근감 영역이나 강조 영역 등은 2D에서 3D로 변환한 입체 데이터를 기준으로 자동으로 설정하여 처리할 수 있는 단말일 수 있다. 그리고, 스크리블 아트 서비스 제공 서버(300)는 피사계 심도를 고려한 이미지 추상화 기법을 이용하여 추상화 서비스도 제공할 수 있는 서버일 수 있다. 또한, 스크리블 아트 서비스 제공 서버(300)는, 기준 데이터가 프린트할 정도로 완성이 된 경우, 프린팅될 객체에 프린팅되도록 프린터를 식별하여 식별된 프린터로 제어신호를 사용자 단말(100)을 경유하여 전송하도록 하는 서버일 수 있다. 그리고, 스크리블 아트 서비스 제공 서버(300)는, 고객 단말(400)의 배송지로 프린팅이 완료된 물품을 사용자 단말(100)에서 배송하도록 하고, 트래킹 모니터링을 고객 단말(400)에서 출력할 수 있도록 하는 서버일 수 있다. 또한, 스크리블 아트 서비스 제공 서버(300)는, 고객 단말(400)에서 수취한 경우에는 해당 주문 과정을 종료처리하는 서버일 수 있다. 그리고, 스크리블 아트 서비스 제공 서버(300)는, 수수료를 제외한 나머지 금액을 사용자 단말(100)로 정산하는 서버일 수 있다.

여기서, 스크리블 아트 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

적어도 하나의 고객 단말(400)은, 인공지능 기반 스크리블 아트 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 고객의 단말일 수 있다. 이때, 사용자 단말(100)에서 실행되는 모든 구성이나 동작들이 고객 단말(400)에서 가능하다는 것은 상술한 바와 같으므로, 중복된 설명은 생략하기로 한다.

여기서, 적어도 하나의 고객 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 고객 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 고객 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

도 2는 도 1의 시스템에 포함된 스크리블 아트 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른 인공지능 기반 스크리블 아트 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 스크리블 아트 서비스 제공 서버(300)는, 증감부(310), 생성부(320), 변환부(330), 원근감부(340), 강조부(350), 제어부(360), 업스케일링부(370), 아트펜 처리부(380) 및 포맷 설정부(390)를 포함할 수 있다.

본 발명의 일 실시예에 따른 스크리블 아트 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100), 및 적어도 하나의 고객 단말(400)로 인공지능 기반 스크리블 아트 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100), 및 적어도 하나의 고객 단말(400)은, 인공지능 기반 스크리블 아트 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100), 및 적어도 하나의 고객 단말(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.

도 2를 참조하면, 증감부(310)는, 사용자 단말(100)로부터 사진 데이터가 업로드되는 경우, 사진 데이터에 포함된 노출값 중 대비값을 기 설정된 기준값에 대응하도록 증감시킬 수 있다. 노출값 조정은, 이미지 기초작업에서 조정(Adjustments) 메뉴를 이용하는 방법으로 수행될 수 있다. 이때, 조정 패널의 기능을 이용할 수도 있고, 이러한 경우, 조정 레이어(Layer)를 만들어 별도로 작업하기 때문에 언제든지 수정이 가능하다. 우선, 색을 보정할 때 가장 먼저 하는 작업은 밝기와 대비와 노출을 바로잡는 것인데, 증감부(310)는, 명도/대비(Brightness/Contrast), 레벨(Levels), 곡선(Curves), 노출(Exposure)을 이용하여 밝기와 대비와 노출을 조절할 수 있다.

생성부(320)는, 조정된 사진 데이터를 흑백 데이터로 변환하여 기준 이미지를 생성할 수 있다. 이때, II2T(Image to Image Translation)가 이용될 수 있는, II2T란 이미지를 입력으로 받아 이를 통해 변형된 이미지를 출력하는 형태를 말한다. 대표적으로 흑백영상을 컬러영상으로 바꾸거나, 컬러영상을 흑백영상으로 바꾸거나, 스케치를 색칠하거나 사진으로 바꾸는 작업이 있다. 입력 이미지와 Ground Truth 이미지를 하나의 쌍으로 했을 때, 입력 이미지는 CNN Network를 통해 실제 이미지를 만들어내려 한다. 이때 Ground Truth를 Y, 만들어진 아웃풋을 Y’라고 하면 일반적으로 사용되는 손실함수는 모든 픽셀의 에러를 손실로 사용하게 된다. 이때, CNN은 이러한 손실을 기반으로 문제를 해결하게 되는데, 이 합계를 줄이기 위해 각 픽셀별로 완벽한 답을 찾기보다는 전체 픽셀의 관점에서 손실을 줄이는 방향으로 학습된다. 이때, GAN(Generative Adversarial Network)은 데이터의 분포를 파악하여 자연스러운 출력물을 생성하려는 생성기(Generator)와 진위 여부를 판단하는 판별자(Discriminator) 간의 경쟁을 핵심으로 하는 GAN이 CNN의 단점을 보완할 수 있다.

또는, Pix2Pix가 이용될 수 있는데, Pix2Pix는 기존의 GAN에서 추가정보를 제공하여 데이터 생성과정을 지시할 수 있게 하는 Conditional GAN을 사용할 수 있다. 이때, 생성자에서 노이즈로 사용되는 이미지를 판별자에게 결과 이미지를 줄 때에도 쌍으로 제공함으로써 주어진 노이즈에 따라 원하는 결과를 유도하며, 손실함수가 사용될 수 있다. 이는, 두 가지의 손실을 결합한 손실함수를 통해 실제 이미지와 노이즈 이미지로부터 만들어진 차이를 최소화할 수 있도록 구성된다. 상술한 방법 이외에도 흑백영상으로 변환하면서 왜곡을 보정하는 다양한 방법이 이용될 수 있음은 자명하다 할 것이다.

변환부(330)는, 기준 이미지를 이루는 적어도 하나의 선을 제 1 두께로 처리하여 변환할 수 있다. 이때, 라인 드로잉(Line darwing)은 랜더링 과정(photorealistic rendering)에서 자주 이용되는 3차원 모델인데, 우선 그려야하는 부분과 그려야하지 않는 배경 부분을 구분할 수 있다. 이때, 특징 보존적인 방식(Feature-preserving manner)으로 이미지 내 중요한 영역과 그렇지 않은 영역을 구분할 수 있다. 첫째, 변환부(330)는 DoF(Depth of Field) 영역을 기준으로 이미지에서 포커싱된 영역인 중요한 부분과, 디포커싱된 영역인 배경 부분을 분류하는 가중치 맵인, DoF 맵을 만들 수 있다. 둘째, 이 맵을 기반으로 변환부(330)는 이미지의 색상을 단계별로 나누게 되는데, 중요하지 않은 영역은 강하게, 중요한 부분은 약하게 표현하거나 또는 그 반대로 처리를 함으로써, 로컬 색상을 최대한 보존할 수 있다. 그리고, 변환부(330)는 이미지 내 중요한 객체의 경계를 캡쳐하여 부드럽고 일관된 스타일로 라인을 표시한다. 라인 추출을 위하여 상관 필터(Cross-correlation filtering)를 사용하고, DoF 영역의 크기에 따라 라인의 세밀도를 조절하여 적용시킨다. 이러한 기법은 DoF영역을 효율적으로 추출하여 라인(객체의 윤곽 등을 이루는 선)을 단계별로 추출할 수 있다.

우선, 기준 이미지를 생성하고 에지를 추출하는 과정은 이후 랜더링 과정에 상당한 영향을 미치게 된다. 만약 대비값 조절이 잘 되지 않는 경우에는 이후 뭉개지는 영역이 발생하게 되어 결과 이미지가 강하게 나타나고, 이러한 경우 출력되는 출력물을 알아볼 수 없게 되며 표현이 두드러지지 않는다. 이와 같은 문제는 포커싱과 디포커싱 영역이 뚜렷한 이미지 내에서 심하게 부각되는데, DoF가 포함된 사진에서도 에지 추출을 강건하게 처리하기 위해서 DoF 영역을 추출하고 DoF를 기반으로 가중치 맵을 생성하고, 가중치 맵을 이용하여 적응형 라인(에지, 선)을 추출하고, 포커싱된 영역의 라인의 두께를 두껍게, 디포커싱된 영역의 라인은 얇게 하는 방식으로 조절을 할 수도 있다. 이때, 출력되는 방법은 스크리블 기법의 드로잉이 기본이지만, 페인팅(Painting), 펜-잉크(Pen-and-ink) 렌더링, 연필(Pencil) 렌더링, 점묘(Stipple) 렌더링, 모자이크(Mosaics), 조각(Engraving),입체파(Cubist) 렌더링 등이 더 포함될 수 있다.

이때, 라인을 추출하기 위해서는, Canny 에지(Edge) 검출 기법과 평균 이동(Mean-shift) 필터를 이용할 수도 있는데, 에지 검출 기법을 사용하여 라인을 추출하고, 평균 이동 필터를 이용하여 색상의 영역 평활화 및 세그먼트화를 수행할 수도 있다. 또한, 눈 추적(Eyetracking) 기반의 사용자 인터페이스를 제공하여 지역별 중요도를 사용자가 직접 지정할 수 있도록 할 수도 있고, 이미지 세그먼트 영역의 계층적 구조와 함께 추상화 레벨을 적응형 구조로 제어할 수도 있다. 또는, 비 등방성 평균 이동 필터(Anisotropic mean-shift filter)를 이용하여 이미지 시퀀스 기법을 이용할 수도 있으며, 평균 이동 필터를 기반으로 장면의 색상 스케치를 자동으로 러프하게 만드는 방법을 이용할 수도 있다. 또는, 3D 모델을 랜더링 방식으로 표현할 수도 있는데, 라인 추출과 평활화 문제를 해결하기 위해 Canny 에지 검출과 양방향필터(Bilateral filter)을 적용할 수도 있으며, Canny 에지 검출과 그라디언트 재구성 방법(Gradient reconstruction method)을 이용하여 다중 스케일 상에서 이미지 추출 방법을 이용할 수도 있다. 또는, DoG 필터를 이용한 얼굴표정 시스템을 이용할 수도 있는데, 이 필터를 이진 휘도 임계값(Binary luminance thresholding)과 함께 사용하여 흑백 얼굴그림을 자동으로 생성할 수도 있다.

이때, DoG 에지 모델은 Canny의 방법보다 두께가 일정하지 않은 경계에서 에지를 잘 생성하기 때문에 스타일이 뛰어난 삽화를 만드는데 이용될 수 있다. 또한, 양방향 필터는 비선형 이미지 평활화에 널리 사용될 수 있다. 이미지를 이용한 라인 추출 방법은 Canny, 평균 이동 세그먼트(Mean-shift segmentation), DoG 필터링 등이 이용될 수 있다. 이때, ETF(Edge tangent flow) 흐름에 따라 DoG 필터를 조정하여 라인의 품질을 향상시키는 기법을 이용할 수도 있다. ETF에서는 에지의 그래디언트 방향으로 DoG 필터를 적용하는 것이 바람직하다. 이렇게 변환부부(330)는, 선을 추출하였다면, 추출된 선을 모두 제 1 두께, 바람직하게는 0.05mm로 변환한다.

원근감부(340)는, 기준 이미지인 2D 데이터로부터 깊이 정보를 추출하여 원근감 데이터를 생성하고, 원근감 데이터에 기반하여 기준 이미지를 이루는 선 중 원근감 데이터가 포함된 영역의 선을 제 2 두께로 변환할 수 있다. 이때, 원근감부(340)는, 2D 데이터로부터 스크리블 아트로 표현될 객체를 그래프 분할 알고리즘으로 추출하고, 추출된 객체의 에지를 추출하여 그래디언트 맵(Gradient map)을 생성하고, 그래디언트 맵 내에서 밝기 정보의 변화가 기 설정된 변화값을 초과하는 영역을 분할하고, 분할된 영역에 각각 평균 밝기값을 할당하고 영역 단위로 연산하고, 2D 데이터에 포함된 픽셀을 노드로 정의하고, 픽셀 간의 유사도를 에지로 가지는 그래프를 노드 간의 가중치의 합을 통하여 생성하여 깊이 정보를 추출하고, 추출된 깊이 정보로 원근감 영역 및 노드인 픽셀을 선정하며, 선정된 픽셀에 포함된 선에 제 2 두께를 적용할 수 있다. 이때, 제 2 두께는, 바람직하게는 1mm일 수 있다.

이때, 그래디언트 맵을 변환부(330)에서 이미 생성하여 존재하는 경우에는 그래디언트 맵을 생성하거나 객체룰 분리하고 영역을 분할하는 과정은 생략되어도 좋다. 여기서 원근감을 주기 위해서는 깊이 정보를 부여해야 하는데, 원근감부(340)는, 분할된 객체 분할 정보를 기반으로 깊이 정보를 할당하게 된다. 이때, 2차원 영상이 이용될 수 있는데, 옵티컬 플로우(Optical flow)를 통해 얻어진 값을 기반으로 각 객체에 할당함으로써 객체별 깊이정보를 생성할 수 있다.

강조부(350)는, 증감된 대비값으로 대비차가 기 설정된 대비값 이상인 선을 포함한 영역에 제 3 두께를 적용하여 변환할 수 있다. 여기서, 제 3 두께를 적용할 영역은 사용자 단말(100)로부터 입력받을 수도 있지만 자동으로 설정이 될 수 있도록 구성될 수 있다. 상술한 강조 영역을 검색하는 방법으로 인하여, 대비값의 차이가 발생하는 영역이나 기 저장된 강조 영역에 대응하는 특징점을 대비함으로써 이러한 영역을 찾아내는 것이 가능할 수 있다. 물론, 상술한 방법에 한정되는 것은 아님은 자명하다 할 것이다. 이때, 제 1 두께는 제 2 두께보다 얇고, 제 2 두께는 제 3 두께보다 얇을 수 있는데, 바람직하게는, 제 1 두께는 0.05mm이고, 제 2 두께는 1mm이고, 제 3 두께는 1.5mm일 수 있다. 여기서, 선은 스크리블 효과(Scribble Effect)에 대응하는 선으로 설정될 수 있으나, 이에 한정되는 것은 아니고 다양한 효과와 선이 이용될 수 있음은 자명하다 할 것이다.

제어부(360)는, 변환이 완료된 기준 이미지를 무광택 용지를 이용하여 프린팅하도록 사용자 단말(100)과 연동된 프린터를 제어할 수 있다. 이때, 사진이나 이미지를 오프셋으로 인쇄할 경우 편집이나 그래픽 작업을 진행하는 모니터와 인쇄 출력물이 필연적으로 다른 컬러 또는 텍스쳐를 재현할 수밖에 없다. 이는 기본적으로 투과 이미지인 모니터와 반사이미지인 인쇄물의 차이뿐만 아니라, RGB기반의 컴퓨터 모니터와 CMYK기반의 인쇄가 가지는 색역(gamut)의 차이 때문이다. 특히 간단한 방법을 통해 쉽게 교정할 수 있는 모니터에 비해 원본에서 여러 단계를 거쳐 인쇄되는 인쇄물의 경우, 단계별로 다양한 변수가 작용하므로 이미지와 실제 결과물을 예측하여 대응하기가 매우 어렵다. 이에 따라, 본 발명의 일 실시예에서는, 교정기(Proofer)의 교정과정을 더 수행할 수 있다. 이때, 교정기는 인쇄물의 화질을 미리 점검하기 위해 고비용의 인쇄에 앞서 미리 저비용으로 이미지를 출력해보는 프린터이다. 교정기의 종류로는, SWOP (Specifications for Web Offset Publications), CTP(computer to plate), Direct Digital Color Proofing(DDCP), 디지털 교정기 등이 포함될 수 있다.

디지털교정기의 경우 망점 재현이 가능한 교정기로 최고의 품질을 얻을 수 있다. 그러나 장비 자체의 가격이 높고 정확한 교정을 위해서는 ISO12647의 규정에 맞는 피 인쇄체(substrate)와 잉크 및 허용오차 기준을 지켜야한다. 특히 출력용 용지의 품질은 발색이나 잉크 흡수의 차이로 인한 오차가 발생하는 중요한 원인이다. 따라서 용지를 선택하는 것은 매우 어려운 문제이다. 결국 용지의 조건이 ISO 기준7에 충족한다고 해도 잉크의 흡수정도 등에 따른 오차가 발생하므로 필수적으로 적절한 프로파일을 적용해야 한다. 따라서, 본 발명의 일 실시예에서는 교정기의 교정과정을 거쳐 인쇄지를 무광택 용지로 선정함으로써 오차를 발생시키지 않도록 한다.

그리고, 제어부(360)는, 변환이 완료된 기준 이미지를 무광택 용지를 이용하여 프린팅하도록 사용자 단말(100)과 연동된 프린터를 제어할 때, 변환이 완료된 기준 이미지를 사용자 단말(100)에서 선택한 물품 객체에 프린팅하도록 사용자 단말(100)과 연동된 프린터를 제어할 수도 있으며, 상술한 프린터의 종류와 프린팅되는 객체의 질감 및 텍스쳐에 대응하도록 색차를 최소화할 수 있는 오프셋값을 기 저장하여 이를 이용할 수 있음은 물론이다.

업스케일링부(370)는, 증감부(310)에서 사용자 단말(100)로부터 사진 데이터가 업로드되는 경우, 사진 데이터에 포함된 노출값 중 대비값을 기 설정된 기준값에 대응하도록 증감시킬 때, 또는 그 이전에 사용자 단말(100)로부터 사진 데이터가 업로드되는 경우, 사진 데이터의 해상도가 기 설정된 해상도를 만족하지 못하거나, 사용자 단말(100)로부터 선택이 된 경우에, 인공지능 딥러닝 고해상도 업스케일링을 실시할 수 있다. 이때, 사진 데이터는, 사진 데이터에 포함된 픽셀 단위로 데이터를 처리하는 심층 콘볼루션 신경망(CNN)과 딥러닝으로 훈련된 인공지능을 이용하여 업스케일링될 수 있다. 이때, 업스케일링부(370)는 다양한 해상도의 사진 이미지에 포함된 다양한 텍스처의 특성을 지니는 수 많은 훈련데이터(딥러닝)을 이용하여 고해상도 이미지로 변환할 수 있는 인공지능 기술을 이용할 수 있는데, 이때 훈련방법은 딥러닝이 아닐지라도 유전자 알고리즘 학습 등 다양한 방법이 이용될 수 있음은 자명하다 할 것이다. 이때, 프레임 단위 대신 라인 단위로 데이터를 처리하는 심층 콘볼루션 신경망 구조(CNN)를 이용할 수는 있으나, 이에 한정되는 것은 아니다.

아트펜 처리부(380)는, 제어부(360)에서 변환이 완료된 기준 이미지를 무광택 용지를 이용하여 프린팅하도록 사용자 단말(100)과 연동된 프린터를 제어한 후, 프린팅이 완료된 기준 이미지의 영역 중 대비값이 기 설정된 기준값을 초과하는 영역을 추출하고, 추출된 영역에 포함된 선을 아트펜 기능을 포함하는 프린터로 프린팅되도록 사용자 단말(100)을 제어할 수 있다. 여기서, 아트펜 기능으로 출력되어야 할 영역은 사용자 단말(100)에서 지정할 수도 있고, 아트펜 처리부(380)에서 각 이미지나 객체에 따라 특징점이나 강조점으로 추출되어야 할 부분을 빅데이터를 수집하여 학습한 결과에 기반하여 자동으로 설정할 수도 있다. 물론 제어부(360)에서 출력된 출력물 상에 사람이 수동으로 아트펜 처리를 하는 것을 배제하는 것은 아니다.

포맷 설정부(390)는, 증감부(310)에서 사용자 단말(100)로부터 사진 데이터가 업로드되는 경우, 사진 데이터에 포함된 노출값 중 대비값을 기 설정된 기준값에 대응하도록 증감시키기 전에, 고객 단말(400)로부터 사용자 단말(100)을 경유하여 수신된 완성된 작품의 포맷 또는 서비스 포맷이 선택된 경우, 포맷과 사진 데이터를 매핑하여 저장할 수 있다. 그리고, 포맷 설정부(390)는, 프린터를 제어할 때 포맷에 대응하는 표면에 변환이 완료된 기준 이미지를 프린팅하도록 제어할 수 있다. 상술한 바와 같이 프린터기로 프린팅을 할 때에는 프린팅이 되는 원리, 프린팅이 되는 용지나 객체의 텍스쳐나 흡수도 등이 모두 중요하다. 이에 따라, 각 객체의 텍스쳐, 질감, 흡수도 등에 따라 오프셋 설정이 다를 수 있고, 이 또한 본 발명의 일 실시예에 따른 포맷 설정부(390)에서 빅데이터를 수집하여 학습한 결과로 최적의 오프셋값을 미리 저장할 수 있고, 이에 따라 인쇄 전 프린터기의 설정이 보정되도록 할 수 있다.

이때, 빅데이터는 스크리블 아트 서비스 제공 서버(300)에서 저장된 로우 데이터 내에 포함된 비정형(Unstructed) 데이터, 정형(Structured) 데이터 및 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시할 수 있고, 전처리된 데이터를 데이터 마이닝(Data Mining)을 포함하는 분석을 실시할 수 있다. 그리고, 스크리블 아트 서비스 제공 서버(300)는 분석된 데이터를 시각화하여 출력할 수 있다. 이때, 데이터 마이닝은, 전처리된 데이터 간의 내재된 관계를 탐색하여 클래스가 알려진 훈련 데이터 셋을 학습시켜 새로운 데이터의 클래스를 예측하는 분류(Classification) 또는 클래스 정보 없이 유사성을 기준으로 데이터를 그룹짓는 군집화(Clustering)를 수행할 수 있다. 물론, 이외에도 다양한 마이닝 방법이 존재할 수 있으며, 수집 및 저장되는 빅데이터의 종류나 이후에 요청될 질의(Query)의 종류에 따라 다르게 마이닝될 수도 있다. 이렇게 구축된 빅데이터는, 인공신경망 딥러닝이나 기계학습 등으로 검증과정을 거칠 수도 있다.

이하, 상술한 도 2의 스크리블 아트 서비스 제공 서버의 구성에 따른 동작 과정을 도 3을 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.

도 3a를 참조하면, (a) 스크리블 아트 서비스 제공 서버(300)는 사용자 단말(100)을 경유하여 사진 데이터를 고객 단말(400)로부터 수신받았다면, 설정된 포맷, 사진 데이터 및 결제 데이터 등을 저장하고 사용자 단말(100)에서 편집 과정을 진행할 수 있도록 하거나, 사용자 단말(100)로부터 입력되는 입력값에 대응되도록 직접 편집과정을 수행할 수 있다. 이때, (b) 사용자 단말(100)은, 업스케일링 처리, 화질개선 등을 옵션으로 진행할 수 있고, 스크리블 아트 서비스 제공 서버(300)는 이에 대응하도록 기준 이미지 처리를 수행하며, 대비값을 조절하고 흑백처리하여 라인을 추출하고, (c) 각 선마다 대비값 및 원근감 부여 영역에 대응되도록 선처리를 수행하고, (d) 완성이 된 경우에는 (e) 프린터기의 오프셋을 스크리블 아트 서비스 제공 서버(300)로부터 조정받은 후 출력을 할 수 있다. 이때, 도 3b는 도 3a의 과정을 거치면서 변형되는 기준 이미지를 도시한 도면이므로 그 설명은 생략한다. 도 3c는 도 3a의 과정을 거쳐서 출력된 완성품의 일 실시예이다. 종이에만 출력될 수 있는 것은 아님은 상술한 바와 같다.

이와 같은 도 2 및 도 3의 스크리블 아트 기법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 스크리블 아트 기법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 4는 본 발명의 일 실시예에 따른 도 1의 인공지능 기반 스크리블 아트 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 4를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 4에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 4를 참조하면, 스크리블 아트 서비스 제공 서버(300)는, 고객 단말(400)로부터 사진 데이터와 포맷 등의 설정을 수신하고(S4100), 사용자 단말(100)로 전송해줄 수 있다. 이때, 스크리블 아트 서비스 제공 서버(300)는 고객 단말(400)로 결제 인터페이스를 전송하여 결제를 완료하고(S4200, S4300), 결제처리가 완료되면(S4400), 사용자 단말(100)로 전송하여(S4500), 사진 작업을 시작하도록 한다(S4600). 이때, 스크리블 아트 서비스 제공 서버(300)는 AI 딥러닝 기반 업스케일링 처리나 입체 처리를 통한 원근감 영역 설정 등의 옵션을 진행한 후(S4700, S4710), 그 결과인 기준 이미지를 사용자 단말(100)로 전송하고(S4720), 작업을 시작할 수 있도록 한다.

우선, 사용자 단말(100)은, 대비값 조정(S4800)을 실시하고, 흑백처리를 통하여(S4810) 선 영역을 추출하며(S4820), 모든 선에 제 1 두께를 적용한 후(S4820), 원근감처리 영역에는 제 2 두께를(S4830), 대비나 강조 영역에는 제 3 두께를 적용하여(S4840) 스크리블 기법으로 선처리를 진행한다. 그리고, 스크리블 아트 서비스 제공 서버(300)는 프린팅되어야 하는 포맷에 따라 프린터의 오프셋을 조정하고(S4850), 프린트가 완료되면(S4860), 아트펜 처리를 다시 한번 진행할 수 있도록 한다(S4870).

마지막으로, 스크리블 아트 서비스 제공 서버(300)는 사용자 단말(100)에서 기준 이미지가 인쇄된 물품을 배송한 배송 정보를 전송하는 경우(S4900), 고객 단말(400)에서 트래킹이 되도록 하고(S4910), 수취 확인을 고객 단말(400)로부터 수신한 경우(S4920), 해당 절차를 종료하고 정산 등의 과정을 처리한다(S4930).

상술한 단계들(S4100~S4930)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S4100~S4930)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 4의 스크리블 아트 기법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 3을 통해 스크리블 아트 기법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5는 본 발명의 일 실시예에 따른 스크리블 아트 기법을 설명하기 위한 동작 흐름도이다. 도 5를 참조하면, 스크리블 아트 서비스 제공 서버는, 사용자 단말로부터 사진 데이터가 업로드되는 경우, 사진 데이터에 포함된 노출값 중 대비값을 기 설정된 기준값에 대응하도록 증감시킨다(S5100).

이때, 스크리블 아트 서비스 제공 서버는, 조정된 사진 데이터를 흑백 데이터로 변환하여 기준 이미지를 생성하고(S5200), 기준 이미지를 이루는 적어도 하나의 선을 제 1 두께로 처리하여 변환한다(S5300).

또한, 스크리블 아트 서비스 제공 서버는, 기준 이미지인 2D 데이터로부터 깊이 정보를 추출하여 원근감 데이터를 생성하고, 원근감 데이터에 기반하여 기준 이미지를 이루는 선 중 원근감 데이터가 포함된 영역의 선을 제 2 두께로 변환하고(S5400), 증감된 대비값으로 대비차가 기 설정된 대비값 이상인 선을 포함한 영역에 제 3 두께를 적용하여 변환하고(S5500), 변환이 완료된 기준 이미지를 무광택 용지를 이용하여 프린팅하도록 사용자 단말과 연동된 프린터를 제어한다(S5600).

이와 같은 도 5의 스크리블 아트 기법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 스크리블 아트 기법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5를 통해 설명된 일 실시예에 따른 스크리블 아트 기법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 스크리블 아트 기법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 스크리블 아트 기법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

스크리블 아트 서비스 제공 서버에서 실행되는 스크리블 아트 기법에 있어서,
사용자 단말로부터 사진 데이터가 업로드되는 경우, 상기 사진 데이터에 포함된 노출값 중 대비값을 기 설정된 기준값에 대응하도록 증감시키는 단계;
상기 조정된 사진 데이터를 흑백 데이터로 변환하여 기준 이미지를 생성하는 단계;
상기 기준 이미지를 이루는 적어도 하나의 선을 제 1 두께로 처리하여 변환하는 단계;
상기 기준 이미지인 2D 데이터로부터 깊이 정보를 추출하여 원근감 데이터를 생성하고, 상기 원근감 데이터에 기반하여 상기 기준 이미지를 이루는 선 중 원근감 데이터가 포함된 영역의 선을 제 2 두께로 변환하는 단계;
상기 증감된 대비값으로 대비차가 기 설정된 대비값 이상인 선을 포함한 영역에 제 3 두께를 적용하여 변환하는 단계; 및
상기 변환이 완료된 기준 이미지를 무광택 용지를 이용하여 프린팅하도록 상기 사용자 단말과 연동된 프린터를 제어하는 단계;
를 포함하는, 스크리블 아트 기법.
제 1 항에 있어서,
상기 제 1 두께는 제 2 두께보다 얇고, 제 2 두께는 제 3 두께보다 얇은 것인, 스크리블 아트 기법.
제 1 항에 있어서,
상기 제 1 두께는 0.05mm이고, 제 2 두께는 1mm이고, 제 3 두께는 1.5mm인 것인, 스크리블 아트 기법.
제 1 항에 있어서,
상기 변환이 완료된 기준 이미지를 무광택 용지를 이용하여 프린팅하도록 상기 사용자 단말과 연동된 프린터를 제어하는 단계는,
상기 변환이 완료된 기준 이미지를 상기 사용자 단말에서 선택한 물품 객체에 프린팅하도록 상기 사용자 단말과 연동된 프린터를 제어하는 단계;
로 대체되는 것인, 스크리블 아트 기법.
제 1 항에 있어서,
상기 사용자 단말로부터 사진 데이터가 업로드되는 경우, 상기 사진 데이터에 포함된 노출값 중 대비값을 기 설정된 기준값에 대응하도록 증감시키는 단계는,
상기 사용자 단말로부터 사진 데이터가 업로드되는 경우, 상기 사진 데이터의 해상도가 기 설정된 해상도를 만족하지 못하거나, 상기 사용자 단말로부터 선택이 된 경우에, 인공지능 딥러닝 고해상도 업스케일링을 실시하는 단계;
를 포함하고,
상기 사진 데이터는, 상기 사진 데이터에 포함된 픽셀 단위로 데이터를 처리하는 심층 콘볼루션 신경망(CNN)과 딥러닝으로 훈련된 인공지능을 이용하여 업스케일링되는 것인, 스크리블 아트 기법.
제 1 항에 있어서,
상기 기준 이미지인 2D 데이터로부터 깊이 정보를 추출하여 원근감 데이터를 생성하고, 상기 원근감 데이터에 기반하여 상기 기준 이미지를 이루는 선 중 원근감 데이터가 포함된 영역의 선을 제 2 두께로 변환하는 단계는,
상기 2D 데이터로부터 스크리블 아트로 표현될 객체를 그래프 분할 알고리즘으로 추출하는 단계;
상기 추출된 객체의 에지를 추출하여 그래디언트 맵(Gradient map)을 생성하는 단계;
상기 그래디언트 맵 내에서 밝기 정보의 변화가 기 설정된 변화값을 초과하는 영역을 분할하고, 상기 분할된 영역에 각각 평균 밝기값을 할당하고 영역 단위로 연산하는 단계;
상기 2D 데이터에 포함된 픽셀을 노드로 정의하고, 상기 픽셀 간의 유사도를 에지로 가지는 그래프를 노드 간의 가중치의 합을 통하여 생성하여 깊이 정보를 추출하는 단계;
상기 추출된 깊이 정보로 원근감 영역 및 노드인 픽셀을 선정하는 단계;
상기 선정된 픽셀에 포함된 선에 상기 제 2 두께를 적용하는 단계;
를 수행하여 실행되는 것인, 스크리블 아트 기법.
제 1 항에 있어서,
상기 변환이 완료된 기준 이미지를 무광택 용지를 이용하여 프린팅하도록 상기 사용자 단말과 연동된 프린터를 제어하는 단계 이후에,
상기 프린팅이 완료된 기준 이미지의 영역 중 상기 대비값이 기 설정된 기준값을 초과하는 영역을 추출하는 단계;
상기 추출된 영역에 포함된 선을 아트펜 기능을 포함하는 프린터로 프린팅되도록 상기 사용자 단말을 제어하는 단계;
를 더 포함하는 것인, 스크리블 아트 기법.
제 1 항에 있어서,
상기 선은 스크리블 효과(Scribble Effect)에 대응하는 선으로 설정되는 것인, 스크리블 아트 기법.
제 1 항에 있어서,
상기 사용자 단말로부터 사진 데이터가 업로드되는 경우, 상기 사진 데이터에 포함된 노출값 중 대비값을 기 설정된 기준값에 대응하도록 증감시키는 단계 이전에,
고객 단말로부터 상기 사용자 단말을 경유하여 수신된 완성된 작품의 포맷 또는 서비스 포맷이 선택된 경우, 상기 포맷과 상기 사진 데이터를 매핑하여 저장하는 단계;
를 더 포함하고,
상기 프린터를 제어할 때 상기 포맷에 대응하는 표면에 상기 변환이 완료된 기준 이미지를 프린팅하도록 제어하는 것인, 스크리블 아트 기법.
제 1 항 내지 제 9 항 중 어느 한 항의 스크리블 아트 기법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.